欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

hive安装过程:metastore(元数据存储)的三种方式之本地derby方式

程序员文章站 2022-07-14 14:32:45
...

Hive版本:apache-hive-1.2.1
Hadoop版本:hadoop-2.5.1

Hive中metastore(元数据存储)的三种方式:
   a)本地Derby方式
   b)本地mysql方式
   c)Remote方式

步骤:
1、下载Hive:http://hive.apache.org/downloads.html

2、解压

# tar -zxvf apache-hive-1.2.1-bin.tar.gz

3、重命名

# mv apache-hive-1.2.1-bin apache-hive-1.2.1

4、添加Hive环境变量

# vi  ~/.bash_profile

添加:
export HIVE_HOME=/home/apache-hive-1.2.1
export PATH=$PATH:$HIVE_HOME/bin

5、确定Hive里的jline版本与hadoop里的jline版本一致
     Hive里的jline在:HIVE_HOME/lib
     Hadoop里的jline在:HADOOP_HOME/share/hadoop/yarn/lib
若有问题则将Hive里的jline复制到Hadoop里

6、修改hive-default.xml.template文件,将文件复制并且重命名为hive-site.xml

# cp hive-default.xml.template hive-site.xml

     编辑hive-site.xml

# vi hive-site.xml

     清空里配置信息,光标定位到下方执行清空命令.,$-1d

     在configuration里添加:

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:derby:;databaseName=metastore_db;create=true</value>
</property>

<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>org.apache.derby.jdbc.EmbeddedDriver</value>
</property>

<property>
    <name>hive.metastore.local</name>
    <value>true</value>
</property>

<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/opt/hive/warehouse</value>
</property>

7、启动hadoop

8、启动hive

使用derby存储方式时,运行hive会在当前目录生成一个derby文件和一个metastore_db目录。这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库,否则会提示如下错误:

    hive> show tables;  
    FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed to start database 'metastore_db', see the next exception for details.  
    NestedThrowables:  
    java.sql.SQLException: Failed to start database 'metastore_db', see the next exception for details.  
    FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask  

参考: Hive metastore三种配置方式