hive元數(shù)據(jù)庫配置、metadata

來源：懂視網(wǎng) 責(zé)編：小采時(shí)間：2020-11-09 14:16:28

hive元數(shù)據(jù)庫配置、metadata

hive元數(shù)據(jù)庫配置、metadata:一、什么是hive元數(shù)據(jù)？ hive元數(shù)據(jù)就是hive的一些基本的元素，主要包括hive表的基本屬性，如下（1）hive表的數(shù)據(jù)庫名、表名、字段名稱與類型、分區(qū)字段與類型（2）表的分區(qū)，分區(qū)的屬性location等（3）serdeproperties, tblproperti

推薦度：

點(diǎn)擊下載本文 文檔為doc格式

導(dǎo)讀hive元數(shù)據(jù)庫配置、metadata:一、什么是hive元數(shù)據(jù)？ hive元數(shù)據(jù)就是hive的一些基本的元素，主要包括hive表的基本屬性，如下（1）hive表的數(shù)據(jù)庫名、表名、字段名稱與類型、分區(qū)字段與類型（2）表的分區(qū)，分區(qū)的屬性location等（3）serdeproperties, tblproperti

一、什么是hive元數(shù)據(jù)？ hive元數(shù)據(jù)就是hive的一些基本的元素，主要包括hive表的基本屬性，如下（1）hive表的數(shù)據(jù)庫名、表名、字段名稱與類型、分區(qū)字段與類型（2）表的分區(qū)，分區(qū)的屬性location等（3）serdeproperties, tblproperties等等可以通過 desc formatted tablename 查看表有哪些屬性二、hive默認(rèn)元數(shù)據(jù)庫Derby（嵌入模式） hive-default.xml通過如下配置設(shè)置

javax.jdo.option.ConnectionURL
jdbc:derby:;databaseName=metastore_db;create=true
JDBC connect string for a JDBC metastore




javax.jdo.option.ConnectionDriverName
org.apache.derby.jdbc.EmbeddedDriver
Driver class name for a JDBC metastore

Apache Derby非常小巧，核心部分derby.jar只有2M，所以既可以做為單獨(dú)的數(shù)據(jù)庫服務(wù)器使用，也可以內(nèi)嵌在應(yīng)用程序中使用。所以hive采用了Derby作為一個(gè)內(nèi)嵌的元數(shù)據(jù)庫，可以完成hive安裝的簡(jiǎn)單測(cè)試。 hive安裝完成之后，就可以在hive shell中執(zhí)行一些基本的操作，創(chuàng)建表、查詢等等。如果你細(xì)心的話，就會(huì)發(fā)現(xiàn)一個(gè)問題：當(dāng)在某個(gè)目錄下啟動(dòng)終端，進(jìn)入hive shell時(shí)，hive默認(rèn)會(huì)在當(dāng)前目錄下生成一個(gè)derby文件和一個(gè)metastore_db目錄，這兩個(gè)文件主要保存剛剛在shell中操作的一些sql的結(jié)果，比如新建的表、添加的分區(qū)等等這種存儲(chǔ)方式的帶來弊端 1.在同一個(gè)目錄下同時(shí)只能有一個(gè)hive客戶端能使用數(shù)據(jù)庫 2.切換目錄啟動(dòng)新的shell，無法查看之前創(chuàng)建的表，不能實(shí)現(xiàn)表數(shù)據(jù)的共享三、使用mysql作為元數(shù)據(jù)庫由于使用默認(rèn)的元數(shù)據(jù)庫有些弊端，所以采用mysql保存hive元數(shù)據(jù)解決上面的問題。hive所有的元數(shù)據(jù)都保存在同一個(gè)庫里，這樣不同開發(fā)者創(chuàng)建的表可以實(shí)現(xiàn)共享。
mysql配置又分為幾種情況：（1）mysql部署在hive服務(wù)器，使用本地服務(wù)（測(cè)試、學(xué)習(xí)使用）

（2）mysql部署在其他機(jī)器，hive服務(wù)器開啟metadata服務(wù)，在hive服務(wù)器上操作hive

（3）mysql部署在其他機(jī)器，hive服務(wù)器開啟metadata服務(wù)，在hive客戶端訪問hive的metadata服務(wù)

配置mysql：配置mysql時(shí)，首先要把mysql-jdbc-driver.jar拷貝到$HIVE_HOME/lib目錄下，修改hive-default.xml名字為hive-site.xml 第一種情況，hive-site.xml配置如下


hive.metastore.local
true




javax.jdo.option.ConnectionURL
jdbc:mysql://localhost/hive?createDatabaseIfNotExist=true




javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver




javax.jdo.option.ConnectionUserName
hive




javax.jdo.option.ConnectionPassword
password

第二種情況，hive-site.xml配置

javax.jdo.option.ConnectionURL
jdbc:mysql://192.168.0.1:3306/hive?createDatabaseIfNotExist=true




javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver




javax.jdo.option.ConnectionUserName
hive




javax.jdo.option.ConnectionPassword
password




hive.metastore.local
false




hive.metastore.uris
thrift://192.168.0.101:9083


第三種情況，hive-site.xml配置 1、 服務(wù)端配置

javax.jdo.option.ConnectionURL
jdbc:mysql://192.168.1.214:3306/hive?createDatabaseIfNotExist=true




javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver




javax.jdo.option.ConnectionUserName
hive




javax.jdo.option.ConnectionPassword
password
 2、客戶端配置

hive.metastore.local
false




hive.metastore.uris
thrift://192.168.0.101:9083

在使用hive開始前，如果mysql是部署在遠(yuǎn)端且 hive.metastore.local=false 則需要啟動(dòng)hive的metadata服務(wù)
$ hive --service metastore

客戶端使用hive命令即可

root@local:~$ hive
hive> show tables;
OK
Time taken: 0.7 seconds
hive>

聲明：本網(wǎng)頁內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com

hive元數(shù)據(jù)庫配置、metadata

推薦度：

點(diǎn)擊下載本文 文檔為doc格式

標(biāo)簽：數(shù)據(jù)庫配置什么

熱門焦點(diǎn)

hive元數(shù)據(jù)庫配置、metadata

hive元數(shù)據(jù)庫配置、metadata

hive元數(shù)據(jù)庫配置、metadata

最新推薦

猜你喜歡

熱門推薦