mongoDB的数据导入到hive中

数据库  /  管理员 发布于 4年前   651

Hive上创建的表可以是HDFS-based，也可以是MongoDB-based。

MongoDB-based的Hive表，是一个将MongoDB的数据映射到hive表上面,

数据存储的位置还在mongoDB上.

将mongoDB的数据映射到hive上的步骤如下:

1.下载jar文件:

版本要求摘自

https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage

mongo-hadoop-core-2.0.2.jar
mongo-hadoop-hive-2.0.2.jar
mongo-java-driver-3.5.0.jar

下载地址:

http://mvnrepository.com/

2.hadoop和hive的lib目录添加jar文件:

我们使用的是CDH集群,需要将这3个jar文件都加到hadoop和hive的lib目录下,

hadoop和hive的lib目录都要有这3个jar文件.

hadoop的lib目录是:

/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib

hive的lib目录是:

/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hive/lib/

3.hive添加jar文件:

启动hive,使用命令:

add jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib/mongo-hadoop-core-2.0.2.jar
add jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib/mongo-hadoop-hive-2.0.2.jar
add jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib/mongo-java-driver-3.5.0.jar

4.在hive中创建mongoDB数据的映射表:

mongoDB的数据表内容如下:

{
    "_id" : ObjectId("5951ce7f6bc99c30e4d54348"),
    "_class" : "com.cbb.bean.Behavior",
    "id_user" : "null",
    "id_other" : "cb1498533354896",
    "city" : "K昆明市",
    "page" : "通道首页",
    "behavior" : "complete_bank",
    "time" : ISODate("2017-06-27T03:16:29.000Z"),
    "origin" : "android_m",
    "value" : "交通银行,平安银行"
}

hive创建临时表:

CREATE EXTERNAL TABLE temp
(
  id  STRING, 
  `_class` STRING, 
  id_user STRING, 
  id_other STRING,
  city STRING, 
  page STRING, 
  behavior STRING, 
  time STRING, 
  origin STRING, 
  value STRING
)
STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler'
WITH SERDEPROPERTIES('mongo.columns.mapping'='{"id":"_id"}')
TBLPROPERTIES('mongo.uri'='mongodb://192.168.1.54:27017/behavior.behavior');

提示成功后可以使用命令

select * from temp [limit...]

查看temp表里面是否映射数据成功.

这个时候,表里面的数据还是保存在mongoDB里面的,

对表temp进行操作时,操作的数据和结果也是保存在mongoDB里面的.

5.数据同步到hive上面:

现在我们的需求是将mongoDB的数据迁移保存到HDFS上面.

用CTAS语句就可以实现这个需求.

将映射表mongoDB的数据映射表temp的数据保存到hive上的表behavior中,

使用如下命令:

create table behavior as select * from temp;