mongoDB的数据导入到hive中
数据库  /  管理员 发布于 3年前   456
Hive上创建的表可以是HDFS-based,也可以是MongoDB-based。
MongoDB-based的Hive表,是一个将MongoDB的数据映射到hive表上面,
数据存储的位置还在mongoDB上.
将mongoDB的数据映射到hive上的步骤如下:
1.下载jar文件:
版本要求摘自
https://github.com/mongodb/mongo-hadoop/wiki/Hive-Usage
mongo-hadoop-core-2.0.2.jar
mongo-hadoop-hive-2.0.2.jar
mongo-java-driver-3.5.0.jar
下载地址:
http://mvnrepository.com/
2.hadoop和hive的lib目录添加jar文件:
我们使用的是CDH集群,需要将这3个jar文件都加到hadoop和hive的lib目录下,
hadoop和hive的lib目录都要有这3个jar文件.
hadoop的lib目录是:
/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib
hive的lib目录是:
/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hive/lib/
3.hive添加jar文件:
启动hive,使用命令:
add jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib/mongo-hadoop-core-2.0.2.jar
add jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib/mongo-hadoop-hive-2.0.2.jar
add jar /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hadoop/lib/mongo-java-driver-3.5.0.jar
4.在hive中创建mongoDB数据的映射表:
mongoDB的数据表内容如下:
{
"_id" : ObjectId("5951ce7f6bc99c30e4d54348"),
"_class" : "com.cbb.bean.Behavior",
"id_user" : "null",
"id_other" : "cb1498533354896",
"city" : "K昆明市",
"page" : "通道首页",
"behavior" : "complete_bank",
"time" : ISODate("2017-06-27T03:16:29.000Z"),
"origin" : "android_m",
"value" : "交通银行,平安银行"
}
hive创建临时表:
CREATE EXTERNAL TABLE temp
(
id STRING,
`_class` STRING,
id_user STRING,
id_other STRING,
city STRING,
page STRING,
behavior STRING,
time STRING,
origin STRING,
value STRING
)
STORED BY 'com.mongodb.hadoop.hive.MongoStorageHandler'
WITH SERDEPROPERTIES('mongo.columns.mapping'='{"id":"_id"}')
TBLPROPERTIES('mongo.uri'='mongodb://192.168.1.54:27017/behavior.behavior');
提示成功后可以使用命令
select * from temp [limit...]
查看temp表里面是否映射数据成功.
这个时候,表里面的数据还是保存在mongoDB里面的,
对表temp进行操作时,操作的数据和结果也是保存在mongoDB里面的.
5.数据同步到hive上面:
现在我们的需求是将mongoDB的数据迁移保存到HDFS上面.
用CTAS语句就可以实现这个需求.
将映射表mongoDB的数据映射表temp的数据保存到hive上的表behavior中,
使用如下命令:
create table behavior as select * from temp;
原梓番博客 在
在Laravel框架中使用模型Model分表最简单的方法中评论 好久好久都没看友情链接申请了,今天刚看,已经添加。..博主 在
佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 @1111老铁这个不行了,可以看看近期评论的其他文章..1111 在
佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 网站不能打开,博主百忙中能否发个APP下载链接,佛跳墙或极光..路人 在
php中使用hyperf框架调用讯飞星火大模型实现国内版chatgpt功能示例中评论 教程很详细,如果加个前端chatgpt对话页面就完美了..博主 在
科学上网翻墙之v2rayN-Core客户端免费公益节点使用教程中评论 @ mashrdn 多切换几个节点测试,免费ssr是没那么稳..Copyright·© 2019 侯体宗版权所有· 粤ICP备20027696号