建立hive表的数据仓库
数据库 / 管理员 发布于 4年前 382
1.建立hive表:
create external table card_apply(
action_id string,
action_name string,
phone_number string,
city string,
has_creditcard int,
credit_cards string,
has_login int,
server_time string
)PARTITIONED BY(pt STRING)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '|'
STORED AS TEXTFILE;
2.每天从hdfs加载数据:
ALTER TABLE cardApply ADD PARTITION (pt='17-11-20')
LOCATION '/log_data/m_station/pure_log/card_apply_data/17-11-20';
3.验证加载数据是否成功:
select * from card_apply where pt='17-11-20' limit 100;
4.shell脚本load_tracklogs.sh编写:
#!/bin/sh
## 环境变量生效
. /etc/profile
## HIVE HOME
HIVE_HOME=/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/hive/
## 日志目录
LOG_DIR=/log_data/m_station/pure_log/card_apply_data
## 文件名称, 依据日期date获取
yesterday=`date -d -1days '+%y%m%d'`
LOAD_FILE=${LOG_DIR}/${yesterday}
echo $LOAD_FILE
${HIVE_HOME}/bin/hive -e "use cardbaobao; LOAD DATA INPATH '${LOAD_FILE}' INTO TABLE card_apply PARTITION(pt = '${yesterday}');"
遇到的问题:
Loading data to table cardbaobao.card_apply partition (pt=17-11-20)
Failed with exception Unable to move source hdfs://nameservice1/log_data/m_station/pure_log/card_apply_data/17-11-20 to destination hdfs://nameservice1/user/hive/warehouse/cardbaobao.db/card_apply/pt=17-11-20/17-11-20
FAILED:
Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.MoveTask
解决方法:
CDH->HDFS->配置->检查HDFS权限->取消勾选然后保存重启HDFS
CDH界面会出现隐患告警,警告可忽略
122 在
学历:一种延缓就业设计,生活需求下的权衡之选中评论 工作几年后,报名考研了,到现在还没认真学习备考,迷茫中。作为一名北漂互联网打工人..123 在
Clash for Windows作者删库跑路了,github已404中评论 按理说只要你在国内,所有的流量进出都在监控范围内,不管你怎么隐藏也没用,想搞你分..原梓番博客 在
在Laravel框架中使用模型Model分表最简单的方法中评论 好久好久都没看友情链接申请了,今天刚看,已经添加。..博主 在
佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 @1111老铁这个不行了,可以看看近期评论的其他文章..1111 在
佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 网站不能打开,博主百忙中能否发个APP下载链接,佛跳墙或极光..
Copyright·© 2019 侯体宗版权所有·
粤ICP备20027696号