侯体宗的博客
  • 首页
  • Hyperf版
  • beego仿版
  • 人生(杂谈)
  • 技术
  • 关于我
  • 更多分类
    • 文件下载
    • 文字修仙
    • 中国象棋ai
    • 群聊
    • 九宫格抽奖
    • 拼图
    • 消消乐
    • 相册

【Hadoop十三】HDFS Java API基本操作

Java  /  管理员 发布于 5年前   458

 

package com.examples.hadoop;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileStatus;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.io.BufferedReader;import java.io.InputStreamReader;import java.io.OutputStream;import java.net.URI;import java.text.SimpleDateFormat;import java.util.Date;public class HDFSOp {    private static FileSystem getFileSystem() {        try {            URI uri = new URI("hdfs://hadoop.master:9000/");            Configuration c = new Configuration();            c.setBoolean("dfs.support.append", true);            c.set("dfs.replication", "1");            FileSystem fileSystem = FileSystem.get(uri, c);            return fileSystem;        } catch (Exception e) {            e.printStackTrace();        }        return null;    }    private static boolean exists(FileSystem hdfs, Path file) throws Exception {        return hdfs.exists(file);    }    private static boolean delete(FileSystem hdfs, Path file) throws Exception {        return hdfs.delete(file, true);    }    private static void append(FileSystem hdfs, Path file) throws Exception {        OutputStream os = hdfs.append(file);        String str = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss").format(new Date());        os.write(str.getBytes());        os.close();    }    private static void uploadFromLocal(FileSystem hdfs, Path src, Path dst) throws Exception {        hdfs.copyFromLocalFile(src, dst);    }    private static FileStatus[] listFiles(FileSystem hdfs, Path dir) throws Exception {        return hdfs.listStatus(dir);    }    private static String getData(FileSystem hdfs, Path file) throws Exception {        FSDataInputStream is = hdfs.open(file);        BufferedReader br = new BufferedReader(new InputStreamReader(is));        String line;        StringBuilder sb = new StringBuilder();        while ((line = br.readLine()) != null) {            sb.append(line).append(System.lineSeparator());        }        return sb.toString();    }    public static void main(String[] args) throws Exception {        FileSystem hdfs = getFileSystem();        Path src = new Path("file:///D:/people.txt");        Path dst = new Path("/user/hadoop/excercise");        Path dstFile = new Path("/user/hadoop/excercise/people.txt");        //判空,删除        if (exists(hdfs, dstFile)) {            System.out.println("File exists, remove it!!");            delete(hdfs, dstFile);        }        //上传        uploadFromLocal(hdfs, src, dst);        //追加内容        append(hdfs, dstFile);        //列出目录下的所有文件        FileStatus[] files = listFiles(hdfs, dst);        for (FileStatus file : files) {            System.out.println(file.getPath());        }        //文件内容下载        String data = getData(hdfs, dstFile);        System.out.println(data);    }}

 

需要注意的问题:

1. HDFS文件系统权限的问题

如果执行程序的用户没有操作的目录的权限,会报如下异常:AccessControlException,Permission Denied异常,

解决办法是

hdfs dfs -chmod 777 /user/hadoop/excercise

 

2. 关于HDFS append操作

HDFS一开始并不支持append操作,在2.x版本添加了对append操作的支持,但是为了使这个操作成功,需要一些设置,

 

//支持hdfs append操作c.setBoolean("dfs.support.append", true);//因为测试使用的单机环境,必须将dfs.replication设置为1,否则append操作报错。另外只在hdfs-site.xml中设置这个属性还不够c.set("dfs.replication", "1");

 

hdfs-site.xml的配置:

    <property>        <name>dfs.replication</name>        <value>1</value>    </property>    <property>        <name>dfs.support.append</name>        <value>true</value>    </property>

 

dfs.replication给定的属性必须小于等于HDFS中DataNode的数目,即如果是单机模式,这个值只能设置为1,设置的值大于1,那么append操作会报错:

 

java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try

 

 

 

 

 

 

 


  • 上一条:
    【HBase十一】Java API操作HBase
    下一条:
    java web项目启动时自动加载自定义properties文件
  • 昵称:

    邮箱:

    0条评论 (评论内容有缓存机制,请悉知!)
    最新最热
    • 分类目录
    • 人生(杂谈)
    • 技术
    • linux
    • Java
    • php
    • 框架(架构)
    • 前端
    • ThinkPHP
    • 数据库
    • 微信(小程序)
    • Laravel
    • Redis
    • Docker
    • Go
    • swoole
    • Windows
    • Python
    • 苹果(mac/ios)
    • 相关文章
    • 在java中实现的脱敏工具类代码示例分享(0个评论)
    • zookeeper安装流程步骤(0个评论)
    • 在java中你背的“八股文”可能已经过时了(2个评论)
    • 在php8.0+版本中使用属性来增加值代码示例(3个评论)
    • java 正则表达式基础,实例学习资料收集大全 原创(0个评论)
    • 近期文章
    • 在go语言中使用api.geonames.org接口实现根据国际邮政编码获取地址信息功能(1个评论)
    • 在go语言中使用github.com/signintech/gopdf实现生成pdf分页文件功能(0个评论)
    • gmail发邮件报错:534 5.7.9 Application-specific password required...解决方案(0个评论)
    • 欧盟关于强迫劳动的规定的官方举报渠道及官方举报网站(0个评论)
    • 在go语言中使用github.com/signintech/gopdf实现生成pdf文件功能(0个评论)
    • Laravel从Accel获得5700万美元A轮融资(0个评论)
    • 在go + gin中gorm实现指定搜索/区间搜索分页列表功能接口实例(0个评论)
    • 在go语言中实现IP/CIDR的ip和netmask互转及IP段形式互转及ip是否存在IP/CIDR(0个评论)
    • PHP 8.4 Alpha 1现已发布!(0个评论)
    • Laravel 11.15版本发布 - Eloquent Builder中添加的泛型(0个评论)
    • 近期评论
    • 122 在

      学历:一种延缓就业设计,生活需求下的权衡之选中评论 工作几年后,报名考研了,到现在还没认真学习备考,迷茫中。作为一名北漂互联网打工人..
    • 123 在

      Clash for Windows作者删库跑路了,github已404中评论 按理说只要你在国内,所有的流量进出都在监控范围内,不管你怎么隐藏也没用,想搞你分..
    • 原梓番博客 在

      在Laravel框架中使用模型Model分表最简单的方法中评论 好久好久都没看友情链接申请了,今天刚看,已经添加。..
    • 博主 在

      佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 @1111老铁这个不行了,可以看看近期评论的其他文章..
    • 1111 在

      佛跳墙vpn软件不会用?上不了网?佛跳墙vpn常见问题以及解决办法中评论 网站不能打开,博主百忙中能否发个APP下载链接,佛跳墙或极光..
    • 2016-11
    • 2018-03
    • 2020-03
    • 2023-05
    • 2023-11
    • 2024-01
    Top

    Copyright·© 2019 侯体宗版权所有· 粤ICP备20027696号 PHP交流群

    侯体宗的博客