Configuration类:处理HDFS配置的核心类。
FileSystem类:
处理HDFS文件相关操作的核心类,包括对文件夹或文件的创建,删除,查看状态,复制,从本地挪动到HDFS文件系统中等。
Path类:处理HDFS文件路径。
IOUtils类:处理HDFS文件读写的工具类。
核心类中重要方法简介
1、FileSystemget(URIuri,Configurationconf)
根据HDFS的URI和配置,创建FileSystem实例
2、publicbooleanmkdirs(Pathf)throwsIOException
根据路径创建HDFS文件夹
3、FSDataOutputStreamcreate(Pathf,booleanoverwrite)
根据具体的路径创建文件,并且知名是否以重写的方式
4、abstractbooleandelete(Pathf,booleanrecursive)
根据路径删除文件
5、abstractFileStatus?listStatus(Pathf)
根据路径,返回该路径下所有文件夹或文件的状态。
6、VoidmoveFromLocalFile(Pathsrc,Pathdst)
将本地路径下的文件,挪动到HDFS的指定路径下
7、FSDataInputStreamopen(Pathf)
打开指定路径下的文件内容
关键步骤说明
第一步:开发环境准备,包括JDK、开发工具的安装
第二步:创建项目,配置jar依赖pom.xml文件
第三步:编写核心代码
具体代码实战
最后,可通过HDFS的UI界面查看、Hadoopshell两种方式查看文件是否上传到文件系统。以上就是关于JavaAPI操作HDFS之文件上传实现的详细介绍,希望本文对同学们有所帮助,扣丁学堂提供完整大数据学习路线内容包含Linux&&Hadoop生态体系、大数据计算框架体系、云计算体系、机器学习&&深度学习等大数据视频教程内容,根据大数据学习路线图可以让你对学习大数据需要掌握的知识有个清晰的了解,并快速入门大数据开发,扣丁学堂大数据学习群:769591751