这篇文章主要用代码分析python如何读取hdfs并返回dataframe，内容清晰明了，对此有兴趣的小伙伴可以学习一下，相信大家阅读完之后会有帮助。

不多说，直接上代码

from hdfs import Clientimport pandas as pd HDFSHOST = "http://xxx:50070"FILENAME = "/tmp/preprocess/part-00000" #hdfs文件路径COLUMNNAMES = [xx'] def readHDFS():'''读取hdfs文件 Returns：df:dataframe hdfs数据'''client = Client(HDFSHOST)# 目前读取hdfs文件采用方式：# 1. 先从hdfs读取二进制数据流文件# 2. 将二进制文件另存为.csv# 3. 使用pandas读取csv文件with client.read(FILENAME) as fs:content = fs.read()s = str(content, 'utf-8')file = open("data/tmp/data.csv", "w")file.write(s)df = pd.read_csv("data/tmp/data.csv", names=COLUMNNAMES)return df

补充知识：Python连接HDFS实现文件上传下载及Pandas转换文本文件到CSV

1. 目标

通过hadoop hive或spark等数据计算框架完成数据清洗后的数据在HDFS上

爬虫和机器学习在Python中容易实现

在Linux环境下编写Python没有pyCharm便利

需要建立Python与HDFS的读写通道

2. 实现

安装Python模块pyhdfs

版本:Python3.6, hadoop 2.9

读文件代码如下

from pyhdfs import HdfsClientclient=HdfsClient(hosts='ghym:50070')#hdfs地址res=client.open('/sy.txt')#hdfs文件路径,根目录/for r in res: line=str(r,encoding='utf8')#open后是二进制,str()转换为字符串并转码 print(line)

写文件代码如下

from pyhdfs import HdfsClientclient=HdfsClient(hosts='ghym:50070',user_name='hadoop')#只有hadoop用户拥有写权限str='hello world'client.create('/py.txt',str)#创建新文件并写入字符串

上传本地文件到HDFS

from pyhdfs import HdfsClientclient = HdfsClient(hosts='ghym:50070', user_name='hadoop')client.copy_from_local('d:/pydemo.txt', '/pydemo')#本地文件绝对路径,HDFS目录必须不存在

3. 读取文本文件写入csv

Python安装pandas模块

确认文本文件的分隔符

# pyhdfs读取文本文件,分隔符为逗号,from pyhdfs import HdfsClientclient = HdfsClient(hosts='ghym:50070', user_name='hadoop')inputfile=client.open('/int.txt')# pandas调用读取方法read_tableimport pandas as pddf=pd.read_table(inputfile,encoding='gbk',sep=',')#参数为源文件,编码,分隔符# 数据集to_csv方法转换为csvdf.to_csv('demo.csv',encoding='gbk',index=None)#参数为目标文件,编码,是否要索引

看完上述内容，是不是对用代码分析python如何读取hdfs并返回dataframe有进一步的了解，如果还想学习更多内容，欢迎关注亿速云行业资讯频道。