python hdfs模块使用

title: python hdfs模块使用
date: 2017-02-21 20:43:11
categories: Python
tags: HDFS

HDFS是hadoop分布式文件系统，HDFS中有两类节点。一类是NameNode，一类是DataNode。
其中NameNode是管理者，存储各种文件的元数据，SecondaryNameNode作为NameNode的冷备份。DataNode则是真正存储数据块，进行文件读写的地方。
更多内容参考HDFS 原理、架构与特性介绍

python中对hdfs api封装的模块主要有hdfs,hdfs3,pytinyhdfs，PYHDFS等。这里选择hdfs比较简单清晰。

1. 安装
   pip install hdfs

2. 连接

        >>> from hdfs import *      >>> client=Client('http://192.168.71.109:50070') 

       这里是在windwos上连接IP为192.168.71.109的安装有hadoop机器 

3. 列出文件

        >>> client.list('/')      ['2017'] 

4. 新建文件夹

        >>> client.makedirs('/a/b/c') 

    可以递归创建文件夹，完成后不返回结果 

5. 重命名/移动

        >>> client.rename('/2017/02','/2017/03')      >>> client.list('/2017')      ['03'] 

    可以对文件进行重命名，移动操作，类似mv命令。函数原型`rename (hdfs_src_path, hdfs_dst_path)` 

6. 删除

        >>> client.delete('/2017',recursive=True)      True 

    recursive为递归删除，类似`rm -r`，函数原型`delete(hdfs_path, recursive=False)` 

7. 写文件

       >>> with open('D:/tmp/test.txt','rb') as f:     ...     data=f.read()     ...     >>> client.write('/2017/02/test.txt',data=data) 

   这里会报错，信息如下：

     requests.exceptions.ConnectionError: HTTPConnectionPool(host='debian', port=50075): Max retries exceeded with url: /webhdfs/v1/2017/02/test.txt?op=CREATE&namenoderpcaddress=localhost:9000&overwrite=false (Caused by NewConnectionError('<requests.packages.urllib3.connection.HTTPConnection object at 0x03BB0D10>: Failed to establish a new connection: [Errno 11001] getaddrinfo failed',)) 

   这里host='debian'，namenoderpcaddress=localhost:9000，debian是安装hadoop的linux主机名，localhost:9000并不是namenode所在IP。原因是hdfs在读写操作中，namenode向客户端返回datanode时是主机名，而不是IP。所以需要在hosts文件中加入datanode主机名与IP的记录。

   #	127.0.0.1       localhost #	::1             localhost 192.168.71.109 debian 

   再来操作即可成功。

      >>> client.write('/2017/02/test.txt',data=data)    >>> client.list('/2017/02/')    ['test.txt'] 

   函数原型：write(hdfs_path, data=None, overwrite=False, permission=None, blocksize=None, replication=None, buffersize=None, append=False, encoding=None)

   overwrite 当目标文件存在时，覆盖写入。

8. 读文件

   >>> with client.read('/2017/02/test.txt') as f: ...     data=f.read() >>> print(data.decode()) 2017年2月21日13:11:37 test 

9. 上传

      >>> client.upload('/2017/02/test.txt','D:/tmp/test.txt',overwrite=True)    '/2017/02/test.txt' 

10. 下载

```python >>> client.download('/2017/02/test.txt','D:/tmp/test2.txt') 'D:\\tmp\\test2.txt' ``` 

参考：官方文档