HBaseとThriftとPython

CentOS上でThrift使ってPythonでHBaseアクセス。

• HadoopディストリビューションはCDH3u3

1. thriftインストール

http://thrift.apache.org/docs/install/centos/

2. hbase-thriftインストール
yum使います。


# yum install hadoop-hbase-thrift

3. CDHのパッケージにはThriftの定義体がないので以下からソースダウンロード

http://www.apache.org/dyn/closer.cgi/hbase/

4. Hbase.thrift(Thriftの定義体)を作業ディレクトリにコピー

# cp {hadoopのソースコード展開ディレクトリ}/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift {作業ディレクトリ}


ついでに作業ディレクトリに移動。


# cd {作業ディレクトリ}

5. thriftによるpythonモジュールの生成

# thrift --gen py Hbase.thrift

6. クライアントのコードを書く

# cd gen-py
# vi hbaseClient.py


hbaseClient.py


import sys
sys.path.append('./gen-py')

from thrift.transport.TSocket import TSocket
from thrift.transport.TTransport import TBufferedTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase

transport=TBufferedTransport(TSocket('localhost', 9090))
transport.open()
protocol=TBinaryProtocol.TBinaryProtocol(transport)
client=Hbase.Client(protocol)

print(client.getTableNames())

7. 実行

#service hadoop-hbase-thrift start
# python hbaseClient.py
['usertable']

おわり