備忘録：MacのターミナルでJavaが文字化けする場合

MacのターミナルでJavaのコンパイル(# javac)を実行すると日本語の表示が文字化けを起こす。
Shift-JISだかららしい。

• Mac OS X 10.8.2

これを実行するか、しかるべきスクリプトに書く。

export JAVA_TOOL_OPTIONS=-Dfile.encoding=UTF-8

おわり

HBaseでリージョンを分割してTRUNCATE

HBaseのテーブル操作について。 リージョンの分割を指定して、テーブルをTRUNCATEしたい」
分割キーを指定した場合は、その通りに。しなかった場合は、消す前のテーブルのリージョン（枠）を再現する。

• ソースコード

# java truncateWithRegions
Usage : java truncateWithRegions  [<filename>]


truncateWithRegions.java


import java.io.*;
import java.util.*;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.client.HBaseAdmin;
import org.apache.hadoop.hbase.client.HTable;
import org.apache.hadoop.hbase.util.Bytes;

public class truncateWithRegions {

  public static void main(String[] args) throws Exception {

    if (args.length < 1 || args.length > 2) {
      printUsage();
      System.exit(1);
    }

    Configuration conf = HBaseConfiguration.create();
    HBaseAdmin hAdmin = new HBaseAdmin(conf);

    HTableDescriptor desc;
    byte[][] splits = null;
    if (args.length == 2) splits = readSplitKeys(args[1]);
    if (hAdmin.tableExists(args[0])) {
      desc = hAdmin.getTableDescriptor(Bytes.toBytes(args[0]));
      if (args.length == 1) {
        splits = getSplitKeys(args[0]);
      }
      hAdmin.disableTable(args[0]);
      hAdmin.deleteTable(args[0]);
    } else {
      desc = new HTableDescriptor(args[0]);
    }
    createTable(hAdmin, desc, splits);
  }

  private static byte[][] getSplitKeys(String tableName) throws Exception {
    HTable hTable = new HTable(tableName);
    byte[][] splits = new byte[hTable.getEndKeys().length - 1][];
    for ( int i = 0; i < hTable.getEndKeys().length - 1; i++) {
      splits[i] = hTable.getEndKeys()[i];
    }
    return splits;
  }

  private static byte[][] readSplitKeys(String filename) throws Exception {

    BufferedReader br = new BufferedReader(new FileReader(filename));
    List<byte[]> splitList = new ArrayList<byte[]>();
    String line = "";
    while ((line = br.readLine()) != null) {
      if (line.length() != 0) {
        byte[] split = Bytes.toBytes(line);
        splitList.add(split);
      }
    }
    br.close();
    return splitList.toArray(new byte[0][]);
  }

  private static void createTable(HBaseAdmin hAdmin, HTableDescriptor desc, byte[][] splits) throws Exception {
    if (splits == null) {
      hAdmin.createTable(desc);
    } else {
      hAdmin.createTable(desc, splits);
    }
  }

  private static void printUsage() {
    System.err.println("Usage : java truncateWithRegions <tablename> [<filename>]");
  }

おわり

備忘録：CentOSを日本語環境へ

• さくらVPS
• CentOS 6.2

1. 日本語環境用のパッケージ追加

# yum -y groupinstall "Japanese Support"


既に入っていた。

2. 設定ファイル編集

# vi /etc/sysconfig/i18n


<変更前>


LANG="C"

＜変更後＞


 LANG="ja_JP.UTF-8"

3. 設定反映

# source /etc/sysconfig/i18n
# echo $LANG
ja_JP.UTF-8

おわり

HBaseとThriftとPython

CentOS上でThrift使ってPythonでHBaseアクセス。

• HadoopディストリビューションはCDH3u3

1. thriftインストール

http://thrift.apache.org/docs/install/centos/

2. hbase-thriftインストール
yum使います。


# yum install hadoop-hbase-thrift

3. CDHのパッケージにはThriftの定義体がないので以下からソースダウンロード

http://www.apache.org/dyn/closer.cgi/hbase/

4. Hbase.thrift(Thriftの定義体)を作業ディレクトリにコピー

# cp {hadoopのソースコード展開ディレクトリ}/src/main/resources/org/apache/hadoop/hbase/thrift/Hbase.thrift {作業ディレクトリ}


ついでに作業ディレクトリに移動。


# cd {作業ディレクトリ}

5. thriftによるpythonモジュールの生成

# thrift --gen py Hbase.thrift

6. クライアントのコードを書く

# cd gen-py
# vi hbaseClient.py


hbaseClient.py


import sys
sys.path.append('./gen-py')

from thrift.transport.TSocket import TSocket
from thrift.transport.TTransport import TBufferedTransport
from thrift.protocol import TBinaryProtocol
from hbase import Hbase

transport=TBufferedTransport(TSocket('localhost', 9090))
transport.open()
protocol=TBinaryProtocol.TBinaryProtocol(transport)
client=Hbase.Client(protocol)

print(client.getTableNames())

7. 実行

#service hadoop-hbase-thrift start
# python hbaseClient.py
['usertable']

おわり