Hadoop導入

ApacheからHadoopを落としてきて利用してたのですが、どうやらClouderaというところから落としてくると勝手に色々設定してくれるそうなので試してみる。

  1. リポジトリ追加

cat << EOF >> /etc/apt/sources.list.d/cloudera.list
>deb http://archive.cloudera.com/debian lucid-cdh3 contrib
>deb-src http://archive.cloudera.com/debian lucid-cdh3 contrib
>EOF

私はsudo cat << EOF >> /etc/apt/sources.list.d/cloudera.list
と打ったらpermission denyと怒られたので
sudo vim /etc/apt/sources.list.d/cloudera.list
で作成しました。

  1. リポジトリキー追加

curl -s http://archive.cloudera.com/debian/archive.key | sudo apt-key add -

  1. Hadoopインストール

sudo apt-get update
sudo apt-cache search hadoop
sudo apt-get install hadoop-0.20-conf-pseudo
sudo apt-get install hadoop-hive
sudo apt-get install hadoop-pig
sudo apt-get install hadoop-hbase

JAVA_HOME設定

export JAVA_HOME=/hoge/hoge/java

できた!