[Hadoop] 殺掉正在運作的job

查詢任務列表
hadoop job -list

殺掉job
hadoop job -kill jobId

[Debian] JAVA JDK在Debian系統的位置 + Hadoop&Spark設定

最近要在裝有Debian系統的Banana Pi安裝Hadoop & Spark

從原本裝在CentOS的master複製過去後發現JAVA的路徑不正確

按照習慣的邏輯卻完全找不到究竟在哪裡，於是費勁千辛萬苦終於找到了

/usr/lib/jvm/jdk-7-oracle-armhf



然後再到以下檔案改Hadoop的參數～

hduser@banana01 ~ $ sudo vi /etc/profile
hduser@banana01 ~ $ vi /home/hduser/.bashrc
hduser@banana01 ~ $ vi /opt/hadoop/libexec/hadoop-config.sh
hduser@banana01 ~ $ vi /opt/hadoop/etc/hadoop/hadoop-env.sh
hduser@banana01 ~ $ vi /opt/hadoop/etc/hadoop/yarn-env.sh

原本大概是長這樣
export JAVA_HOME=/usr/java/jdk1.7.0_65

Banana Pi要改成這樣～
export JAVA_HOME=/usr/lib/jvm/jdk-7-oracle-armhf



別忘了給Hadoop&Spark權限
sudo chown -R hduser:hadoop /opt/hadoop
sudo chown -R hduser:hadoop /opt/spark





如果還有第234....多台Pi要加入cluster
將系統燒成映像檔，再燒入到其他張SD卡再做以下設定即可

各別將它們設定IP
sudo nano /etc/network/interfaces

設定hostname (Banana02)
sudo nano /etc/hostname

最後別忘了給Hadoop&Spark權限
sudo chown -R hduser:hadoop /opt/hadoop
sudo chown -R hduser:hadoop /opt/spark



改完就可以啟動Hadoop&Spark囉！

[Linux] CentOS 了解硬體資訊的指令

了解CPU資訊
cat /proc/cpuinfo

CPU有幾核呢～
cat /proc/cpuinfo|grep "model name"|wc -l



了解memory資訊
cat /proc/meminfo

memory總容量是多少呢～
cat /proc/meminfo |grep "Total"


（持續更新中）

[Linux] CentOS 更改系統日期、時間的指令

查看系統時間
date

修改系統時間
date MMDDhhmmYYYY

MM: two digit month number
DD: two digit date
hh: two digit hour (24 hour system)
mm: two digit minute
YYYY: four digit of year



[hduser@master01 spark]$ date
日  6月  7 00:05:59 CST 2015

[hduser@master01 spark]$ date 060716342015
日  6月  7 16:34:00 CST 2015

[Big Data] Dataset 相關資源

Wiki

http://dumps.wikimedia.org/enwiki/

YAHOO!

http://webscope.sandbox.yahoo.com/catalog.php?datatype=g

Big Data Bench的整理

http://prof.ict.ac.cn/BigDataBench/

Quora的整理

http://www.quora.com/Where-can-I-find-large-datasets-open-to-the-public