2015年7月2日星期四

[Hadoop] 用hadoop-daemon.sh啟動Hadoop

最近要測master不參與運算的效能

從slave名單拿掉master後，卻讓整個hadoop都不能運作了

去社群上詢問之後，得到建議用hadoop-daemon.sh start的方法

（我本來都直接用start-all.sh）

雖然要個別開啟，輸入的指令多了一些，但是至少克服了上述的問題

首先在master輸入以下指令，個別啟動

hadoop-daemon.sh start namenode

hadoop-daemon.sh start secondarynamenode

yarn-daemon.sh start nodemanager

yarn-daemon.sh start resourcemanager

檢查一下～

[hduser@master01 ~]$ jps

22550 NameNode

22818 SecondaryNameNode

9958 Master

23420 Jps

23027 NodeManager

23187 ResourceManager

21980 RunJar

接著到要開啟的slave啟動datanode

hadoop-daemon.sh start datanode

檢查一下～

[hduser@slave02 ~]$ jps

11274 Jps

11212 DataNode

4361 Worker

[補充] 在Banana Pi or Raspberry Pi上的路徑不太一樣，要先到hadoop資料夾再啟動

hduser@banana01 ~ $ hadoop-daemon.sh start datanode
-bash: hadoop-daemon.sh：命令找不到
hduser@banana01 ~ $ cd /opt/hadoop/
hduser@banana01 /opt/hadoop $ sbin/hadoop-daemon.sh start datanode

看起來是沒有問題了，在做個最後的檢查～

[hduser@master01 ~]$ hadoop dfsadmin -report

DEPRECATED: Use of this script to execute hdfs command is deprecated.

Instead use the hdfs command for it.

15/07/02 17:28:05 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Configured Capacity: 52844687360 (49.22 GB)

Present Capacity: 47795707904 (44.51 GB)

DFS Remaining: 47795683328 (44.51 GB)

DFS Used: 24576 (24 KB)

DFS Used%: 0.00%

Under replicated blocks: 0

Blocks with corrupt replicas: 0

Missing blocks: 0

-------------------------------------------------

Live datanodes (1): 確認任無達成！

Name: 192.168.70.103:50010 (slave02)

Hostname: slave02

Decommission Status : Normal

Configured Capacity: 52844687360 (49.22 GB)

DFS Used: 24576 (24 KB)

Non DFS Used: 5048979456 (4.70 GB)

DFS Remaining: 47795683328 (44.51 GB)

DFS Used%: 0.00%

DFS Remaining%: 90.45%

Configured Cache Capacity: 0 (0 B)

Cache Used: 0 (0 B)

Cache Remaining: 0 (0 B)

Cache Used%: 100.00%

Cache Remaining%: 0.00%

Xceivers: 1

Last contact: Thu Jul 02 17:28:05 CST 2015

[參考資料]

what is best way to start and stop hadoop ecosystem?http://stackoverflow.com/questions/17569423/what-is-best-way-to-start-and-stop-hadoop-ecosystem

hadoop启动之“hadoop-daemon.sh”详解http://blog.csdn.net/sinoyang/article/details/8021296

2015年6月30日星期二

[Hadoop] 殺掉正在運作的job

查詢任務列表
hadoop job -list

殺掉job
hadoop job -kill jobId

2015年6月23日星期二

[Debian] JAVA JDK在Debian系統的位置 + Hadoop&Spark設定

最近要在裝有Debian系統的Banana Pi安裝Hadoop & Spark

從原本裝在CentOS的master複製過去後發現JAVA的路徑不正確

按照習慣的邏輯卻完全找不到究竟在哪裡，於是費勁千辛萬苦終於找到了

/usr/lib/jvm/jdk-7-oracle-armhf

然後再到以下檔案改Hadoop的參數～

hduser@banana01 ~ $ sudo vi /etc/profile
hduser@banana01 ~ $ vi /home/hduser/.bashrc
hduser@banana01 ~ $ vi /opt/hadoop/libexec/hadoop-config.sh
hduser@banana01 ~ $ vi /opt/hadoop/etc/hadoop/hadoop-env.sh
hduser@banana01 ~ $ vi /opt/hadoop/etc/hadoop/yarn-env.sh

原本大概是長這樣
export JAVA_HOME=/usr/java/jdk1.7.0_65

Banana Pi要改成這樣～
export JAVA_HOME=/usr/lib/jvm/jdk-7-oracle-armhf

別忘了給Hadoop&Spark權限
sudo chown -R hduser:hadoop /opt/hadoop
sudo chown -R hduser:hadoop /opt/spark

如果還有第234....多台Pi要加入cluster
將系統燒成映像檔，再燒入到其他張SD卡再做以下設定即可

各別將它們設定IP
sudo nano /etc/network/interfaces

設定hostname (Banana02)
sudo nano /etc/hostname

最後別忘了給Hadoop&Spark權限
sudo chown -R hduser:hadoop /opt/hadoop
sudo chown -R hduser:hadoop /opt/spark

改完就可以啟動Hadoop&Spark囉！

2015年6月15日星期一

[Linux] CentOS 了解硬體資訊的指令

了解CPU資訊
cat /proc/cpuinfo

CPU有幾核呢～
cat /proc/cpuinfo|grep "model name"|wc -l

了解memory資訊
cat /proc/meminfo

memory總容量是多少呢～
cat /proc/meminfo |grep "Total"

（持續更新中）

2015年6月7日星期日

[Linux] CentOS 更改系統日期、時間的指令

查看系統時間
date

修改系統時間
date MMDDhhmmYYYY

MM: two digit month number
DD: two digit date
hh: two digit hour (24 hour system)
mm: two digit minute
YYYY: four digit of year

[hduser@master01 spark]$ date
日 6月 7 00:05:59 CST 2015

[hduser@master01 spark]$ date 060716342015
日 6月 7 16:34:00 CST 2015