hadoop2.0新一代mapreduce框架yarn配置

以前一直用的0.20的map reduce框架,今天配置一下yarn,很久不寫 BO-KE 了,來一篇吧,把幾個主要配置文件貼出來,配置修改后,運行wordcount和自己的測試job全ok, core-site.xml: ?xml version=1.0? ?xml-stylesheet type=text/xsl href=configuration.xsl? !-- P

以前一直用的0.20的map reduce框架,今天配置一下yarn,很久不寫 BO-KE 了,來一篇吧,把幾個主要配置文件貼出來,配置修改后,運行wordcount和自己的測試job全ok,

core-site.xml:

fs.defaultFS
hdfs://fc20:9000




hadoop.tmp.dir
/home/ljq/hadoop/tmp




hadoop.native.lib
false
Should native hadoop libraries, if present, be used.

hdfs-site.xml:

dfs.replication
1




dfs.namenode.name.dir
/home/ljq/hadoop/dfs/name




dfs.datanode.data.dir
/home/ljq/hadoop/dfs/data

mapred-site.xml:

mapreduce.framework.name
yarn 一定是小寫yarn否則出現錯誤:java.lang.IllegalStateException: Invalid shuffle port number -1

mapreduce.jobhistory.address jobhistory 的web地址,需要手動啟動
fc20:10020



mapreduce.jobhistory.webapp.address
fc20:10021

yarn-site.xml: 文件里所有yarn都必須小寫,否則相應的端口信息找不到,會在默認端口上啟動進程

The hostname of the RM.
yarn.resourcemanager.hostname
fc20



yarn.nodemanager.aux-services
mapreduce.shuffle



The address of the applications manager interface in the RM.
yarn.resourcemanager.address
fc20:18004



The address of the scheduler interface.
yarn.resourcemanager.scheduler.address
fc20:18003



The address of the RM web application.
yarn.resourcemanager.webapp.address
fc20:18008



The address of the resource tracker interface.
yarn.resourcemanager.resource-tracker.address
fc20:18006

通過netstat可以看見相應端口已經啟動

運行wordcount以及自己寫的mapreduce可以成功完成!

另外jobhistory 不是隨著hdfs和yarn的啟動自動啟動,而是需要手動啟動,曾經為這個納悶了好幾天,
啟動jobhistory進程:

$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start/stop historyserver

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com