利用下一代HadoopYARN構建輕量級彈性計算平臺

作者: Dong | 新浪微博： 西成懂 | 可以轉載, 但必須以超鏈接形式標明文章原始出處和作者信息及版權聲明 網址:http://dongxicheng.org/mapreduce-nextgen/use-hadoop-yarn-to-build-a-cloud-system/ 本博客的文章集合:http://dongxicheng.org/recommend/ 重

作者:Dong | 新浪微博：西成懂 | 可以轉載, 但必須以超鏈接形式標明文章原始出處和作者信息及版權聲明
網址:http://dongxicheng.org/mapreduce-nextgen/use-hadoop-yarn-to-build-a-cloud-system/
本博客的文章集合:http://dongxicheng.org/recommend/

---

重大消息：我的Hadoop新書《Hadoop技術內幕：深入解析MapReduce架構設計與實現原理》已經開始在各大網站銷售了，購書鏈接地址： 當當購書網址，京東購書網址，卓越購書網址。新書官方宣傳主頁： http://hadoop123.com/。

---

YARN（Yet Another Resource Negotiator）是下一代Hadoop的一個分支（注意：目前YARN尚不成熟穩定，各大公司普遍使用的還是Hadoop 1.0，但YARN是未來發展趨勢，可以提前了解和學習它），它是一個資源管理系統，其上可以運行各種計算框架和應用程序，關于YARN，我已經在多篇文章中進行了介紹:

（1）”相比于MRv1，YARN帶來的優勢是什么？”

（2）”Hadoop 2.0中的基本術語解釋”

（3）”淺談Borg/YARN/Mesos/Torca/Corona一類系統”

（4）”多集群下資源共享方案介紹”

（5）”解析Google集群資源管理系統Omega”

更多文章可參考：下一代Hadoop YARN全面剖析。

YARN是未來的一個趨勢，YARN本身已經變成了一個云操作系統，很多新的計算框架或者應用程序不再基于傳統的操作系統開發（比如Linux）,而是基于YARN這個云操作系統，YARN提供了資源管理和資源調度等機制，這意味著，很多新的計算框架或者應用程序脫離了YARN將不再可以單獨運行，典型的代表是DAG計算框架Tez和Spark（Spark也可以運行在另一個與YARN類似的資源管理系統Mesos上）。

當前很多計算框架都開發了YARN版本，以能夠直接運行在YARN上。本文進行簡單的梳理。

（1） MapReduce：MapReduce是一個非常經典的離線計算框架，在MRv1中，MapReduce應用程序運行在由JobTracker和TaskTracker組成的運行時環境中，而在YARN中，不再有JobTracker和TaskTracker這樣的服務組件，取而代之的是一個組件ApplicationMaster，它只負責應用程序相關的管理，比如任務切分和調度、任務監控和容錯等，而資源相關的調度和管理交給YARN完成。

（2） Tez：Hortonworks開源的DAG計算框架，在MAPREDUCE基礎上擴展而來的，重用了MapReduce大量代碼，僅支持運行在YARN上，不可單獨運行。Tez介紹可參考我的這篇文章：“Apache Tez：一個運行在YARN之上支持DAG作業的計算框架”。

（3）Storm：實時計算框架，運行時環境由Nimbus和supervisor等組件組成，目前storm團隊正準備將其移植到YARN上（具體參考：storm plugin for Hadoop YARN：https://groups.google.com/forum/?fromgroups#!topic/storm-user/XBHCau0e5nA），而Yahoo甚至已經開源了一個簡單的版本（具體見：https://github.com/yahoo/storm-yarn）。

（4）Spark：Spark是一個基于內存實現的MapReduce計算框架，某些應用場景下更加高效，它目前已經支持運行在YARN上（https://github.com/tweetmagik/spark-yarn）。

隨著開源界的發展和推進，最終，YARN之上可以運行各種應用類型的計算框架，包括離線計算框架MapReduce，實時計算框架Storm，DAG計算框架Tez等，真正實現一個集群多用途，這樣的集群或者系統，我們通常稱為輕量級彈性計算平臺，說它輕量級，是因為YARN采用了cgroups輕量級隔離方案，說它彈性，是因為YARN能根據各種計算框架或者應用的負載或者需求調整它們各自占用的資源，實現集群資源共享，資源彈性收縮。在不久的將來，普遍采用的部署方案應該如下：

當然，隨著YARN朝著資源管理系統方向更好地發展，最終Impala和Hbase（Hbase已經在做了，參考：https://issues.apache.org/jira/browse/HBASE-4329）這種系統，均可以部署到YARN之上，這樣，凡是跟計算沾邊的系統均可以部署到YARN上。

原創文章，轉載請注明： 轉載自董的博客

本文鏈接地址: http://dongxicheng.org/mapreduce-nextgen/use-hadoop-yarn-to-build-a-cloud-system/

作者：Dong，作者介紹：http://dongxicheng.org/about/

本博客的文章集合:http://dongxicheng.org/recommend/

---

Copyright © 2013
This feed is for personal, non-commercial use only.
The use of this feed on other websites breaches copyright. If this content is not in your news reader, it makes the page you are viewing an infringement of the copyright. (Digital Fingerprint:
)

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com