BigData-09-Greenplum概述及架構

0.寫在前面: 0.1. 此筆記是參考《Greenplum企業應用實戰》、《PostgreSQL8.2.3 中文文檔》和《Getting Started with Greenplum for Big Data Analytics》整理； 0.2. 《Greenplum企業應用實戰》購買地址：【京東商城】 【 當當網】 0.3.參考網頁（持續更新）

0.寫在前面:

0.1. 此筆記是參考《Greenplum企業應用實戰》、《PostgreSQL8.2.3 中文文檔》和《Getting Started with Greenplum for Big Data Analytics》整理；

0.2. 《Greenplum企業應用實戰》購買地址：【京東商城】 【 當當網】

0.3.參考網頁（持續更新）

1. Greenplum概述及架構

1.1. 什么是Greenplum

1) 為全球大型企業用戶提供新型企業級數據倉庫(EDW)、企業級數據云(EDC)和商務智能(BI)提供解決方案和咨詢服務，專注于OLAP系統數據引擎開發；

2) 海量并行處理(Massively Parallel Processing) DBMS:

Greenplum的架構采用了MPP(大規模并行處理)，在 MPP 系統中，每個 SMP節點也可以運行自己的操作系統、數據庫等。換言之，每個節點內的 CPU 不能訪問另一個節點的內存。節點之間的信息交互是通過節點互聯網絡實現的，這個過程一般稱為數據重分配(Data Redistribution) 。

SMP（SymmetricMulti-Processing），對稱多處理結構的簡稱，是指在一個計算機上匯集了一組處理器(多CPU),各CPU之間共享內存子系統以及總線結構。在這種技術的支持下，一個服務器系統可以同時運行多個處理器，并共享內存和其他的主機資源。傳統的ORACLE和DB2均是此種類型，ORACLE RAC 是半共享狀態；

與傳統的SMP架構明顯不同，通常情況下，MPP系統因為要在不同處理單元之間傳送信息，所以它的效率要比SMP要差一點，但是這也不是絕對的，因為 MPP系統不共享資源，因此對它而言，資源比SMP要多，當需要處理的事務達到一定規模時，MPP的效率要比SMP好。這就是看通信時間占用計算時間的比例而定，如果通信時間比較多，那MPP系統就不占優勢了，相反，如果通信時間比較少，那MPP系統可以充分發揮資源的優勢，達到高效率。

3) 基于PostgreSQL 8.2開源版本，具有相同的客戶端功能，增加支持并行處理的技術，增加支持數據倉庫和BI的特性；

4) 外部表(external tables)/并行加載(parallel loading)：外部表是指數據庫可以直接使用操作系統中的數據文件，在Greenplum 4.2版本中支持對外部表的讀寫操作；

5) 資源管理：基于PostgreSQL增加了并行度的處理；

6) 查詢優化器增強(query optimizer enhancements)：增加對分布式的支持，空間的回收和分析，不需要進行多方面的調優。

1.2. Greenplum 體系架構

圖一

Greenplum是一種基于ProstgreSQL的分布式數據庫，其采用Shared-Nothing架構、主機、操作系統、內存、存儲都是自我控制的，不存在共享。

補充：SharedDisk與Shared Nothing介紹

圖二

圖三

1.2.1.Master Host

1) 建立與客戶端的會話連接和管理；

2) SQL的解析并形成分布式的執行計劃；

3) 將生成好的執行計劃分發到每個Segment上執行；

4) 收集Segment的執行結果；

5) 不存儲業務數據，只存儲數據字典；

6) 可以一主一備，分布在兩臺機器上，為了提高性能，最好單獨占用一臺機器。

1.2.2.Segment Host

1) 業務數據的存儲和存?。?/p>

2) 執行由Master分發的SQL語句；

3) 對于Master來說，每個Segment都是對等的，負責對應數據的存儲和計算；

4) 每一臺機器上可以配置一到多個Segment，因此建議采用相同的機器配置。

1.2.3.Interconnect

1) 是GP數據庫的網絡層，在每個Segment中起到一個IPC作用；

2) 推薦使用千兆以太網交換機做Interconnect；

3) 支持UDP和TCP兩種協議，推薦使用UDP協議，因為其高可靠性、高性能以及可擴展性；而TCP協議最高只能使用1000個Segment實例。

1.3.網絡配置示例

圖四

圖四顯示一個常見的網絡配置示例，其中X4200是主節點，X4500(Segment host1)是主從節點，當主節點宕機后會主節點服務切換到此節點上，X4500(Segment host2)是從節點。

每個網絡接口對應不同的網口，隔離到獨立網絡，保證不會競爭其他端口的網絡帶寬，提高網絡的可靠性；串口連接到交換機是管理員管理的窗口。

1.4.Greenplum 高可用性體系架構

圖五

圖五中顯示高可用性體系的示例圖，其中按照從左到右且從上到下依次是主從節點，主節點，客戶端，私有局域網以及從節點集群，實現功能和圖一基本一致。

1.5.Master/Standby 鏡像保護

圖六

圖六說明：Standby 節點用于當 Master 節點損壞時提供 Master服務，Standby 實時與Master 節點的Catalog 和事務日志保持同步，確保系統的變更信息不會丟失，提升系統的健壯性。

1.6.數據冗余-Segment 鏡像保護

圖七

圖七說明：

1) 當GP配置了鏡像節點之后，主節點不可用時會自動切換到鏡像節點，集群仍然保持可用狀態。當主節點恢復并啟動之后，主節點會自動恢復期間的變更；

2) 只要Master不能連接上Segment實例時，就會在系統表中將此實例標識為不可用，并用鏡像節點來代替，一般需要和主節點位于不同的服務器上，當Primary Segment失敗時，Mirror Segment將自動提供服務，Primary Segment恢復正常后，使用gprecoverseg –F 同步數據

1.7.Segment 主機硬件配置示例

圖八

1.8.網絡冗余

圖九

圖九說明：

1) 數據之間存在冗余，網絡也存在冗余；

2) 公共網絡連接到主節點，主節點通過一臺或者多臺交換機連接到子節點。

聲明：本網頁內容旨在傳播知識，若有侵權等問題請及時與本網聯系，我們將在第一時間刪除處理。TEL:177 7030 7066 E-MAIL:11247931@qq.com