2013年5月26日

Hadoop 逐漸成為一個關鍵的重要角色

Hadoop 逐漸成為一個關鍵的重要角色。Hadoop 是 Apache 軟體基金會所發展的雲端計算技術,使用 Java 撰寫並免費開放原始碼,優點在於有良好的擴充性,程式部署快速等,同時能有效地分散系統的負荷

雖然 Hadoop 擅長於處理批次的資料量,但在多維度的資料處理分析上的表現並不佳。
例如,大多數的企業總是會面對更複雜的資料連結(Complex Joins)、ACID 機制的要求(Atomicity-Consistency-Isolation-Durability,這是關聯式資料庫為了確保資料的完整性,所採用的機制,以使資料在存取或異動的過程中不會受到干擾)、即時分析(Real-Time Requirements)、量子電腦演算法(SuperComputing Algorithms)、圖型計算(Graph Computing) 或是資料的持續更新,而 Hadoop在處理這些資料的表現上還稱不上令人滿意的標準。

Hadoop 逐漸成為一個關鍵的重要角色。Hadoop 是 Apache 軟體基金會所發展的雲端計算技術,使用 Java 撰寫並免費開放原始碼,優點在於有良好的擴充性,程式部署快速等,同時能有效地分散系統的負荷。

Google 也為此提出了MapReduce 軟體編程架構,這是一種能以高可靠性與高容錯的方式,運作在由大規模電腦所組成的叢集上的技術,並可透過平行處理方式來處理 PB(Peta-Bytes)等級的資料量。

雖然 Hadoop 擅長於處理批次的資料量,但在多維度的資料處理分析上的表現並不佳。例如,大多數的企業總是會面對更複雜的資料連結(Complex Joins)、ACID 機制的要求(Atomicity-Consistency-Isolation-Durability,這是關聯式資料庫為了確保資料的完整性,所採用的機制,以使資料在存取或異動的過程中不會受到干擾)、即時分析(Real-Time Requirements)、量子電腦演算法(SuperComputing Algorithms)、圖型計算(Graph Computing) 或是資料的持續更新,而 Hadoop在處理這些資料的表現上還稱不上令人滿意的標準。

單就效能面來說,新一代的架構需要在 MapReduce/Hadoop 的基礎上有 10 到 10000 倍效能的提升。

沒有留言:

張貼留言