Hadoop

單台 PC 上的 MapReduce 性能

  • December 18, 2012

我聽說 Hadoop 的性能比 MySQL 好。到目前為止,我一直在使用關係數據庫,所以這對我來說真的是一種新技術。我有一台6核PC。假設我有一個包含 20 列和 500 萬行的表。Hadoop 是否為 Select、Insert 和 Update 等操作提供了更好的性能?

Hadoop 1.1中Create Table、Select、Update、Insert等的等效命令是什麼?

傳統上,Hadoop 的案例是當您需要將數據儲存拆分到數十台或更多台機器上,並且您沒有使用傳統的 RDBMS 解決方案。當您只有一台機器時,您可能會否定使用 Hadoop 所提供的任何潛在收益。

此外,大多數 DBA 認為 20 列 * 500 萬行是一個小型數據庫,除了索引查找之外,在優化方面沒有太大價值,因為大多數 DBMS 會很快處理這麼多的資訊。

然而,回到 Hadoop 的主題,是這樣的:Hadoop 是一個分佈式文件系統,而不是一個完全的數據庫。Hadoop 的一個潛在用途(我非常了解)是當您擁有大量具有通用數據格式的二進製文件時,您需要對每個二進製文件執行相同的操作,或者您需要找到那些二進製文件文件快速。在這種情況下,Hadoop 實際上是 DFS 上所有文件的大型查找引擎。通過這種方式,您可以快速找到執行並行數據分析所需的文件。CERN 就是這樣一個使用 Hadoop 實現這一目標的組織。

當傳統的 RDBMS 可以很好地滿足您的需求時,我不鼓勵您考慮將數據轉換到 Hadoop。

引用自:https://dba.stackexchange.com/questions/30594