Database-Tuning

什麼時候使用像hadoop這樣的技術?

  • June 14, 2012

我知道 MySQL 和其他支持足夠大的數據來儲存和檢索。我也知道諸如 hadoop 和 mapreduce 等開源項目。(只有它們的目的和它們的作用)。

編輯:你什麼時候把 hadoop、pig、mapreduce 等概念引入你的應用程序?我們應該在項目本身開始使用這些軟體,還是可以在數據庫增加到大容量後的後期誘導?任何連結將不勝感激。

(雖然問題很廣泛,但我希望同樣廣泛的答案會引發有用的討論。)

請參閱什麼是 Hadoop?在 SO。

Google 搜尋是 Hadoop 可以回答的問題。想想大型搜尋引擎的特點:

  1. 大量數據
  2. 分佈式數據
  3. 極端並行

評論中提到了可擴展性:使用 Hadoop,將額外的(商品)伺服器加入其中並不難。

關於你的問題。如果你的項目有很多 SQL 和馮諾依曼瓶頸,那麼 Hadoop 就沒有意義了。但是,如果您的數據是“大數據”,結構化程度較低,並且可以並行化,那麼 Hadoop 將更有意義。

引用自:https://dba.stackexchange.com/questions/17782