|
|
Hadoop 數據分配 數據局部性 異構集群 的搜索結果
針對Hadoop異構集群節點性能的數據分配策略
林常航 郭文忠 陳煌寧
當前Hadoop的實現主要針對同構集群,假設任務處理的數據基本是本地的.然而,實際應用中集群多為異構.這暴露出現有的數據分配策略對數據局部性考慮的不足,其產生的不必要數據傳輸耗費了大量的帶寬資源和傳輸時間.通過結合Hadoop中數據放置與任務執行的關系,按不同節點對不同任務的執行能力進行數
林常航 郭文忠 陳煌寧
當前Hadoop的實現主要針對同構集群,假設任務處理的數據基本是本地的.然而,實際應用中集群多為異構.這暴露出現有的數據分配策略對數據局部性考慮的不足,其產生的不必要數據傳輸耗費了大量的帶寬資源和傳輸時間.通過結合Hadoop中數據放置與任務執行的關系,按不同節點對不同任務的執行能力進行數
http://m.712333com.com/show.aspx?id=19991&cid=13日期：2015/5/1 10:31:39
- 1/1
- 1