|
|
MapReduce 本地性負載平衡 的搜索結果
MapReduce模型下數據本地性負載平衡策略研究
大連海事大學 陳一
本文所提出的方法針對MapReduce作業過程中的Partition部分的分區算法進行調整和優化,設計實現了一個基于數據本地性的負載均衡策略(DALP)。通過合理的抽樣,對作業數據進行預處理,分析出數據中各key的頻數分布情況,然后利用分析的數據制定一個數據聚合策略(DA),該策略考慮了 key的數據大小,可以更加合理地為各Reduce節點分配數據,能有效地緩解集
大連海事大學 陳一
本文所提出的方法針對MapReduce作業過程中的Partition部分的分區算法進行調整和優化,設計實現了一個基于數據本地性的負載均衡策略(DALP)。通過合理的抽樣,對作業數據進行預處理,分析出數據中各key的頻數分布情況,然后利用分析的數據制定一個數據聚合策略(DA),該策略考慮了 key的數據大小,可以更加合理地為各Reduce節點分配數據,能有效地緩解集
http://m.712333com.com/show.aspx?id=19591&cid=13日期：2015/4/1 7:55:05
- 1/1
- 1