MapReduce模型下數據本地性負載平衡策略研究
大連海事大學 陳一
本文所提出的方法針對MapReduce作業過程中的Partition部分的分區算法進行調整和優化,設計實現了一個基于數據本地性的負載均衡策略(DALP)。通過合理的抽樣,對作業數據進行預處理,分析出數據中各key的頻數分布情況,然后利用分析的數據制定一個數據聚合策略(DA),該策略考慮了 key的數據大小,可以更加合理地為各Reduce節點分配數據,能有效地緩解集群節點的負載不平衡問題,提高了集群整體性能。
|
|
|
背景：
閱讀新聞
相關新聞
MapReduce 本地性負載平衡
本文評論
|