異構Spark集群下自適應任務調度策略
楊志偉 鄭烇 王嵩 楊堅 周樂樂
Spark是一種基于內存的類Hadoop MapReduce高效大數據處理平臺,但其默認的任務調度策略在異構Spark集群下未考慮到節點的能力差異,降低了系統性能。為此,提出一種基于異構Spark集群的自適應任務調度策略。該策略通過監測節點的負載及資源利用率,分析監測得到 的參數,自適應動態調整節點任務分配權值。實驗結果表明,在異構節點情況下,該策略在作業完成時間、節點工作狀態及資源利用率方面的性能均優于默認的任務調度策略。
