基于負載均衡的Hadoop動態延遲調度機制
陶永才 李文潔 石磊 劉磊 衛琳 曹仰杰
調度問題作為影響Hadoop集群性能的關鍵因素而成為研究的熱點.延遲調度是常用的提高數據本地性和Hadoop集群性能的方法,但現有的延遲調度算法基于固定的等待時間,而且沒有充分考慮集群的負載均衡.本文提出基于負載均衡的動態延遲調度機制DDS(Dynamic Delay Scheduling).DDS首先基于灰色預測模型,預測未來時刻空閑節點的到達速率;然后結合集群負載狀況和作業執行進度,給每個任務設置合理的延遲等待時間,避免任務的無效等待.任務調度充分考慮節點的實際負載量,防止節點負載過重而導致任務執行緩慢甚至失敗,從而縮短作業的總完成時間.實驗表明,DDS在作業的總完成時間和負載均衡方面優于傳統的延遲調度算法.
