基于改進(jìn)模擬退火算法的Hadoop云平臺下新型調(diào)度器的研究和開發(fā)

太原理工大學(xué) 李悅

本文所做工作如下： 首先,針對目前的Hadoop平臺,分析,研究了Hadoop的設(shè)計理念,運行機(jī)制,掌握了MapReduce的處理框架,并對Hadoop現(xiàn)有調(diào)度器進(jìn)行了深入的學(xué)習(xí),包括Hadoop默認(rèn)的FIFO先進(jìn)先出調(diào)度器,Hadoop中自帶的公平調(diào)度器,計算能力調(diào)度器,以及在MapReduce事項列表中正式提出且已設(shè)計出但尚未在Hadoop2.0之前的版本中正式使用的資源感知調(diào)度器和自適應(yīng)調(diào)度器。針對以上五種調(diào)度器,探討了它們的設(shè)計理念,并對它們的調(diào)度機(jī)理進(jìn)行了研究和分析,指出了目前各種調(diào)度器中所存在的不同問題。 然后,根據(jù)之前的工作中所總結(jié)的在現(xiàn)有各種調(diào)度器中所存在的普遍問題,本文提出并設(shè)計了一種新型的調(diào)度器,能有效地解決之前調(diào)度器中所存在的對大內(nèi)存需求作業(yè)調(diào)度吃緊的問題。設(shè)計思路采用改進(jìn)型的模擬退火算法,首先對傳統(tǒng)的模擬退火算法進(jìn)行了分析,之后對如何在調(diào)度器中應(yīng)用給出了改進(jìn)方法,根據(jù)Hadoop平臺下的調(diào)度器原理進(jìn)行了基于模擬退火算法新型調(diào)度策略的設(shè)計并依據(jù)該策略開發(fā)了新型的Hadoop調(diào)度器。 最后,本文對新型調(diào)度器進(jìn)行了實際情況測試,包括Hadoop中實現(xiàn)調(diào)度器的自由切換,針對不同類型作業(yè)的調(diào)度情況測試,在同一種作業(yè)下與計算能力調(diào)度器的調(diào)度對比測試等等。

基于改進(jìn)模擬退火算法的Hadoop云平臺下新型調(diào)度器的研究和開發(fā)