基于MapReduce技術(shù)的Argo浮標剖面信息融合算法

蔣華  胡瑩

針對目前Argo浮標剖面以單一浮標為分析單元造成的分析不全面,以及單機處理造成的計算時間長且復雜等問題,提出一種以經(jīng)緯度網(wǎng)格單元為分析對象,采用MapReduce技術(shù)與主曲線相結(jié)合的信息融合算法。在Map階段,從大量數(shù)據(jù)文件中提取Argo浮標的有效信息,并對所提取的有效Argo剖面信息進行經(jīng)緯度劃分。在Reduce階段,生成各劃分區(qū)域Argo浮標主剖面:首先對數(shù)據(jù)進行歸一化處理,然后利用K主曲線理論獲得由少量剖面點和折線組成且包含區(qū)域剖面特征的主剖面,從而實現(xiàn)海量Argo浮標的信息融合。通過全球Argo浮標樣本數(shù)據(jù)對所提算法進行驗證,新的信息融合算法在投影距離為0.03~0.10時殘差均值小于0.1,且相比傳統(tǒng)的單機處理方式,存儲空間節(jié)約99.4%,計算速度提升36.4%。驗證結(jié)果表明,所提算法在保證生成主剖面準確度的同時節(jié)省了極大的存儲空間,提高了計算速度。

基于MapReduce技術(shù)的Argo浮標剖面信息融合算法