基于MapReduce技術(shù)的Argo浮標(biāo)剖面信息融合算法

蔣華  胡瑩

針對目前Argo浮標(biāo)剖面以單一浮標(biāo)為分析單元造成的分析不全面,以及單機(jī)處理造成的計算時間長且復(fù)雜等問題,提出一種以經(jīng)緯度網(wǎng)格單元為分析對象,采用MapReduce技術(shù)與主曲線相結(jié)合的信息融合算法。在Map階段,從大量數(shù)據(jù)文件中提取Argo浮標(biāo)的有效信息,并對所提取的有效Argo剖面信息進(jìn)行經(jīng)緯度劃分。在Reduce階段,生成各劃分區(qū)域Argo浮標(biāo)主剖面:首先對數(shù)據(jù)進(jìn)行歸一化處理,然后利用K主曲線理論獲得由少量剖面點(diǎn)和折線組成且包含區(qū)域剖面特征的主剖面,從而實現(xiàn)海量Argo浮標(biāo)的信息融合。通過全球Argo浮標(biāo)樣本數(shù)據(jù)對所提算法進(jìn)行驗證,新的信息融合算法在投影距離為0.03~0.10時殘差均值小于0.1,且相比傳統(tǒng)的單機(jī)處理方式,存儲空間節(jié)約99.4%,計算速度提升36.4%。驗證結(jié)果表明,所提算法在保證生成主剖面準(zhǔn)確度的同時節(jié)省了極大的存儲空間,提高了計算速度。

基于MapReduce技術(shù)的Argo浮標(biāo)剖面信息融合算法