Aster Data Systems最近發(fā)布了應(yīng)用于數(shù)據(jù)庫的MapReduce,這是其nCluster數(shù)據(jù)庫的一個組件。
InfoQ已經(jīng)詳細(xì) 介紹了MapReduce,它最初是由Google工程師引入的一種編程模型,旨在提供一種可伸縮的方法來處理大數(shù)據(jù)集。
nCluster是由Aster推出的一個高并行處理(MPP)數(shù)據(jù)庫。其網(wǎng)站這樣描述了nCluster的并行架構(gòu):
Aster nCluster構(gòu)建于獨(dú)特、多層的nCluster架構(gòu)之上,它包含三種獨(dú)立的節(jié)點(diǎn)類:Queens、Workers及Loaders。針對分析處理,該三層設(shè)計(jì)將角色完全隔離并封裝起來。每層都可以獨(dú)立擴(kuò)展以響應(yīng)負(fù)載變化——當(dāng)需要時擴(kuò)充容量(Workers)、加載帶寬(Loaders)或者執(zhí)行并發(fā)(Queens)。
Aster nCluster提供的MapReduce實(shí)現(xiàn)利用相同的架構(gòu),為數(shù)據(jù)庫中執(zhí)行MapReduce計(jì)算留有了余地:
就像針對標(biāo)準(zhǔn)SQL查詢的高并發(fā)執(zhí)行環(huán)境一樣,Aster nCluster為數(shù)據(jù)庫中的并行數(shù)據(jù)分析及傳輸實(shí)現(xiàn)了靈活的MapReduce函數(shù)。Aster nCluster應(yīng)用于數(shù)據(jù)庫的MapReduce函數(shù)很容易編寫,而且可以與SQL語句無縫集成。它們依靠SQL查詢來操縱底層數(shù)據(jù)并提供輸入。該函數(shù)可以操縱輸入數(shù)據(jù)并提供輸出,而這些輸出又可以被SQL查詢使用或者寫到數(shù)據(jù)庫表中。
SQL/MR是由Aster引入的一個特殊的SQL MapReduce函數(shù)庫,可在nCluster平臺中用來調(diào)用map-reduce算法。Aster支持多態(tài)函數(shù)和動態(tài)類型,同時MapReduce計(jì)算可用Java、Python、C++等語言開發(fā)。
請?jiān)L問Aster Data Systems站點(diǎn)以了解有關(guān)應(yīng)用于數(shù)據(jù)庫的Map Reduce及nCluster數(shù)據(jù)庫的更多信息。
查看英文原文:Aster In-Database MapReduce
