日韩精品一区二区三区swag_一区二区三区在线高清_亚洲国内欧美_国产精品xnxxcom

你好,游客 登錄
背景:
閱讀新聞

[PDF]基于Hadoop的云平臺在海量Web數據分析中的應用研究

[日期:2015-03-20] 來源:CNKI  作者:陳富漢 [字體: ]

基于Hadoop的云平臺在海量Web數據分析中的應用研究

南京大學  陳富漢

為了提高傳統單一節點在海量Web數據分析和挖掘中存在時間和空間效率,通過分析Hadoop云計算開源平臺技術的國內外研究現狀和發展趨勢,基于Hadoop開源框架分布式文件系統(HDFS)和Map/Reduce編程模型,研究了海量Web日志性能指標和一種Web挖掘算法的Map/Reduce化過程,設計了海量Web數據分析系統架構,搭建了Hadoop開發平臺,實現了一個分布式的海量Web數據分析系統的開發。該系統集成了數據和應用,并通過Hadoop的應用程序編程接口(API)連接到Eclipse中,利用Maven管理和構建Hadoop項目,實現任務之間的共享操作。 通過在虛擬機搭建了4個節點的Hadoop集群環境系統測試平臺,測試分析了該系統和傳統系統的Shell腳本處理,統計分析了Hadoop平臺Web日志數據的采集和其關鍵績效指標(KPI),完成基于物品的協同過濾算法并行程序測試,測試結果表明該系統有效提高了海量Web數據分析和挖掘的時間和空間效率。


基于Hadoop的云平臺在海量Web數據分析中的應用研究

推薦 打印 | 錄入: | 閱讀:
本文評論   
評論聲明
  • 尊重網上道德,遵守中華人民共和國的各項有關法律法規
  • 承擔一切因您的行為而直接或間接導致的民事或刑事法律責任
  • 本站管理人員有權保留或刪除其管轄留言中的任意內容
  • 本站有權在網站內轉載或引用您的評論
  • 參與本評論即表明您已經閱讀并接受上述條款
主站蜘蛛池模板: 西盟| 汝南县| 类乌齐县| 民乐县| 平陆县| 璧山县| 隆尧县| 台东市| 溆浦县| 巴彦淖尔市| 沁阳市| 吕梁市| 祥云县| 军事| 那坡县| 哈巴河县| 宜阳县| 朝阳区| 杭州市| 马山县| 宣威市| 商南县| 九龙城区| 尚义县| 甘南县| 乌拉特前旗| 松滋市| 新蔡县| 泰和县| 南昌县| 平湖市| 美姑县| 叙永县| 常德市| 滕州市| 九江县| 咸宁市| 黄平县| 南投市| 香港| 沙雅县|