面向HDFS的批量文件存儲性能的研究與優(yōu)化
南京師范大學(xué) 蘇義超
本文的主要工作及創(chuàng)新點如下: 1,在研讀HDFS系統(tǒng)源代碼的基礎(chǔ)上,介紹了HDFS典型操作流程和后臺管理工作,剖析了HDFS中元數(shù)據(jù)架構(gòu)體系和通信機制,討論了HDFS系統(tǒng)在批量文件處理時面臨的一些問題和缺陷。 2,針對批量文件存儲時存在的問題,重構(gòu)了批量文件存儲的機制和讀寫流程。在寫入批量用戶文件時,Client客戶端將批量文件合并成一個組文件,并且創(chuàng)建用戶