一種面向海量存儲系統的高效元數據集群管理方案
肖中正 陳寧江 魏峻 張文博
高效的、去中心化的元數據管理方案對大型分布式存儲系統的可靠性、可擴展性起至關重要的作用.針對基于Hash劃分和基于子樹劃分的元數據管理方案擴展代價巨大、對集群變動敏感等問題,提出一種基于一致性 Hash結構的元數據服務器(metadata server ,MDS)集群化方案———CH‐MMS (consistent Hash based metadata management schema).CH‐MMS 在一致性 MDS 集群上引入虛擬MDS(Virtual MDS),有效平衡MDS集群負載;將Standby機制與延遲更新策略融合并應用于MDS集群,實現MDS快速失效恢復以及集群變動時零數據遷移量.闡述了CH‐MMS的體系結構,介紹了核心數據結構layout‐table、虛擬MDS結構、延遲更新機制及相關算法,并對CH‐MMS擴展性、容錯性作了定性分析.最后通過原型系統和模擬實驗說明,CH‐MMS具有元數據平衡分布、快速失效恢復、靈活的擴展性以及零結點變動數據遷移量等特點,能滿足數據量不斷增加的大規模存儲集群元數據靈活、高效管理的需求.
