售前電話
135-3656-7657
售前電話 : 135-3656-7657
阿里巴巴在中國的一個挑戰(zhàn)就是數據中心。Coly Li表示必須租賃第三方的數據中心,根據地區(qū)和網站,電力供應、制冷和機架容量變化多樣。Li說:“我們沒法要求他們追隨我們的唯一標準,因為基礎架構就擺在那里。”
阿里巴巴考慮采用Facebook的方法是用藍光碟進行冷存儲。Li表示他的團隊目前也沒有證據證明藍光碟會符合低成本和耐久性的需求。他說阿里巴巴寄出了很多藍光廠商,在這一點上也沒有太大的改進。
因此AIS團隊決定用便宜且低性能的HDD。阿里巴巴的硬件設計基于存儲服務器Scorpio數據中心標準項目的一部分,需要18臺3.5英寸的4TB或者8TB HDD,放在1U的服務器上,32個1U服務器放在單獨的機架上。服務器采用英特爾Atom處理器,系統(tǒng)采用10GB的以太網。
Li表示他的團隊希望盡快讓系統(tǒng)上線,決定不構建大型的集群,相反AIS設計了四個“Scorpio”硬件機架的部署單元,通過軟件定義、分布式子集群實現,可以在單元中跨越每一個機架。Li表示部署單元的規(guī)模可以擴展到更多的機架以及子集群,主要取決于數據中心的空間,但是關注的焦點仍舊是單獨的子集群的質量。
“如果這種實施時正確的,大部分時間而言,簡單意味著可靠和高性能,”他說道。
Li還表示前端的系統(tǒng)以各種形式收集數據,包括壓縮的和加密的,從內部網絡和公有源中收集,同時將這些數據傳輸到大型的對象中在Lambert中進行存儲。Lambert中的平均對象規(guī)格目前是100GB,但是Li表示AIS團隊將會按需改變規(guī)模。目前Sheepdog對象存儲系統(tǒng)的數據對象規(guī)模最大為16PB。
一個數據對象存儲在一個單一的具體的軟件定義子集群中。當子集群填滿了,傳輸一個密封狀態(tài),硬盤就會斷電,內存和CPU進入空閑模式,以極低的功耗運作。數據對象隨后鍵入下一個可用的軟件定義子集群。
Li表示每一個封閉的子集群包含足夠的空間,可以接受大約10%或者15%的硬盤失敗。該團隊只有在沒有空間恢復時才會變更硬盤。
大規(guī)模部署中,Lambert系統(tǒng)由許多封閉的服務器組成,工作中的服務器存儲數據,閑置服務器用來存儲?;钴S服務器的群組是最小的。只有一小部分子集群在任何時間都是工作狀態(tài)。
阿里巴巴之所以選擇開源項目Sheepdog是因為其建議性,AIS的冷數據存儲首席軟件工程師Robin Dong說道。Dong表示Sheepdog只有35,000行代碼,阿里巴巴不需要文件系統(tǒng)或者POSIX接口,而且只關注系統(tǒng)層的分布式塊存儲。