云動力高性能云存儲平臺

隨著近期互聯網、移動手機、物聯網及種類繁多的傳感器的迅速發展,在全世界范圍內產生了海量的數據信息,這些數據的容量不斷呈指數及增長。盡管一些大型云??樘峁┥倘繆鍬硌?Amazon S3)、谷歌(Google)的云存儲平臺已經在這方面取得了巨大成功,但安全和隱私已成為企業用戶最為關切的問題,出于對安全風險的憂慮,如難以克服的隱私、數據?;ず凸┯ι趟ǖ?,使得近年來企業的IT部門更關注私有云,采用自建云存儲的方案,來提供滿足其個性化需求和商業化需求的可用???。 其次,由于大數據下的分析相比于傳統的數據倉庫應用,具有數據量大、查詢分析復雜等特點,目前市場主流云存儲系統的無法充分提供高效的大數據級別的元數據隨機讀取、搜索及排序。一份AFCOM (data centre trade organisation)的調查顯示超過63%的企業的IT主管已經發現嚴重存儲成本的增加。據國際數據資訊公司(International Data Corporation)統計,超過80%的企業在尋找并嘗試有效的重復數據刪除的解決方案來降低企業運營成本及增加效率。在這迅速增長海量的大數據中含有大量的沒必要的重復數據,降低了系統性能并大大增加了成本。 云動力海量高性能云存儲平臺采用分布式跨域架構,實現存儲負載均衡,通過采用不同節點的多分冗余,實現存儲服務高可用性、高安全性,同時可提供多元化類型的無限量數據存儲。充分滿足用戶對海量數據存儲、下載、交互等各方面的需求。

  • 云存儲平臺重復數據管理功能:通過使用SHA-256對數據的檢驗值進行區分,若多個對象的松散數據SHA-256校驗值相同,則所有這些對象的元數據中的松散數據地址指向全局共享數據空間內的同一個存儲路徑位置;若用戶對于開啟重復數據共享功能的容器進行數據刪除操作,系統將檢查對應松散數據是否還被共享給其他容器,若無共享,那么刪除對應數據;若有共享,則仍然保留該數據。

  • 云存儲平臺REST接口(API)實現:用戶可以通過本平臺提供的REST接口,在任何時間、任何地點、任何互聯網設備上進行上傳和下載數據?;詬么媧⑵教?,用戶可以搭建出各種多媒體分享網站、網盤、個人和企業數據備份等基于大規模數據的服務。
  • 云存儲平臺企業私有云安裝包:將環境和平臺的安裝和配置編輯成一套腳本文件,方便企業進行安裝。
  • 云存儲跨平臺數據同步客戶端:幫助用戶在多臺設備和不同操作系統平臺上自動同步、安全備份和輕松共享文件。

云動力云存儲平臺特性:

  • 高擴展性與高性能:存儲需求最近幾年呈指數級增長,針對文件內容和文件元數據無縫且快速地伸縮是必要的。傳統儲存系統通常將文件數據及其元數據存儲在同一個文件系統中,并且大多數時候儲存在相同的物理設備上。現代一些分布式系統,為了提升擴展性和性能,將元數據分開存儲在一個或多個元數據服務器中。然而,其中的大多數系統在高并發訪問率的情況下仍然遭遇瓶頸。云動力云存儲平臺具備PB級文件管理能力,支持上十億條元數據記錄高效存寫讀取。
  • 數據持久性:相對于硬件故障與無法預測的災難,更為常見的是用戶人為的錯誤,即數據無意地刪除或重寫。云動力云存儲平臺具有冗余、版本控制、恢復機制等特性,以確保數據的持久性和可用性。
  • 支持多種價格模型:傳統軟件價格模型是一次付費終身使用。云動力云存儲平臺具備一套高效的監控框架,記錄所有資源的使用狀況,包括網絡數據傳輸、I/O請求、存儲數據量(文件內容和文件元數據)和用于計算的資源消耗。 本平臺支持按需付費、按月租付費等多種方式。
  • 安全模型:云動力云存儲平臺安全模型用于保證存儲的文件能夠在正確的時間、正確的地點被正確的人訪問,并且在保證性能的同時提供適當且準確的安全控制。

應用場景:

不同用戶使用云存儲服務的目的不同,存儲文件的大小和格式也不同。一些用戶使用云來存儲大的音視頻文件,一些用戶則使用云來存儲大量相對較小的文件。不同的使用目的形成訪問存儲文件方式的多樣性。文件本身的一些自然屬性,如大小、格式和訪問方式等,也是影響云存儲服務質量的主要因素。云動力云存儲平臺可以靈活運用在多種領域,例如:

  • 計算存儲:大量科學界和企業界的應用對計算和數據的需求越來越多。數據密集型和IO 密集型的應用,例如生物信息學分析和日志處理,需要TB級的存儲數據和頻繁的I/O操作。對于這類應用,要想獲得全局的性能提升,通常需要云存儲系統提供與數據級規模相當的處理能力。云動力云存儲平臺支持MapReduce框架部署于平臺之上,該框架可以通過設置計算任務、處理存儲在存儲平臺上的數據來提供按需服務。
  • 小文件存儲:許多大型電子商業公司和社交網站存儲了大量的小文件,這些文件大多是圖像文件,并且數量在持續不斷增長。每一秒鐘,都會有大量用戶請求這些文件。由于小文件的元數據相對于文件本身占用更多空間,因此對小文件的大量并發訪問將導致對元數據的不斷查詢,進而造成過度和冗余的I/O操作。這種情況最容易造成系統瓶頸。云動力存儲平臺從設計上完全解決小文件存儲和讀寫可能造成的性能問題,支持PB級海量大小文件操作。
  • 元數據操作密集型存儲:元數據是描述數據文件的數據。通常,元數據包括事件的時間、作者姓名、位置信息和標題等。各種科學實驗的相關信息,如溫度、濕度等其它一些數據,都可以作為實驗文件的元數據,且已經成為文件存儲中不可分割的一部分。對于元數據密集型存儲的應用,元數據的精確標識和對元數據查詢的支持將給存儲的原文件帶來較大的附加值,并確保分析和計算能夠正確高效地進行。但是大多數存儲系統不具備對元數據進行高效搜索的能力,特別是對用戶定義的元數據。云動力云存儲平臺提供全面的對對象數據的存儲服務的同時,并提供元數據的存儲,索引和搜索服務。