大數(shù)據(jù)時代，海量數(shù)據(jù)如何存儲

 背景：大數(shù)據(jù)時代，數(shù)據(jù)規(guī)模越來越大，由于數(shù)據(jù)的增長速度和非結(jié)構(gòu)化的特點(diǎn)，常用的硬軟件設(shè)備已無法使客戶在可容忍的時間范圍內(nèi)搜索、管理和分析。

Forrester報告顯示，有多達(dá)73%的數(shù)據(jù)未使用，但很少有數(shù)據(jù)被丟棄。仍然保留舊的但很少或從未訪問過的數(shù)據(jù)，主要原因在于：新的分析類型需要，比如長期趨勢分析可能會使這些幾乎被遺忘的數(shù)據(jù)重新啟用。這種數(shù)據(jù)被稱作“冷數(shù)據(jù)”，即是不經(jīng)常訪問、但又無法刪除的數(shù)據(jù)，比如用戶在社交媒體上存儲的大量信息、企業(yè)備份數(shù)據(jù)、業(yè)務(wù)與操作日志數(shù)據(jù)等數(shù)據(jù)。如何有效管理此類數(shù)據(jù)，成為一大難題。但隨著經(jīng)營規(guī)模和日常事務(wù)的增加，存儲相關(guān)成本與日俱增。

一般采取以下四種方法有效管理其冷數(shù)據(jù)：

1、使用便宜但可靠的冷數(shù)據(jù)存儲

對于很少使用或存檔的數(shù)據(jù)，慢速硬盤驅(qū)動器和磁帶是最常用的存儲介質(zhì)。但此類存儲介質(zhì)使用壽命相對固定，在設(shè)備生命周期結(jié)束前，須將數(shù)據(jù)備份到新介質(zhì)上。

2.考慮基于云的冷數(shù)據(jù)存儲

如果不想使用物理外部設(shè)施進(jìn)行數(shù)據(jù)存儲，則可以選擇“云”。

3.年度評估冷數(shù)據(jù)

即使已有存儲冷數(shù)據(jù)的方法，也并不意味著可存儲所有冷數(shù)據(jù)。管理辦和法務(wù)人員須每年評估一次數(shù)據(jù)的“去留”。

4. 使用數(shù)據(jù)/存儲自動化

大多數(shù)分層數(shù)據(jù)存儲是通過人工智能實(shí)現(xiàn)的。人工智能通過用戶定義的存儲數(shù)據(jù)規(guī)則，來確定數(shù)據(jù)存儲位置。很少使用的數(shù)據(jù)或冷數(shù)據(jù)將被分配給速度較慢的磁盤驅(qū)動器或磁帶。自動化的過程不僅確保以最低的成本存儲冷數(shù)據(jù)，而且也能將大量熱數(shù)據(jù)提供給用戶。

金錢貓冷數(shù)據(jù)存儲和數(shù)據(jù)優(yōu)化系統(tǒng)可根據(jù)用戶需要智能分析和管理數(shù)據(jù)，將冷熱數(shù)據(jù)分離，冷數(shù)據(jù)移至低功耗的硬盤中，通過智能電源管理技術(shù)，有效降低存儲服務(wù)器整機(jī)運(yùn)行功耗，并通過清理垃圾數(shù)據(jù)、數(shù)據(jù)去重、備份、歸檔等技術(shù)有效優(yōu)化存儲管理，全面提高存儲效率，降低存儲和運(yùn)營成本。據(jù)測算可降低服務(wù)器硬盤投資成本50%，節(jié)省用電50%。同時數(shù)據(jù)存儲在冷盤中支持在線可訪問，僅5-10S就可響應(yīng)，比光盤、磁帶等離線存儲更理想，更友好，更方便。