基于訪問頻度的數(shù)據(jù)遷移機(jī)制

4K超高清內(nèi)容相比高清內(nèi)容需要更海量的存儲(chǔ)和更高的吞吐性能，為了能高效管理4K數(shù)據(jù)，采用數(shù)據(jù)分級(jí)存儲(chǔ)技術(shù)，根據(jù)數(shù)據(jù)的不同來源、不同結(jié)構(gòu)、不同重要性，存放在不同級(jí)別的存儲(chǔ)設(shè)備中。根據(jù)數(shù)據(jù)的訪問頻率、保留時(shí)間及存儲(chǔ)的剩余容量、讀寫性能要求等因素確定最佳存儲(chǔ)策略，實(shí)現(xiàn)4K超高清內(nèi)容海量數(shù)據(jù)在存儲(chǔ)設(shè)備之間的高效遷移。

4K互動(dòng)電視平臺(tái)的內(nèi)容存儲(chǔ)結(jié)構(gòu)引入分級(jí)存儲(chǔ)技術(shù)，能夠降低總體存儲(chǔ)成本和優(yōu)化性能。將高頻訪問數(shù)據(jù)和有快速訪問響應(yīng)要求的數(shù)據(jù)存入內(nèi)存存儲(chǔ)設(shè)備中，將不經(jīng)常訪問的數(shù)據(jù)駐留在較低成本的存儲(chǔ)設(shè)備中，綜合發(fā)揮高性能存儲(chǔ)設(shè)備的性能優(yōu)勢(shì)和低價(jià)格存儲(chǔ)設(shè)備的成本優(yōu)勢(shì)。

數(shù)據(jù)分級(jí)存儲(chǔ)的邏輯結(jié)構(gòu)主要包括三級(jí)存儲(chǔ)設(shè)備和分級(jí)存儲(chǔ)管理兩部分。其中，歸檔數(shù)據(jù)使用磁帶庫存儲(chǔ)；近線數(shù)據(jù)使用中低性能磁盤庫存儲(chǔ)；在線數(shù)據(jù)分為兩級(jí)，使用高性能磁盤庫存儲(chǔ)所有在線數(shù)據(jù)，使用內(nèi)存數(shù)據(jù)庫存儲(chǔ)高頻率訪問、有快速訪問響應(yīng)要求的數(shù)據(jù)或其他需要高效數(shù)據(jù)訪問的數(shù)據(jù)。

在線存儲(chǔ)設(shè)備適合訪問要求頻繁,并且對(duì)反應(yīng)和數(shù)據(jù)傳輸都要求較高的應(yīng)用。采用SAS或固態(tài)磁盤陣列，用于存儲(chǔ)即將用于制作、編輯、播出的視音頻素材。

近線存儲(chǔ)設(shè)備用于存儲(chǔ)和在線設(shè)備發(fā)生頻繁讀寫交換的數(shù)據(jù)，包括近段時(shí)間采集的視音頻素材或近段時(shí)間制作的節(jié)目等。

離線存儲(chǔ)采用磁帶、磁帶庫等，由于離線到在線的存儲(chǔ)介質(zhì)的裝載過程很長，所以離線存儲(chǔ)用來存儲(chǔ)不常用的冷數(shù)據(jù)包括制作時(shí)間較遠(yuǎn)的節(jié)目等。

在分級(jí)存儲(chǔ)中，數(shù)據(jù)不可避免的要在各級(jí)存儲(chǔ)設(shè)備之間動(dòng)態(tài)轉(zhuǎn)換，即遷移數(shù)據(jù)。數(shù)據(jù)自動(dòng)遷移技術(shù)能最大限度的降低數(shù)據(jù)遷移動(dòng)作本身對(duì)計(jì)算結(jié)點(diǎn)的I/O性能影響，且對(duì)前端透明，根據(jù)前臺(tái)I/O負(fù)載的變化來調(diào)整數(shù)據(jù)遷移速率，使得數(shù)據(jù)遷移動(dòng)作本身對(duì)存能系統(tǒng)的影響非常小，基遷移任務(wù)能夠盡快完成。

滿足遷移條件的數(shù)據(jù)在合適的時(shí)同段會(huì)根據(jù)相應(yīng)的數(shù)據(jù)遷移策略進(jìn)行遷移，本平臺(tái)采用基于訪問頻度為主指標(biāo)的數(shù)據(jù)遷移策略，主要包括基于訪問時(shí)限和訪問頻度的分級(jí)策略、基于平均熱度和訪問頻度的分級(jí)策略以及基于存儲(chǔ)容量和訪問頻度的三種數(shù)據(jù)遷移策略。不同數(shù)據(jù)分級(jí)策略提供了不同的策略標(biāo)準(zhǔn)，根據(jù)不同的應(yīng)用場(chǎng)景和要求，使得數(shù)據(jù)在存儲(chǔ)層之間進(jìn)行數(shù)據(jù)升級(jí)、降級(jí)遷移。

金錢貓科技