藍美視訊飛編大師分布式存儲技術(shù)介紹

　　一、 產(chǎn)品介紹

　　藍美視訊飛編大師分布式存儲系統(tǒng)的定位是服務(wù)于企業(yè)數(shù)據(jù)化的基礎(chǔ)平臺。旨在幫助企業(yè)解決運營和生產(chǎn)過程中各類業(yè)務(wù)產(chǎn)生的異構(gòu)數(shù)據(jù)的存儲、共享、安全、擴展、性能、可管理性等實際需求;并為特定的行業(yè)用戶提供完全自主可控的數(shù)據(jù)存儲解決方案;為各類業(yè)務(wù)的異構(gòu)數(shù)據(jù)存儲和共享提供高可靠和高性能服務(wù)。飛編大師的核心是全對稱的分布式文件系統(tǒng),通過自研的多協(xié)議中間件使業(yè)務(wù)系統(tǒng)可以同時使用不同的接口和協(xié)議存取全局統(tǒng)一命名空間中數(shù)據(jù)。

　　高可靠性

　　藍美視訊飛編大師將文件數(shù)據(jù)切片加密后，按照既定的數(shù)據(jù)分布策略均衡的分布在飛編大師集群的各個節(jié)點中。即便集群中存在存儲介質(zhì)或節(jié)點失效，飛編大師的數(shù)據(jù)分布策略依舊可以自動重建所需的數(shù)據(jù)。飛編大師的硬件架構(gòu)均采用冗余設(shè)計,在業(yè)務(wù)存取過程中發(fā)生某種硬件故障時，飛編大師的硬件冗余設(shè)計可確保對應(yīng)的業(yè)務(wù)請求被正確處理、從而支持業(yè)務(wù)無中斷地可靠運行。

　　高性能

　　藍美視訊飛編大師分布式存儲系統(tǒng)支持10GbE、25GbE、40GbE、100GbE和InfiniBand等高速網(wǎng)絡(luò)。同時飛編大師分布式文件系統(tǒng)在整個數(shù)據(jù)存取過程進行了充分的設(shè)計與優(yōu)化。獨有Unimem、MultipathX和Bighash技術(shù)使數(shù)據(jù)在存取過程中定位速度更快;存取延遲更小;充分利用多個網(wǎng)口的性能。

　　高擴展性

　　藍美視訊飛編大師分布式存儲系統(tǒng)的容量可以擴展到數(shù)百PB，支持在線擴容，擴容過程中不會中斷正在運行的業(yè)務(wù)，整個擴容過程可以在幾分鐘內(nèi)完成。分布式存儲系統(tǒng)通過新的節(jié)點進行橫向擴容，擴容過程對業(yè)務(wù)系統(tǒng)完全透明，擴容后可立即獲得更高的聚合性能和更大的容量。用戶可以隨時按需購買配置，這將大大降低用戶的采購和使用成本。

　　1.基于標(biāo)準硬件

　　藍美視訊飛編大師基于標(biāo)準x86架構(gòu)的存儲服務(wù)器，使用高性能IntelXEON系列高性能處理器，配件配置豐富，支持多種網(wǎng)絡(luò)接口。

　　2.統(tǒng)一命名空間和多種訪問協(xié)議

　　統(tǒng)一命名空間將多個節(jié)點的磁盤資源聚集成一個單一的虛擬存儲池，存儲資源可以根據(jù)需要在進行在線擴展，對上層用戶和應(yīng)用完全透明，用戶無需改變原有網(wǎng)絡(luò)結(jié)構(gòu)即可快速訪問存儲池內(nèi)的所有資源。飛編大師支持多種標(biāo)準共享協(xié)議FTP、NFS、CIFS、Amazon S3、Hadoop等。與SAN文件系統(tǒng)不同，用戶無需安裝任何客戶端軟件即可訪問存儲內(nèi)的數(shù)據(jù)。

　　3.易于管理

　　飛編大師分布式存儲系統(tǒng)提供多種系統(tǒng)管理接口CLI、WebGUI和ReST API，簡單靈活的管理模塊極大簡化了管理員對系統(tǒng)管理的難度，有效降低了系統(tǒng)的管理成本。

　　4. 支持多種網(wǎng)絡(luò)環(huán)境

　　飛編大師分布式存儲系統(tǒng)是基于通用服務(wù)器硬件組成的，前端和后端網(wǎng)絡(luò)可使用支持標(biāo)準TCP / IP的硬件，例如10GbE、40GbE、100GbE或InfinBand(IPoIB)。

　　高性價比

　　飛編大師分布式存儲系統(tǒng)可以利用多個所謂的低端硬件通過特有技術(shù)組合，使其總體性能接近高端硬件。例如，節(jié)點上使用 4 個 10GbE 端口作為后端網(wǎng)絡(luò)，特有技術(shù)使其性能接近 1 個 40GbE 端口

　　對外提供統(tǒng)一的文件共享視圖，所有的應(yīng)用服務(wù)器都看到相同的文件視圖。集中的數(shù)據(jù)共享存儲，方便用戶各業(yè)務(wù)部門之間進行數(shù)據(jù)協(xié)同處理，極大提高了用戶的整體生產(chǎn)效率。卓越的數(shù)據(jù)讀寫加速技術(shù)極大縮短了對應(yīng)用程序的響應(yīng)時間，高聚合性能有效支撐文件密集型應(yīng)用的需求。系統(tǒng)提供的“即插即用”快速擴充性能與存儲容量能力，在新增存儲節(jié)點的同時不影響業(yè)務(wù)的連續(xù)性，業(yè)務(wù)端可即時使用增加的存儲容量與帶寬。

　　產(chǎn)品規(guī)格

飛編大師節(jié)點整體示意圖

　　二、 產(chǎn)品性能測試

　　測試環(huán)境

　　一套3節(jié)點飛編大師集群，EC策略：2+1:1;

　　1.節(jié)點配置

　　節(jié)點配置，36*10TB SATA HDD(型號：ST10000NM0478)，2*960GB SSD，4張 2*25GbE(型號：Mellanox MCX4121A-ACUT)

　　2.客戶端配置

　　* 8臺蘋果客戶端，2臺iMAC Studio、6臺iMAC PRO

　　* 操作系統(tǒng)macOS Monterey 12.1

　　* ATTO NS 3102雷電轉(zhuǎn)萬兆/QNAP

　　* QNA-T310G1S雷電轉(zhuǎn)萬兆

　　* 標(biāo)準的CIFS共享

　　3.測試工具

　　* 非編軟件:Adobe Premiere Pro 2021

　　* 帶寬測試工具：vdbench

　　測試結(jié)果

　　Premiere測試結(jié)果

　　單iMAC PRO (開啟Multichannel )

　　注：

　　*4K ProRes 444 視頻格式為MOV，每軌要求帶寬約180MB/s

　　*測試數(shù)據(jù)為MAC Studio連接兩個QNA-T310G1S，通過兩個萬兆開啟Multichannel連接存儲，iMAC pro通過1個QNA-T310G1S連接存儲

　　*單iMAC PRO在回放5軌時CPU使用率已經(jīng)超過95%，所以已經(jīng)到達CPU的處理極限。

　　Vdbench測試結(jié)果

　　單Mac(開啟Multichannel )

　　注：

　　*Vdbench 數(shù)據(jù)量是超過內(nèi)存的2倍;并未使用內(nèi)存(openflags=o_direct)

　　*測試結(jié)果均使用QNA-T310G1S連接存儲

　　三、 成功案例展示

　　廣電總局某涉密研究所敏感監(jiān)控項目

　　1.解決方案

　　用戶環(huán)境分為兩部分一部分是負責(zé)數(shù)據(jù)采集的視頻采集島，一部分是負責(zé)視頻分析的視頻審核島。兩部分共享飛編大師集群存儲。飛編大師提供高并發(fā)、大帶寬的多節(jié)點同時讀寫。同時飛編大師結(jié)合媒資系統(tǒng)業(yè)務(wù)特點，單獨進行調(diào)優(yōu)使數(shù)據(jù)存儲效率提升至少30%。

　　2.產(chǎn)品特點

　　Ø 多并發(fā)業(yè)務(wù)訪問

　　Ø 低訪問延遲

　　Ø 高帶寬數(shù)據(jù)吞吐

　　Ø 持續(xù)穩(wěn)定碼流

　　某衛(wèi)視真人秀綜藝節(jié)目項目

　　1.解決方案

　　用戶環(huán)境多種音視頻編輯制作應(yīng)用在同一命名空間下，需同時支持眾多不同操作系統(tǒng)的客戶端上的多種應(yīng)用對多個文件進行同時讀取和寫入。飛編大師提供高并發(fā)、高穩(wěn)定、大帶寬的多節(jié)點不同操作系統(tǒng)的同時讀寫。同時飛編大師結(jié)合非編系統(tǒng)業(yè)務(wù)特點，針對性的策略性預(yù)讀技術(shù)使得各種音視頻應(yīng)用在讀寫存儲系統(tǒng)時都有優(yōu)秀的性能。

　　2.產(chǎn)品特點

　　Ø 多并發(fā)業(yè)務(wù)訪問

　　Ø 低訪問延遲

　　Ø 高帶寬數(shù)據(jù)吞吐

　　Ø 持續(xù)穩(wěn)定碼流

　　Ø 策略性預(yù)讀技術(shù)

　　北京某傳媒公司項目

　　1.解決方案

　　用戶多部門協(xié)同制作影視電視劇后期音視頻，整個環(huán)境有Windows、MAC OS、Linux操作系統(tǒng)，同時處理存儲系統(tǒng)內(nèi)的多部連續(xù)劇和影視內(nèi)容。OpenFS提供統(tǒng)一命名空間，單一命名空間利于多部門協(xié)同工作。存儲系統(tǒng)具有高穩(wěn)定、大帶寬的并發(fā)多節(jié)點訪問能力。特有的的策略性預(yù)讀技術(shù)使得各種音視頻應(yīng)用在訪問存儲系統(tǒng)時都有優(yōu)秀的性能。

　　2.產(chǎn)品特點

　　Ø 多并發(fā)業(yè)務(wù)訪問

　　Ø 低訪問延遲

　　Ø 高帶寬數(shù)據(jù)吞吐

　　Ø 持續(xù)穩(wěn)定碼流

　　Ø 策略性預(yù)讀技術(shù)

　　某動漫制作公司項目

　　1.解決方案

　　用戶的一百多個渲染節(jié)點同時訪問存儲系統(tǒng)，讀取大量的材質(zhì)素材文件對3D動畫進行渲染，同時數(shù)十個視頻剪輯工作站訪問存儲內(nèi)渲染后的視頻素材進行剪輯。飛編大師提供統(tǒng)一命名空間，單一命名空間利于多業(yè)務(wù)協(xié)同工作。存儲系統(tǒng)具有高并發(fā)、大帶寬的并發(fā)多節(jié)點大小文件訪問能力。特有的的策略性存儲分配技術(shù)使得各種 大小文件既能保證有效的空間利用率同時具有優(yōu)秀的訪問性能。

　　2.產(chǎn)品特點

　　Ø 多并發(fā)業(yè)務(wù)訪問

　　Ø 策略性空間分配功能兼顧大文件空間連續(xù)性和小文件空間利用率

　　Ø 高帶寬數(shù)據(jù)吞吐

　　Ø 策略性預(yù)讀技術(shù)