小鳥科技帶您剖析分布式系統(tǒng)的前世今生
來源:小鳥科技 編輯:swallow 2020-03-18 17:21:14 加入收藏
最近一段時(shí)間,專業(yè)視聽領(lǐng)域掀起一股有關(guān)分布式系統(tǒng)爭(zhēng)論的旋風(fēng),諸多廠家紛紛提出各自的看法。小鳥科技作為業(yè)內(nèi)以技術(shù)研發(fā)起家的企業(yè),血液中流淌著工程師基因,堅(jiān)信好的產(chǎn)品會(huì)說話,并不擅長(zhǎng)參與各種江湖紛爭(zhēng)。本想拿個(gè)小板凳靜靜做個(gè)吃瓜群眾,奈何很多業(yè)內(nèi)友商及合作伙伴紛紛來電,希望小鳥君也談?wù)剬?duì)分布式的理解。理解一款產(chǎn)品,要清楚這款產(chǎn)品的歷史,才能看清楚發(fā)展方向。所以今天小鳥君先帶著大家,回顧分布式系統(tǒng)發(fā)展的歷史,一起了解分布式系統(tǒng)的前世今生,同時(shí)給大家介紹小鳥科技的全系列分布式產(chǎn)品。
(一)
分布式系統(tǒng)的誕生
2008年
在二十一世紀(jì)初,出現(xiàn)了視頻分布式系統(tǒng)的雛形:基于視頻壓縮算法的視頻傳輸交換系統(tǒng)。但由于當(dāng)時(shí)科技水平的限制,這類分布式系統(tǒng)都采用PCIE架構(gòu),基于傳統(tǒng)的MJPEG/MPEG-4/H.263等視頻壓縮方式,實(shí)現(xiàn)視頻的傳輸和播放。這類系統(tǒng)一般用于監(jiān)控和安防領(lǐng)域,但是無法滿足會(huì)議室、指控中心等場(chǎng)景的應(yīng)用。同時(shí),由于其產(chǎn)品形態(tài)和使用限制很多,隨著時(shí)間的推進(jìn),逐漸消失在大眾視野中。
經(jīng)過小鳥君這幾日的仔細(xì)調(diào)研,發(fā)現(xiàn)真正意義的第一代分布式系統(tǒng),是2008年美國(guó)的Jupiter公司出品的PixelNet系列產(chǎn)品。之所以將其稱為真正意義的分布式系統(tǒng),是因?yàn)槠洚a(chǎn)品形態(tài)和使用方式,跟我們今天所看到的分布式系統(tǒng)架構(gòu)非常類似。采用了編碼器+交換機(jī)+解碼器的組網(wǎng)方式,實(shí)現(xiàn)視頻矩陣切換、大屏拼接等功能。今天我們國(guó)內(nèi)能看到的分布式產(chǎn)品,都采用了類似的組網(wǎng)架構(gòu)。小鳥科技的創(chuàng)始人李厚鵬先生有幸在2011年和Jupiter的創(chuàng)始人Eric Wogsberg先生有過一次深入的交流,深感分布式系統(tǒng)可能給行業(yè)帶來的變革。從那時(shí)起分布式的概念就在小鳥科技的血液中開始流淌。
(二)
分布式系統(tǒng)的蟄伏期
2008年-2015年
自Jupiter提出分布式系統(tǒng)的概念和產(chǎn)品后,國(guó)內(nèi)外的一些廠家紛紛效仿。由于當(dāng)時(shí)技術(shù)的局限性,圖像壓縮嚴(yán)重,網(wǎng)絡(luò)占用帶寬較大,沒有配套的網(wǎng)絡(luò)交換設(shè)備;加之設(shè)備和網(wǎng)絡(luò)的采購(gòu)部署成本非常高,導(dǎo)致當(dāng)時(shí)的分布式系統(tǒng)在推廣過程中遇到比較大的阻力,在相當(dāng)長(zhǎng)的一段時(shí)間內(nèi)無法成為業(yè)內(nèi)主流的音視頻解決方案。但在此期間,很多業(yè)內(nèi)的廠家都對(duì)分布式系統(tǒng)保持高度關(guān)注,都在討論分布式系統(tǒng)的未來及前景。小鳥科技也一直對(duì)分布式系統(tǒng)保持極大的熱情,雖然受限于成本和技術(shù)瓶頸,分布式在市場(chǎng)端的接受度很低,但是我們依然組建核心團(tuán)隊(duì)對(duì)分布式系統(tǒng)進(jìn)行各種核心技術(shù)的預(yù)研工作。
與分布式的蟄伏不同,2005-2015年卻是集中式矩陣、拼接器發(fā)展的黃金十年。將FPGA算法引入專業(yè)視聽領(lǐng)域,通過FPGA的超高處理能力,可以實(shí)現(xiàn)視頻畫面毫無損失的傳輸處理控制,并且隨著技術(shù)的發(fā)展,集中式設(shè)備具備越來越完善的功能,包括矩陣交換、拼接處理、坐席管理、運(yùn)維管控等所有能想到的功能。比如小鳥科技2017年出品的UniStation一體化坐席管理系統(tǒng),就是集上述所有功能為一體的集中式高端音視頻解決方案。
(三)
分布式系統(tǒng)的黃金期
2015年-至今
從2015年開始,隨著客戶對(duì)更大規(guī)模音視頻解決方案需求的提升,以及網(wǎng)絡(luò)交換機(jī)技術(shù)的高速發(fā)展,分布式系統(tǒng)優(yōu)勢(shì)又重新被大家所關(guān)注。分布式系統(tǒng)之所以可以重登歷史舞臺(tái),是因?yàn)槠渚哂泻芏鄡?yōu)秀特性,下邊是小鳥君總結(jié)分布式系統(tǒng)最重要的幾個(gè)特性:
a) 海量接入,無限擴(kuò)容
b) 部署靈活,易于建設(shè)
c) 信息互通,多方協(xié)作
d) 整體運(yùn)維,全面管控
隨著分布式系統(tǒng)概念的逐步興起,各廠家都開始加大分布式系統(tǒng)的研發(fā)及投入。但是由于業(yè)內(nèi)廠家的技術(shù)背景以及對(duì)分布式系統(tǒng)的理解各不相同,導(dǎo)致大家采用了不同的分布式架構(gòu)。小鳥君覺得當(dāng)前行業(yè)內(nèi)有以下三種主流的分布式形態(tài):
1、深壓縮分布式系統(tǒng)
深壓縮分布式系統(tǒng)顧名思義,是將視頻信號(hào)進(jìn)行深度壓縮,實(shí)現(xiàn)矩陣、拼接、坐席、管控等功能。一般業(yè)內(nèi)廠家采用的都是H.264/H.265的壓縮算法。由于深壓縮算法的壓縮原理,導(dǎo)致其優(yōu)點(diǎn)和缺點(diǎn)都非常明顯。
深壓縮分布式系統(tǒng)的優(yōu)點(diǎn)
網(wǎng)絡(luò)帶寬占用低
深壓縮算法將一路1080P視頻信號(hào)(3G帶寬),壓縮為一路網(wǎng)絡(luò)信號(hào),通常為2M-50M帶寬,因此對(duì)網(wǎng)絡(luò)傳輸帶寬要求較低,在廣域傳輸、跨網(wǎng)傳輸情況下有非常明顯的優(yōu)勢(shì)。
標(biāo)準(zhǔn)化協(xié)議對(duì)接
采用標(biāo)準(zhǔn)的H.264/H.265傳輸協(xié)議,可以實(shí)現(xiàn)標(biāo)準(zhǔn)網(wǎng)絡(luò)視頻輸入,例如網(wǎng)絡(luò)攝像頭和各種解碼平臺(tái)。并且可以簡(jiǎn)單的通過瀏覽器或者軟件實(shí)現(xiàn)可視化的預(yù)監(jiān)和回顯功能。
系統(tǒng)功能完善
深壓縮采用的H.264/H.265編解碼技術(shù),都是來自于1997年ISO(國(guó)際標(biāo)準(zhǔn)化組織)和ITU(國(guó)際電信聯(lián)盟)兩個(gè)組織共同提出的新一代數(shù)字視頻壓縮格式。發(fā)展歷史悠久,經(jīng)過監(jiān)控和安防行業(yè)的推進(jìn),有完整的解決方案。
劃重點(diǎn)
DB
深壓縮分布式系統(tǒng)的缺點(diǎn)
YUV420采樣導(dǎo)致圖像損失較大
我國(guó)行業(yè)內(nèi)絕大多數(shù)的深壓縮分布式廠家,都是以華為海思編解碼芯片為核心器件,進(jìn)行二次開發(fā)而來。但是由于海思芯片對(duì)視頻采樣都是YUV4:2:0的采樣形式,這就導(dǎo)致了行業(yè)內(nèi)的深壓縮分布式系統(tǒng)的視頻色彩空間不足。此弊病在自然圖像的視頻下不明顯,但是在文字圖像和不同的底色情況下,顯示的尤為明顯。
高壓縮比導(dǎo)致畫面質(zhì)量損失較大
由于深壓縮算法的壓縮比可以達(dá)到50-150倍,所以高壓縮比帶來的必定是畫質(zhì)的降低。這一點(diǎn)不論是從香農(nóng)定理還是信息論基本原理來講,都是必然的,雖然可以通過各種算法降低畫面損失,但是仍然無法達(dá)到視覺無損的顯示效果。只能盡量通過降低壓縮比,提高傳輸帶寬,才能達(dá)到更好的視頻效果。
幀間壓縮算法導(dǎo)致延遲較大
由于H.264/H.265采用的大都是幀間壓縮算法,這種算法在編碼和解碼時(shí)會(huì)引入2-3幀的畫面延遲,總共會(huì)引入4-6幀的延遲,雖然在視頻顯示的時(shí)候可以接受,但是如果在KVM應(yīng)用下,則會(huì)讓用戶感覺到比較明顯的遲滯感,降低客戶使用的滿意度。
單播分布式通信導(dǎo)致拼接大屏同步性差
由于深壓縮分布式系統(tǒng),一般采用的是單播通信,因此畫面在實(shí)現(xiàn)多屏顯示的時(shí)候,發(fā)送端需要將視頻一個(gè)接一個(gè)的發(fā)出去,加之解碼端沒有同步機(jī)制,畫面會(huì)出現(xiàn)不同步和較為明顯的撕裂現(xiàn)象。
小鳥B系列 深壓縮分布式優(yōu)勢(shì)
小鳥科技從2015年開始,就推出了AVCNet-B系列分布式產(chǎn)品,實(shí)現(xiàn)多系統(tǒng)間的互聯(lián)互通。2019年推出的新一代B系列深壓縮分布式系統(tǒng),針對(duì)上述深壓縮分布式的缺點(diǎn),都進(jìn)行有針對(duì)性的系統(tǒng)優(yōu)化,通過FPGA+DSP的全新架構(gòu),彌補(bǔ)了深壓縮分布式的缺點(diǎn):
YUV4:4:4采樣及傳輸
采用FPGA+DSP的底層架構(gòu),實(shí)現(xiàn)視頻信號(hào)的YUV4:4:4采樣,并且通過自主知識(shí)產(chǎn)權(quán)的增強(qiáng)編碼傳輸?shù)姆绞?,?shí)現(xiàn)YUV4:4:4畫面的有效傳輸及解碼,最終得到低帶寬高畫質(zhì)的顯示效果。
AI碼流自適應(yīng)技術(shù)
采用獨(dú)創(chuàng)的AI碼流自適應(yīng)技術(shù),根據(jù)網(wǎng)絡(luò)情況和屏幕顯示需求,自動(dòng)匹配最適合的碼流,在實(shí)際有效帶寬的情況下,可以得到最優(yōu)質(zhì)的視頻顯示效果和延遲效果。
全網(wǎng)同步算法
通過小鳥自主知識(shí)產(chǎn)權(quán)的全網(wǎng)同步算法,可以實(shí)現(xiàn)所有輸入輸出視頻的全網(wǎng)同步,加上系統(tǒng)支持組播建網(wǎng)模式,可以進(jìn)一步提高拼接的同步性,多屏顯示的時(shí)候同步性也可以達(dá)到納秒級(jí)別,可以和集中式設(shè)備的同步性相媲美。
2、淺壓縮分布式系統(tǒng)
淺壓縮分布式是針對(duì)深壓縮分布式而言,采用淺壓縮算法,例如VC-2/JPEG等視頻壓縮算法。淺壓縮信號(hào)可以通過千兆網(wǎng)進(jìn)行傳輸,并且最大限度的使用千兆網(wǎng)的帶寬資源。同樣的淺壓縮分布式系統(tǒng)也有其優(yōu)缺點(diǎn):
淺壓縮分布式系統(tǒng)的優(yōu)點(diǎn)
視覺無損的壓縮算法
淺壓縮算法將一路1080P視頻信號(hào)(3G帶寬),壓縮為一路網(wǎng)絡(luò)信號(hào),通常為300M-900M帶寬,采用YUV4:4:4的采樣形式;視頻壓縮率低,畫質(zhì)較深壓縮有非常明顯的優(yōu)勢(shì)。
超低的視頻延遲
淺壓縮算法的壓縮算法比較多,最優(yōu)秀的視頻壓縮算法,是將視頻按照每行的畫面進(jìn)行壓縮,并馬上傳輸后解壓縮,因此一般淺壓縮算法的延遲,不超過一幀,按照1080P分辨率而言,延遲在微秒級(jí)別,已經(jīng)完全感覺不到分布式系統(tǒng)引入的延遲。
完美的拼接同步性
由于采用組播傳輸模式,加上網(wǎng)絡(luò)的全互通部署,所以每一路視頻信號(hào)都有其獨(dú)立的傳輸通道。加上全網(wǎng)同步技術(shù),不論大屏顯示還是單屏顯示,都可以達(dá)到納秒級(jí)的同步。
協(xié)議私密,安全性高
國(guó)內(nèi)做淺壓縮分布式的廠家,大都采用各自的私有協(xié)議;或者在標(biāo)準(zhǔn)壓縮格式的基礎(chǔ)上進(jìn)行改造?;緵]有標(biāo)準(zhǔn)的編解碼協(xié)議,這就意味著即使視頻碼流被截取,也無法恢復(fù)出原始視頻。提高了視頻傳輸?shù)陌踩浴?/p>
淺壓縮分布式系統(tǒng)的缺點(diǎn)
交換機(jī)帶寬壓力大
由于一路1080P信號(hào)就要占用幾百兆的網(wǎng)絡(luò)帶寬,因此對(duì)于交換機(jī)的數(shù)據(jù)吞吐量提出非常高的要求。并且無損分布式系統(tǒng)一定要和對(duì)應(yīng)的接入交換機(jī)、匯聚交換機(jī)、核心交換機(jī)進(jìn)行深入的適配,才能達(dá)到最優(yōu)的網(wǎng)絡(luò)傳輸效果。
無法實(shí)現(xiàn)域間視頻互通
由于淺壓縮碼流占用帶寬很大,因此在跨域傳輸?shù)臅r(shí)候,無法承載這么大的網(wǎng)絡(luò)壓力;因此無法單獨(dú)實(shí)現(xiàn)域間傳輸。一般需要將網(wǎng)絡(luò)信號(hào)轉(zhuǎn)化為標(biāo)準(zhǔn)的電信號(hào),再通過其他設(shè)備進(jìn)行深壓縮,以實(shí)現(xiàn)跨域傳輸。
小鳥H系列 淺壓縮分布式優(yōu)勢(shì)
小鳥科技早在2015年就開始投入研發(fā)力量進(jìn)行無損算法的技術(shù)預(yù)研,以國(guó)際領(lǐng)先的VC-2的壓縮算法為基礎(chǔ),加入自身對(duì)算法的實(shí)現(xiàn)和改進(jìn),于2016年推出國(guó)內(nèi)首款無損分布式系統(tǒng)AVCNet-H系列產(chǎn)品。2017/2018年InfoComm展會(huì)上,受主辦方邀請(qǐng),小鳥科技創(chuàng)始人李厚鵬先生就針對(duì)無損分布式系統(tǒng)做了精彩的分享。
小鳥科技的AVCNet-H系列無損分布式產(chǎn)品,以其卓越的視頻壓縮算法和全套的解決方案,一經(jīng)推出就成為業(yè)界翹楚,應(yīng)用于多個(gè)超大型項(xiàng)目中,將分布式系統(tǒng)解決方案推到了行業(yè)的風(fēng)口浪尖。并且經(jīng)過多個(gè)大型項(xiàng)目的歷練,AVCNet-H無損分布式系統(tǒng)已經(jīng)非常成熟穩(wěn)定,具備上邊提到的所有優(yōu)點(diǎn),并且通過自身的不斷努力以及對(duì)客戶的進(jìn)一步了解,解決了傳統(tǒng)無損分布式系統(tǒng)的缺點(diǎn),形成完整的解決方案:
與交換機(jī)廠家協(xié)作形成標(biāo)準(zhǔn)方案
由于淺壓縮系統(tǒng)對(duì)網(wǎng)絡(luò)帶寬占用的特殊性,最初主流的交換機(jī)廠家都無法滿足網(wǎng)絡(luò)需求。小鳥科技和華為、華三、銳捷等交換機(jī)廠家,通過長(zhǎng)時(shí)間的研發(fā)交流,最終明確需求,和主流交換機(jī)廠家形成了完整的解決方案。針對(duì)小、中、大、超大型項(xiàng)目,都有完整的解決方案,有效地降低無損分布式系統(tǒng)的部署難度。
雙碼流模式轉(zhuǎn)換器
針對(duì)淺壓縮分布式系統(tǒng)不易實(shí)現(xiàn)跨域傳輸,碼流格式不標(biāo)準(zhǔn)的缺點(diǎn),自主研發(fā)雙碼流模式轉(zhuǎn)化器,可以通過一個(gè)設(shè)備實(shí)現(xiàn)淺壓縮碼流和深壓縮碼流的格式轉(zhuǎn)換。既可以降低帶寬實(shí)現(xiàn)跨域傳輸,也可以形成標(biāo)準(zhǔn)的H.264/265碼流,進(jìn)行預(yù)監(jiān)回顯和錄播回放等功能。
3、雙碼流分布式系統(tǒng)
顧名思義,雙碼流分布式系統(tǒng)是集合了深壓縮分布式和淺壓縮分布式的特性。但是雙碼流系統(tǒng)絕不是將兩種制式簡(jiǎn)單的放在一起,進(jìn)行簡(jiǎn)單的雙系統(tǒng)并行傳輸。而是將兩種制式的系統(tǒng)相互融合,形成更完善的解決方案。小鳥科技創(chuàng)始人李厚鵬先生,在2019年InfoComm展會(huì)上,就針對(duì)雙流分布式產(chǎn)品進(jìn)行詳細(xì)的闡述。(相關(guān)鏈接:分布式即是產(chǎn)品為核心的Service、Solution、Support)
小鳥科技的AVCNet-T系列產(chǎn)品,是小鳥最新的雙流分布式產(chǎn)品,具有以下一些卓越特性:
域內(nèi)無損的視頻傳輸
高達(dá)4K@60,YUV4:4:4的視覺無損傳輸系統(tǒng)
超低的分布式延遲
逐行壓縮算法,傳輸延遲可達(dá)微秒級(jí)
拼接大屏畫面完美同步
大屏拼接納秒級(jí)同步
完善的音視頻解決方案
矩陣交換、大屏拼接、坐席管控、可視化操控
卓越的坐席管控功能
鼠標(biāo)滑屏,OSD級(jí)鼠標(biāo)操作、OSD級(jí)預(yù)監(jiān)、席位互動(dòng)及大屏聯(lián)控等
完美BS端可視化操控
可視化操控,多系統(tǒng)聯(lián)控,第三方設(shè)備控制等
全系統(tǒng)可視化運(yùn)維管控
對(duì)整個(gè)分布式系統(tǒng)的集中運(yùn)維管理,以及第三方設(shè)備的狀態(tài)監(jiān)測(cè)
當(dāng)然除了上述三種主流的分布式系統(tǒng)之外,還有一些比較小眾的分布式系統(tǒng),由于各種原因,還未成為業(yè)內(nèi)主流系統(tǒng),因此在這里不進(jìn)行詳細(xì)介紹。對(duì)于這三種主流的方案,我們不認(rèn)為是三代產(chǎn)品,而是針對(duì)不同用戶需求的三種技術(shù)解決方案,并不存在前后代際關(guān)系。只有深刻理解用戶需求,設(shè)計(jì)最優(yōu)化的方案,才是真正的解決用戶痛點(diǎn)。
(四)
分布式系統(tǒng)的的未來
隨著近幾年業(yè)內(nèi)對(duì)分布式系統(tǒng)的追捧,分布式系統(tǒng)已經(jīng)成為專業(yè)視聽行業(yè)內(nèi)公認(rèn)的未來;相信隨著時(shí)間的推移,分布式音視頻系統(tǒng)將會(huì)成為音視頻解決方案的首選。
同時(shí),越來越多的客戶在選擇分布式,也一定會(huì)對(duì)分布式產(chǎn)品的穩(wěn)定性、可靠性、易用性、顯示效果等方面提出更高的要求。在分布式系統(tǒng)高速發(fā)展的過程中,誰(shuí)能做到全系統(tǒng)的分布式解決方案、誰(shuí)能夠緊跟客戶需求、誰(shuí)能更準(zhǔn)確地解決客戶痛點(diǎn),做到真正的以客戶為核心;誰(shuí)才能在分布式系統(tǒng)的浪潮中拔得頭籌,成為分布式系統(tǒng)真正的第一品牌。
相信專業(yè)視聽的這一方江湖,必定會(huì)因?yàn)榉植际较到y(tǒng)的興盛,引來一場(chǎng)血雨腥風(fēng)。欲知江湖后事如何,各位請(qǐng)聽下回分解。
評(píng)論comment