二、絕對(duì)延時(shí)

　　1.絕對(duì)延時(shí)是怎么產(chǎn)生的?有沒有辦法進(jìn)行測(cè)量?

　　如果說相對(duì)延時(shí)是將視頻或音頻其一作為參考系，那么絕對(duì)延時(shí)則是以TAI、UTC、GPS等作為參考系，設(shè)備內(nèi)部進(jìn)行信號(hào)處理以及設(shè)備間或系統(tǒng)間信號(hào)傳輸交互都要耗費(fèi)一定時(shí)間，這個(gè)時(shí)間就是絕對(duì)延時(shí)。IP信號(hào)內(nèi)部處理的延時(shí)主要來自于Buffer，幀同步功能開啟需要Buffer，最大延時(shí)1幀。在RX端一般也會(huì)有Buffer，用來將IP編解碼(根據(jù)信號(hào)格式不同，延時(shí)一般在幾行到幾十行)、數(shù)據(jù)包封裝、網(wǎng)絡(luò)傳輸、2022-7倒換(ST 2022-7 ClassD 150μs)這些模塊產(chǎn)生的比較小的延時(shí)，統(tǒng)一以幀精度校準(zhǔn)，方便下游設(shè)備繼續(xù)進(jìn)行信號(hào)處理。概括來說，從A設(shè)備發(fā)流經(jīng)交換機(jī)到B設(shè)備，如果A設(shè)備開啟幀同步，那么B設(shè)備的輸出延時(shí)為2幀;A設(shè)備未開啟幀同步，B設(shè)備的輸出延時(shí)則為1幀。

圖11：公版IP網(wǎng)關(guān)內(nèi)部信號(hào)處理流程

　　一般來講基于FPGA的IP設(shè)備絕對(duì)延時(shí)較小且穩(wěn)定，比如索尼CAM+CCU (來自成像器1幀)，HDCE IP適配器(單獨(dú)使用TX1幀，TX-RX Pair模式2幀)，IPG(1次SDI-IP-SDI往返轉(zhuǎn)換1幀)、切換臺(tái)(直切1行，特技1幀);另一些軟件服務(wù)器類設(shè)備，比如基于軟件的多畫面分割器、虛擬植入等等，它們的絕對(duì)延時(shí)相比FPGA類設(shè)備要大一點(diǎn)，并且不固定。

圖12：IP攝像機(jī)系統(tǒng)延時(shí)示意

　　設(shè)備信號(hào)處理的絕對(duì)延時(shí)不容易直接測(cè)量，比較簡單直接的方式是咨詢廠家。有時(shí)為了核實(shí)廠家所給信息是否準(zhǔn)確，也可以采用下文介紹的相對(duì)測(cè)試法進(jìn)行輔助驗(yàn)證。

　　● 相對(duì)測(cè)試法：

　　相對(duì)測(cè)試法的核心思路是刻意控制LipSync視音頻信號(hào)產(chǎn)生“錯(cuò)位”，比如想要測(cè)量某視頻設(shè)備信號(hào)的處理時(shí)間，便可將解嵌后的LipSync視頻信號(hào)經(jīng)過該設(shè)備，而音頻信號(hào)跳過該設(shè)備，由于IPG對(duì)于視音頻信號(hào)處理時(shí)長相等，示波器所讀出的AV Delay實(shí)際上便是該設(shè)備視頻信號(hào)處理時(shí)間。使用此方法時(shí)建議規(guī)劃最短鏈路完成測(cè)試，以免引入誤差。

　　比如圖13中：(A1V2) AV Delay=V2-V1=IP MV絕對(duì)延時(shí)

圖13：相對(duì)測(cè)試法測(cè)量IP MV絕對(duì)延時(shí)

　　2. IP系統(tǒng)絕對(duì)延時(shí)怎么計(jì)算?

　　系統(tǒng)絕對(duì)延時(shí)=∑各設(shè)備絕對(duì)延時(shí)+∑交換機(jī)轉(zhuǎn)發(fā)時(shí)間+∑設(shè)備間信號(hào)傳輸時(shí)間 ≈∑各設(shè)備絕對(duì)延時(shí)

　　通常音頻系統(tǒng)絕對(duì)延時(shí)都小于視頻系統(tǒng)絕對(duì)延時(shí)，所以后文討論的系統(tǒng)絕對(duì)延時(shí)指的都是視頻系統(tǒng)。在IP系統(tǒng)中，交換機(jī)數(shù)據(jù)轉(zhuǎn)發(fā)時(shí)間(約5μs)以及各設(shè)備間信號(hào)傳輸時(shí)間通常小到可以忽略。如前文所述，大部分IP設(shè)備自帶幀級(jí)別精度的校準(zhǔn)，所以將系統(tǒng)鏈路中所經(jīng)過設(shè)備的信號(hào)處理時(shí)間求和，即可近似為系統(tǒng)整體的絕對(duì)延時(shí)。圖14為根據(jù)某4K IP轉(zhuǎn)播車系統(tǒng)實(shí)際案例所繪制用于示意系統(tǒng)絕對(duì)延時(shí)的框圖，供參考。

　　需要注意的一點(diǎn)是，自帶幀精度的設(shè)備要根據(jù)其工作模式來確定一幀等于多少ms，比如工作在4K模式的RX IPG取20ms計(jì)算，HD模式RX IPG取40ms計(jì)算，搭載MC50選件用于上下變換的IPG經(jīng)實(shí)測(cè)應(yīng)取40ms計(jì)算。

圖14：絕對(duì)延時(shí)理論計(jì)算框圖

　　由此可見，無論是設(shè)備層面，還是系統(tǒng)層面，IP系統(tǒng)中的絕對(duì)延時(shí)與基帶系統(tǒng)都是相近的。

　　3.什么場景需要關(guān)注絕對(duì)延時(shí)?如何測(cè)量絕對(duì)延時(shí)?

　　絕對(duì)延時(shí)是量化監(jiān)看鏈路時(shí)常用到的概念，將監(jiān)看鏈路中信號(hào)的所有傳輸和處理時(shí)間疊加求和后的數(shù)值就是監(jiān)看鏈路整體的絕對(duì)延時(shí)。通俗講就是現(xiàn)場發(fā)生一個(gè)事件，至導(dǎo)播在電視墻上觀看到此事件經(jīng)過了多長時(shí)間。不同于相對(duì)延時(shí)可以優(yōu)化調(diào)整為零，絕對(duì)延時(shí)無法去除，只能盡量減少。通過圖15可以清晰地對(duì)比區(qū)分絕對(duì)延時(shí)和相對(duì)延時(shí)。

圖15：絕對(duì)延時(shí)示意

　　根據(jù)過往經(jīng)驗(yàn)，絕大多數(shù)系統(tǒng)監(jiān)看鏈路延時(shí)處于主觀可接受范圍內(nèi)，但在個(gè)別大型、復(fù)雜系統(tǒng)的特殊應(yīng)用場景下，監(jiān)看絕對(duì)延時(shí)過大的問題暴露，并引發(fā)一系列連鎖反應(yīng)，在制作過程中對(duì)導(dǎo)播、攝像等工作人員產(chǎn)生干擾，進(jìn)而影響制作體驗(yàn)與節(jié)目質(zhì)量，后文將以實(shí)際案例分析絕對(duì)延時(shí)過大可能帶來的問題。

　　監(jiān)看鏈路絕對(duì)延時(shí)有哪些測(cè)量方法呢?比較常用的是圖16所示秒表拍照法。用電腦打開在線秒表，并在電腦前架設(shè)一臺(tái)訊道機(jī)，對(duì)準(zhǔn)電腦屏幕拍攝，將拍攝信號(hào)調(diào)度至大屏，最后用手機(jī)高快門同時(shí)拍照大屏和電腦。通過計(jì)算電腦秒表及大屏回顯時(shí)間的差值即可得到監(jiān)看鏈路近似絕對(duì)延時(shí)。類似的方法，還可以用放機(jī)輸出帶有時(shí)碼的畫面至大屏替代秒表。不過以上兩種方法均存有一定誤差，主要源自于秒表自身精度，不論秒表還是時(shí)碼，一秒內(nèi)的跳變次數(shù)都是有限的，手機(jī)拍攝到的數(shù)值也經(jīng)常會(huì)介于變化過程中一個(gè)模糊的數(shù)值。所以此方法理論最大誤差會(huì)發(fā)生在電腦和電視其中一個(gè)剛剛跳變?yōu)樾聰?shù)值，另一個(gè)處于即將跳變的狀態(tài)時(shí)，即最大誤差為秒表步進(jìn)分度值乘以2。

圖16：利用在線秒表對(duì)比三種不同HDMI轉(zhuǎn)換盒轉(zhuǎn)換速度

　　還可以引申前文介紹的相對(duì)測(cè)試法來測(cè)量監(jiān)看鏈路的絕對(duì)延時(shí)，如圖17所示，將LipSync測(cè)試信號(hào)解嵌，視頻信號(hào)經(jīng)監(jiān)看鏈路送至大屏，用攝像機(jī)拍攝大屏并將本機(jī)信號(hào)輸出至示波器;音頻信號(hào)完成解嵌后直接送至示波器，示波器讀出的數(shù)值即為監(jiān)看鏈路的延時(shí)。

圖17：LipSync測(cè)試監(jiān)看鏈路絕對(duì)延時(shí)

　　此外，拍攝大屏LipSync信號(hào)的方法理論上也可用于測(cè)量監(jiān)看、監(jiān)聽的相對(duì)延時(shí)，這時(shí)需要用機(jī)頭MIC拾監(jiān)聽音箱聲音給到示波器，見圖18。但拍攝大屏LipSync信號(hào)在實(shí)測(cè)過程中，發(fā)現(xiàn)需要反復(fù)調(diào)整攝像機(jī)畫面構(gòu)圖，直至示波器能夠正確識(shí)別信號(hào)，需要相當(dāng)耐心。

圖18：LipSync測(cè)試監(jiān)看、監(jiān)聽鏈路相對(duì)延時(shí)

（上述兩種測(cè)試方法可能存在一定誤差，僅供參考）

圖19：靈活使用LipSync測(cè)試信號(hào)實(shí)例

　　4.實(shí)際案例剖析

　　近期交付的4K IP轉(zhuǎn)播車系統(tǒng)，越來越多的導(dǎo)演區(qū)電視墻設(shè)計(jì)方案采用以商顯或高端電視機(jī)為主，輔以專業(yè)級(jí)監(jiān)視器的拼接方案，屏幕尺寸通常為55英寸，數(shù)量則根據(jù)車體布局設(shè)計(jì)確定。

　　圖20所示是比較典型的“5+1”案例。由設(shè)備布局圖可見，該系統(tǒng)第一導(dǎo)演區(qū)共有6塊大屏，其中采用5臺(tái)電視機(jī)顯示分割畫面，為導(dǎo)播提供信號(hào)源監(jiān)看;1臺(tái)索尼PVM-X550專業(yè)監(jiān)視器進(jìn)行全屏顯示，用以精準(zhǔn)呈現(xiàn)系統(tǒng)4K末級(jí)HDR畫面的最終效果。

圖20：“5+1”導(dǎo)演區(qū)電視墻拼接方案

　　但是此轉(zhuǎn)播車系統(tǒng)在制作大型綜藝節(jié)目中發(fā)現(xiàn)了以下問題：經(jīng)過音頻主管與導(dǎo)播主觀判斷，需要在導(dǎo)演區(qū)監(jiān)聽延時(shí)器加300ms的延時(shí)，電視監(jiān)看與音箱監(jiān)聽間相對(duì)定時(shí)才不至于察覺出明顯不同步。

　　一個(gè)比較特殊的情況是，由于導(dǎo)播需要通過節(jié)目音樂來找準(zhǔn)切換節(jié)奏，進(jìn)行機(jī)位調(diào)度，加之個(gè)人工作習(xí)慣，無論單耳耳麥還是雙耳耳麥佩戴都不是很適應(yīng)。如果采用通話面板的鵝頸話筒又會(huì)將導(dǎo)演區(qū)大音量監(jiān)聽反饋回通話系統(tǒng)，送回機(jī)位通話耳機(jī)中，與現(xiàn)場擴(kuò)聲疊加后產(chǎn)生聲學(xué)效應(yīng)對(duì)攝像師工作產(chǎn)生干擾，導(dǎo)致攝像無法聽清楚導(dǎo)播指令，影響了節(jié)目制作效率。

　　現(xiàn)場為了能夠以最快速度解決此問題，優(yōu)先考慮治標(biāo)，從通話系統(tǒng)入手，降低通話面板拾取到導(dǎo)演區(qū)監(jiān)聽的音量。經(jīng)過咨詢通話廠家，與通話面板適配的鵝頸話筒基本都是心形指向或全向電容麥?？紤]如果采用強(qiáng)指向話筒替代鵝頸話筒可能會(huì)讓導(dǎo)播聲音更加突出，于是在桌面上臨時(shí)固定了一個(gè)強(qiáng)指向話筒，正對(duì)導(dǎo)播，通過模擬轉(zhuǎn)IP網(wǎng)關(guān)接入IP通話系統(tǒng)中。實(shí)測(cè)在攝像機(jī)端聽導(dǎo)播講話有一定改善，可以勉強(qiáng)聽清指令。但是這種解決方法效果還不夠理想，只能作為臨時(shí)應(yīng)對(duì)方案。

圖21：在導(dǎo)演臺(tái)面架設(shè)強(qiáng)指向話筒作為臨時(shí)改善方案

　　因?yàn)?00ms的監(jiān)看監(jiān)聽相對(duì)延時(shí)遠(yuǎn)超出了經(jīng)驗(yàn)值，側(cè)面說明監(jiān)看鏈路整體絕對(duì)延時(shí)一定也是過大的。于是利用節(jié)目彩排間隙，繼續(xù)尋找視頻鏈路中帶來較大延時(shí)的環(huán)節(jié)或設(shè)備，判斷能否針對(duì)性進(jìn)行優(yōu)化，改善監(jiān)看絕對(duì)延時(shí)量，目標(biāo)將監(jiān)看絕對(duì)延時(shí)減小至200ms以內(nèi)。為此首先要找出監(jiān)看鏈路中絕對(duì)延時(shí)最大的節(jié)點(diǎn)，并盡可能減少其延時(shí)量。

　　首先被懷疑的是IP MV，因?yàn)樵谠O(shè)備IP化早期階段，基于軟件的IP MV產(chǎn)品延時(shí)就非常大，雖然后來被基于FPGA的IP MV取代，但未經(jīng)測(cè)試尚不清楚本系統(tǒng)內(nèi)配置的新型產(chǎn)品延時(shí)究竟有多大。

　　圖22：利用相對(duì)延時(shí)法測(cè)量IP MV信號(hào)處理時(shí)間

　　采用相對(duì)測(cè)試法對(duì)本系統(tǒng)中IP MV進(jìn)行測(cè)量，結(jié)果為40ms，屬于中規(guī)中矩的范圍，看來不是監(jiān)看鏈路總體延時(shí)過大的主要原因。之后又用秒表拍照法測(cè)試了第二懷疑對(duì)象IP-HDMI轉(zhuǎn)換盒，結(jié)果在40ms內(nèi)(無法精確測(cè)量)。既然IP MV以及IP-HDMI轉(zhuǎn)換盒延時(shí)都不至于產(chǎn)生太大影響，鏈路中其他設(shè)備CCU、切換臺(tái)、IPG信號(hào)處理時(shí)長又是已知很小且固定的，那么鏈路中可懷疑對(duì)象只剩下顯示設(shè)備了。

　　顯示終端總輸入延時(shí)=圖像傳輸?shù)斤@示終端的時(shí)間+顯示終端對(duì)圖像進(jìn)行解析處理的時(shí)間+屏幕顯示圖像的時(shí)間。高質(zhì)量的專業(yè)監(jiān)視器是基于FPGA，延時(shí)小于一幀;其它顯示終端會(huì)有不同情況，既有延時(shí)低的情況，也有延時(shí)大的情況，例如為了給觀者帶來更艷麗流暢的畫面體驗(yàn)，會(huì)由圖像處理芯片對(duì)畫面進(jìn)行增強(qiáng)和補(bǔ)償，對(duì)畫面解析處理會(huì)引入一定量的延時(shí)。高端顯示終端提供了延時(shí)優(yōu)化方法——將圖像模式改為游戲模式可有效降低HDMI輸入延時(shí)。實(shí)測(cè)多臺(tái)不同型號(hào)電視的游戲模式，相比標(biāo)準(zhǔn)模式可以降低約120-200ms延時(shí)。

圖23：利用服務(wù)器帶時(shí)碼監(jiān)看對(duì)比游戲模式和標(biāo)準(zhǔn)模式

　　該系統(tǒng)把大屏調(diào)整為游戲模式后，經(jīng)過重新校對(duì)，監(jiān)聽延時(shí)器由原先的300ms可以調(diào)整至140ms左右，監(jiān)看鏈路絕對(duì)延時(shí)過大的問題得到改善，但導(dǎo)播不戴通話耳麥且監(jiān)聽音量非常大的極端應(yīng)用場景中，機(jī)位通話還是會(huì)存留一定瑕疵。需要留心的一點(diǎn)是，更改商顯或電視的圖像模式后，不要忘記對(duì)其重新校色。

　　5.遠(yuǎn)程制作、分布式制作延時(shí)

　　雖然在孤島系統(tǒng)內(nèi)，絕對(duì)延時(shí)受關(guān)注程度不如相對(duì)延時(shí)，但在由多套子系統(tǒng)組成的遠(yuǎn)程制作系統(tǒng)中，絕對(duì)延時(shí)需要被重視起來。比如大型賽會(huì)期間，轉(zhuǎn)播車系統(tǒng)需回傳信號(hào)至MCR，此時(shí)轉(zhuǎn)播車系統(tǒng)、MCR系統(tǒng)以及兩者之間的信號(hào)傳輸都可以視作一個(gè)獨(dú)立延時(shí)環(huán)節(jié)，其中任一環(huán)節(jié)絕對(duì)延時(shí)過大都可能會(huì)影響到遠(yuǎn)程制作的質(zhì)量，所以此時(shí)測(cè)量系統(tǒng)絕對(duì)延時(shí)是十分有必要的。

　　不同于系統(tǒng)內(nèi)部各設(shè)備之間的信號(hào)傳輸延時(shí)小到可以忽視，多地間比如基于LAN/WAN的遠(yuǎn)程制作、分布式制作或者是5G回傳時(shí)，信號(hào)壓縮編解碼以及傳輸延時(shí)無法忽略。為了確保信號(hào)質(zhì)量，規(guī)避制作風(fēng)險(xiǎn)，該如何對(duì)信號(hào)傳輸延時(shí)進(jìn)行精確測(cè)量呢?

　　其中難點(diǎn)就在于多地間如何采取一致的時(shí)間參考源作為共同的測(cè)量基準(zhǔn)。國外一家公司提供了基于PTP或NTP網(wǎng)絡(luò)時(shí)間協(xié)議的完整測(cè)量方案：現(xiàn)場端用IOS手機(jī)下載App，攝像機(jī)對(duì)準(zhǔn)手機(jī)拍攝，在系統(tǒng)內(nèi)部署的信號(hào)分析儀即可以毫秒級(jí)精度測(cè)量出相對(duì)延時(shí)、絕對(duì)延時(shí)，還可以校準(zhǔn)多機(jī)位一致性。在異地遠(yuǎn)程制作環(huán)境中，通過在關(guān)鍵節(jié)點(diǎn)部署多臺(tái)信號(hào)發(fā)生儀和分析儀，可以實(shí)現(xiàn)分段測(cè)量，比如圖24案例，方案中將遠(yuǎn)程制作劃分為4個(gè)段，為了便于理解，筆者進(jìn)行了標(biāo)注——藍(lán)色箭頭代表信號(hào)發(fā)生儀發(fā)出測(cè)試信號(hào)，紫色箭頭代表信號(hào)分析儀接收測(cè)試信號(hào)，相同數(shù)字為一組，測(cè)量的是所標(biāo)數(shù)字相同段的絕對(duì)延時(shí)。

　　值得一提的是，此產(chǎn)品在大型活動(dòng)中有所應(yīng)用，一些轉(zhuǎn)播車上也有它的身影，但是經(jīng)了解其售價(jià)也相對(duì)昂貴。

圖24：遠(yuǎn)程制作延時(shí)示意

　　總結(jié)

　　IP系統(tǒng)在相對(duì)延時(shí)和絕對(duì)延時(shí)兩方面表現(xiàn)與傳統(tǒng)基帶系統(tǒng)十分接近，沒有超出我們的期待，也沒有表現(xiàn)出過大延時(shí)。由于各系統(tǒng)設(shè)計(jì)不盡相同，很難概括出簡單的公式或是經(jīng)驗(yàn)法則，典型值只能用作參考。長話短說，在一套精心設(shè)計(jì)的IP系統(tǒng)中，不應(yīng)與基帶系統(tǒng)在延時(shí)方面有太大的差異。

　　如果您正在試圖計(jì)算或測(cè)量系統(tǒng)延時(shí)，我們非常樂意為您提供幫助，詳細(xì)回答所有疑問，并協(xié)助您設(shè)計(jì)或優(yōu)化系統(tǒng)、網(wǎng)絡(luò)架構(gòu)。