每幀3GB!這項(xiàng)虛擬現(xiàn)實(shí)技術(shù)要重塑空間全息影像
來源:數(shù)字音視工程網(wǎng) 編輯:航行150 2017-01-09 09:14:00 加入收藏
在 VR 頭顯里想象這樣一個(gè)場(chǎng)景:
你站在中越邊境的河谷,觀看壯美的景色——但頭顯里播放的并非普通的全景視頻,而是可以隨著身體移動(dòng)和頭部傾斜,看到被畫面中的物體擋住的更多東西,甚至……整個(gè)場(chǎng)景。
比如你的面前有一個(gè)油桶,但你可以稍微挪動(dòng)一點(diǎn),或者把頭向右傾斜,就能看到油桶背后的溪流:
這顯然不是一個(gè)幾百塊錢的雙攝全景攝像頭就能實(shí)現(xiàn)的。其實(shí),這部視頻的拍攝手法叫做 Volumetric Capture,翻譯成中文叫“容積捕獲” ,采用特殊的設(shè)備,像三維空間掃描一樣記錄下了攝像頭周圍所在區(qū)域的全部物理環(huán)境。拍攝它的公司叫做 HypeVR,該公司聯(lián)合創(chuàng)始人泰德·施洛維茨告訴我,這段全息影像的每幀數(shù)據(jù)量就高達(dá) 3GB。
昨天,PingWest品玩在英特爾 的 VR 發(fā)布會(huì)上粗略體驗(yàn)了一下 HypeVR 所拍攝的這段內(nèi)容。今天我們又找到了該公司的創(chuàng)始人兼 CEO Tonaci Tran,更深入地體驗(yàn)和了解了這項(xiàng)技術(shù)。
這段全息影像的記錄時(shí)間是 2016 年 11 月 14 日,地點(diǎn)是中越邊境的板約瀑布。簡單來說,HypeVR 開發(fā)的這種新視頻格式,具有三個(gè)特性:360°全景+高清+六自由度。
全景不消細(xì)說。在清晰度方面,一般的全景攝像采用多相機(jī)陣列(比如 GoPro)的方案,和 HypeVR 根本沒法比——該公司的一個(gè)多相機(jī)陣列就要用到 Velodyne 開發(fā)的激光雷達(dá) (LiDAR),再配上 12 臺(tái)世界上最頂級(jí)的 Red 超高清攝像機(jī)。僅供參考:Red 的分辨率 為 5K,12臺(tái)……清晰度難以想象。
至于六自由度,英文叫做 6 degrees of freedom (6dof) 是一個(gè)物理上的術(shù)語,指的是物體能夠在三維空間里,在 xyz 三軸方向上自由運(yùn)動(dòng)以及圍繞三軸自由轉(zhuǎn)動(dòng)的能力。在 VR 業(yè)界,6dof 是一種技術(shù)指標(biāo),指的是當(dāng)頭顯的佩戴者在三維空間里前后左右上下移動(dòng)和搖頭、擺頭時(shí),頭顯里所顯示的空間畫面能夠隨之變化,就像在真實(shí)空間里一樣。
但并非所有的 VR 內(nèi)容的錄放都支持 6dof。如果一個(gè)全景攝像頭放在定點(diǎn)上錄制內(nèi)容,它拍下的其實(shí)也只是一個(gè)二維的畫面。而在拍攝中加入激光雷達(dá),使得最后產(chǎn)生的二維畫面多了一維——空間,其實(shí)是 HypeVR 全息影像錄制技術(shù)最大的不同。這樣錄制和最后剪輯制作完成的內(nèi)容,不是二維的畫面,而是具有空間感的全息影像。
還有一個(gè)問題:最后成片中的畫面里,那些桶、水牛和其他擋住視野的物體,它們背后的畫面又該怎樣拍呢?HypeVR 以商業(yè)機(jī)密為由沒有想我透露太具體的細(xì)節(jié),但我猜測(cè)采用的方法應(yīng)該類似于:先在一個(gè)點(diǎn)拍攝 (point zero),然后更換一個(gè)能拍到障礙物背后的點(diǎn) (point a),然后按照從 0 到 a 的距離和方向,在全息場(chǎng)景重建的時(shí)候,拼接 a 的內(nèi)容到 0 的內(nèi)容里。
蹲下,或者往左/右邊走,就能看到被水牛擋住的地方。這是其它 VR 視頻絕對(duì)無法做到的。
但顯然,這樣制作出來的最終內(nèi)容格式肯定不是普通和 VR 視頻一般采用的 mp4 格式,而是一種全新的格式。Tran 對(duì)我表示:
從容積捕獲 (volumetric capture)、場(chǎng)景重現(xiàn) (reconstruction)、壓縮編碼 (compression codec)、播放和直播串流所采用的圖像引擎 (graphics engine for playback and volumetric streaming),一切都是全新的。我們認(rèn)為這就是視頻 2.0 時(shí)代。
Tran 是美國出生的越南人,曾在加州大學(xué)圣地亞哥分校學(xué)習(xí)數(shù)字媒體創(chuàng)作。因?yàn)?10 年前創(chuàng)立了第一家 Red 高清電影攝像機(jī)出租服務(wù),他在越南也引起過不小的轟動(dòng),還曾因此在越南電影界獲得了不小的名氣。
2014 年,為了實(shí)現(xiàn)“打造下一代視頻技術(shù)”的夢(mèng)想,他和電影巨頭二十世紀(jì)福斯的數(shù)字技術(shù)專家泰德·施洛維茨一同創(chuàng)立了 HypeVR。
該公司總部位于加州圣地亞哥。Tran 告訴我,他認(rèn)為 HypeVR 在相機(jī)陣列、全息場(chǎng)景重建、6dof 全息視頻壓縮和全息視頻串流方面,有著絕對(duì)的技術(shù)優(yōu)勢(shì)。至于公司的技術(shù)優(yōu)勢(shì),他用一句話總結(jié)為“獨(dú)家的容積捕獲、制作和播放引擎,專為視頻 2.0 時(shí)代打造。”也正因此,英特爾將 HypeVR 視作重要的合作伙伴,邀請(qǐng)其參加 CES 的發(fā)布會(huì)和現(xiàn)場(chǎng)演示。
接連兩天由淺及深地體驗(yàn)了 HypeVR 帶來的全息可互動(dòng)影像之后,我心理對(duì)于 VR 視頻的芥蒂消除了一些。之前我對(duì)所謂的 VR 內(nèi)容不太感冒的原因就在于,它們只是把我綁在一個(gè)固定的地方,然后允許我轉(zhuǎn)動(dòng)腦袋,并沒有什么所謂的“沉浸”感,反而感覺自由被限制了。
我問 Tran “在你們這段視頻里,我到底有多大的自由度?”他告訴我:“只要這條頭顯的線夠長、頭顯還在傳感器追蹤的范圍里,你想走多遠(yuǎn)走多遠(yuǎn)。”
部分圖片來源:英特爾、HypeVR
評(píng)論comment