9月20日23:00首播(9月21日10:00重播)的秋季 GTC22 主題演講上，黃仁勛用了一個(gè)半小時(shí)的時(shí)間，為大家展示了NVIDIA RTX、NVIDIA AI 和 NVIDIA Omniverse 的最新進(jìn)展 ，還包括它們對(duì)人工智能領(lǐng)域新突破的幫助，以及大量應(yīng)用落地。

　　下面，一起來梳理下本次 GTC 主題演講上發(fā)布的振奮人心的成果。

　　PART.

　　0 1

　　第 3 代 RTX 架構(gòu) --  Ada Lovelace

　　NVIDIA 宣布推出第3 代 RTX 架構(gòu) —— Ada Lovelace ，單個(gè) Ada GPU 即可支持 RacerX 的運(yùn)行。這代 RTX 以數(shù)學(xué)家 Ada Lovelace 的名字命名，她被公認(rèn)為世界上第一位計(jì)算機(jī)程序員。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　NVIDIA 工程師與 TSMC 緊密合作，創(chuàng)建針對(duì) GPU 優(yōu)化的 4N 工藝，此工藝讓我們能夠集成 760 億個(gè)晶體管和超過 18000 個(gè) CUDA 核心，比上一代 Ampere 多 70%。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　最新架構(gòu) Ada Lovelace 的主要更新如下：

　　01

　　SER（著色器執(zhí)行重排序）能力

　　Ada 的 SM 多單元流處理器新增Shader Execution Reordering(SER，著色器執(zhí)行重排序)能力，可以實(shí)時(shí)重新調(diào)度任務(wù)，通過即時(shí)重新安排著色器負(fù)載來提高執(zhí)行效率，從而更好利用 GPU 資源，把光追速度提升 2-3 倍，整體游戲性能可以提升 25%。

　　02

　　第三代 RT Core

　　全新第三代 RT Core 實(shí)現(xiàn)了兩倍的光線與三角形求交性能以及兩個(gè)全新的重要硬件單元：全新的 Opacity Micromap 引擎可以把光線追蹤的 Alpha-test 幾何性能提升 2 倍，全新的 Micro-Mesh 引擎可提升幾何圖形的豐富度，而不會(huì)帶來 BVH 構(gòu)建和存儲(chǔ)資源的更多消耗。

　　03

　　第四代 Tensor Core

　　全新第四代 Tensor Core 新增了 Hopper FP8 Transformer Engine，可以實(shí)現(xiàn) 1.4  petaFLOPs 算力，AI 性能翻倍。

　　04

　　DLSS 3

　　Ada 引入了 DLSS 3，這個(gè)全新 AI 功能可生成全新幀，而不僅僅是像素。

　　DLSS 3 包含四個(gè)組件：

　　新的光流加速器

　　游戲引擎運(yùn)動(dòng)矢量

　　卷積自動(dòng)編碼 AI 幀生成器

　　NVIDIA Reflex 超低延遲流水線

　　DLSS 3 會(huì)處理新幀和上一幀，以了解場景的變化情況。光流加速器為神經(jīng)網(wǎng)絡(luò)提供了像素級(jí)的幀到幀的運(yùn)動(dòng)方向和速度信息。此后，通過綜合游戲中的幀以及幾何圖形和像素的運(yùn)動(dòng)矢量，并將其輸入至神經(jīng)網(wǎng)絡(luò)，就能計(jì)算出中間幀了。

　　DLSS 3 在不涉及圖形管線處理的前提下生成全新的幀，相較于單純的渲染，游戲性能最高可提升 4 倍，DLSS 3 可獨(dú)立于游戲內(nèi)容直接生成全新幀，因此這項(xiàng)技術(shù)可以令無論是對(duì) GPU 性能要求較高的游戲，還是受到 CPU 限制的游戲，都將從該技術(shù)中受益。對(duì)于受到 CPU 限制的游戲(例如物理計(jì)算密集型游戲或大型場景游戲)，DLSS 3 令 Ada GPU 能夠?yàn)橥婕規(guī)磉h(yuǎn)高于 CPU 可計(jì)算的幀率。DLSS 3 是精彩卓著的神經(jīng)網(wǎng)絡(luò)渲染創(chuàng)新之一。

　　05

　　雙 NVIDIA 編碼器（ NVENC ）

　　雙 NVIDIA 編碼器(NVENC)將輸出時(shí)間至多縮短一半，并支持AV1。越來越多的公司，如 OBS、Blackmagic Design DaVinci Resolve、Discord 等都已在采用 NVENC AV1 編碼器。

　　重磅推出 GeForce RTX 40 系列 GPU！

　　在宣布 Ada Lovelace 架構(gòu)之后，NVIDIA 還宣布推出了萬眾矚目的 NVIDIA GeForce RTX® 40 系列 GPU ，旨在為游戲玩家和創(chuàng)作者提供革命性性能，其中新旗艦產(chǎn)品 RTX 4090 GPU 的性能相較上一代提升最高可達(dá) 4 倍，將于 10 月 12 日上市。

　　作為全球首款基于全新 Ada Lovelace 架構(gòu)的 GPU ，RTX 40 系列在性能和效率上都實(shí)現(xiàn)了巨大的代際飛躍，意味著實(shí)時(shí)光線追蹤和利用 AI 生成像素的神經(jīng)網(wǎng)絡(luò)渲染的新時(shí)代已然來臨。

　　PART.

　　0 2

　　Omniverse 相關(guān)發(fā)布

　　Omniverse 是用來構(gòu)建和運(yùn)行元宇宙應(yīng)用的平臺(tái)，無論數(shù)字世界和現(xiàn)實(shí)世界在何處交匯，Omniverse 都能發(fā)揮作用。

　　01

　　Omniverse應(yīng)用：RTX Remix

　　“傳送門(Portal)”RTX 版是一款游戲 MOD，是NVIDIA 使用 NVIDIA Omniverse 搭建的。MOD 是一種受眾龐大的游戲文化，人人都可以成為創(chuàng)作者。NVIDIA為游戲 MOD 打造了一款名為 RTX Remix 的 Ominverse 應(yīng)用，啟動(dòng)游戲并將游戲捕獲到已加載至 Omniverse 的 USD 文件中。

　　一旦進(jìn)入 RTX Remix，既可以使用 AI 輔助工具集包含的深度學(xué)習(xí)模型來提升紋理和素材的分辨率，也可以使用一個(gè) AI 模型把材質(zhì)轉(zhuǎn)換為具有精確物理屬性的材質(zhì)。同時(shí)，豐富的 Omniverse 創(chuàng)意工具生態(tài)系統(tǒng)可用于增強(qiáng)游戲素材。完成后，導(dǎo)出 RTX Mod 包，即可享受精彩紛呈的 RTX 游戲之旅。

　　RTX Remix 是非常出色的技術(shù)，同時(shí)也是非常先進(jìn)的 MOD 工具。“傳送門(Portal)”RTX 版和 RTX Remix 將在 Ada 發(fā)布后不久推出。

　　02

　　NVIDIA RacerX

　　NVIDIA RacerX 是基于 NVIDIA Omniverse 構(gòu)建的、單 GPU 運(yùn)行的全交互式仿真展示。RacerX 是基于物理定律的仿真，其中光照、反射和折射均采用光線追蹤技術(shù)，沒有經(jīng)過任何預(yù)渲染和烘焙，汽車的零部件和連接件采用單獨(dú)建模，他們的物理特性會(huì)影響到操控的運(yùn)動(dòng)表現(xiàn)。環(huán)境中的事物不是靜態(tài)道具，而是剛體、布料和流體仿真，煙霧、火焰和灰塵是體積仿真。RacerX 就是基于仿真的。未來的游戲?qū)⒉辉傩枰A(yù)烘焙，未來的游戲?qū)⑹欠抡娴氖澜纭?/p>

　　NVIDIA RacerX 由 30 位藝術(shù)家創(chuàng)建而成，采用了 11 種工具，支持藝術(shù)家跨 12 個(gè)時(shí)區(qū)開展協(xié)作，他們僅在 3 個(gè)月內(nèi)就完成了創(chuàng)建工作。該團(tuán)隊(duì)通過 Omniverse 進(jìn)行工具連接和協(xié)作，并創(chuàng)建了自定義的 3D 制作流程用來編排和管理工作。

　　03

　　Omniverse 重大更新

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　>>  支持 Ada Lovelace GPU ，在光線追蹤和大型場景性能方面實(shí)現(xiàn)巨大飛躍;

　　>>  基于 GAN 和擴(kuò)散模型的新型神經(jīng)渲染工具 ；

　　>>  OmniGraph 是一個(gè)圖形執(zhí)行引擎，可通過程序化的方式控制行為、動(dòng)作和行動(dòng);

　　>>  Omniverse Physics 的重大更新，用來處理復(fù)雜的多連接部件對(duì)象的運(yùn)動(dòng)情況;

　　>>  全新的 Cloud XR ，支持在 VR 中實(shí)現(xiàn) Ada 強(qiáng)大的光線追蹤功能;

　　>>  首個(gè)用于合成數(shù)據(jù)生成和數(shù)字孿生模擬的SimReady 素材庫；

　　>>  Replicator 是備受青睞的 Omniverse 應(yīng)用之一，用來生成合成數(shù)據(jù)

　　從而訓(xùn)練自動(dòng)駕駛汽車、機(jī)器人和各種計(jì)算機(jī)視覺模型;

　　>>  新的 Omniverse JT 連接器 。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　Siemens 發(fā)明了 JT，這是產(chǎn)品生命周期管理的行業(yè)標(biāo)準(zhǔn)語言，也是 NX、Creo、Catia 和 Inventor 等 CAD 系統(tǒng)的互操作格式。JT 連接器使得工業(yè)和制造業(yè)可以運(yùn)用 Omniverse。Omniverse 是一個(gè)企業(yè)平臺(tái)，該平臺(tái)適用于從產(chǎn)品設(shè)計(jì)和造型到工程策劃、制造、營銷和運(yùn)營的整個(gè)產(chǎn)品生命周期，無論是制作電影或游戲、生產(chǎn)汽車或任何消費(fèi)品，還是建立和運(yùn)營工廠和倉庫，其核心都是超級(jí)復(fù)雜的 3D 制作流程。

　　04

　　Omniverse 計(jì)算平臺(tái)

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　NVIDIA Omniverse 計(jì)算平臺(tái)由三部分構(gòu)成：

　　RTX 計(jì)算機(jī)(供創(chuàng)作者、設(shè)計(jì)師和工程師使用)

　　OVX 服務(wù)器(用來托管與 Nucleus 數(shù)據(jù)庫的連接并運(yùn)行虛擬世界模擬)

　　NVIDIA GDN(進(jìn)入 Omniverse 的門戶)

　　其中，全球圖形交付網(wǎng)絡(luò)(即 GDN)能夠覆蓋 100 個(gè)地區(qū)，為之提供響應(yīng)靈敏的超快 RTX 圖形。通過 NVIDIA RTX PC、云端的 NVIDIA GPU 和 NVIDIA GDN 可以打造覆蓋全球的 Omniverse 計(jì)算平臺(tái)。

　　05 NVIDIA Omniverse Cloud

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　NVIDIA 宣布推出 NVIDIA Omniverse Cloud， 這是一套軟件和基礎(chǔ)設(shè)施即服務(wù)( Iaas )套件，可連接在云上、本地或單個(gè)設(shè)備上運(yùn)行的 Omniverse 應(yīng)用。此外，Replicator 和 Farm 也可在云上運(yùn)行。如今，用戶可在 AWS 上使用 Omniverse Cloud Replicator 和 Farm 容器，NVIDIA 還將這些容器作為托管服務(wù)提供。

　　06

　　第二代 OVX 計(jì)算機(jī)

　　面向元宇宙應(yīng)用，黃仁勛宣布推出第二代 OVX 計(jì)算機(jī)，由全新 Ada Lovelace L40 數(shù)據(jù)中心 GPU 和增強(qiáng)的網(wǎng)絡(luò)技術(shù)提供支持，以提供突破性的實(shí)時(shí)圖形、AI 和數(shù)字孿生模擬功能。

　　借助 48GB 超大幀緩沖區(qū)，擁有 8 個(gè) L40 GPU 的第二代 OVX 將能完成超大的 Omniverse 虛擬世界仿真。L40 GPU 已全面進(jìn)入量產(chǎn)，第二代 OVX 系統(tǒng)將于明年年初向市場提供。

　　PART.

　　0 3

　　自動(dòng)駕駛與 AI

　　01 新一代自動(dòng)駕駛芯片 NVIDIA DRIVE Thor

　　本次 GTC 宣布的 NVIDIA DRIVE Thor 的吞吐量達(dá)到 Atlan 的 2 倍，整型峰值性能可達(dá)2000 TOPS，F(xiàn)P8 精度的峰值性能可達(dá)到 2000 TFLOPS，同時(shí)降低整體系統(tǒng)成本。Atlan 是 NVIDIA 于 2021 年推出的 1000 TOPS 的 SoC。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　實(shí)現(xiàn)這些目標(biāo)離不開三個(gè)因素：Grace、Hopper 和 Ada Lovelace，其中 Grace 提供了令人驚嘆的 Transformer 引擎、ViT 的快速變革，Ada 中的多實(shí)例 GPU 有助于車載計(jì)算資源的集中化，將成本降低數(shù)百美元。

　　NVIDIA DRIVE Thor 采用很多新技術(shù)，它可以被配置為多種模式，將其 2000 TOPS 和 2000 TFLOPs 全部用于自動(dòng)駕駛工作流。同時(shí)可以將其配置為一部分用于駕駛艙 AI 和信息娛樂，一部分用于輔助駕駛。Thor 中的多計(jì)算域隔離允許并發(fā)、對(duì)時(shí)間敏感的多進(jìn)程無中斷運(yùn)行?？梢栽谝慌_(tái)計(jì)算機(jī)上同時(shí)運(yùn)行 Linux、QNX 和 Android。

　　此外，Thor 還集中了眾多計(jì)算資源，降低成本與功耗的同時(shí)實(shí)現(xiàn)功能飛躍。目前，汽車的停車、主動(dòng)安全、駕駛員監(jiān)控、攝像頭鏡像、集群和信息娛樂均由不同的計(jì)算設(shè)備控制。而未來，這些功能將不再由單獨(dú)的計(jì)算設(shè)備控制，而是由在 Thor 上運(yùn)行、并隨時(shí)間推移不斷改進(jìn)的軟件統(tǒng)一控制。

　　Thor 將從 2025 年開始為自動(dòng)駕駛汽車的集中式車載計(jì)算機(jī)提供支持。與 Orin 一樣，Thor 處理器將應(yīng)用于機(jī)器人、醫(yī)療儀器、工業(yè)自動(dòng)化和邊緣 AI 系統(tǒng)領(lǐng)域。

　　02 NVIDIA DRIVE 平臺(tái)

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　NVIDIA DRIVE 是一個(gè)面向自動(dòng)駕駛汽車開發(fā)與部署的端到端平臺(tái)，在開發(fā)方面包含了 Replicator 合成數(shù)據(jù)生成、DRIVE  Sim 和 DRIVE  Map，在部署方面包含了全棧駕駛和車內(nèi) AI 應(yīng)用、AI 計(jì)算機(jī)和 Hyperion 自動(dòng)駕駛汽車參考架構(gòu)。

　　麗臺(tái)科技

　　Drive Map使自動(dòng)駕駛汽車能夠更安全地導(dǎo)航

　　NVIDIA DRIVE  迎來了一系列功能更新，首先是名為 Neural Reconstruction Engine 的 AI 工作流，已成為了 DRIVE  Sim 的一項(xiàng)主要功能。它可以根據(jù)記錄的傳感器數(shù)據(jù)構(gòu)建 3D 場景，在將 3D 場景導(dǎo)入 DRIVE  Sim 之后通過人工創(chuàng)建或 AI 生成的內(nèi)容對(duì)其進(jìn)行增強(qiáng)。另外，這個(gè)從視頻到 3D 幾何圖形的工作流可以在 OVX 系統(tǒng)上運(yùn)行。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　03

　　Jetson Orin Nano

　　Drive Orin 是 NVIDIA 推出的第二代自動(dòng)駕駛汽車計(jì)算芯片，專為機(jī)器人開發(fā)設(shè)計(jì)。目前看來非常成功，已經(jīng)被 40 多家汽車、卡車和無人駕駛出租車使用。Jetson 是 NVIDIA 的機(jī)器人計(jì)算機(jī)，擁有 100 萬開發(fā)者，使用的公司約為 6000 家。

　　本次 GTC 大會(huì)上，黃仁勛宣布推出一款微型機(jī)器人系統(tǒng)級(jí)模塊芯片 Jetson Orin Nano，它的速度較之前的 Jetson Nano 快了 80 倍。Jetson Orin Nano 可以運(yùn)行 NVIDIA Isaac 機(jī)器人堆棧，并具有 ROS 2 GPU 加速框架。

　　Orin 還是 Metropolis 運(yùn)行所在的工業(yè)級(jí) IGX Edge AI 平臺(tái)的機(jī)器人處理器。NVIDIA 邊緣 AI 平臺(tái) Metropolis 的下載量已達(dá) 100 萬次，在全球擁有1000 多家應(yīng)用合作伙伴。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　全球大型工業(yè)自動(dòng)化公司 Siemens 西門子將 Metropolis 和 Orin IGX 用于其工業(yè)邊緣計(jì)算平臺(tái)。

　　除了機(jī)器人開發(fā)外，Orin IGX 也是醫(yī)療影像應(yīng)用的理想計(jì)算平臺(tái)。在 Orin IGX 上運(yùn)行的 NVIDIA Clara Holoscan 是一個(gè)低延遲的成像處理平臺(tái)，包含用于數(shù)據(jù)處理、AI 模型訓(xùn)練、仿真和機(jī)器人開發(fā)應(yīng)用的庫。70 多家領(lǐng)先的醫(yī)療設(shè)備公司、創(chuàng)企及醫(yī)療中心都在 Clara Holoscan 上進(jìn)行開發(fā)。

　　04

　　Isaac 進(jìn)入云端

　　本次 GTC 上，NVIDIA 宣布 Isaac 將進(jìn)入云端。在 NGC 上，可以獲取云就緒 Omniverse VMI 虛擬機(jī)鏡像和 Isaac 容器，并將其部署到任何公有云上。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　Isaac 平臺(tái)是 NVIDIA 為 AMR(自主移動(dòng)機(jī)器人)打造的，包含一些實(shí)用工具：倉庫和工廠中常見物品的 Sim Ready 素材庫;用于合成數(shù)據(jù)生成的 Replicator;具有與 ROS 和其他熱門機(jī)器人生態(tài)系統(tǒng)的連接器的 Isaac Sim;采用 AI 和計(jì)算機(jī)視覺算法的 Isaac ROS 引擎以及可連接 ROS 橋接器的運(yùn)行時(shí);實(shí)時(shí)車隊(duì)任務(wù)分配和路線規(guī)劃引擎的cuOpt。