計(jì)算機(jī)視覺(jué)是一個(gè)研究領(lǐng)域，旨在助力計(jì)算機(jī)使用復(fù)雜算法（可以是傳統(tǒng)算法，也可以是基于深度學(xué)習(xí)的算法）來(lái)理解數(shù)字圖像和視頻并提取有用的信息。

　　什么是計(jì)算機(jī)視覺(jué)？

　　計(jì)算機(jī)視覺(jué)的主要目標(biāo)是，先理解視頻和靜止圖像的內(nèi)容，然后從中收集有用的信息，以便解決越來(lái)越多的問(wèn)題。作為人工智能 (AI) 和深度學(xué)習(xí)的子領(lǐng)域，計(jì)算機(jī)視覺(jué)可訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò) (CNN)，以便針對(duì)各種應(yīng)用場(chǎng)合開(kāi)發(fā)仿人類(lèi)視覺(jué)功能。計(jì)算機(jī)視覺(jué)包括對(duì) CNN 進(jìn)行特定訓(xùn)練，以便利用圖像和視頻進(jìn)行數(shù)據(jù)分割、分類(lèi)和檢測(cè)。

　　卷積神經(jīng)網(wǎng)絡(luò) (CNN) 能夠針對(duì)多種應(yīng)用場(chǎng)合執(zhí)行分割、分類(lèi)和檢測(cè)：

　　分割：圖像分割是指將像素歸類(lèi)為特定類(lèi)別，如汽車(chē)、道路或行人。它廣泛用于自動(dòng)駕駛汽車(chē)應(yīng)用(包括 NVIDIA DRIVE™ 軟件堆棧)，用于顯示道路、汽車(chē)和人員。您可以將其想象成一種可視化技術(shù)，該技術(shù)能夠使人們更容易理解計(jì)算機(jī)的工作。

　　分類(lèi)：圖像分類(lèi)用于確定圖像中的內(nèi)容。例如，神經(jīng)網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練后能夠識(shí)別狗或貓，或者許多其他東西，并且具有高精確度。

　　檢測(cè)：通過(guò)圖像檢測(cè)，計(jì)算機(jī)可以定位對(duì)象的位置。在許多應(yīng)用中，CNN 會(huì)在相關(guān)區(qū)域周?chē)O(shè)置矩形邊界框，將對(duì)象完全包含在內(nèi)。檢測(cè)器也可以接受訓(xùn)練，以便檢測(cè)圖像中汽車(chē)或人員的位置。

　　分割、分類(lèi)和檢測(cè)

　　計(jì)算機(jī)視覺(jué)為何重要？

　　在體育、汽車(chē)、農(nóng)業(yè)、零售、銀行、施工和保險(xiǎn)等行業(yè)，計(jì)算機(jī)視覺(jué)應(yīng)用非常廣泛。得益于目前機(jī)器用于識(shí)別物體的圖像處理器 – 卷積神經(jīng)網(wǎng)絡(luò) (CNN) ，各種由 AI 驅(qū)動(dòng)的機(jī)器紛紛開(kāi)始采用仿人眼技術(shù)來(lái)獲得更多助力。CNN 已成為當(dāng)今自動(dòng)駕駛汽車(chē)、石油勘探和聚變能源研究領(lǐng)域的“眼睛”。它們還有助于在醫(yī)學(xué)成像領(lǐng)域快速發(fā)現(xiàn)疾病并挽救生命。

　　數(shù)十年來(lái)，傳統(tǒng)的計(jì)算機(jī)視覺(jué)和圖像處理技術(shù)已經(jīng)應(yīng)用于眾多應(yīng)用和研究工作。然而，現(xiàn)代 AI 技術(shù)采用人工神經(jīng)網(wǎng)絡(luò)，能夠?qū)崿F(xiàn)更高的性能準(zhǔn)確性;高性能計(jì)算依托 GPU 取得長(zhǎng)足進(jìn)步，實(shí)現(xiàn)超人的準(zhǔn)確性，從而在運(yùn)輸、零售、制造、醫(yī)療健康和金融服務(wù)等行業(yè)廣泛應(yīng)用。

　　在將圖像和視頻分類(lèi)為精細(xì)離散的類(lèi)別和分類(lèi)方面，如同醫(yī)學(xué)計(jì)算機(jī)軸向斷層掃描或 CAT 掃描中隨時(shí)間推移而產(chǎn)生的微小變化，傳統(tǒng)或基于 AI 的計(jì)算機(jī)視覺(jué)系統(tǒng)遠(yuǎn)勝于人類(lèi)。在這個(gè)意義上，計(jì)算機(jī)視覺(jué)將人類(lèi)有可能完成的任務(wù)自動(dòng)化，但其準(zhǔn)確性和速度要高得多。

　　當(dāng)前和潛在的應(yīng)用多種多樣，因此計(jì)算機(jī)視覺(jué)技術(shù)和解決方案的增長(zhǎng)預(yù)測(cè)相當(dāng)驚人，這點(diǎn)不足為奇。一項(xiàng)市場(chǎng)調(diào)研表明，到 2023 年，該市場(chǎng)將以驚人的 47% 的年增長(zhǎng)率增長(zhǎng)，屆時(shí)將在全球達(dá)到 250 億美元。在整個(gè)計(jì)算機(jī)科學(xué)范疇內(nèi)，計(jì)算機(jī)視覺(jué)是熱門(mén)、活躍的研發(fā)領(lǐng)域之一。

　　計(jì)算機(jī)視覺(jué)的工作原理是什么？

　　計(jì)算機(jī)視覺(jué)分析圖像，然后使用卷積神經(jīng)網(wǎng)絡(luò) (CNN) 創(chuàng)建其 “所見(jiàn)” 的數(shù)值表示。CNN 是一類(lèi)人工神經(jīng)網(wǎng)絡(luò)，使用卷積層從輸入中篩選出有用信息。卷積運(yùn)算需要綜合使用輸入數(shù)據(jù)(特征圖)與卷積內(nèi)核(濾波器)，以便生成轉(zhuǎn)換后的特征圖。卷積層濾波器可根據(jù)學(xué)習(xí)參數(shù)進(jìn)行修改，以便為特定任務(wù)提取最有用的信息。卷積網(wǎng)絡(luò)可根據(jù)任務(wù)自動(dòng)調(diào)整，尋找最重要的特征。在執(zhí)行一般的物體識(shí)別任務(wù)時(shí)，CNN 會(huì)過(guò)濾物體的形狀信息;但在進(jìn)行識(shí)別鳥(niǎo)的任務(wù)時(shí)，CNN 則會(huì)提取鳥(niǎo)的顏色信息。這是由于 CNN 認(rèn)為，不同類(lèi)的物體會(huì)具有不同的形狀，而對(duì)于不同類(lèi)型的鳥(niǎo)而言，其顏色可能要比形狀的差異性更大。

　　計(jì)算機(jī)視覺(jué)的行業(yè)用例

　　計(jì)算機(jī)視覺(jué)用例包括圖像識(shí)別、圖像分類(lèi)、視頻標(biāo)記和虛擬助手。計(jì)算機(jī)視覺(jué)領(lǐng)域中更加流行和突出的用例包括：

　　醫(yī)學(xué)。

　　醫(yī)學(xué)圖像處理需要快速提取重要的圖像數(shù)據(jù)以便對(duì)患者進(jìn)行正確診斷，包括快速檢測(cè)腫瘤和動(dòng)脈硬化。雖然計(jì)算機(jī)視覺(jué)本身無(wú)法提供診斷，但它是現(xiàn)代醫(yī)療診斷技術(shù)中寶貴的一部分，可以更大程度地弱化醫(yī)生的想法，并且為醫(yī)生提供越來(lái)越多的原本無(wú)法看到的信息。

　　自動(dòng)駕駛汽車(chē)。

　　另一個(gè)非?；钴S的計(jì)算機(jī)視覺(jué)調(diào)研領(lǐng)域，自動(dòng)駕駛車(chē)輛可以完全由計(jì)算機(jī)視覺(jué)解決方案接管，或者其操作可以得到顯著增強(qiáng)。目前已有的常用應(yīng)用包括汽車(chē)中的早期警報(bào)系統(tǒng)。

　　行業(yè)用途。

　　制造業(yè)中有很多計(jì)算機(jī)視覺(jué)解決方案的當(dāng)前和潛在用途，以支持制造流程。目前的用途包括質(zhì)量控制，其中計(jì)算機(jī)視覺(jué)系統(tǒng)會(huì)檢查部件和產(chǎn)品成品是否有缺陷。在農(nóng)業(yè)領(lǐng)域，計(jì)算機(jī)視覺(jué)系統(tǒng)使用光學(xué)分揀去除食品中不需要的材質(zhì)。

　　數(shù)據(jù)科學(xué)家和計(jì)算機(jī)視覺(jué)

　　Python 是機(jī)器學(xué)習(xí) (ML) 領(lǐng)域的熱門(mén)編程語(yǔ)言，許多數(shù)據(jù)科學(xué)家都熟悉其易用性及其大型庫(kù)(其中大多數(shù)庫(kù)都是免費(fèi)和開(kāi)源的)。數(shù)據(jù)科學(xué)家在 ML 系統(tǒng)中使用 Python 進(jìn)行數(shù)據(jù)挖掘和數(shù)據(jù)分析，因?yàn)?Python 支持各種 ML 模型和算法。鑒于 ML 和計(jì)算機(jī)視覺(jué)之間的關(guān)系，數(shù)據(jù)科學(xué)家可以利用計(jì)算機(jī)視覺(jué)應(yīng)用向各類(lèi)企業(yè)的擴(kuò)展，從圖像和視頻存儲(chǔ)中提取重要信息，增強(qiáng)數(shù)據(jù)驅(qū)動(dòng)的決策制定。

　　借助 GPU 加速卷積神經(jīng)網(wǎng)絡(luò)

　　在架構(gòu)方面，CPU 僅由幾個(gè)具有大緩存內(nèi)存的核心組成，一次只可以處理幾個(gè)軟件線程。相比之下，GPU 由數(shù)百個(gè)核心組成，可以同時(shí)處理數(shù)千個(gè)線程。

　　由于神經(jīng)網(wǎng)絡(luò)由大量相同的神經(jīng)元構(gòu)建而成，因此本質(zhì)上具有高度并行性。這種并行性自然地會(huì)映射到 GPU ，能夠提供數(shù)據(jù)并行的算術(shù)架構(gòu)，并且相比僅限 CPU 的訓(xùn)練，計(jì)算速度大幅增加。這種類(lèi)型的架構(gòu)對(duì)一系列圖像數(shù)據(jù)執(zhí)行類(lèi)似的計(jì)算。GPU 的單指令多數(shù)據(jù) (SIMD) 功能使其適合運(yùn)行計(jì)算機(jī)視覺(jué)任務(wù)，這些任務(wù)通常涉及對(duì)整個(gè)圖像進(jìn)行類(lèi)似的計(jì)算。具體而言，NVIDIA GPU 可顯著加速計(jì)算機(jī)視覺(jué)操作，為其他工作釋放 CPU 。此外，在同一臺(tái)機(jī)器上可以使用多個(gè) GPU ，創(chuàng)建能夠并行運(yùn)行多個(gè)計(jì)算機(jī)視覺(jué)算法的架構(gòu)。

　　NVIDIA GPU 加速的深度學(xué)習(xí)框架

　　GPU 加速深度學(xué)習(xí)框架為 Python 等常用編程語(yǔ)言提供編程接口。其還具備輕松創(chuàng)建和探索自定義 CNN 和 DNN 的靈活性，同時(shí)能夠?qū)崿F(xiàn)實(shí)驗(yàn)和工業(yè)部署所需的超高速度。NVIDIA CUDA-X AI 能夠加快 Caffe 、Microsoft Cognitive Toolkit (CNTK) 、TensorFlow 、Theano 和 Torch 等廣泛使用的深度學(xué)習(xí)框架以及眾多其他機(jī)器學(xué)習(xí)應(yīng)用的運(yùn)行速度。深度學(xué)習(xí)框架在 GPU 上的運(yùn)行速度更快，并可以在單節(jié)點(diǎn)內(nèi)的多個(gè) GPU 間擴(kuò)展。要將框架與 GPU 一起用于卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理過(guò)程，NVIDIA 分別提供 cuDNN 和 TensorRT™ 。cuDNN 和 TensorRT 可為卷積層、池化層、歸一化和激活層等標(biāo)準(zhǔn)例程實(shí)現(xiàn)高度調(diào)整。

　　單擊此處查看 NVCaffe 安裝步驟和使用指南?？稍诖颂幷业骄矸e神經(jīng)網(wǎng)絡(luò) C++/CUDA 快速實(shí)施。

　　為快速開(kāi)發(fā)和部署視覺(jué)模型，NVIDIA 向視覺(jué) AI 開(kāi)發(fā)者提供 DeepStream SDK 。其中包含 TAO 工具包，可用于為計(jì)算機(jī)視覺(jué)領(lǐng)域創(chuàng)建準(zhǔn)確高效的 AI 模型。

　　NVIDIA GPU 加速的端到端數(shù)據(jù)科學(xué)

　　建立在 CUDA 基礎(chǔ)上的 NVIDIA RAPIDS™ 開(kāi)源軟件庫(kù)套件使您能夠完全在 GPU 上執(zhí)行端到端數(shù)據(jù)科學(xué)和分析流程，同時(shí)仍然使用 Pandas 和 Scikit-Learn API 等熟悉的界面。

　　*本文轉(zhuǎn)載自NVIDIA英偉達(dá)