軟件定義、硬件加速的可編程InfiniBand NDR網(wǎng)絡(luò)賦能E級(jí)AI和HPC平臺(tái)
來(lái)源:NVIDIA 編輯:lsy631994092 2020-12-15 14:48:50 加入收藏
在2020年全球數(shù)字超算大會(huì)(SC20大會(huì))上,NVIDIA宣布推出NVIDIA® Mellanox® 400G InfiniBand產(chǎn)品,這是全球第一代400Gb/s網(wǎng)速的端到端網(wǎng)絡(luò)解決方案,可為全球的AI和HPC用戶提供最快的網(wǎng)絡(luò)互連性能,同時(shí)將計(jì)算、可編程性和軟件定義三種技術(shù)成功地融于一體,成為業(yè)界領(lǐng)先的軟件定義、硬件加速的可編程網(wǎng)絡(luò),為全球的科研人員和工程人員設(shè)計(jì)新一代計(jì)算系統(tǒng)和提升應(yīng)用性能提供了新的思路。
NVIDIA Mellanox InfiniBand NDR產(chǎn)品是第7代的InfiniBand產(chǎn)品,利用100Gb/s的PAM4 Serdes技術(shù), 實(shí)現(xiàn)了400Gb/s的單端口傳輸帶寬, 是上一代產(chǎn)品的兩倍, 同時(shí)通過(guò)添加更多、更強(qiáng)大的加速引擎,實(shí)現(xiàn)了更強(qiáng)大的計(jì)算和通信能力。
NVIDIA Mellanox NDR 400G InfiniBand產(chǎn)品系列
“Speed Of Light”是關(guān)于NDR InfiniBand技術(shù)的第一個(gè)特征,通過(guò)加倍的帶寬、更快的包處理能力(Message Rate), 讓基于RDMA、GPU Direct RDMA和GPU Direct Storage等先進(jìn)通信技術(shù)的應(yīng)用性能得到了進(jìn)一步提升。InfiniBand網(wǎng)絡(luò)是天然的SDN網(wǎng)絡(luò),可以讓用戶根據(jù)應(yīng)用的屬性來(lái)選擇各種不同的網(wǎng)絡(luò)拓?fù)?,以達(dá)到最優(yōu)的性能,如Fat-Tree、DragonFly+、各種Torus等。如通過(guò)DragonFly+網(wǎng)絡(luò)拓?fù)淇梢栽?個(gè)交換機(jī)Hop內(nèi)達(dá)到一百萬(wàn)個(gè)節(jié)點(diǎn)的同時(shí)通信,這個(gè)規(guī)模遠(yuǎn)遠(yuǎn)超出了E級(jí)機(jī)、甚至10E級(jí)機(jī)或百E級(jí)機(jī)需要的規(guī)模;同時(shí)其天然的SDN屬性也讓動(dòng)態(tài)路由和網(wǎng)絡(luò)擁塞控制變得更容易實(shí)現(xiàn)。InfiniBand動(dòng)態(tài)路由已經(jīng)被廣泛地應(yīng)用到各種網(wǎng)絡(luò)拓?fù)洚?dāng)中,成為優(yōu)化通信性能的關(guān)鍵手段,如美國(guó)橡樹(shù)林國(guó)家實(shí)驗(yàn)室的Summit超級(jí)計(jì)算機(jī)就通過(guò)動(dòng)態(tài)路由將超算中心全網(wǎng)的通信效率從60%提升到了96%。NDR InfiniBand交換機(jī)在1U空間內(nèi)可以支持64個(gè)400Gb/s的端口或128個(gè)200Gb/s的端口,是上一代交換機(jī)端口密度的3倍;它還將框式交換機(jī)系統(tǒng)的聚合雙向吞吐量提高了5倍,達(dá)到1.64 petabits/s,是全球端口數(shù)最多、交換容量最大的交換機(jī)。
硬件加速是InfiniBand網(wǎng)絡(luò)的最大特色,隨著越來(lái)越多的加速引擎被添加到InfiniBand硬件中來(lái),進(jìn)一步加大了其相對(duì)于其它網(wǎng)絡(luò)技術(shù)的領(lǐng)先性。如NDR InfiniBand實(shí)現(xiàn)了對(duì)于業(yè)界最頭疼的All2All和Allreduce通信的硬件卸載,能讓MPI通信的性能提升四倍。NDR InfiniBand對(duì)于MPI Tag Matching的硬件卸載,實(shí)現(xiàn)了1. 8倍的MPI通信性能提升。NDR InfiniBand可以實(shí)現(xiàn)對(duì)于NVMeoF的全面卸載, NVMeoF的Target卸載可以讓存儲(chǔ)系統(tǒng)在幾乎不消耗Target端CPU的前提下達(dá)到數(shù)以百萬(wàn)級(jí)的IOPS,NVME SNAP可以實(shí)現(xiàn)對(duì)于NVMeoF的Initiator端的卸載,同時(shí)可以將InfiniBand網(wǎng)絡(luò)模擬成NVMe磁盤(pán)提供給主機(jī)CPU,可以解決目前很多OS還沒(méi)有NVMeoF的Initiator支持的問(wèn)題,實(shí)現(xiàn)了對(duì)任何OS, 無(wú)論是虛擬化還是物理機(jī)的全面NVMeoF的支持;InfiniBand FIO SNAP可以實(shí)現(xiàn)對(duì)于文件存儲(chǔ)的本地模擬,讓任何OS都可以享受最先進(jìn)的分布式文件存儲(chǔ)系統(tǒng)的性能優(yōu)勢(shì)。
InfiniBand SHARP (Scalable Hierarchical Aggregation and Reduction Protocol) 技術(shù)徹底消除了MPI或者NCCL的Allreduce操作中的多打一通信帶來(lái)的Incast Burst問(wèn)題,在保證所有端口全線速、共計(jì)12.8Tb/s或25.6Tb/s的數(shù)據(jù)輸入的前提下,實(shí)現(xiàn)在交換機(jī)上的Allreduce、Barrier、Reduce和Broadcast計(jì)算,在NDR交換機(jī)上更是實(shí)現(xiàn)了相比上一代交換機(jī)32倍的計(jì)算性能提升。InfiniBand SHIELD (Self-Healing) 技術(shù)實(shí)現(xiàn)了網(wǎng)絡(luò)中鏈路故障的自修復(fù),讓網(wǎng)絡(luò)無(wú)需等待管理軟件的參與來(lái)恢復(fù)鏈路故障,實(shí)現(xiàn)了比傳統(tǒng)的軟件故障恢復(fù)快千倍以上的性能,讓?xiě)?yīng)用不再受困鏈路故障的干擾,提升應(yīng)用的性能。
InfiniBand安全卸載是面向Cloud Native的應(yīng)用場(chǎng)景,InfiniBand已經(jīng)得到了Open Stack的官方軟件支持,通過(guò)自帶的硬件IPSec、TLS、AES、Root of Trust等功能,可以讓數(shù)據(jù)不論是在網(wǎng)絡(luò)中流動(dòng)時(shí),還是在向存儲(chǔ)中落盤(pán)時(shí)都能以線速性能得到加解密,實(shí)現(xiàn)了在虛擬化環(huán)境或者在容器化環(huán)境中的安全保障。
軟件可編程讓InfiniBand的應(yīng)用場(chǎng)景得到了進(jìn)一步的延伸,可編程的NDR InfiniBand不僅可以讓用戶處理數(shù)據(jù)的header,還可以對(duì)于數(shù)據(jù)的數(shù)據(jù)路徑進(jìn)行操作,如用戶可以自定義規(guī)則對(duì)于數(shù)據(jù)路徑進(jìn)行操作;或是對(duì)于數(shù)據(jù)直接在網(wǎng)絡(luò)中進(jìn)行預(yù)處理而無(wú)需送到CPU做預(yù)處理。用戶還可以對(duì)于數(shù)據(jù)的通信特征進(jìn)行提取、然后利用AI技術(shù)對(duì)其進(jìn)行訓(xùn)練,得到不同應(yīng)用數(shù)據(jù)的通用通信特征,如果發(fā)現(xiàn)有異常通信信息,可以向管理員主動(dòng)發(fā)出預(yù)警。
NVIDIA Mellanox NDR 400G InfiniBand亮點(diǎn)
NDR InfiniBand以其優(yōu)異的性能和靈活廣泛的使用場(chǎng)景吸引了眾多的合作伙伴一起共建生態(tài)系統(tǒng),包括Atos、戴爾科技、富士通、浪潮、聯(lián)想和SuperMicro等服務(wù)器廠商,以及DDN、IBM Storage等存儲(chǔ)廠商。各家公司都已開(kāi)始研發(fā)其新一代產(chǎn)品,實(shí)現(xiàn)對(duì)于NDR InfiniBand的支持。而包括微軟Azure公有云、美國(guó)Los Alamos國(guó)家實(shí)驗(yàn)室、歐洲Jülich超算中心等全球各頂級(jí)用戶都紛紛表示,期待能盡快應(yīng)用NDR InfiniBand到他們的業(yè)務(wù)中去,享受NDR的技術(shù)優(yōu)勢(shì)。
NVIDIA網(wǎng)絡(luò)高級(jí)副總裁Gilad Shainer表示: “我們AI客戶最重要的工作就是處理日益復(fù)雜的應(yīng)用程序,這需要更快速、更智能、更具擴(kuò)展性的網(wǎng)絡(luò)。NVIDIA Mellanox 400G InfiniBand的海量吞吐量和智能加速引擎,幫助HPC、AI和超大規(guī)模云基礎(chǔ)設(shè)施以更低的成本和復(fù)雜性,實(shí)現(xiàn)無(wú)與倫比的性能。”
E級(jí)AI和HPC時(shí)代已經(jīng)來(lái)臨,同時(shí)帶來(lái)新的挑戰(zhàn),軟件定義、硬件加速、面向網(wǎng)絡(luò)計(jì)算的可編程N(yùn)DR InfiniBand產(chǎn)品將于2021年第二季度提供樣品。NDR產(chǎn)品的出現(xiàn),將會(huì)大幅提升E級(jí)AI和HPC系統(tǒng)的性能和效率,簡(jiǎn)化系統(tǒng)的管理和操作,降低系統(tǒng)的TCO,進(jìn)而保護(hù)數(shù)據(jù)中心的投資。
關(guān)于NVIDIA
NVIDIA(納斯達(dá)克股票代碼:NVDA)在1999年發(fā)明的GPU激發(fā)了PC游戲市場(chǎng)的增長(zhǎng),重新定義了現(xiàn)代計(jì)算機(jī)顯卡,并且對(duì)并行計(jì)算進(jìn)行了革新。最近,通過(guò)將GPU作為可以感知和理解世界的計(jì)算機(jī)、機(jī)器人乃至自動(dòng)駕駛汽車(chē)的大腦,GPU深度學(xué)習(xí)再度點(diǎn)燃了全新的計(jì)算時(shí)代——現(xiàn)代人工智能。更多信息,請(qǐng)?jiān)L問(wèn)http://nvidianews.nvidia.com/ 。
媒體咨詢,請(qǐng)聯(lián)絡(luò):
何祝君
NVIDIA公司中國(guó)區(qū)網(wǎng)絡(luò)市場(chǎng)經(jīng)理
Email:adah@nvidia.com
張圓妮
北京科聞?lì)I(lǐng)睿咨詢服務(wù)有限公司
Email:bonnie.zhang@archetype.cn
評(píng)論comment