NVIDIA 解析「Hopper」 H100 GPU 加速运算效能提升秘密 藉由第 4 代 NVLink 提高加速运算效能

在电晶体数量、时脉、快取记忆体与HBM记忆体容量均大幅提升,加上传输频款也明显增加,并且加入全新运算技术与TMA非同步执行计算功能,将使H100 GPU在运算加速能有更明显突破,同时这样的突破并非仅侷限在硬体升级,更包含运算架构模式改变,一

在电晶体数量、时脉、快取记忆体与HBM记忆体容量均大幅提升,加上传输频款也明显增加,并且加入全新运算技术与TMA非同步执行计算功能,将使H100 GPU在运算加速能有更明显突破,同时这样的突破并非仅侷限在硬体升级,更包含运算架构模式改变,一如NVIDIA最初在Volta架构的V100 GPU加入Tensor Core设计,进而让整体运算加速更为显着。

针对此次GTC 2022公布代号「Hopper」的H100 GPU,以及名为Superchip的设计方案,NVIDIA团队在后续释出技术白皮书与进一步深入解说文章中,详细说明新款GPU所带来改变,同时也进一步在访谈说明更多细节。

H100 GPU的加速运算效能并非仅在硬体提升

其中,可以确认此次推出的H100 GPU同样区分採SMX介面与PCIe介面设计,其中仅在SMX介面版本能以700W运作功率发挥更高加速效能,而PCIe介面设计则是为了配合现有x86架构设计的Intel及AMD处理器,因此效能会相对受限PCIe介面传输频宽,同时整体运作功率也会较低,因此效能自然会有所打折。

而在技术团队说明中,更透露採Superchip设计方案时,将能进一步解放H100 GPU运算加速效能,其中不仅是因为配合「Grace」CPU提高指令集执行效率,更因为藉由第四代NVLink设计,而使H100 GPU能以全速形式运作。

NVIDIA 解析「Hopper」 H100 GPU 加速运算效能提升秘密 藉由第 4 代 NVLink 提高加速运算效能

从技术团队另外说明Superchip的设计方案搭配其他业者的处理器的话,则会走Intel等业者推动的UCIe设计规範,因此效能在某种程度上也会打折,但强调依然会有一定加速效能表现,只是言下之意要发挥完整加速运算效能,依然要选择NVIDIA所提供设计方案。

H100 GPU的加速运算效能并非仅在硬体提升

回到H100 GPU本身,NVIDIA强调相比先前推出的A100 GPU,在加速运算效能约提升6倍,其中搭载800亿组电晶体,并且以台积电4nm製程打造,完整效能版本最高可构成144组SM (Streaming Multiprocessor)运算单元,同时对应更高运作时脉与传输频宽。

但此次大幅提高加速运算效能的背后,除了採用第4代Tensor Core设计,更藉由新增加的Transformer Engine设计,让H100 GPU加速运算效能有显着跃升。

NVIDIA 解析「Hopper」 H100 GPU 加速运算效能提升秘密 藉由第 4 代 NVLink 提高加速运算效能

结构方面,H100 GPU的每个SM运算单元涵盖128组FP32 CUDA核心,代表完整版本将总计具备18432组FP32 CUDA核心,同时配合256KB L1快取记忆体、50MB L2快取记忆体,以及採用每秒可对应3TB资料量传输的HBM3高频宽记忆体,同时对外透过第4代NVLink或PCIe Gen 5规格,本身更支援高度安全的机密运算,藉此在MIG虚拟化模式下对应更安全运算表现。

而加入第4代Tensor Core不仅加速张量运算效能,此次更针对大型语言推论等需求增加Transformer Engine设计,藉此对应更高速的推论运算表现。

因此,在电晶体数量、时脉、快取记忆体与HBM记忆体容量均大幅提升,加上传输频款也明显增加,并且加入全新运算技术与TMA非同步执行计算功能,将使H100 GPU在运算加速能有更明显突破,同时这样的突破并非仅侷限在硬体升级,更包含运算架构模式改变,一如NVIDIA最初在Volta架构的V100 GPU加入Tensor Core设计,进而让整体运算加速更为显着。

採完全相反设计的「Lovelace」即将来到?

不过,虽然有人质疑H100 GPU去除大部分的图像运算功能,但从产品本质上来看,H100 GPU就是作为超算加速应用需求打造,自然会将所有运算元件作为加速使用。

NVIDIA 解析「Hopper」 H100 GPU 加速运算效能提升秘密 藉由第 4 代 NVLink 提高加速运算效能

而若从「Hopper」H100 GPU的设计推论,意味市场传闻下半年準备推出的「Lovelace」,自然将会採用与「Hopper」完全相反的设计,亦即会将绝大多数的运算元件作为图像运算使用,似乎也会採用多达18432组FP32 CUDA核心,并且加入更完整的即时光影追迹 (Ray Tracing)功能,并且採用PCIe Gen 5介面设计。

原创文章,作者:科技庭,如若转载,请注明出处:https://www.53moban.com/1147.html

联系我们

400-800-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息