NVIDIA 更新 MLPerf 1.0 版本 强调 GPU 用于 AI 人工智慧推论加速仍是最佳选择

透过GPU协助推论加速运算,奇异医疗藉此在每年1.45亿名患者中主动判断是否罹患心脏疾病,或是在Pinterest中超过3000亿笔资料中挖掘热门趋势,T-Mobile则藉此打造人工智慧线上客服,微软则藉此精进旗下拼字检查功能Grammer

透过GPU协助推论加速运算,奇异医疗藉此在每年1.45亿名患者中主动判断是否罹患心脏疾病,或是在Pinterest中超过3000亿笔资料中挖掘热门趋势,T-Mobile则藉此打造人工智慧线上客服,微软则藉此精进旗下拼字检查功能Grammer服务,美国邮政则以此协助即时分析每年超过70亿个邮件包裹,微信则将GPU加速推论效果应用在旗下智慧搜寻功能,美国运通则以此强化诈欺行为即时侦测效果。

甚至比Arm架构处理器有更高节电效果

过去针对人工智慧训练及推论效能表现,NVIDIA已经与学术界、研究实验室与业界合作,提出可针对硬体、软体及服务在人工智慧训练与推论效能表现提供公允量化评估的计算方式MLPerf之后,目前也确定推论效能评估部分已从先前的0.7版本进展至1.0版本,藉此对应诠释更贴近真实的人工智慧推论效能。

在MLPerf推论效能评估1.0版本中,将可对应云端或边缘端的人工智慧推论运算效能,藉由不同使用情境,配合诸如DLRM、BERT、RNN-T、ResNet-50、Single Shot Detector等网络模型,针对不同人工智慧应用的推论效能进行评估。

相比先前推出的0.7版本,NVIDIA表示在短短半年内使推论加速效率提升幅度达45%。

NVIDIA 更新 MLPerf 1.0 版本 强调 GPU 用于 AI 人工智慧推论加速仍是最佳选择

而依照NVIDIA说明,藉由旗下Ampere显示架构设计的A100 GPU,对比市场诸如Intel Cooper Lake架构的Xeon处理器,或是即将进入市场的Ice Lake架构Xeon处理器,以及赛灵思以FPGA形式打造的VCK5000处理器与Qualcomm日前推出伺服器等级处理器AI 100,几乎提供高达314倍的推论加速效能,即便在未连网情况下也能有显着加速效能表现。

就算是日前在GTC 2021期间揭晓针对工作站打造的A10 GPU,或是对应一般伺服器使用的A30 GPU,同样也比CPU形式的推论加速效能更高。

NVIDIA 更新 MLPerf 1.0 版本 强调 GPU 用于 AI 人工智慧推论加速仍是最佳选择

其中,虽然Qualcomm推出的AI 100处理器也能在影像分类、物件识别有明显加速效果,但在医疗用影像识别、推荐系统、语音辨识与自然语言处理效率表现,仍无法与NVIDIA採GPU加速的设计比拟,而布署于边缘运算的加速效能同样也是由GPU取得较明显优势。

即便Qualcomm AI 100是以耗电更低的Arm架构打造,但是藉由GPU加速的推论效能依然能以更低电力损耗,发挥更高推论加速效能。

NVIDIA 更新 MLPerf 1.0 版本 强调 GPU 用于 AI 人工智慧推论加速仍是最佳选择

NVIDIA更强调藉由多执行个体GPU (MIG)虚拟化应用,在A100 GPU模拟为7组独立GPU运作,并且个别执行不同推论运算加速时,依然可以维持高达98%效能表现,意味可透过单组A100 GPU同时对应更多人工智慧推论加速。

在Triton推论伺服器相同软体框架下,NVIDIA更强调可简化人工智慧推论加速布署应用流程,并且可依照需求随时增加运算规模。

NVIDIA 更新 MLPerf 1.0 版本 强调 GPU 用于 AI 人工智慧推论加速仍是最佳选择

NVIDIA 更新 MLPerf 1.0 版本 强调 GPU 用于 AI 人工智慧推论加速仍是最佳选择

目前包含阿里巴巴、Dell EMC、技嘉、HPE、富士通、联想、Supermicro、浪潮 (Inspur)採用NVIDIA人工智慧推论加速解决方案。

透过GPU协助推论加速运算,奇异医疗藉此在每年1.45亿名患者中主动判断是否罹患心脏疾病,或是在Pinterest中超过3000亿笔资料中挖掘热门趋势,T-Mobile则藉此打造人工智慧线上客服,微软则藉此精进旗下拼字检查功能Grammer服务,美国邮政则以此协助即时分析每年超过70亿个邮件包裹。

至于微信则将GPU加速推论效果应用在旗下智慧搜寻功能,美国运通 (American Express)则以此强化诈欺行为即时侦测效果。

NVIDIA 更新 MLPerf 1.0 版本 强调 GPU 用于 AI 人工智慧推论加速仍是最佳选择

NVIDIA 更新 MLPerf 1.0 版本 强调 GPU 用于 AI 人工智慧推论加速仍是最佳选择

原创文章,作者:天哥谈天,如若转载,请注明出处:https://www.53moban.com/8284.html

联系我们

400-800-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息