NVIDIA Hopper 首次亮相 MLPerf在 AI 推理基准测试中一骑绝尘
在行业标准 AI 推理测试中,NVIDIA H100 GPU 创造多项世界纪录、A100 GPU 在主流性能方面展现领先优势、Jetson AGX Orin 在边缘计算方面处于领先地位。
这些测试根据结果得出,对那些需要在高级 AI 模型上获得最高性能的用户来说,Hopper 是最优选择。
H100 (又名 Hopper)提高了本轮测试所有六个神经网络中的单加速器性能标杆。它在单个服务器和离线场景中展现出吞吐量和速度方面的领先优势。
NVIDIA H100 GPU 在数据中心类别的所有工作负载上都树立了新标杆
Hopper 在流行的用于自然语言处理的 BERT 模型上表现出色部分归功于其 Transformer Engine。BERT 是 MLPerf AI 模型中顶级规模、对性能要求最高的的模型之一。
这些推理基准测试标志着 H100 GPU 的首次公开亮相,它将于今年晚些时候上市。H100 GPU 还将参加未来的 MLPerf 训练基准测试。
在最新测试中,NVIDIA A100 GPU 继续在主流 AI 推理性能方面展现出全方位领先,目前主要的云服务商和系统制造商均提供 A100 GPU。
在数据中心和边缘计算类别与场景中,A100 GPU赢得的测试项超过了任何其他提交的结果。A100还在6月的MLPerf训练基准测试中取得了全方位的领先,展现了其在整个AI工作流中的能力。
A100 还在6月的 MLPerf 训练基准测试中取得了全方位的领先,展现了其在整个 AI 工作流程中的能力。
NVIDIA AI 是唯一能够在数据中心和边缘计算中运行所有 MLPerf 推理工作负载和场景的平台。
NVIDIA GPU 在所有主要 AI 模型上的领先性能,使用户成为真正的赢家。用户在实际应用中通常会采用许多不一样的神经网络。
例如,一个AI 应用可能需要理解用户的语音请求、对图像进行分类、提出建议,然后以人声作为语音信息提供回应。每个步骤都要使用到不一样的 AI 模型。
MLPerf 基准测试涵盖了所有这些和其他流行的 AI 工作负载与场景,比如计算机视觉、自然语言处理、推荐系统、语音识别等。这些测试确保用户将获得可靠且部署灵活的性能。
MLPerf 凭借其透明性和客观性使用户能做出明智的购买决定。该基准测试得到了包括亚马逊、Arm、百度、谷歌、哈佛大学、英特尔、Meta、微软、斯坦福大学和多伦多大学在内的广泛支持。
在边缘计算方面,NVIDIA Orin 运行了所有 MLPerf 基准测试,是所有低功耗系统级芯片中赢得测试最多的芯片。并且,与 4 月在 MLPerf 上的首次亮相相比,其能效提高了50%。
在上一轮基准测试中,Orin 的工作速度和平均能效分别比上一代 Jetson AGX Xavier 模块高出 5 倍和 2 倍。
MLPerf 结果为,NVIDIA AI 得到了业界最广泛的机器学习ECO的支持。
在这一轮基准测试中,有超过 70 项提交结果在 NVIDIA 平台上运行。例如,Microsoft Azure 提交了在其云服务上运行 NVIDIA AI 的结果。
此外,10 家系统制造商的 19 个NVIDIA 认证系统参加了本轮基准测试,包括华硕、戴尔科技、富士通、技嘉、慧与、联想、和超微等。
它们的根据结果得出,无论是在云端还是在自己数据中心运行的服务器中,用户都能借助 NVIDIA AI 获得出色的性能。
NVIDIA 的合作伙伴参与 MLPerf 是因为他们了解这是一个为客户评估 AI 平台和厂商的重要工具。最新一轮根据结果得出,他们目前向用户更好的提供的性能将随着 NVIDIA 平台的发展而增长。
用于这些测试的所有软件都可以从 MLPerf 库中获得,因此任何人都能够得到这些世界级成果。NGC( NVIDIA 的 GPU 加速软件目录)上正在源源不断地增加以容器化形式提供的优化。在这里,你还会发现 NVIDIA TensorRT,本轮测试的每此提交都使用它来优化 AI 推断。
关键字:引用地址:NVIDIA Hopper 首次亮相 MLPerf,在 AI 推理基准测试中一骑绝尘
贸泽开售用于机器人和机器视觉的 STMicroelectronics B-CAMS-IMX模块
2024年11月25日– 专注于引入新品的全球电子元器件和工业自动化产品授权代理商贸泽电子 (Mouser Electronics)即日起供应STMicroelectron ...
深圳睿瀚医疗科技有限公司总经理万斌以“脑机接口与康复机器人的融合与展望”为主题,就脑机接口技术、康复机器人的现状与未来发展状况做探讨。...
手功能康复机器人作为近年新兴的手功能康复治疗方法之一,已被逐渐应用于临床实践,并取得了较好临床效果。...
法兰克福,2024年 12 月20日 – 中国机器人应用速度持续加快:在机器人与工厂工人的比例方面,中国已超过德国和日本,2023 年跃居世界 ...
Molex莫仕发布新报告, 展望未来机器人行业并探讨人机协作的巨大潜力
人工智能、机器学习及传感器融合技术的进步,促进了机器人在工厂自动化、家庭服务、教育辅助、医疗健康以及军事应用等多个领域的功能拓展。 ...