NVIDIA

概述

NVIDIA 是 AI 算力基础设施的核心供应商，其 H100/B200 等 GPU 是训练大模型的标准硬件。同时在软件生态方面有 Megatron-LM 分布式训练框架、CUDA 平台等重要贡献。

关键贡献

• H100 / B200 GPU — AI 训练主力硬件
• Megatron-LM — 高性能分布式训练框架，vescale 的主要对比基线
• distributed-training — 3D 并行（DP+TP+PP）的标准实现

近期动态

相关实体

• bytedance — veScale 的对比基线
• meta — PyTorch 生态

来源引用