ByteDance / 字节跳动

概述

ByteDance Seed 是字节跳动的 AI 研究团队，在大规模分布式训练系统和开源框架方面有显著贡献。其代表性工作 veScale 系列解决了大模型分布式训练中”易用性”和”高性能”的矛盾，并将成果开源和上游推进至 PyTorch 官方。

关键贡献

• vescale — 分布式训练框架，SPMD 编程范式，单机语义 + 2.2x 加速
• fsdp — veScale-FSDP 提出 RaggedShard 灵活分片格式，解决 FSDP 块结构计算冲突
• distributed-training — 在 3D 并行、通信优化、内存管理方面有系统性贡献

近期动态

• 2026-06-04 | veScale-FSDP 提出 RaggedShard 灵活分片格式 + DBuffer 零拷贝，1024 GPU 上吞吐量提升 566%，内存降低 1630%，扩展至 8K GPUs | 来源: veScale-FSDP 深度解读
• 2026-06-04 | veScale 实现 SPMD 单机语义分布式训练，Thread-based RNG 一致性达到 1e-5 级别，代码量减少 78%，最高 2.2x 加速 | 来源: veScale 深度解读

相关实体

• vescale — veScale 框架
• meta — PyTorch 生态（veScale 计划 upstream 到 PyTorch）
• nvidia — Megatron-LM 竞品对比

来源引用