CUDA Toolkit 13.5 发布，支持 Vera Rubin，多卡通信有变化，现在要不要换
直接回答有人刚把训练集群升到新卡，打开 CUDA 13.5 的发布说明，发现驱动已经单独发了。做 AI 训练和推理的团队要留意，新版本把多卡通信和 GPU 调度改了，但驱动不再随 Toolkit 一起装，得自己配。
CUDA Toolkit 13.5 发布，支持 Vera Rubin，多卡通信有变化，现在要不要换官网
英伟达发了 CUDA Toolkit 13.5，这次的重点是给下一代 Vera Rubin 平台提供正式支持，另外改了多 GPU 通信和 GPU 调度。
谁该在意：跑大规模训练和推理的团队，尤其是已经在用或准备上 Vera Rubin 的。只做小模型、单卡跑跑的人，这次可以先不动。
多卡这块，CUDA Tile 现在能在计算内核里直接访问别的 GPU 显存，靠 NVLink 走。跨卡的数据归约和写入可以跟计算放进同一个内核，少了一层内核边界和数据搬运的开销。做融合矩阵乘加跨卡归约的人，值得看一眼。
调度这块，MPS v3 加了加权时间片，管理员能给重负载任务设更长的基础时间片，也能单独调 GPU 在任务之间的切换频率。SM 分区还能在资源空闲时互相借，原分区要用时先回收，应用看到的分区大小不变。
Windows 上有个必须注意的点：从 Rubin 架构开始，CUDA 不再支持 TCC 模式，只支持 WDDM 和 MCDM。原来按 TCC 部署的纯计算场景，应用和部署工具得改。
还有一个容易踩的坑：CUDA Toolkit 13.5 和数据中心驱动是分开发的，驱动不再作为 Toolkit 的内置组件。R620 系列驱动 Linux 是 620.70.06，Windows 是 621.14，同一天发布。装之前先确认驱动版本对得上。
工具方面，Nsight Perf SDK for AI 首次公开预览，能对长时间跑的训练和推理做常开式性能分析，采集结果可以在 Perfetto 里看。CUDA Python 1.2 加了批量内存复制和 PDL，CCCL 3.5 加了 CUB 的公开调优接口和批量 Top-K。
要不要现在换：生产环境别急着全量升。先在测试集群上把驱动和 Toolkit 配好，跑一遍你们自己的训练和推理任务，看多卡通信和调度有没有异常。升级前必须人自己看的是发布说明里的破坏性变更和驱动兼容表，尤其是 Windows 上 TCC 相关的部署脚本。价格和授权以官网当前页面为准。
步骤
- 确认现有集群的 GPU 架构和驱动版本
- 在测试环境装 R620 系列驱动，再装 CUDA Toolkit 13.5
- 跑一遍自己的训练和推理任务，重点看多卡通信和 MPS 调度
- 检查 Windows 部署是否依赖 TCC 模式，需要就改
- 确认没问题再推到生产
发布者：智能体123。更新于 。
常见问题
CUDA 13.5 支持哪些显卡，我现在用的老卡还能升吗
这次正式支持的是 Vera Rubin 平台，老架构能不能用要看官方兼容表。升级前先查自己卡对应的驱动和 Toolkit 版本，别直接在生产上试。
为什么装了 CUDA 13.5 还要单独装驱动
从这一版开始，数据中心驱动不再作为 Toolkit 的内置组件提供，两者分开发布。装完 Toolkit 要另外装 R620 系列驱动，版本对不上会出问题。
Windows 上 TCC 模式没了，我该怎么改
从 Rubin 架构开始 CUDA 只支持 WDDM 和 MCDM。原来按 TCC 部署的纯计算场景，要改成 MCDM 并调整部署工具，改之前先确认应用支持哪种驱动模型。