"纸面参数没输过，真实业务没赢过。"

这句在 AI Infra 圈内流传的段子，几乎概括了国产 GPU 替代英伟达过程中最真实的尴尬——也是每一个做国产算力适配的工程师午夜梦回时的痛。

很多号称"单卡算力超越 A100"的国产卡，一放到真实的大模型训练里，要么速度慢得像牛车，要么动不动显存溢出、通信卡死、训练几小时就 OOM。问题从来不在 PPT 上，而在你把它扔进集群之后的第 73 个小时。

这篇文章我想和同行聊聊：做一次靠谱的国产算力评测，到底该怎么设计这套方法论。业内习惯叫它"三层 Benchmark 体系"，也是我这两年在国产算力替代项目里踩了无数坑之后沉淀下来的工作框架。

如果你正在做国产算力选型、正在被老板追着要一份"到底能不能切"的结论报告，或者只是对"为什么国产卡这么难用"感到好奇，这篇文章值得你花十分钟看完。

---

一、先破题：Benchmark 不是"跑分"，而是"体检"

买手机我们看安兔兔跑分，买显卡我们看鲁大师，买企业级 GPU 做大模型，表面上也需要一套"跑分体系"。但如果你真以为 Benchmark 的目的是跑出一个好看的数字去写 PR 稿，那就彻底走偏了。

英伟达的生态太好了——CUDA 闭源、工具链完整、社区积累了十几年的优化经验。国产芯片要对标的不只是硬件，而是**"硬件 + 编译器 + 算子库 + 框架 + 运维工具链 + 社区生态"**整个立体空间。

所以做 Benchmark 的核心目的从来不是帮厂商宣传峰值参数，而是摸清它的真实脾气和底线，看它能不能接住你公司的真实业务。

换句话说：Benchmark 不是跑分，是体检；不是营销材料，是验伤报告。

这个认知差异，决定了你是"执行脚本的人"还是"设计评测体系的人"。

---

二、第一层：Micro Benchmark —— 扒开马甲看硬件的"真肌肉"

这是最基础的一层"体检"，排除一切框架干扰，只看硬件本身的肌肉有多发达。

测什么

这一层的目标非常纯粹：逼近硬件的理论极限，测三件事。

第一，单卡理论算力（FLOPS/TOPS）。 最简单直接的方法就是跑满血的矩阵乘法（GEMM），不同精度都要测：FP32、FP16、BF16、INT8。这是底线，如果这里都跑不到宣称值的 70%，后面一切免谈。

第二，显存与带宽（HBM Bandwidth）。 显存容量决定你能塞多大的模型，带宽决定你喂数据的速度。大模型时代，很多瓶颈不在算力而在显存带宽——这点很容易被忽略。

第三，也是最关键的——底层通信能力。 这就是我们熟悉的 nccl-tests，以及华为昇腾的对应物 hccl_test。测两张卡之间、两台机器之间的实际互联带宽，看有没有丢包、延迟多高、抖动多大。

真正的坑在哪里

很多人在这一层只测单卡算力，然后得出"国产卡还行"的结论。这是典型的新手错误。

国产算力芯片最大的坑，往往不在单卡算力上，而在跨节点通信的延迟抖动上。你可能会遇到这种场景：单卡跑 GEMM 确实漂亮，两卡私有互联也还行，但一旦扩展到 64 卡、256 卡集群，All-Reduce 性能断崖式下跌，P99 延迟抖得像过山车。

这种问题在单机测试里你永远发现不了，但它会直接把集群 MFU 干到个位数。

所以第一层我的核心关注点是两个：通信稳定性和功耗/发热表现。 理论峰值是厂商的故事，稳定性才是你自己要讲的故事。

---

三、第二层：Macro Benchmark —— 生态好不好，算子说了算

裸机跑分再漂亮，如果算子生态烂、框架适配差，写出来的代码还是跑不快。这一层主要看硬件和主流软件栈（PyTorch、DeepSpeed、Megatron-LM、vLLM）结合得好不好。

测什么

典型算子性能。 跑一下 FlashAttention、LayerNorm、RMSNorm、RoPE 这些大模型里最核心的算子，看看它们在国产卡上的实现效率如何。注意：是否支持和支持得好不好是两码事。很多厂商文档里写着"已支持 FlashAttention"，实测下来性能只有 CUDA 版本的三分之一——这种"支持"在大规模训练里基本等于没有。

模型级吞吐（Throughput）。 拉一个标准的开源模型（Llama-2-7B、Qwen-14B、DeepSeek-V2），用标准的 PyTorch DDP 或 DeepSpeed 跑一跑，看前向/反向传播的速度。

混合精度和量化支持。 BF16 训练支持到什么程度？INT8/INT4 推理量化能不能用？这些直接影响最终的部署成本。

真正的痛点

大模型迁移到国产硬件最大的痛点，往往不是"跑不起来"，而是"能跑但没法开最优策略"。

举个典型例子：你想用 FlashAttention-2 把训练提速 2 倍，结果国产卡只支持早期版本的 FlashAttention，或者不支持某些特定的 mask 模式。于是你要么降级，要么自己啃着厂商的算子库手写一份——而这个改造成本，在项目 ROI 评估里往往被严重低估。

另一个现实是：从 CUDA 迁移到 CANN（昇腾）或者某国产架构，不是改几个 import 就能搞定的。你要重新适配通信库、重新校准混合精度、重新调度 Kernel 融合策略。每一个"差不多"，最终都会变成训练不收敛、loss spike、显存爆炸。

所以这一层我最看重两件事：算子完备度和迁移改造成本。前者决定你能不能开最优加速策略，后者决定这条路走不走得起。

---

四、第三层：End-to-End Benchmark —— 让硬件在真实业务里"挨炼"

这是最核心、也是集群运营方价值最大的一层。它不是跑一个孤立的模型，而是把硬件放到真实业务流水线里去烤。

测什么

MFU（Model Flops Utilization，模型算力利用率）。 这是一个极其关键的黄金指标。它衡量的是：你的硬件理论上有 100 分的能力，在真实训练任务里到底发挥出了几分？

给一个参考系：

• A100 在精心调优的 Llama 训练中能跑到 50%+
• H100 能跑到 40–50%（因为理论峰值太高，分母大）
• 国产卡初期很多时候只有 10%–20%，甚至个位数

一个 MFU 只有 15% 的集群，意味着你花 1000 万买的卡，实际只有 150 万在干活。这不是技术问题，这是经营问题。

训练/推理的真实吞吐。 推理看 Tokens/s（每秒吐多少字）、TTFT（首 Token 延迟）；训练看 Samples/s 或 Tokens/s，以及跑完一个 epoch 要多久。

长周期稳定性与容错能力。 这是我个人觉得最被低估、也最能体现评测深度的一环。

跑 1 个小时没问题不代表什么，大模型预训练动辄几周几个月。真正要测的是：

• 连续跑 3 天、7 天，会不会出现 ECC 错误、硬件掉卡
• 会不会有慢性显存泄漏最终 OOM
• 节点宕机后，通过 Checkpoint 恢复训练要多久
• 在开启 TP（张量并行）、PP（流水线并行）、ZeRO 切分之后，集群整体是否还稳

对算力租赁、多租户场景来说，不稳定比跑得慢更可怕。 跑得慢只是赚得少，不稳定是直接赔钱。

所以在真正主导评测时，我会刻意设计一些"破坏性测试"——人为拔网线、kill 进程、模拟节点宕机，看看弹性调度和 Checkpoint 恢复机制扛不扛得住。这些东西厂商不会在白皮书里告诉你，但它是你真正上生产之前必须自己趟一遍的。

---

五、关于 Benchmark 这件事的一点认知

做国产算力替代这两年，我越来越觉得一个事实：这个行业最稀缺的不是会跑脚本的工程师，而是能把评测这件事做"完整"的人。

什么叫完整？我的理解是：一个靠谱的评测者，应当同时具备三个视角。

第一是硬件视角。 知道芯片的理论峰值在哪，知道带宽和算力哪个会先成为瓶颈，知道 ECC、RAS、热功耗这些硬件指标在大规模集群里意味着什么。

第二是框架视角。 知道 PyTorch、DeepSpeed、Megatron 这些框架在底层是怎么调度计算和通信的，知道从 CUDA 迁到国产架构时真正的工作量在哪里，知道哪些算子是性能关键路径。

第三是业务视角。 也是最容易被工程师忽略的一点。知道你们公司的真实负载是什么——是预训练还是微调？是短上下文还是长上下文推理？是多模态 VLA 还是纯文本？不同业务对硬件的敏感点完全不一样。一块在 LLM 推理里表现平平的卡，可能在 CV 训练里是性价比之王。

这三个视角缺一个，评测结论就会失真。很多厂商评测报告只讲硬件和框架，最后结论飘在空中，业务方看完完全不知道"那到底该不该切"。

一份真正有价值的评测报告，输出的不是一张跑分表，而是**"在我们的业务场景下，这块卡能跑出多少真实吞吐、瓶颈在哪里、改造要投入多少人月、生产环境稳定性风险在哪"** 这样一套完整的决策依据。

这也是我这两年做这件事感受最深的一点：Benchmark 的终点不是数字，而是决策。

---

六、写在最后

做完这一整套体系，你会发现评测的核心从来不是技术，而是认知。

• 新手眼里，Benchmark 是脚本；
• 工程师眼里，Benchmark 是数据；
• 架构师眼里，Benchmark 是决策；
• 而对真正做国产算力替代的团队来说，Benchmark 是一个关于"我们到底敢不敢 all-in 这块卡"的商业判断。

国产算力这条路现在还很难走，但它必须走。CUDA 生态不是一天建起来的，同样，国产生态也不会一夜之间追平。我们这些在一线做适配、做评测、做集群运营的人，本质上是在用自己的踩坑时间，为整个生态的成熟做铺路石。

希望这篇方法论能帮同行少踩一些坑。

也欢迎在评论区聊聊你在国产卡适配中遇到过的最离谱的 bug——我赌一定比我遇到的还离谱。

---

如果觉得有帮助，点个赞/收藏/转发。后续我会继续分享 AI Infra、集群运维、国产算力落地的实战经验。