H200-141G-SXM5：H200 是型号代号，141G 表示 141GB 显存，SXM5 指 SXM 第五代板型（高带宽底座，需搭配专用服务器）。
与 H100 同一颗 GH100 die（Hopper 架构的芯片代号）、算力完全相同；全部增量只来自显存——HBM3 80GB/3.35 TB/s 跃迁到 HBM3e 141GB/4.8 TB/s。它是一堂关于"瓶颈"的公开课：证明大模型跑不快，常常不怪算力，怪显存。

一、开篇导读

H200 是 NVIDIA 2023 年 11 月发布、2024 年二季度量产的数据中心 AI 训练与推理 GPU，基于与 H100 相同的 Hopper 架构、同一颗 GH100 die。它不是 H100 的"下一代"，而是 H100 的显存升级版——算力一字未动，只把显存做大、做快。

为什么单独为一次"显存升级"写一整篇？ 因为 H200 讲清了一个常被忽略的道理：GPU 快不快，不只看算力，更看能不能把算力喂饱。H100 那篇里反复出现的痛点是显存墙——70B 模型 FP16 权重 140GB，单张 80GB 的 H100 装不下、必须跨卡。H200 用单卡 141GB 一举填平这道墙。读懂它，你会看清一件事：算力瓶颈和显存瓶颈，是两件完全不同的事——而 2023 年之后，卡住大模型的越来越是后者。

二、认知锚点：用类比看懂它

一句话类比：如果 H100 是一座吞吐惊人的自动化超级货运港，那 H200 就是把同一座港的堆场面积扩到 1.76 倍、装卸传送带速率提到 1.43 倍——分拣工人（算力）一个没换，但堆场能同时摊开的集装箱（显存）多了快一倍，传送带（带宽）也快了近一半。货船的等待时间自然大幅下降。

把数字变直觉：

• 显存 141GB（堆场大小）：约为 H100 的 1.76 倍。最直接的后果是——70B 模型 FP16 权重约 140GB，单张 H200 刚好装下；而 H100 必须用 2 张卡跨卡并行，搬运本身又吃掉一部分带宽。
• 带宽 4.8 TB/s（传送带速率）：约为 H100（3.35 TB/s）的 1.43 倍，每秒约多搬 290 张 DVD 的数据（DVD 按 4.7GB 计）。LLM 推理时读取权重和 KV cache 是带宽瓶颈，带宽涨多少，吞吐就接近同比例涨多少。
• 算力（分拣工人）一个没换：FP8/FP16/TF32 各档位与 H100 一字不差（详见第四节）。所以 H200 不会让计算密集的任务变快，它只让那些"算力在等数据"的任务变快。

三个常见误区：

1. H200 是 H100 的下一代、算力更强？ 错。同一颗 GH100 die，算力完全相同；H200 是显存换代，不是算力换代。真正的下一代是 Blackwell B200。
2. 显存大就一定快？ 看任务。计算密集（大 batch 训练）时 H200 与 H100 同速；只有显存与带宽密集（大模型推理、长上下文 KV cache）时 H200 才明显更快。
3. H200 更新，所以一定更划算？ 不一定。它的溢价来自 HBM3e，只在显存成瓶颈时才回本；模型装得下 80GB 的场景，H100 性价比更高。

三、一个反直觉的事实：算力过剩，显存吃紧

H200 存在的全部理由，都藏在一个反直觉的事实里：到了千亿参数时代，卡住大模型的第一瓶颈，已经从"算力不够"变成了"显存装不下、带宽喂不饱"。这一节把这件事讲透，也就讲透了 H200。

3.1 为什么算力不是瓶颈

H200 与 H100 是同一颗 GH100 die、同频交付，FP8/FP16/TF32 等所有算力档位分毫不差（数据见第四节）。既然算力一模一样，NVIDIA 为什么还要单独出一款卡？因为在很多真实负载里，昂贵的张量核心大量时间在空转等数据——权重和 KV cache 来不及从显存搬进来。算力早已不是短板，喂给算力的"料"才是。

3.2 真正的两堵墙：显存墙与带宽墙

H100 发布后，大模型参数规模持续攀升：2023 年 LLaMA-2（70B）、2024 年 LLaMA-3（405B）、Claude 3、GPT-4 等千亿至万亿参数模型相继落地，H100 的 80GB 显存开始捉襟见肘。H200 用一次显存换代，一次性补上两堵墙：

H100 的两堵墙	H200 的解法	量化
显存墙：80GB 装不下 70B FP16 权重（约 140GB），必须跨卡张量并行	141GB HBM3e，单卡装载 70B FP16 权重	容量 1.76 倍
带宽墙：3.35 TB/s，推理时权重/KV cache 读取成瓶颈	4.8 TB/s HBM3e，带宽约为 H100 的 1.43 倍	4.8 vs 3.35 TB/s
大 batch 上不去：显存不够，batch 受限，算力利用率低	显存翻倍后 batch 可加大，算力被喂得更饱	同算力下吞吐更高
长上下文 KV cache 撑不住：32K 上下文 70B 模型 KV cache 数十 GB	141GB 可容纳更长上下文、更高并发	上下文与并发同比例提升

一句话：H200 不追算力，只追"把 H100 的算力喂饱"，让算力不再因为等数据而空转。

代际与产品线位置：上代 H100（2022，80GB HBM3）｜同代衍生 GH200（Grace CPU + Hopper GPU 超级芯片，HBM3e 141GB 或 288GB）｜下代 Blackwell B200（2024 起，192GB HBM3e，算力与显存双升级）。H200 本身还分 SXM5（本文主角、平台在管型号）、NVL（PCIe 板型）两种交付形态。

四、关键参数全景

H200 与 H100 SXM5 的对照是本文的专业层重心——差异只有显存两行，算力一行不差。读表时只需盯住加粗的两行。

下表以 H200 SXM5 141GB 为主，附 H100 SXM5 80GB 对照。算力单位 TFLOPS（FP8/INT8 亦用 TOPS）。

参数	H200 SXM5 141GB	H100 SXM5 80GB	差异
架构 / 制程	Hopper / TSMC 4N	同左	无
GH100 die / 晶体管	同一颗 / 800 亿	同一颗 / 800 亿	无
CUDA cores	16896	16896	无
显存容量	141 GB HBM3e	80 GB HBM3	1.76 倍
显存位宽	5120-bit	5120-bit	无
显存带宽	4.8 TB/s	3.35 TB/s	1.43 倍
FP8（稠密/稀疏）	1979 / 3958	1979 / 3958	无
FP16 / BF16（稠密/稀疏）	989 / 1979	989 / 1979	无
TF32（稠密/稀疏）	495 / 990	495 / 990	无
FP64（非张量）	34 TFLOPS	34 TFLOPS	无
INT8（稠密/稀疏）	1979 / 3958 TOPS	1979 / 3958 TOPS	无
NVLink / PCIe	4 代 900 GB/s / Gen5	同左	无
TDP（功耗）	700 W	700 W	无

注：显存带宽公式 带宽 = 位宽(bit) × 每引脚速率(Gbps) ÷ 8。H200 与 H100 位宽同为 5120-bit，但 HBM3e 每引脚速率从 HBM3 的约 5.2 Gbps 提升到约 7.5 Gbps，故 5120 × 7.5 ÷ 8 ≈ 4.8 TB/s。算力行完全相同，因两者是同一颗 GH100 die、同频交付。市场偶见"144GB"是营销口径，datasheet 与平台字典均以 141GB 为准。参数以 NVIDIA 官方 datasheet 为准。

H200 同样有 SXM5 与 NVL（PCIe）两种交付形态（算力核心相同，差在功耗余量、NVLink 与扩展性），机理与 H100 完全一致，此处不再展开，详见 H100 · 4.2 两种交付形态。集群选 SXM5，单机或 PCIe 升级选 NVL；本平台在管型号 H200-141G-SXM5 即 SXM5 满血版，下文"H200"均指此版。

五、HBM3e：H200 唯一的硬件增量

既然算力、架构、互联全部继承自 H100，H200 的整个故事就压在一个词上——HBM3e。看懂这一代显存的进步，就看懂了 H200 全部的价值来源。

HBM 是什么：HBM（High Bandwidth Memory，高带宽显存）通过 3D 堆叠多层 DRAM die + 硅通孔（TSV）+ 中介层与 GPU 直连，区别于传统 GDDR 显存。它的代际演进，几乎就是近几代数据中心 GPU 的显存进化史：

代次	代表 GPU	单 die 容量	每引脚速率	典型带宽
HBM2	V100	8GB	~2 Gbps	0.9 TB/s
HBM2e	A100	8GB	~3.2 Gbps	2.0 TB/s
HBM3	H100	16GB	~5.2 Gbps	3.35 TB/s
HBM3e	H200	24GB	~7.5 Gbps	4.8 TB/s

141GB 是怎么来的：H200 用 6 颗 HBM3e die 拼出 141GB（6 × 24GB ≈ 144GB，扣除非可用部分得 141GB），位宽仍为 5120-bit，靠每引脚速率的提升把总带宽拉到 4.8 TB/s。

为什么这次升级这么关键：HBM3e 相对 HBM3 做到了容量与带宽同比例齐涨（1.76 倍 / 1.43 倍），恰好对应大模型"装得下 + 取得快"的双重诉求——这也是为什么仅仅换了显存，就值得单独出一款卡。至于 Transformer Engine、FP8 张量核心、NVLink 4 代、DPX 等，H200 全部原样继承自 H100，规格一致，完整细节见 H100 · 第五节。

六、谁能吃到显存红利

H200 比 H100 快多少，没有单一答案——关键看你的任务是"卡在算力"还是"卡在显存/带宽"。这一节把常见负载分成两类：吃得到红利的，和吃不到的。（估算口径：训练总算力按 Chinchilla 经验公式 C≈6×参数量×训练token数，GPU 实际利用率 MFU 按业界惯例 40% 折算）

6.1 吃得到红利的：推理、长上下文、超大模型

LLM 推理是带宽密集任务——每生成一个 token，都要把权重和 KV cache 从显存搬到算力单元。带宽涨 1.43 倍，吞吐就近似同比例上升。这是 H200 相对 H100 最大的实际价值。

• 70B 模型单卡推理：H200 单卡装下 FP16 权重（140GB），无需跨卡；H100 必须 2 卡张量并行，跨卡通信反噬带宽。H200 单卡推理吞吐约为 H100 的 1.4–1.9 倍（依 batch 与 KV cache 命中率浮动）。
• 长上下文（32K–128K）：70B 模型 32K 上下文的 KV cache 达数十 GB，H100 装完权重已所剩无几；H200 的 141GB 有充足余量，可支撑更长上下文或更高并发。
• 超大模型推理，卡数减半：175B FP8 权重约 175GB → H200 用 2 卡即可（H100 需 3 卡）；LLaMA-3 405B FP8 约 405GB → H200 用 3 卡（H100 需 6 卡）。卡数减半意味着跨卡通信、整机成本与功耗同步减半。

6.2 吃不到红利的：计算密集型训练

如果任务的瓶颈本就在算力（前向大 batch、显存充裕的中小模型训练），H200 与 H100 几乎同速——因为算力一模一样。以 LLaMA-70B 训练 1T tokens 估算：总算力需求 ≈ 4.2×10²³ FLOPs，千张 H200（FP8 稠密、MFU 40%）有效算力约 7.9×10¹⁷ FLOPs/s → 理想耗时 ≈ 6 天，与同规模 H100 集群基本一致。

H200 在训练上的增量只是"间接收益"：单卡显存翻倍后张量并行度可降低、跨卡通信减少、batch 可加大，实测约 1.1–1.4 倍吞吐，远不如推理侧明显。为纯算力密集的训练付 HBM3e 溢价，通常不划算。

H200 与 H100 一样定位 AI 训练与推理，无显示输出，不用于图形渲染；图形/渲染需求见 RTX / L40S 篇。部署形态（云实例 / 裸金属 8 卡 / SuperPOD）与 H100 一致，H200 特有的是 GH200 超级芯片整机（DGX GH200：256 个 Grace+Hopper 超级芯片、144TB 共享内存、单集群 1 EFLOPS 量级），适合需要 CPU+GPU 统一内存的超大模型场景。

6.3 显存经济学：多少钱、何时回本

• 回本逻辑：核心看"每 token 成本"，不看"每卡标价"。H200 单卡租金比 H100 高约 13%，但单卡可装载的模型规模约为 H100 的 1.76 倍。对显存密集的推理任务，装得下更大模型、带宽更高，摊到每 token 的成本反而低于 H100——这就是"H200 贵却划算"的全部逻辑；对计算密集任务则相反，溢价打水漂。
• 价格区间：灵算云算力市场采集价（截至 2026-07-17）约 18 元/卡·时（按量）/ 12384 元/卡·月（包月）；同期 H100 约 15.86 元/卡·时。官方发售价 $30,000–$40,000 / 卡（发布期整卡采购）；二手流通量小、价格波动大，需甄别来源。价格一律以平台实时采集为准。
• 供货与管制：H200 与 H100 同属美国出口管制受限范畴（时间线详见 H100 · 第七节）。关键差异——H200 从未推出中国特供版，国内合规采购只能走 H20 通道，H200 主要供给海外超大规模数据中心。
• 竞争与生命周期：同代对标 AMD MI300X（192GB HBM3，显存更大）；下代 Blackwell B200（192GB HBM3e，算力与显存双升级）已量产接棒；国产对标昇腾 910B / 寒武纪 MLU590 / 壁仞 BR100（算力低一档）。H200 已进入平台期，新项目逐步转向 B200，但仍是当下最成熟的 HBM3e 训练卡。CUDA 生态是它与 H100 共享的最大护城河。

七、选型指南：只在显存成瓶颈时才选它

H200 的选型只有一句话——当且仅当显存/带宽是你的瓶颈时才上它，否则 H100 更划算。下面这棵决策树帮你对号入座。

适配决策树

• 推理 70B+ 模型 + 想单卡装载 → H200 SXM5（单卡装下 70B FP16，免跨卡）。
• 训练千亿参数 + 显存吃紧（batch 上不去、KV cache 撑不住）→ H200 SXM5。
• 模型 80GB 装得下 + 算力密集为主 → H100 SXM5（算力相同、价格更低）。
• 受出口管制（中国区）→ 选合规特供 H20，或评估国产替代（910B / MLU590）。
• 追求下一代显存与算力 → 直接上 Blackwell B200（192GB HBM3e + 算力跃迁）。
• 个人 / 小团队本地微调 → RTX 4090 更经济。

兄弟型号怎么选

• H200 vs H100：同 die 同算力，只看显存。装得下 80GB 选 H100，装不下或带宽吃紧选 H200（见第四节对照表）。
• H200 vs B200：B200 是下一代 Blackwell，算力与显存双升级（192GB HBM3e，算力约为 H200 的 2–3 倍），新项目优先 B200；存量 H200 集群继续服役。
• H200 SXM vs NVL：集群必选 SXM，单机试验或 PCIe 升级选 NVL（见第四节表注）。
• H200 vs GH200：H200 是纯 GPU；GH200 是 Grace CPU + Hopper GPU 超级芯片，适合需要 CPU+GPU 统一内存的场景（如 DGX GH200 单集群 144TB 共享内存）。

避坑提示

• 别为算力买单："换 H200 训练就变快"是最大误区——算力密集任务它与 H100 同速（见 6.2）。
• HBM3e 产能：由 SK hynix / Micron / Samsung 供应，2024 年曾因产能瓶颈供货紧张，采购周期需评估。
• 显存墙仍在：141GB 跑 405B+ 模型 FP16 仍需多卡并行；超长上下文 KV cache 仍可能撑爆。
• 软件无缝：与 H100 同 Hopper 架构，CUDA/框架兼容性完全一致，H100 代码可无缝迁移。

附录：统一速查卡

项目	值
型号	NVIDIA H200 SXM5 141GB
架构 / 制程	Hopper / TSMC 4N
GH100 die	与 H100 SXM5 同一颗
显存	141GB HBM3e，4.8 TB/s
FP8 算力	1979（稠密）/ 3958（稀疏）TFLOPS
FP16/BF16	989 / 1979 TFLOPS
TF32	495 / 990 TFLOPS
FP64	34 TFLOPS
NVLink	4 代 900 GB/s
TDP	700 W
定位	training（大模型推理与千亿参数训练）
适合场景	大模型推理（显存密集）、长上下文 KV cache、超大模型减卡
参考价	约 18 元/卡·时 / 12384 元/卡·月（灵算云平台采集价格，2026-07-17）
与 H100 关系	同 die 同算力，显存 1.76 倍、带宽 1.43 倍
国产对标	昇腾 910B / MLU590 / BR100

系列导航：上一篇 读懂 H100（FP8 代际标杆）｜下一篇 读懂 A100（上一代训练主力，本系列的对比基准）。