news 2026/4/16 11:56:20

【IC】英伟达显卡的超高显存带宽

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【IC】英伟达显卡的超高显存带宽

LPDDR 和英伟达用的显存完全不是一个量级的东西。

英伟达 H100/B200 之所以能达到3.35 TB/s ~ 8 TB/s的恐怖带宽,不是因为它跑得快(频率其实不高),而是因为它路太宽了

1. 揭秘:HBM 的“暴力美学”

英伟达的高端 AI 卡(H100/B200)用的既不是 GDDR,也不是 LPDDR,而是HBM3 / HBM3E (High Bandwidth Memory)

我们来做一个简单粗暴的算术题:

A. 你的 LPDDR5X (64-bit)
  • 频率:8.5 Gbps (非常快!)
  • 位宽64 bit(很窄,像双车道)
  • 带宽8.5 × 64 / 8 ≈ 68 GB/s 8.5 \times 64 / 8 \approx \mathbf{68 \text{ GB/s}}8.5×64/868GB/s
B. 英伟达 H100 (5120-bit)
  • 频率:5.2 Gbps (其实比你的 LPDDR 还慢!)
  • 位宽5120 bit(这是 80 车道的超级高速公路!)
    • H100 封装了5 颗HBM3 显存堆栈。
    • 每颗 HBM3 堆栈有1024 bit位宽。
    • 总位宽 =1024 × 5 = 5120 bit 1024 \times 5 = 5120 \text{ bit}1024×5=5120bit
  • 带宽5.2 × 5120 / 8 ≈ 3 , 350 GB/s ( 3.35 TB/s ) 5.2 \times 5120 / 8 \approx \mathbf{3,350 \text{ GB/s}} (3.35 \text{ TB/s})5.2×5120/83,350GB/s(3.35TB/s)
C. 英伟达 B200 (8192-bit)
  • 频率:8.0 Gbps (HBM3E)
  • 位宽8192 bit(使用了 8 颗 HBM3E)
  • 带宽8.0 × 8192 / 8 ≈ 8 , 000 GB/s ( 8 TB/s ) 8.0 \times 8192 / 8 \approx \mathbf{8,000 \text{ GB/s}} (8 \text{ TB/s})8.0×8192/88,000GB/s(8TB/s)

结论:英伟达赢在位宽上。它的位宽是 LPDDR 的100 倍以上。

2. 为什么 LPDDR 做不到这么宽?

你可能会问:“那我也把 LPDDR 的位宽做大不就行了?”

这就是物理限制了:

  • LPDDR 需要在 PCB 板上走线:你在主板上画 64 根线还可以,画 5000 根线?板子得有几十层厚,面积得像桌子一样大,根本画不下。
  • HBM 是在芯片里走线:HBM 是通过CoWoS (2.5D 封装)技术,在硅中介层(Interposer)上刻蚀出来的线。硅片上的线宽只有几微米,所以可以在指甲盖大小的地方塞进几千根线。

3. GDDR 呢?它在哪里?

  • 消费级显卡 (RTX 4090)还在用GDDR6X
    • 频率:21 Gbps (极快!是 HBM 的 3-4 倍)
    • 位宽:384 bit (比 LPDDR 宽,但远不如 HBM)
    • 带宽21 × 384 / 8 ≈ 1 , 008 GB/s ( 1 T B / s ) 21 \times 384 / 8 \approx \mathbf{1,008 \text{ GB/s}} (1 TB/s)21×384/81,008GB/s(1TB/s)
    • 你看,即使是最顶级的 GDDR,带宽也只有 HBM 的几分之一。

总结

  • LPDDR (68 GB/s)电动车。省电、便宜、随便跑。
  • GDDR (1 TB/s)F1 赛车。单圈极速(频率)最快,但车道少。
  • HBM (4-8 TB/s)高铁车队。虽然单车速度(频率)不快,但它一次能拉几百节车厢(位宽极大),总运力无敌。

所以,做 AI 训练这种吞吐量极大的任务,HBM 是唯一的选择

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/11 21:29:09

Open-AutoGLM智能体电脑部署难题破解,90%团队忽略的关键细节

第一章:Open-AutoGLM智能体电脑的核心功能与应用场景Open-AutoGLM智能体电脑是一款基于大语言模型与自动化执行引擎深度融合的智能计算平台,具备自然语言理解、任务自主规划、多工具协同调用等核心能力。该系统能够将用户以自然语言描述的需求自动转化为…

作者头像 李华
网站建设 2026/4/9 0:56:56

Open-AutoGLM环境搭建避坑指南:99%新手都会犯的6个错误

第一章:Open-AutoGLM使用教程Open-AutoGLM 是一款基于 AutoGLM 架构开发的开源自动化自然语言处理工具,专为开发者和研究人员设计,支持快速构建、训练和部署语言模型。其模块化架构允许灵活扩展,适用于文本生成、意图识别、对话系…

作者头像 李华
网站建设 2026/4/2 4:20:42

Open-AutoGLM ollama使用避坑指南:90%新手都会犯的3个错误

第一章:Open-AutoGLM ollama 简介与核心价值Open-AutoGLM 是基于 Ollama 构建的开源自动化大语言模型工具,专注于提升本地化部署环境下自然语言处理任务的效率与灵活性。它结合了 GLM 架构的强大语义理解能力与 Ollama 提供的轻量级模型运行时&#xff0…

作者头像 李华
网站建设 2026/4/2 4:26:20

Open-AutoGLM横评10款主流模型,这项得分让人震惊

第一章:Open-AutoGLM横评10款主流模型,这项得分让人震惊在最新一轮针对自动化代码生成能力的基准测试 Open-AutoGLM 中,十款主流大语言模型接受了全面评估。评测聚焦于代码理解、多轮对话逻辑保持、跨文件推理以及自然语言到代码的转换效率四…

作者头像 李华
网站建设 2026/4/16 5:49:57

计算机Java毕设实战-基于java的网吧管理系统网吧电脑管理、电脑维护管理、值班记录管理、充值记录管理【完整源码+LW+部署说明+演示视频,全bao一条龙等】

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

作者头像 李华
网站建设 2026/4/16 9:01:11

2025年中山大学计算机考研复试机试真题(附 AC 代码 + 解题思路)

2025年中山大学计算机考研复试机试真题 2025年中山大学计算机考研复试上机真题 历年中山大学计算机考研复试上机真题 历年中山大学计算机考研复试机试真题 更多学校题目开源地址:https://gitcode.com/verticallimit1/noobdream N 诺 DreamJudge 题库&#xff1…

作者头像 李华