news 2026/4/16 9:04:11

GLM-5架构曝光,智谱股价两天暴涨60%:采用DeepSeek同款稀疏注意力!

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
GLM-5架构曝光,智谱股价两天暴涨60%:采用DeepSeek同款稀疏注意力!

来源:量子位

不管Pony Alpha是不是智谱的,下一代旗舰大模型GLM-5都要来了。

GitHub代码确认,新一代架构细节曝光。

GLM-5采用了DeepSeek-V3/V3.2架构,包括稀疏注意力机制(DSA)和多Token预测(MTP),总参数量745B,是上一代GLM-4.7的2倍。

与此同时,OpenRouter平台上突然出现的神秘匿名模型「Pony Alpha」,编程和推理能力极为强劲,被社区91%以上的用户判断为GLM-5测试版。

受这些消息影响,智谱AI港股两日暴涨60%。

开源代码泄露参数架构

GLM-5的架构信息并非来自智谱官方,而是被开源社区从代码提交中“挖”出来的。

在vLLM推理框架的PR中,开发者发现GLM-5的实现逻辑被直接映射到了DeepSeek-V3的组件上。

GLM-5继承的第一项核心技术是DeepSeek稀疏注意力(DeepSeek Sparse Attention,DSA)

DSA通过两阶段流程做到长文本处理效率大幅提升,输出质量几乎不受影响。

首先由Lightning Indexer轻量级组件快速扫描所有历史token并打分,评估它们与当前query token的相关性;然后只挑选得分最高的Top-k个token进行完整的注意力计算,其余全部跳过。

第二项技术是多Token预测(Multi-Token Prediction,MTP),用于提升模型的生成效率。

从代码中推断出的架构参数看,GLM-5包含78层隐藏层,采用MoE(混合专家)架构,共256个专家,每次推理激活8个,激活参数约44B,稀疏度5.9%,与DeepSeek-V3.2的5.4%基本持平。

上下文窗口支持最高202K token。

有开发者指出,复用DeepSeek架构意味着GLM-5可以直接受益于vLLM、SGLang等推理框架已有的优化,部署门槛会更低。

但也有人提出疑问:DeepSeek-V3架构以纯文本为主,GLM-5首发版本是否会因此缺失多模态能力?

匿名测试与春节档大混战

2月初,OpenRouter平台上新匿名免费模型,代号「Pony Alpha」,支持200K上下文窗口。

模型一上线就引起了开发者社区的广泛关注,它的编程能力非常突出,能根据单条提示直接生成完整的功能性应用程序,在复杂推理和Agent工作流上同样表现出色。

“这到底是谁家的模型”迅速成为社区热议话题。

指向GLM-5的证据链覆盖了多个维度:

时间上,「Pony Alpha」出现的节点与智谱首席科学家唐杰多次暗示的GLM-5发布窗口完全吻合。

有开发者测试发现该模型对特定token的反应和GLM系列一致。

风格上,它的输出排版习惯也与GLM系列高度一致。

GLM-5的发布窗口,恰好撞上了一个异常拥挤的档期。

唐杰在内部信中已明确预告GLM-5即将发布,多方信息指向2026年2月中旬,即春节前后。

而在同一时间段,DeepSeek新模型、Qwen 3.5、MiniMax M2.2等模型也都有消息将发布更新。

2026年的“春节档”,AI比电影那边还热闹。

参考链接:
[1]https://github.com/vllm-project/vllm/pull/34124
[2]https://x.com/chetaslua/status/2020832197771714943

马年大吉,恭祝新春快乐

分享

收藏

点赞

在看

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/3/31 23:30:01

小米开源2025年度报告发布 | 以开源为翼,赴技术新程

2025年度,小米开源以 “尊重、回馈、价值”为核心理念,发布了 Xiaomi MiMo 系列大模型、声音理解大模型 MiDashengLM-7B,开源了跨域具身基座模型 Xiaomi MiMo-Embodied 以及探索大模型驱动全屋智能的 Xiaomi Miloco 等核心项目,op…

作者头像 李华
网站建设 2026/4/9 17:34:56

35 岁双非本科还能进大厂?

大家好,我是R哥。今天我又来分享一个励志的辅导案例,这兄弟基本信息如下:年龄:马上快 35⼯作年限:10年学历:双非本科/非科班薪资:20k核心诉求:进大厂,薪资达到40w说实话&…

作者头像 李华
网站建设 2026/4/11 17:54:51

九元伦理原子:自指认知框架下的伦理升维与AGI内生安全范式

九元伦理原子:自指认知框架下的伦理升维与AGI内生安全范式摘要在通用人工智能(AGI)从“可用”走向“可信、可控、可持续”的进程中,传统外挂式伦理对齐方案已显现出局限性。本文提出九元伦理原子(Ninefold Ethical Ato…

作者头像 李华
网站建设 2026/4/8 16:01:48

基于STM32F103平台的示波器应用设计方案

一、系统架构设计 1. 硬件模块组成模块核心组件功能描述主控单元STM32F103C8T672MHz主频,内置12位ADC(1Msps)、DMA、定时器,支持双通道同步采样信号调理AD827运放可编程增益放大器输入阻抗1MΩ,增益0-40dB可调&#xf…

作者头像 李华
网站建设 2026/4/15 14:06:30

法律金融从业者必备:GLM-4-9B-Chat长文本分析工具

法律金融从业者必备:GLM-4-9B-Chat长文本分析工具 1. 为什么法律金融从业者需要专业AI工具 法律和金融行业每天都要处理大量复杂文档:上百页的合同、数千行的财报、冗长的法规文件。传统的人工阅读和分析方式不仅效率低下,还容易遗漏关键信…

作者头像 李华
网站建设 2026/4/9 18:49:35

亚洲美女-造相Z-Turbo:5分钟快速生成高清美女图片教程

亚洲美女-造相Z-Turbo:5分钟快速生成高清美女图片教程 你是否试过输入“亚洲美女”四个字,却得到一张五官错位、肤色失真、背景杂乱的图片?是否在反复刷新后仍难觅一张自然灵动、细节清晰、风格统一的人像作品?别急——这很可能不…

作者头像 李华