news 2026/6/10 16:18:23

消费级显卡也能跑清华智谱的GLM-4.6V啦

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
消费级显卡也能跑清华智谱的GLM-4.6V啦


该模型属于GLM-V系列模型家族，相关论文详见《GLM-4.1V-思维与GLM-4.5V：基于可扩展强化学习的通用多模态推理》。

  • GLM-4.6V技术博客：https://z.ai/blog/glm-4.6v
  • 研究论文：https://huggingface.co/papers/2507.01006
  • GitHub代码库：https://github.com/zai-org/GLM-V
  • 在线演示：https://chat.z.ai/
  • API接入：Z.ai开放平台
  • 桌面助手应用：https://huggingface.co/spaces/zai-org/GLM-4.5V-Demo-App

模型介绍

GLM-4.6V系列包含两个版本：面向云端及高性能集群场景设计的GLM-4.6V基础模型（1060亿参数），以及针对本地部署和低延迟应用优化的轻量版GLM-4.6V-Flash（90亿参数）。GLM-4.6V在训练时将上下文窗口扩展至128k tokens，在同等参数规模模型中实现了视觉理解能力的领先水平。关键突破在于首次集成了原生函数调用能力，有效弥合了"视觉感知"与"可执行动作"之间的鸿沟，为现实商业场景中的多模态智能体提供了统一的技术基础。

超越在可比模型规模下实现了主要多模态基准的SoTA性能。GLM-4.6V引入了以下关键特性：

  • 原生多模态函数调用
    实现视觉驱动的原生工具使用。图像、截图和文档页面可直接作为工具输入传递，无需文本转换，同时视觉输出（图表、搜索图片、渲染页面）会被解析并整合到推理链条中。这形成了从感知到理解再到执行的闭环。

  • 交错式图文内容生成
    支持从复杂多模态输入生成高质量的混合媒体内容。GLM-4.6V接收跨文档、用户输入和工具检索图像的多模态上下文，合成符合任务需求的连贯图文内容。在生成过程中可主动调用搜索检索工具来收集整理额外文本和视觉素材，产出丰富且视觉信息扎实的内容。

  • 多模态文档理解
    能处理长达128K token的多文档/长文档输入，直接将富格式页面作为图像解析。联合理解文本、版式、图表、表格和图形，无需预先转换为纯文本即可准确理解图像密集的复杂文档。

  • 前端复现与视觉编辑
    从UI截图重建像素级精准的HTML/CSS代码，支持自然语言驱动的编辑。通过视觉检测布局、组件和样式，生成简洁代码，并根据简单用户指令进行迭代式视觉修改。

本Hugging Face仓库托管GLM-V系列的GLM-4.6V-Flash模型。

使用指南

环境安装

针对SGLang：

pipinstallsglang>=0.5.6.post1 pipinstallnvidia-cudnn-cu12==9.16.0.29sudoaptupdatesudoaptinstallffmpeg

ForvLLM:

pipinstallvllm>=0.12.0 pipinstalltransformers>=5.0.0rc0

Transformers 快速入门

fromtransformersimportAutoProcessor,Glm4vForConditionalGenerationimporttorch MODEL_PATH="zai-org/GLM-4.6V-Flash"messages=[{"role":"user","content":[{"type":"image","url":"https://upload.wikimedia.org/wikipedia/commons/f/fa/Grayscale_8bits_palette_sample_image.png"},{"type":"text","text":"describe this image"}],}]processor=AutoProcessor.from_pretrained(MODEL_PATH)model=Glm4vForConditionalGeneration.from_pretrained(pretrained_model_name_or_path=MODEL_PATH,torch_dtype="auto",device_map="auto",)inputs=processor.apply_chat_template(messages,tokenize=True,add_generation_prompt=True,return_dict=True,return_tensors="pt").to(model.device)inputs.pop("token_type_ids",None)generated_ids=model.generate(**inputs,max_new_tokens=8192)output_text=processor.decode(generated_ids[0][inputs["input_ids"].shape[1]:],skip_special_tokens=False)print(output_text)

评估设置

我们主要使用vLLM作为模型推理的后端。为了在视频任务上获得更快更可靠的性能，我们采用SGLang。要复现我们的榜单结果，建议使用以下解码参数：

  • top_p: 0.6
  • top_k: 2
  • temperature: 0.8
  • repetition_penalty: 1.1
  • max_generate_tokens: 16K

更多使用细节请参考我们的Github。

已修复与现存问题

自GLM-4.1V开源以来，我们收到了社区的大量反馈，并深知模型仍存在诸多不足。在后续迭代中，我们尝试解决了几个常见问题——例如思维重复输出和格式错误——在新版本中这些问题已得到一定缓解。

但模型仍存在若干局限与问题，我们将尽快修复：

  1. 纯文本QA能力仍有较大提升空间。本次开发周期我们主要聚焦视觉多模态场景，将在后续更新中增强纯文本能力
  2. 特定情况下模型仍可能过度思考甚至自我重复，尤其在处理复杂提示时
  3. 某些情境下模型可能在结尾处重复陈述答案
  4. 仍存在部分感知局限，如计数准确性和特定人物识别等仍需改进

感谢您的耐心与理解。我们也欢迎在issue区反馈建议——我们将尽可能回应改进！

引用

若使用本模型，请引用以下论文：

@misc{vteam2025glm45vglm41vthinkingversatilemultimodal, title={GLM-4.5V and GLM-4.1V-Thinking: Towards Versatile Multimodal Reasoning with Scalable Reinforcement Learning}, author={V Team and Wenyi Hong and Wenmeng Yu and Xiaotao Gu and Guo Wang and Guobing Gan and Haomiao Tang and Jiale Cheng and Ji Qi and Junhui Ji and Lihang Pan and Shuaiqi Duan and Weihan Wang and Yan Wang and Yean Cheng and Zehai He and Zhe Su and Zhen Yang and Ziyang Pan and Aohan Zeng and Baoxu Wang and Bin Chen and Boyan Shi and Changyu Pang and Chenhui Zhang and Da Yin and Fan Yang and Guoqing Chen and Jiazheng Xu and Jiale Zhu and Jiali Chen and Jing Chen and Jinhao Chen and Jinghao Lin and Jinjiang Wang and Junjie Chen and Leqi Lei and Letian Gong and Leyi Pan and Mingdao Liu and Mingde Xu and Mingzhi Zhang and Qinkai Zheng and Sheng Yang and Shi Zhong and Shiyu Huang and Shuyuan Zhao and Siyan Xue and Shangqin Tu and Shengbiao Meng and Tianshu Zhang and Tianwei Luo and Tianxiang Hao and Tianyu Tong and Wenkai Li and Wei Jia and Xiao Liu and Xiaohan Zhang and Xin Lyu and Xinyue Fan and Xuancheng Huang and Yanling Wang and Yadong Xue and Yanfeng Wang and Yanzi Wang and Yifan An and Yifan Du and Yiming Shi and Yiheng Huang and Yilin Niu and Yuan Wang and Yuanchang Yue and Yuchen Li and Yutao Zhang and Yuting Wang and Yu Wang and Yuxuan Zhang and Zhao Xue and Zhenyu Hou and Zhengxiao Du and Zihan Wang and Peng Zhang and Debing Liu and Bin Xu and Juanzi Li and Minlie Huang and Yuxiao Dong and Jie Tang}, year={2025}, eprint={2507.01006}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2507.01006}, }
版权声明: 本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若内容造成侵权/违法违规/事实不符，请联系邮箱：809451989@qq.com进行投诉反馈，一经查实，立即删除！
网站建设 2026/6/9 21:22:27

Wan2.2视频生成引擎：解密AI创作新纪元的三大技术密码

Wan2.2视频生成引擎：解密AI创作新纪元的三大技术密码 【免费下载链接】Wan2.2-T2V-A14B 项目地址: https://ai.gitcode.com/hf_mirrors/Wan-AI/Wan2.2-T2V-A14B 你知道吗？当别人还在为生成视频的模糊画面发愁时，Wan2.2已经能够轻松创…

作者头像 李华
网站建设 2026/6/10 15:51:36

现代化富文本编辑器的技术突围：从性能瓶颈到极致体验

在数字化内容创作成为主流的今天，你是否也曾为富文本编辑器的卡顿、功能单一而苦恼？当用户规模从百人扩展到万人，当文档内容从千字增长到百万字，传统的富文本编辑器往往显得力不从心。wangEditor-next作为基于Slate.js的开源解决方…

作者头像 李华
网站建设 2026/6/10 15:46:19

Lyra Starter Game 中 GameFeature 类（如 ShooterCore）的加载流程

Lyra Starter Game 中 GameFeature 类（如 ShooterCore）的加载流程 1. GameFeature 系统概述 GameFeature 是 Unreal Engine 5 的一个核心插件系统，用于模块化地扩展游戏功能。在 Lyra Starter Game 中，ShooterCore 是一个典型的 G…

作者头像 李华
网站建设 2026/6/10 2:50:00

5步掌握MXNet图神经网络：智能推荐系统实战全解析

5步掌握MXNet图神经网络：智能推荐系统实战全解析 【免费下载链接】mxnet 项目地址: https://gitcode.com/gh_mirrors/mx/mxnet 还在为传统推荐算法的冷启动问题头疼吗？🤔 每天面对海量用户行为数据，却难以挖掘深层次的关联…

作者头像 李华
网站建设 2026/6/5 21:43:58

3D高斯渲染实战指南：从入门到精通的全流程解析

3D高斯渲染实战指南：从入门到精通的全流程解析 【免费下载链接】XV3DGS-UEPlugin 项目地址: https://gitcode.com/gh_mirrors/xv/XV3DGS-UEPlugin 在当今的3D渲染领域，3D高斯渲染技术正以其卓越的性能和逼真的效果引领着行业变革。这款基于前沿3…

作者头像 李华
网站建设 2026/6/9 7:20:06

5个关键步骤实现企业级PDF在线预览：vue-pdf深度技术解析

5个关键步骤实现企业级PDF在线预览：vue-pdf深度技术解析 【免费下载链接】vue-pdf PDF component for Vue 3 项目地址: https://gitcode.com/gh_mirrors/vue/vue-pdf 在现代企业数字化转型浪潮中，PDF文档的在线预览已成为提升工作效率的关键环节。…

作者头像 李华