news 2026/4/15 21:10:55

Gemini 3「开眼」像素级操控!谷歌回应DeepSeek-OCR2

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
Gemini 3「开眼」像素级操控!谷歌回应DeepSeek-OCR2

谷歌Google DeepMind刚刚推出新能力,用代码赋予Gemini 3 Flash「法眼」。

没想到吧,Google DeepMind刚刚为Gemini 3 Flash推出了一个重量级新能力:Agentic Vision(智能体视觉)。(难道是被DeepSeek-OCR2给刺激到了?)

可以看到,这项技术彻底改变了大语言模型理解世界的方式:

从过去的「猜」变成了如今的「深度调查」。

该能力由Google DeepMind团队推出,核心产品经理Rohan Doshi表示,传统的AI模型在处理图片时,往往只是静态地看一眼。

如果图片里的细节太小,比如微处理芯片上的序列号或者远处模糊的路牌,模型往往只能靠「猜」。

而Agentic Vision引入了一个「思考-行动-观察」(Think-Act-Observe)的闭环:

模型不再是被动接收像素,而是会根据用户的需求,主动编写Python代码来操纵图像。

这一能力直接让Gemini 3 Flash在各类视觉基准测试中实现了5%到10%的性能跨越。

Agentic Vision:智能体视觉新前沿

DeepMind探索的方法概括起来就是:利用代码执行作为视觉推理的工具,将被动的视觉理解转化为主动的智能体过程。

什么意思呢?我们知道,目前的SOTA模型通常是一次性处理图像。

但Agentic Vision引入了一个循环:

1.思考(Think):模型分析用户查询和初始图像,制定多步计划。

2.行动(Act):模型生成并执行Python代码来主动操纵图像(如裁剪、旋转、标注)或分析图像(如运行计算、计数边界框等)。

3.观察(Observe):变换后的图像被追加到模型的上下文窗口中。这允许模型在生成最终响应之前,以更好的上下文检查新数据。

Agentic Vision实战

通过在API中启用代码执行,开发者可以解锁许多新行为。

Google AI Studio中的演示应用已经展示了这一点。

1. 缩放与检查(Zooming and inspecting)

Gemini 3 Flash被训练为在检测到细粒度细节时进行隐式缩放。

PlanCheckSolver.com是一个AI驱动的建筑计划验证平台,通过启用Gemini 3 Flash的代码执行功能来迭代检查高分辨率输入,将准确率提高了5%。

后台日志视频展示了这个智能体过程:Gemini 3 Flash生成Python代码来裁剪和分析特定的补丁(例如屋顶边缘或建筑部分)作为新图像。

通过将这些裁剪图追加回其上下文窗口,模型在视觉上确立其推理,以确认是否符合复杂的建筑规范。

2. 图像标注(Image annotation)

Agentic Vision允许模型通过标注图像与环境交互。

Gemini 3 Flash不仅仅是描述它看到的内容,还可以执行代码直接在画布上绘制以确立其推理。

在下面的例子中,模型被要求数Gemini应用中一只手上的数字。

为了避免计数错误,它使用Python在它识别的每个手指上绘制边界框和数字标签。

这种「视觉草稿纸」确保其最终答案是基于像素级的完美理解。

3. 视觉数学与绘图(Visual math and plotting)

Agentic Vision可以解析高密度表格并执行Python代码来可视化发现。

标准LLM在多步视觉算术中经常产生幻觉。

Gemini 3 Flash通过将计算放到到确定性的Python环境中来绕过这个问题。

在Google AI Studio的演示应用示例中,模型识别原始数据,编写代码将之前的SOTA归一化为1.0,并生成专业的Matplotlib条形图。这用可验证的执行取代了概率性猜测。

如何上手

Agentic Vision今天已通过Google AI Studio和Vertex AI中的Gemini API提供。

它也开始在Gemini应用中推出(通过从模型下拉菜单中选择Thinking访问)。

以下是一个简单的Python代码示例,展示了如何调用这一能力:

from google import genai from google.genai import types client = genai.Client() image = types.Part.from_uri( file_uri="https://goo.gle/instrument-img", mime_type="image/jpeg", ) response = client.models.generate_content( model="gemini-3-flash-preview", cnotallow=[image, "Zoom into the expression pedals and tell me how many pedals are there?"], cnotallow=types.GenerateContentConfig( tools=[types.Tool(code_executinotallow=types.ToolCodeExecution)] ), ) print(response.text)
未来展望

Google表示,Agentic Vision才刚刚开始。

目前,Gemini 3 Flash擅长隐式决定何时放大微小细节。虽然其他功能(如旋转图像或执行视觉数学)目前需要显式的提示引导来触发,但Google正在努力在未来的更新中使这些行为完全隐式化。

此外,Google还在探索如何为Gemini模型通过更多工具(包括网络和反向图像搜索)来进一步确立其对世界的理解,并计划将此功能扩展到Flash以外的其他模型尺寸。

彩蛋:难道是因为DeepSeek?

这就很有意思了。

DeepSeek前脚刚开源了堪称「OCR 2.0」的DeepSeek-OCR,谷歌后脚就发布了Gemini 3的Agentic Vision。

这真的是巧合吗?

我们不妨大胆猜测,谷歌这次的「深夜炸场」,极有可能是被DeepSeek逼出来的。

理由有三:

1.时间点的惊人巧合

1月27日,DeepSeek刚刚发布了DeepSeek-OCR2,搭载核心黑科技DeepEncoder V2。它抛弃了传统的机械扫描,让AI学会了像人类一样「按逻辑顺序阅读」,仅用几百个Token就实现了对复杂排版和图表的完美理解。

谷歌同一天立马拿出Agentic Vision,仿佛在这场「视觉军备竞赛」中隔空喊话:「你们让AI看懂逻辑,我们直接让AI上手操作」。

2.技术路线的巅峰对决

DeepSeek-OCR2走的是「内功流」,通过DeepEncoder V2模拟人类的视觉注意力机制,动态重组图像信息,把「看」这个动作做到了极致的轻量化和逻辑化。

而谷歌的Agentic Vision走的是「外设流」,也就是「不光要看清,还要能动手」。DeepSeek在教AI怎么「用心看」,谷歌在教AI怎么「用手算」。

3.争夺视觉AI定义的终局

DeepSeek-OCR2证明了即便是3B的小模型,只要「视觉逻辑」对路,也能吊打大模型。谷歌则试图用「代码执行」来降维打击:你视觉再好也是「看」,我能写代码验证才是「真懂」。

这场仗,本质上是谁能重新定义「机器视觉」——是极致的感知,还是全能的交互?

不管是不是「应激反应」,这场神仙打架,最后爽的还是我们程序员。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/13 22:45:24

孤能子视角:“社会心理学“

第一步:分析“作者”——社会心理学学科(作为“关系场中的个体”研究范式的孤能子)启动:三力逼问,定位张力1. 零预设:不预设社会心理学是“常识的汇编”或“软科学”,视其为在20世纪社会剧变与战…

作者头像 李华
网站建设 2026/4/16 12:25:53

51单片机控制超声波避障小车。 只提供程序、原理图、pcb图及元器件汇总,具体实物图,无仿真无硬件

51单片机控制超声波避障小车。 只提供程序、原理图、pcb图及元器件汇总,具体实物图,无仿真无硬件。 今天咱们来盘盘怎么用51单片机搞个超声波避障小车。这玩意儿不用仿真直接上真家伙,最适合喜欢动手实操的老铁。先看硬件配置:ST…

作者头像 李华
网站建设 2026/4/12 14:20:50

ClawdBot,正在引爆全球灾难!各大CEO预警:不要安装,不要安装

【导读】一夜爆红的ClawdBot,正在把无数公司和个人推向深渊:端口裸奔、无鉴权、可被远程接管。现在,暴力破解、数据清空已经真实发生了,这不是危言耸听。各位CEO纷纷预警:ClawdBot,正在酝酿一场全球灾难! 一夜之间,全世界都陷入ClawdBot狂潮。 早上打开时间线,满屏都…

作者头像 李华
网站建设 2026/4/16 12:27:55

京东关键词的全链路应用及实操

京东关键词的全链路应用,是从 “选词 - 布局 - 投放 - 监控 - 优化 - 复盘” 的闭环流程,覆盖搜索流量获取、商品转化、用户复购全环节,核心是通过关键词串联京东搜索、推荐、广告、商品页、订单等场景,实现流量与转化的最大化。以…

作者头像 李华
网站建设 2026/4/16 9:01:29

美国静态 IP 哪个城市更稳定?华盛顿 vs 洛杉矶

#静态IP# 在跨境电商、海外社媒运营、广告投放以及账号长期登录等场景中,美国静态IP的稳定性往往直接影响账号安全和业务连续性。那么美国静态IP哪个城市更稳定?华盛顿还是洛杉矶呢?下面就跟着小编一起来探讨下吧! 一、什么是“稳定“的美国…

作者头像 李华
网站建设 2026/4/16 9:07:56

计算机毕业设计springboot社区管理系统 基于SpringBoot的邻里互动与物业综合服务平台 SpringBoot驱动的小区数字化运营与居民服务系统

计算机毕业设计springboot社区管理系统_n922t (配套有源码 程序 mysql数据库 论文) 本套源码可以在文本联xi,先看具体系统功能演示视频领取,可分享源码参考。 老旧小区的公告仍贴在斑驳的墙上,纸质通知常被风雨撕碎,住…

作者头像 李华