今天我们推出了 PostHog AI，这是内置于 PostHog 的 AI 智能体。经过一年的开发，我们从黑客马拉松期间制作的第一个聊天原型走了很长的路。一切始于只有一个工具：“创建趋势图表”——没有真正的智能体能力[1]。
现在，PostHog AI 可以通过数十种工具访问您的数据和设置，并不知疲倦地循环工作，直到完成您交给它的任务。就像产品分析师一样，它创建产品使用情况的多步骤分析，编写 SQL 查询，设置新的功能标志和实验，深入研究影响重大的错误——以及更多，所有这些都在 PostHog 中完成。得益于全面的测试期，它已经被数千名用户每周使用[2]。
这条路充满了冒险。智能体是矛盾的：有人说智能体设计很难[3]，他们是对的！另一些人说构建一个智能体非常简单[4]——奇怪的是，这在同一时间也是真的。
以下是我们到目前为止在构建高效智能体方面学到的经验。
- 小心模型改进的推土机效应
构建一年中唯一不变的是：模型改进的影响比你最初想象的要大得多。令人震惊的是，推理模型在 12 个月前还处于实验阶段，因为今天推理对 PostHog AI 的能力至关重要。工具使用已经大幅改善，因为 2025 年 11 月的前沿模型能够以更高的可靠性理解复杂工具。我们目前使用 Claude Sonnet 4.5 作为核心智能体循环，因为它在质量、速度和成本之间达到了最佳平衡——但即使这个也会在你意识到之前就过时了。
我们实施中与模型相关的两个阶段性变化是：
估算模型升级的真正影响仍然很困难！Sean Goedecke 的一篇关于这个话题的好文章[5]。虽然进步不像 GPT-2 vs. GPT-3 那样明显，但它仍然是无情的。
- 智能体胜过工作流
基于图的工作流似乎是完成工作的正确选择。在 GPT-4o 时代，使用相同的系统提示在循环中调用工具是造成混乱的根源，因此我们花了几个月时间追寻新的基于图的工具编排方式。看看我们经历过的架构迭代，那时我们的助手是一只名叫 Max 的刺猬[6]。最初的版本甚至不能用文本回答问题，无论用户输入什么，它只能创建查询！
事实是，图是编排自由形式工作的糟糕方式。在图中，LLM 无法自我纠正，上下文也太容易丢失。今天，得益于模型能力的进步，PostHog AI 的架构令人愉快地简单：
通过循环反馈，LLM 能够执行数十个步骤，同时持续验证输出。硬编码的工作流执行起来可能很便宜，但当它实际上无法完成工作时，这一切都是徒劳的。
图表中那个奇怪的"切换模式工具"是什么？嘘，这是我们不那么秘密的秘诀。切换模式是工具搜索的一种变体——对于将智能体的工具数量扩展到 PostHog 的整个表面区域至关重要。关于这个主题的更多内容将在即将发布的单独文章中介绍。
- 单一循环胜过子智能体
即使在智能体循环中，也很容易将任务执行组织成专门的子智能体。想出这些架构不是感觉很聪明吗？“Widget CEO 将工作委托给 Widget 工程师，然后工作将由 Widget 测试人员验证，并得到 Widget 产品经理的意见”。
虽然这个想法很聪明，但结果却很……愚蠢。上下文对 LLM 来说就是一切——当每一层抽象都会引入上下文的丢失时，将工具串联在一起和自我纠正路线的能力就会消失。子智能体仍然有其用武之地——当你想并行化工作时，这就是要走的路。重要的是委派的任务是自包含的，最好是独立的。
正如我们在 Claude Code 的成功中看到的那样，使用简单工具的单个 LLM 循环会产生令人难以置信的结果。愿上帝保佑涌现行为。
- 待办事项是一种超能力
对，所以关键在于拥有单一的 LLM 循环和单一的消息历史，这就神奇地更好了。
好吧，还有一个秘密成分：todo_write 工具。如此简单和通用，它是保持 LLM 在正轨上的自然方式。每次 LLM 在步骤结束时使用它，它都会强化它接下来需要做什么——这个工具实际上不需要做任何事情。
突然之间，智能体不再在几次工具调用后迷失方向，而是可以继续前进，不断纠正路线。编写待办事项是那些直觉上的超能力之一，就像思维链曾经那样。
- 更广泛的上下文是关键
我提到上下文很重要吗？它确实很重要，在任务的每一步都很重要，因为人们以最模糊的方式定义任务。你会如何回答"用户在 cfmp 转化中哪里流失了"？看起来像是偷偷混入了一堆拼写错误——除非你知道 CFMP 是用户提供的产品，然后你需要了解它如何融入他们的世界（这是一个真实的例子）。你的智能体需要的是一个 CLAUDE.md 等效物——始终附加的核心上下文。
核心上下文极大地改善了智能体的轨迹，但这对用户来说是一个新的待办事项，我们都不喜欢新工具创建设置工作。我们发现核心上下文的创建必须轻松，但不能强制。最终，正如所有伟大的艺术家所做的那样，我们从最好的那里偷师——并实现了 /init 命令，从 Claude Code 那里借鉴而来。
在 PostHog AI 中，/init 通过多步骤网络搜索了解你的产品和业务（目前使用 GPT-5-mini）。结果形成智能体的项目级记忆[7]。如果你的数据不包含要使用的 URL，会直接询问几个问题，但我们尽量将其最小化。
上下文无处不在。它存在于网络上，但也存在于你的 Slack 中，在你的电子邮件收件箱中，在你的笔记应用中。这是应用 AI 中已经有许多解决方案但尚未解决的问题之一。我们有一些想法，请继续关注。
- 展示每一步
我们曾尝试隐藏一些看起来粗糙的细节。完整的推理链、失败的工具调用、工具调用参数，全部从用户视野中隐藏。持续的反馈是：“我可以看到输出，但当过程是个谜时很难信任它。”
PostHog AI 从那时起开始流式传输每个工具调用和推理令牌。事实证明人类就像 LLM——或者也许是相反的。无论结果多么好，黑盒都是无趣的。细节让我们对正在发生的事情充满信心。展示一切，好的、坏的、丑陋的。
- 框架被认为有害
早期，我们从 OpenAI Python SDK 迁移到 LangChain + LangGraph。今天，我们绝对不会这样做。
每次使用框架，你都会锁定在它的生态系统中。还记得 JavaScript 每秒都有一个新的前端框架的梗吗？现在的 LLM 就是这样，只是 LLM 的演变速度比 JS 快得多，而框架提供的价值更少。生态系统很脆弱。
像 LiteLLM 或 Vercel AI 这样的 LLM 调用抽象在 AI 提供商添加新模型或新功能时就会崩溃。看看：网络搜索结果一团糟，因为 OpenAI 和 Anthropic 的格式完全不同，而框架试图维护一个门面。
更糟糕的是：像 LangGraph 这样的 LLM 调用编排器。虽然概念上很优雅，但它们会将你锁定在特定的思维方式中，当这种方式**变得过时[8]**时——祝你好运重构所有东西。
AI 有一天可能会确定它的 React，但现在框架战争仍在激烈进行。最好保持中立和低级别。归根结底，这只是调用函数。
- 评估远非你所需要的全部
**有些人[9]**说评估可以是你所需要的全部。对于基础模型：当然，这些数据集是基础性的。对于智能体：评估是一个很好的工具，但事情变得微妙。
现实是粗糙的：对于许多真实世界的多步骤任务，设置一个真实复杂的环境比构建智能体本身更具挑战性。如果你想判断实际性能，这样的环境必须支持智能体可以进行的每一个可能的工具调用。现实有惊人的细节[10]，毕竟。你可以通过评估轻松涵盖预期的快乐路径，但很快用户会创建许多你不会想到的路径。
我们发现比原始评估更重要的是：查看实际使用情况，并临时评估智能体的工作。为此，我们一直在运行 Traces Hour——PostHog AI 团队每周举行的聚会，100% 专注于分析来自生产环境的 LLM 跟踪，即真实的用户交互。（插播：**PostHog LLM 分析[11]**在这方面非常棒。）当评估源于此类调查时，它们最有意义。当你掌握用户体验时，工程效率会提高 10 倍，这对构建智能体也适用。
我们现在在哪里
我们已经使用 PostHog AI 几个月了。它并不完美，但它处理产品数据的现实：一切都是相互关联的。事件流入会话，会话分支到错误，点击重叠多条路径——一碗缠结的面条。
PostHog AI 解开了这种结构并重建了一个干净、合乎逻辑的序列。我们用它来调试 SQL、理解用户行为、设置实验和分析错误——这些工作通常意味着要翻遍多个屏幕或编写查询。
现在就试试：打开 PostHog[12]，点击右上角的"PostHog AI"，授予 AI 访问数据的权限（需要管理员权限），运行 /init，然后开始让它做事情。
接下来
这只是开始。即将推出的功能包括：深度研究能力、复杂的会话分析、来自后台分析的主动洞察，以及与代码的更紧密集成。在接下来的几周和几个月里，我们还将分享更多我们学到的东西。
如果你觉得这很令人兴奋，以至于你已经构建了至少一个玩具智能体——我们正在招聘AI 产品工程师[13]！我们还有很多想要发布的东西，我很乐意让你加入。在这里申请。[14]
PostHog AI——为构建者而生，来自构建者。
原文地址： https://posthog.com/blog/8-learnings-from-1-year-of-agents-posthog-ai
想入门 AI 大模型却找不到清晰方向？备考大厂 AI 岗还在四处搜集零散资料？别再浪费时间啦！2025 年AI 大模型全套学习资料已整理完毕，从学习路线到面试真题，从工具教程到行业报告，一站式覆盖你的所有需求，现在全部免费分享！
👇👇扫码免费领取全部内容👇👇
一、学习必备：100+本大模型电子书+26 份行业报告 + 600+ 套技术PPT，帮你看透 AI 趋势
想了解大模型的行业动态、商业落地案例？大模型电子书？这份资料帮你站在 “行业高度” 学 AI：
1. 100+本大模型方向电子书
2. 26 份行业研究报告：覆盖多领域实践与趋势
报告包含阿里、DeepSeek 等权威机构发布的核心内容，涵盖：
- 职业趋势：《AI + 职业趋势报告》《中国 AI 人才粮仓模型解析》；
- 商业落地：《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》；
- 领域细分：《AGI 在金融领域的应用报告》《AI GC 实践案例集》；
- 行业监测：《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。
3. 600+套技术大会 PPT：听行业大咖讲实战
PPT 整理自 2024-2025 年热门技术大会，包含百度、腾讯、字节等企业的一线实践：
- 安全方向：《端侧大模型的安全建设》《大模型驱动安全升级（腾讯代码安全实践）》；
- 产品与创新：《大模型产品如何创新与创收》《AI 时代的新范式：构建 AI 产品》；
- 多模态与 Agent：《Step-Video 开源模型（视频生成进展）》《Agentic RAG 的现在与未来》；
- 工程落地：《从原型到生产：AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。
二、求职必看：大厂 AI 岗面试 “弹药库”，300 + 真题 + 107 道面经直接抱走
想冲字节、腾讯、阿里、蔚来等大厂 AI 岗？这份面试资料帮你提前 “押题”，拒绝临场慌！
1. 107 道大厂面经：覆盖 Prompt、RAG、大模型应用工程师等热门岗位
面经整理自 2021-2025 年真实面试场景，包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题，每道题都附带思路解析：
2. 102 道 AI 大模型真题：直击大模型核心考点
针对大模型专属考题，从概念到实践全面覆盖，帮你理清底层逻辑：
3. 97 道 LLMs 真题：聚焦大型语言模型高频问题
专门拆解 LLMs 的核心痛点与解决方案，比如让很多人头疼的 “复读机问题”：
![]()
三、路线必明： AI 大模型学习路线图，1 张图理清核心内容
刚接触 AI 大模型，不知道该从哪学起？这份「AI大模型 学习路线图」直接帮你划重点，不用再盲目摸索！
路线图涵盖 5 大核心板块，从基础到进阶层层递进：一步步带你从入门到进阶，从理论到实战。
L1阶段:启航篇丨极速破界AI新时代
L1阶段：了解大模型的基础知识，以及大模型在各个行业的应用和分析，学习理解大模型的核心原理、关键技术以及大模型应用场景。
L2阶段：攻坚篇丨RAG开发实战工坊
L2阶段：AI大模型RAG应用开发工程，主要学习RAG检索增强生成：包括Naive RAG、Advanced-RAG以及RAG性能评估，还有GraphRAG在内的多个RAG热门项目的分析。
L3阶段：跃迁篇丨Agent智能体架构设计
L3阶段：大模型Agent应用架构进阶实现，主要学习LangChain、 LIamaIndex框架，也会学习到AutoGPT、 MetaGPT等多Agent系统，打造Agent智能体。
L4阶段：精进篇丨模型微调与私有化部署
L4阶段：大模型的微调和私有化部署，更加深入的探讨Transformer架构，学习大模型的微调技术，利用DeepSpeed、Lamam Factory等工具快速进行模型微调，并通过Ollama、vLLM等推理部署框架，实现模型的快速部署。
L5阶段：专题集丨特训篇 【录播课】
![]()
四、资料领取：全套内容免费抱走，学 AI 不用再找第二份
不管你是 0 基础想入门 AI 大模型，还是有基础想冲刺大厂、了解行业趋势，这份资料都能满足你！
现在只需按照提示操作，就能免费领取：
👇👇扫码免费领取全部内容👇👇
2025 年想抓住 AI 大模型的风口？别犹豫，这份免费资料就是你的 “起跑线”！
