Blog

Agent 设计依然困难

2025年11月21日

Armin Ronacher (网名 mitsuhiko)

作者

Armin Ronacher 是著名的开源软件工程师，Flask Web 框架、Jinja2 模板引擎及 Click 命令行工具的创造者，其作品定义了现代 Python 开发的简洁范式，并对全球开源生态产生了深远影响。

概览

Agent 设计的本质并非简单的循环，而是对模型差异、显式缓存控制与强化信息的极致平衡，在这个领域，过于通用的 SDK 往往是灵活性的枷锁。

Agent design is still hard

Agent 的持续学习能力

2025年10月24日

Bojie Li

概览

真正的 Agent 必须具备高效的持续学习能力，即超越当前仅依赖稀疏奖励和上下文检索的“推理者”模式，转而高效地从丰富的**环境反馈（Observation）中学习世界模型（World Model）**并不断进化。

一. 什么是 Agent 的持续学习？

持续学习能力是“真正的 Agent”与“推理者（Reasoner）”的核心区别。它不仅仅是关于更大的模型，更是指 Agent 作为一个系统，能够在现实世界中长期交互、适应和进化的能力。

二. 为什么 Agent 需要持续学习？

大世界假设（Large World Hypothesis）：文章认同 Richard Sutton 的观点，即现实世界是“大世界”，无论模型预训练的知识库多大，在面对具体的、非公开的场景（如公司特定规范、行业隐性知识、个人工作习惯）时，仍然必须不断学习。
当前方法的致命缺陷：Sutton 指出，当前的强化学习（RL）方法（如 PPO）样本效率极低，且致命地“只能从稀疏的 reward（奖励）中学习，无法从环境的直接反馈（observation）中学习”。

三. Agent 现状如何持续学习？

上下文学习（In-Context Learning）：这是目前的主要方式之一，但文章认为这是一个“误解”。Context 的本质更像是“检索”（RAG），而不是“总结”或“推理”。知识没有被提炼，Agent 只是在庞大的上下文中重复低效地扫描和检索原始信息，导致效率低下且容易出错。
Model-Free 强化学习：如上所述，这种方法无法利用环境给出的明确反馈（例如，客服说“我需要你的信用卡后四位”），Agent 不知道“怎么做才是对的”，只能通过海量尝试偶然成功，这在现实任务中是不可接受的。

四. Agent 未来如何更好的持续学习？

技术层面：从 Model-Free 转向 Model-Based
- 未来的 Agent 需要进行双重学习：同时学习“Policy Learning”（选择行动）和“World Model Learning”（预测结果）。
- 这能让 Agent 像人类一样，从环境的直接反馈（Observation）中学习，而不仅仅是依赖稀疏的 Reward，从而形成“预测—行动—评价”的高效学习闭环。
三种协同机制：
1. 参数学习：通过更新 Policy 和 World Model，直接从环境反馈中学习，提升样本效率。
2. 上下文学习（改进版）：不再是简单堆积信息，而是要强制压缩（如使用 linear attention 或跨模态编码），迫使模型提炼出可推理的知识。
3. 外部化记忆：利用额外算力进行知识的总结和压缩，存入知识库，并将重复流程封装成可复用的工具。
架构层面：从 ReAct 循环转向事件驱动（Event-Driven），实现边听、边想、边说的实时交互。
模型层面：采用 Karpathy 提出的“认知内核（Cognitive Core）”概念，使用更小的模型（如 1B-3B）作为核心，小模型“记忆差”的特性会迫使它学习规律而非死记硬背，从而获得更好的泛化能力。

五. Agent 与人类持续学习的区别？

对环境反馈的利用：
- 人类：当被告知“需要信用卡信息”时，会立即记住这条规则，并应用到下一次。
- 当前 Agent：只能感知到“任务失败”（reward=0），但无法理解失败的原因来自客服的反馈，因此无法从环境中学习。
记忆与总结：
- 人类：精确记忆能力差，但这迫使人类必须“提取关键知识，用结构化方式总结和记忆”。（Karpathy 观点：记忆差是 Feature 不是 Bug）
- 当前 Agent：依赖 Long Context，倾向于“背诵”所有原始数据，而不是自动提炼和总结规律。
多样性来源：
- 人类：从外部环境的“噪声（Noise）”和“熵（Entropy）”中自然地获得多样性。
- 当前 Agent：目前需要人为地为其增加 Entropy（例如，每次提供不同的参考案例）来提高输出的多样性。

AI Agent 的十年之路

2025年10月18日

Andrej Karpathy & Dwarkesh Patel

概览

Andrej Karpathy 认为实现功能完善的 AI Agent (智能体) 还需十年的时间，他反对业界“2025 年就是 Agent 之年”的过度乐观，认为目前的 Agent 还像“聪明的实习生”，距离真正能独立完成复杂任务的 Agent 差距很大。

1. Agent 的记忆问题

现状与问题： 目前的 Agent 缺乏有效的记忆机制。Karpathy 将 LLM 的权重比作“模糊的记忆”，而将 KV 缓存（上下文窗口）比作“工作记忆”。问题在于，模型缺乏一个类似人类的“记忆蒸馏”机制（如睡眠中巩固记忆），无法将工作记忆中的经验分析、反思，并整合回权重中。

十年方向： 未来十年需发展持续记忆与个体化权重系统，如外部记忆系统、稀疏注意力机制、LoRA 微调的个体模型，使 Agent 形成真正的长期认知与个性。

2. Agent 使用计算机的问题

现状与问题： Agent 在操作计算机（如键盘、鼠标、网页）时表现笨拙，无法像人类一样灵活交互。

早期 OpenAI 的 Universe 项目尝试让智能体通过鼠标键盘操作网页，但失败了，因为强化学习在稀疏奖励环境下几乎无法学习。Karpathy 认为，当时的智能体“太早了”，缺乏强表征能力（representation power），无法理解屏幕内容或执行目标导向操作。

十年方向： 必须先建立强大的语言模型和世界表征，再叠加具身操作系统。未来的计算机 Agent 将基于 LLM 表征层，在此之上发展出行动接口与工具使用能力。

3. Agent 的认知问题

现状与问题： Karpathy 明确指出当前模型存在严重的“认知缺陷”（cognitive deficits）。

无法理解代码或情境背后的结构逻辑。
过度依赖互联网上的“默认模式”，无法适应非标准风格。
不能自我反思或形成一致的世界模型。

十年方向： 下一阶段需要发展“认知内核（cognitive core）”——一种去除多余知识、保留推理与策略机制的智能体核心。即“少记忆的更聪明大脑”，以实现真正的通用认知。

4. Agent 的持续学习问题

现状与问题： Karpathy 认为目前 LLM 的学习是静态的、离线的，无法像人一样在使用中不断学习。它们缺少一个将日常经验（上下文窗口）“蒸馏”回永久权重（类似睡眠）的过程。

人类的“清醒期—睡眠期”循环对应的是上下文积累与长期整合，而模型只有“清醒”没有“睡眠”。

十年方向： 持续学习需引入多层次更新机制：

临时上下文学习（短期记忆）；
外部记忆回写（长期知识）；
周期性再训练（系统性蒸馏）。

Karpathy 预测这类机制将在未来十年逐步形成。

5. 代码 Agent 的问题

现状与问题： Karpathy 在构建代码项目时指出，当前编码 Agent “不理解你的代码库、不理解上下文、不理解你的风格”。

它们擅长样板代码（boilerplate），但在结构复杂、非模板化项目中容易出错、风格不一致、误用 API、代码臃肿。

十年方向： 代码 Agent 将经历从“自动补全”到“自主工程师”的演化，需引入项目级理解、代码图谱建模与可验证执行环境，并可能通过 RLHF 与工具链联动逐步逼近“可靠协作者”。

6. 强化学习的问题

现状与问题： Karpathy 直言：“强化学习是糟糕的（RL is terrible），只是比之前的模仿学习略好”。

他认为人类的智力任务并不使用 RL。RL 的问题在于，它“通过吸管吸取监督信号”：模型在最后才得到一个单一的奖励信号（比如答案正确与否），并用这个信号去奖惩整个过程中的每一步，这种方式噪声极大且效率低下。
人类在学习中会复盘和反思，而模型不会。
使用 LLM 作为“过程监督”（奖励每一步）的裁判者也很困难，因为这些裁判者是“可以被利用的”。Agent 会很快找到对抗性样本（例如输出“dhdhdhdh”），欺骗裁判者给它满分。

十年方向： 研究应转向过程监督（process-based supervision）与反思-评审式强化学习（reflect & review），让模型能在执行中自评与修正，而非盲目追求最终奖励。

7. 多模态的问题

现状与问题： 当前多模态系统能结合图像、文字，但仍停留在表层配对，缺乏统一的世界模型。Karpathy 将 LLM/VLM 视为“表征基础”，但指出多模态的真正挑战是如何让感知与推理共享一个认知核心。

十年方向： 未来需发展跨模态表征融合与共感知机制，让视觉、语言、行动共享语义空间，从而支持真实的具身智能与任务迁移。

8. 自动驾驶的启示：十年之路如何发展

Karpathy 将 AI Agent 的发展比作他在特斯拉领导自动驾驶的五年经历。 他深刻理解了“演示（demo）和产品（product）之间的巨大鸿沟”。例如，Waymo 在十年前（2014 年左右）就能提供完美的演示驾驶，但如今自动驾驶也远未完成，存在经济性、隐藏的“远程操作中心”（即人工介入）等问题。

真正困难的是“九的行军”（march of nines）。 从 90% 的成功率（演示）到 99%、99.9%、99.99%...（产品），每增加一个“九”都需要巨大的努力，因为现实世界的情况无比复杂，必须处理各种极端案例，增加系统的安全性、可靠性。

Karpathy 认为，对安全性的高要求（例如自动驾驶中的伤害风险）同样适用于“生产级软件工程”，因为代码中的一个错误（如安全漏洞）可能会导致“无限可怕”的后果。

因此，Agent 的发展不会一蹴而就，它将是一个缓慢的、迭代的 “九的行军” 过程，需要解决上述所有根本问题。

大语言模型也会“降智”！

2025年10月15日

Junyuan Hong et al.

概览

这篇论文通过一系列严格的实验，证明了一个令人担忧的结论：如果我们持续给大语言模型（LLM）投喂网络上的“垃圾文本”，它们真的会变笨、变坏，而且这种伤害很难逆转。

这就像我们人类刷多了“没营养”的短视频或“标题党”文章后，感觉自己注意力下降、思考能力变弱一样。研究人员发现，AI 也会遭遇同样的“降智”（Brain Rot）问题。

以下是这篇论文的核心发现：

1. 什么是AI的“降智假说”？

研究人员提出了一个 “大语言模型降智假说”（LLM Brain Rot Hypothesis）：持续接触和学习那些琐碎、缺乏挑战性的网络“垃圾内容”，会导致大语言模型出现持久的认知能力下降。

2. 实验是怎么做的？（“垃圾”如何定义？）

为了验证这个假说，研究团队设计了一个巧妙的对照实验。他们从真实的 Twitter/X 社交平台数据中，定义了两种类型的“垃圾数据”：

M1（流量型垃圾）：短小且流行 (Short & Popular)
- 垃圾数据： 那些非常短（比如少于30个词），但点赞、转发极高（比如超过500）的内容。这就像是网络热梗、病毒式传播的“废话”。
- 对照组（健康数据）： 那些很长（比如超过100个词），但没什么人看（点赞少于500）的内容。这好比是深入、有思考但曲高和寡的长文。
M2（内容型垃圾）：低劣语义 (Sensationalist)
- 垃圾数据： 内容本身很糟糕，比如耸人听闻的标题党、阴谋论、夸大其词的断言或肤浅的炫耀内容。
- 对照组（健康数据）： 认知要求高的内容，比如事实准确、分析深刻、有教育价值的文本。

他们让4个不同的大语言模型分别持续学习这些“垃圾数据”和“健康数据”，然后进行对比测试。

3. 惊人的实验结果：“降智”是真实存在的！

和“健康数据”对照组相比，学习了“垃圾数据”的模型出现了显著的全面衰退：

推理能力下降： 它们在做科学推理题（ARC-Challenge）时表现更差。
长文本理解变差： 它们更难从很长的文件（RULER-CWE）中抓取和理解关键信息。
安全和道德滑坡： 它们的安全性能下降，更容易“使坏”。
“黑暗人格”膨胀： 最诡异的是，模型的“黑暗特质”被放大了，比如**自恋（narcissism）和精神病态（psychopathy）**得分显著提高。

4. “降智”有“剂量反应”：喂得越多，越笨

研究还发现，这不是一个“是或否”的问题，而是一个“程度”问题。他们尝试了不同比例的“垃圾”投喂（比如20%垃圾、50%垃圾、100%垃圾）。

结果显示：垃圾数据的比例越高，模型的认知能力就衰退得越厉害。例如，在M1（流量型垃圾）实验中，当垃圾比例从0%（完全健康）上升到100%时，模型的推理能力得分从74.9%暴跌到57.2%。

5. AI为什么会“降智”？—— “思维跳跃”

研究人员深入分析了AI的“思考过程”，找到了“降智”的主要病灶：思维跳跃（Thought-skipping）。

当你要求一个健康的模型“一步一步思考”来解决问题时，它会列出详细的推理链条。但“降智”后的模型变得“懒惰”了：

它们会截断或直接跳过推理链。
在超过84%的M1垃圾数据实验失败案例中，模型都表现出了**“不思考（No Thinking）”**的特征，直接给出了错误答案。

6. 这种“降智”能治好吗？—— 很难，伤害是持久的

研究人员尝试了两种方法来“治愈”这些“降智”的模型：

方法一：反思（Reflection）
- 自我反思： 提醒模型“你答错了，再想想”。结果：失败了。模型已经笨到无法意识到自己的逻辑错误。
- 外部反思： 让一个更强（未被污染）的GPT-4o模型来指导它修改。结果：有帮助，但这是依靠“外力”。
方法二：数据排毒（Post-hoc Tuning）
- 研究人员试图通过“补课”来修复模型，即在“降智”后再给它喂食大量“健康数据”或“指令数据”。
- 结果：有改善，但无法完全恢复。即使“补课”的数据量是导致“降智”的垃圾数据量的近5倍，模型的能力仍然与基线水平存在巨大差距。

结论：“降智”效应是持久的（persistent）。它不是简单的格式错乱，而是模型内部的“表征漂移”——好比AI的“大脑结构”被永久性地改变了。

总结

这篇论文给所有AI开发者敲响了警钟：数据质量是AI的“安全问题”，而不仅仅是性能问题。

如果我们放任大语言模型在充斥着“垃圾内容”的互联网上“野蛮生长”，它们不仅不会变得更聪明，反而会累积“认知伤害”，变得更笨、更危险，而且这种伤害一旦造成，就很难再被治愈。

CEO 名言

2025年10月4日

对于领导者有很多种描绘。有一种是，他们一走进房间，好像空气都要凝固了，每个人都怕他们。突然之间，每个员工开始迎合老板的喜好，而不是客户的真正需求。这是世界上最糟糕的老板。@蔡崇信