订阅更新

AI 产品观察

北京把 Agent 写进政策后,真正值钱的不是模型了

小余学长VibeCoding 浏览量 381

北京把 Agent 写进政策后,真正值钱的不是模型了

今天,我把一篇刚发布的北京智能体新政解读,扔进了自己的写作工作流。

系统先抓取素材,再去找北京市官方发布会、论文和相关数据。内容被拆成事实、观点和引用,写作模块重新找角度,审稿模块负责挑刺,排版模块再生成公众号版和纯文字版。

最后还要过几道检查。

标题有没有照抄,事实有没有越界,公众号正文会不会重复标题,图片路径是不是真的存在,微信和博客能不能连通。

一篇文章想真正发出去,靠的已经不只是一个模型写得好不好。

它更像一条小型生产线。

模型负责一部分推理,工具负责拿到外部信息,规则负责限制边界,日志负责留下过程,验证器负责验收结果,人在关键节点做最后选择。

缺一个,整条链路都可能停下来。

所以我看到北京这份新政把 Harness Engineering 翻译成「驾驭层工程」,又把任务环境、需求智能、FDE、OPC、Token 经济、结果计费和运行时治理放在同一套政策语言里时,真正让我在意的,不是里面塞进了多少新词。

而是政策开始承认一件已经在真实工作里发生的事。

Agent 的竞争单位,已经不是模型,而是一套能稳定交付结果的系统。

过去两年,我们谈 AI,最容易盯着模型。

新模型发布以后,大家看数学分数、代码分数、上下文长度和价格。企业采购的时候,也习惯比较谁更聪明、谁更便宜、谁的参数更大。

这套比较方法不能说错。

但它越来越不够用了。

一个模型可以在测试题里拿到很高的分数,却依然会在真实任务里翻车。原因也不复杂,真实工作不会把问题整理成一道边界清楚的考题。

客户只会说,我想知道这个市场值不值得进。

老板只会说,把这周最重要的变化整理出来。

运营只会说,为什么昨天的转化突然掉了。

这些目标背后,全是没有被说出来的工作。系统要自己补信息、拆步骤、找数据、调用工具、识别冲突、决定什么时候该停,最后还得拿出一个可以被人验收的结果。

中间任何一步出错,前面那些漂亮的模型分数都救不了它。

原素材里有一笔很直观的账。

假设一个 Agent 要连续执行 100 步,每一步的正确率都是 99%,再粗暴地把每一步看成独立事件,100 步全部做对的概率只有约 36.6%。

单步看起来已经很强了。

长程任务一跑,还是可能一塌糊涂。

这也是 METR 为什么要用 Task Completion Time Horizon 来衡量 Agent。它关心的不是模型答对了几道题,而是在一组软件任务中,一个模型面对原本需要人类专家花费不同时间才能完成的工作,能够以 50% 或 80% 的成功率做到多难。

注意,METR 自己也明确提醒,这个指标衡量的是任务难度,不等于 AI 可以自主运行同样长的现实时间。

边界很重要。

但评价方向已经变了。

从回答得像不像人,转向事情到底有没有做成。

更有意思的是,一篇今年 4 月发布的 Agentic Harness Engineering 论文,在基础模型不变的情况下,只迭代模型外面的工具、中间件、长期记忆和可观测系统,十轮以后,Terminal-Bench 2 的 Pass@1 从 69.7% 提高到了 77.0%。

论文的结论当然不能直接外推到所有行业。

它研究的是编码 Agent,样本和环境都有明确边界,而且作者也承认迭代过程存在波动,系统对回退风险的预测能力还不够好。

可它至少证明了一件事。

同一个模型,套在不同的工作系统里,可以表现得像两个完全不同的员工。

这就像一个很聪明的人,被扔进一家没有文档、没有权限规则、没有交接、没有验收标准的公司。

他不是不聪明。

他只是不知道什么算完成,也不知道做错以后该怎么回来。

Harness 干的,就是把这些东西补上。

上下文怎么选,工具怎么调用,任务怎样保存,失败以后重试还是找人,哪些数据只能读,哪些动作可以写,结果由谁验证,每一步怎样留下日志。

模型提供潜在能力,Harness 决定这份能力能不能被组织使用。

模型决定上限,工作系统决定下限。

这也是为什么,我觉得这份政策真正新鲜的部分,并不是鼓励大家多做几个 Agent 应用。

它开始为 Agent 成为生产要素以后,会遇到的整套问题补基础设施。

软件怎么被 Agent 发现和调用,技能怎样交易,任务状态怎么持续,多个 Agent 怎样协作,终端怎么提供感知和执行能力,出问题以后谁有权限停下来,最终又该按照 Token、能力还是结果收费。

这些问题放在一起,已经不是给聊天框增加几个功能了。

它更像在重新定义软件、公司和劳动之间的关系。

过去的软件卖的是使用权。

企业买一百个账号,员工登录进去,自己学会按钮,自己搬运信息,自己为最后的结果负责。软件公司通常只承诺系统可用,不承诺你的业务目标一定完成。

Agent 开始介入以后,边界会往结果方向移动。

用户不想知道系统调用了多少次模型,也不太关心背后用了几个 Skill。他只想知道合同有没有审完,代码有没有修好,客户线索有没有转化,设备故障有没有提前发现。

这就是从 Token 供给,到 Agent 能力,再到结果服务的差别。

越靠近结果,客户越愿意付钱。

供应商承担的风险也越大。

如果按 Token 收费,任务失败了,成本主要由客户承担。模型跑了二十轮,烧掉一堆调用量,最后没做成,账单依然会来。

如果按结果收费,供应商就必须把失败重试、人工接管、延迟、错误和赔偿全部算进自己的成本。

听起来很美,做起来一点也不浪漫。

因为结果计费逼着一家 Agent 公司回答很多以前可以含糊过去的问题。

什么叫成功,谁来验收,结果在多长时间内有效,哪些外部变量不归系统负责,出错以后能不能撤回,人工接管算不算失败。

没有清楚的评估标准,RaaS 很容易从一个性感的商业模式,变成一个无限责任的坑。

但方向已经很清楚。

未来最重要的成本指标,不是每百万 Token 多少钱,而是每个成功任务到底花了多少钱。

这句话对咨询顾问和知识工作者会有点刺耳。

过去我们证明自己很重要,常用的是过程。

查了多少资料,访谈了多少人,开了多少场会,做了多少页 PPT,投入了多少个顾问日。

这些东西在旧的生产方式里确实代表工作量。

Agent 把大量中间步骤压缩以后,客户会越来越难为忙碌本身买单。

他会继续问,市场结论准不准,组织有没有真的改变,系统能不能稳定运行,下一次是不是还要从头做一遍。

只会调用模型的人,优势不会持续太久。

真正会拉开差距的,是谁能把自己的决策方法、数据结构、评估标准、工具权限和失败经验,沉淀成一套可复用的系统。

这也是 OPC 一人公司值得关注的地方。

不是一个人从此可以假装自己有一千名员工,也不是注册一家公司、做个 Logo、接几个 Agent 就完成了创业。

一个人真正获得公司的能力,是因为他可以把一次劳动留下来。

第一次做行业研究,他要手工找资料、筛选来源、搭分析框架。

第二次,系统已经记住可靠来源、常见陷阱和交付标准。

第三次,同类任务再来,他不需要投入同样多的时间,结果反而更稳。

数据、Skill、评估集、工作流和任务轨迹,一点点变成这个人的生产资产。

OPC 的核心不是一个人干更多活,而是一个人的劳动开始拥有复利。

当然,这里也最容易产生幻觉。

很多人把十几个 Agent 排成一张组织架构图,再给它们起上研究员、产品经理和 CEO 的名字,就觉得自己已经拥有一家公司。

其实吧,名字不值钱。

如果每个 Agent 都在生成一堆看起来很完整、却没有人验收的文字,那不是组织,只是一群更快制造噪声的机器人。

真正的组织必须有目标、有分工、有权限、有反馈,也必须知道什么时候应该停止自动化。

尤其当 Agent 可以发消息、改代码、下订单、操作设备以后,安全就不再只是内容里有没有一句错话。

它变成了行动有没有越权。

提示词注入会不会让系统读走不该读的数据,长期记忆会不会被污染,一个 Agent 的错误会不会被另一个 Agent 放大,付款、删除和对外发布这些动作,到底需不需要人确认。

这也是为什么运行时治理会和 Agent 产业一起长大。

能自动执行,不等于应该自动执行。

我自己的内容工作流现在也保留着很笨的边界。

抓取公开信息可以自动,整理素材可以自动,格式转换可以自动。可对外发布之前,系统必须核验标题、事实、渠道和凭证。公众号最多进入草稿箱,不会自动群发。更新已有草稿,也要拿原来的媒体 ID 原位覆盖,避免一轮修改制造一堆重复版本。

这些限制会让流程慢一点。

但它让错误更容易被发现,也更容易撤回。

说真的,很多人第一次搭 Agent 工作流时,会觉得验证器、权限、日志和回滚都很烦。

模型已经能干了,为什么还要套这么多东西?

因为演示追求的是那一次成功。

生产系统追求的是失败以后不会把你拖下水。

这两件事,差得很远。

所以如果你是咨询顾问、知识工作者,或者正在做一个很小的 AI 团队,我觉得不用急着搭一套看起来很宏大的多 Agent 公司。

先找一段真实工作。

它最好重复发生,输入可以拿到,结果能够验证,出错可以撤回,而且有人愿意为完成结果付钱。

把这段工作连续跑十次。

记录模型在哪一步失去上下文,哪个工具最容易失败,什么情况必须找人,客户到底用什么标准验收。然后把成功和失败一起写回系统。

一开始,它很可能比你手工做还慢。

这很正常。

你不是在买一个更快的按钮,你是在建设一套以后可以反复工作的能力。

每跑完一次,问自己四个问题。

结果成功了吗,谁验收的。

真实成本是多少,失败重试和人工接管算进去了吗。

这次留下了什么,下一次能不能更快、更稳。

最后,哪一步即使模型更强,也必须由人做决定并承担责任。

如果这四个问题答不出来,再多 Agent 也只是热闹。

如果能答出来,一个很小的工作流,可能已经比一张漂亮的 AI 战略蓝图更接近未来。

小余的理解是,北京这份智能体新政最值得看的,不是它预测了多少新名词会流行。

它把一个已经发生的变化写得很清楚。

AI 的价值正在从会不会回答,转向能不能完成;从用了多少 Token,转向创造了什么结果;从个人掌握一个工具,转向个人拥有一套可以积累经验的系统。

模型还会继续变强,也会越来越便宜。

最后真正留在你手里的,是那套知道目标、懂得边界、经得起验证,并且每完成一次任务都会变得更好的工作方式。

这才是 Agent 时代,一个人真正可以拥有的公司。

小余学长VibeCoding AI 产品观察 · Vibe Coding 实践 · 内容实验室 RSS / 公众号 / 小红书 / X / 邮件