截至 2026 年 4 月,所谓“能够自我验证的自动化流程”还不是一个已经完全固定下来的单一术语,但相关研究已经沿着几条较为清楚的路线展开。学术论文中更常见的说法是 self-verification、self-refinement、reflection、self-debugging、tool-interactive critique、test-time search。这些工作讨论的核心问题大体一致:系统不只生成答案或执行步骤,还会检查自己的中间状态、输出结果或行动轨迹,再据此调整后续行为[1][2][3][4][5][6][7][8]。
如果把这个问题放回工程语境里,它关心的不是“流程能不能自动执行”,而是“流程能不能判断自己现在是否仍然在正确地执行”。这也是为什么“自我修复”只是表层现象,而“自我验证”更接近底层机制。没有验证,修复常常只是碰巧成功;有了验证,修复才成为一种可以复用、可以解释、可以持续累积的能力。
§一、研究主线:从自我检查到外部验证
§图片:Self-Verifying Automation Research Map
§这条研究线最早的重要节点之一,是 ReAct 把推理与行动交错起来,让语言模型在环境中边思考、边采取动作,再根据环境反馈更新后续步骤[1]。它并没有直接把重点放在“自我验证”这四个字上,但它奠定了一个后来越来越重要的方向:系统不能只在内部生成答案,还需要在外部环境中确认自己的路径是否有效。
在此基础上,Large Language Models are Better Reasoners with Self-Verification 明确提出了“先作答,再验证”的框架:模型先生成候选答案,再通过反向检查来为答案打分,从而筛选更可靠的结果[2]。这类工作代表了较早一批较为纯粹的“模型内部自检”思路。
接着出现的是迭代式自反馈路线。Self-Refine 提出用同一个大模型完成三个角色:生成初稿、给出反馈、基于反馈修订初稿,并在多个任务上重复这一循环[3]。Reflexion 则进一步把失败经验显式写入语言记忆,将语言反馈当作一种不更新参数的强化学习信号,让 agent 在下一轮任务里利用先前的错误经验[4]。这两类工作都说明,仅靠单次生成往往不够,而“回头看一眼自己刚刚做了什么”在不少任务上是有收益的。
但研究很快也暴露出一个边界:如果反馈仍然主要来自模型自己,那么所谓“反思”在不少场景中容易退化成风格上的改写,而不是更严格意义上的验证。于是后续工作开始更明确地引入外部工具。CRITIC 的核心思路是让模型借助搜索、程序执行、知识库或检测器之类的外部反馈源来修订结果[5]。Teaching Large Language Models to Self-Debug 则把代码执行结果与语言解释结合起来,要求模型像“橡皮鸭调试”那样先解释代码,再根据执行反馈修正自己[6]。
从这里开始,研究重心已经发生了一次明显转移:重点不再只是“模型能否批评自己”,而是“系统能否借助环境和工具验证自己”。
§二、从单次反思到搜索式验证
§如果说早期工作主要还停留在“生成一个答案,再审视这个答案”,那么后续工作开始把验证更深地嵌入行动过程之中。Language Agent Tree Search(LATS)将规划、行动、反思和值估计结合在一起,让 agent 在测试时探索多条可能轨迹,而不是只押注一条路径[7]。Tree Search for Language Model Agents 则把树搜索进一步用于网页环境中的真实代理任务,强调系统需要在执行过程中持续比较不同轨迹,而不是在最后时刻才回头修补[8]。
这类工作很重要,因为它把“验证”从一个事后步骤,推进成了流程内部的结构性能力。系统不再只是“先做一遍,再复盘”,而是会在行动中持续判断哪条路径更可能成立,哪条轨迹已经偏离目标。
§从自动化流程设计的角度看,这对应着一个清晰的层级变化:
§层级核心能力典型问题执行按既定步骤完成动作它能不能跑起来?监控知道哪一步失败、超时或报错它有没有出问题?验证判断当前状态、结果和前提是否仍然满足目标它现在是不是还在正确地做?修正基于验证结果调整路径、回退、重试或改写它知道该怎么把自己拉回目标吗?
§许多论文讨论的“reflection”或“self-correction”,真正值钱的部分其实都落在第三层和第四层,而不只是第一层和第二层。
§三、评测也在被“验证化”
§自我验证研究要成立,前提是评测本身足够可靠。过去很多任务只检查最终答案看起来像不像对的,但这对自动化流程和 agent 来说远远不够。近两年,一个非常明显的趋势是:benchmark 自身也在被重新设计成更强调可验证性。
§WebArena 的意义就在这里。它不再只是让模型在离线文本上回答问题,而是把 agent 放进更接近真实网站操作的环境里,让系统必须真正浏览页面、操作表单、完成多步任务[9]。它把“是否完成任务”更多地从语言层的判断,推向了环境层的判断。
随后出现的 WebArena Verified 则更进一步,把重点放在网页代理评测的可靠性上,并尝试引入更严格的验证标准[10]。这意味着研究社区已经意识到:不仅 agent 需要验证自己,评测系统也需要更严格地验证 agent 是否真的完成了任务。
代码代理评测中也出现了同样的趋势。SWE-bench 把任务定义成真实 GitHub issue 与对应仓库快照,让模型必须在具体代码库中修改代码,最终用测试与环境执行来判断是否真的修复了问题[11]。SWE-bench-Live 则进一步强调 benchmark 的持续更新与抗污染,避免模型只是背到了旧数据集答案[12]。
这些基准的共同意义在于,它们把“验证”从一个可选技巧,变成了 agent 能否被认真评估的基本条件。
§四、开源工程实现:部件已经齐了,但还没有统一范式
§从工程实现看,今天已经不难在开源生态里找到与“自我验证”相关的能力模块。大量项目已经把这些能力拆成了可组合的部件,只是它们通常不以“self-verifying automation”这个名字出现。
§第一类是 反思与审查框架。AutoGen 官方文档直接把 reflection 当作一种设计模式来介绍,典型结构就是 coder + reviewer:前者生成结果,后者批评,未达到条件就继续修订[13]。这类框架把“自我反思”外化成了一个显式的工作流,而不是把它当成模型内部的黑箱能力。
第二类是 有状态的 agent 编排系统。LangGraph 的官方文档强调 durable execution、human-in-the-loop 和持久化状态[14]。这类系统的重点不只是让 agent 会调用工具,而是让 agent 的执行轨迹可以暂停、恢复、回放、插入人工检查,并在长流程中保持上下文一致性。
第三类是 输入输出验证层。Guardrails 提供输入/输出守卫与 validators,用来检查生成内容是否满足约束、是否需要拦截或重试[15]。PydanticAI 则把结构化输出、output validators 和 ModelRetry 做成了更显式的机制,让验证失败可以直接触发下一轮生成[16]。这类项目最接近“流程开始验证自己”的工程意义:它们把“结果是否成立”变成了流程内部的一个正式步骤。
第四类是 工作流恢复与运行时保证。Temporal 的核心在于 durable execution:进程崩溃、网络中断或基础设施异常后,工作流仍能从已知状态继续执行[17]。Prefect 强调任务状态跟踪、失败处理与事件驱动自动化[18]。Kestra 则把 checks、重试和错误处理做成了显式组件[19]。这类系统不直接解决“智能验证”问题,但它们为验证驱动流程提供了运行时基础。
因此,如果把今天的工程生态看成一套栈,可以大致这样理解:
§AutoGen、LangGraph这类框架负责组织 agent 的推理与行动;Guardrails、PydanticAI这类组件负责检查结果是否符合约束;Temporal、Prefect、Kestra这类编排系统负责让长流程可恢复、可回退、可接管。
换句话说,今天已经有足够多的开源部件可以拼出“能够自我验证的自动化流程”,只是还没有一个被普遍接受的统一范式,把这些能力全部标准化封装起来。
§五、当前进度判断:问题已经从“能否做”转向“如何可靠地做”
§截至 2026 年 4 月,可以比较谨慎地给出这样一个判断:
§第一,自我验证已经不再只是 prompt engineering 的技巧,而是一条相对明确的研究和工程路线。
从 Self-Verification、Self-Refine、Reflexion 到 CRITIC、Self-Debugging、LATS,相关工作已经相当系统地展示了一个方向:如果系统不能在执行中检查自己,它在复杂环境中的稳定性通常会受到明显限制[2][3][4][5][6][7]。
第二,在有硬反馈的任务上,进展通常快于开放式任务。 代码、网页操作、结构化输出这类场景之所以进展更快,是因为它们更容易获得编译器、测试、页面状态、后端状态或 schema 校验器这类外部验证器[9][10][11][15][16]。
§第三,“验证器本身”已经成为系统设计的一部分。 当前真正困难的问题,已经不只是“模型会不会在文字上自我批评”,而是“谁来定义正确、谁来检查正确、验证失败后系统应当如何改道”。在很多实际流程里,验证器的可靠性本身就是主要瓶颈[10][12][16][19]。
§第四,工程上已经能做出局部成熟的自验证流程,但距离开放世界中的稳定自治仍有相当距离。 今天的系统已经能在一部分任务中做到检查中间结果、识别偏差、触发重试、调用工具、修正输出,甚至在有限环境里回退轨迹。但在长时程、开放环境、多目标冲突、弱反馈或高代价错误场景中,这种能力依然远不稳定。
§六、结语
§“能够自我验证的自动化流程”并不是什么未来概念,它已经在研究论文、benchmark 和开源工程里以不同形式出现。真正值得注意的变化,不是自动化能替人多执行多少步骤,而是它开始把“我现在是不是还在正确地做这件事”纳入自己的运行逻辑。从这个角度看,自动化的发展重心已经在发生转移。过去的问题是“如何让系统自动执行”,现在越来越变成“如何让系统在执行中持续验证自己”。前者解决的是重复劳动,后者才开始真正处理不确定性。
§参考资料
§[1] ReAct: Synergizing Reasoning and Acting in Language Models https://openreview.net/forum?id=WE_vluYUL-X
§[2] Large Language Models are Better Reasoners with Self-Verification https://arxiv.org/abs/2212.09561
§[3] Self-Refine: Iterative Refinement with Self-Feedback https://arxiv.org/abs/2303.17651
§[4] Reflexion: Language Agents with Verbal Reinforcement Learning https://arxiv.org/abs/2303.11366
§[5] CRITIC: Large Language Models Can Self-Correct with Tool-Interactive Critiquing https://arxiv.org/abs/2305.11738
§[6] Teaching Large Language Models to Self-Debug https://arxiv.org/abs/2304.05128
§[7] Language Agent Tree Search Unifies Reasoning, Acting, and Planning in Language Models https://arxiv.org/abs/2310.04406
§[8] Tree Search for Language Model Agents https://arxiv.org/abs/2407.01476
§[9] WebArena: A Realistic Web Environment for Building Autonomous Agents https://webarena.dev/
§[10] WebArena Verified: Reliable Evaluation for Web Agents https://openreview.net/forum?id=HyFyPZx4zp
§[11] SWE-bench: Can Language Models Resolve Real-World GitHub Issues? https://arxiv.org/abs/2310.06770
§[12] SWE-bench Goes Live! https://arxiv.org/abs/2505.23419
§[13] AutoGen Reflection Design Pattern https://microsoft.github.io/autogen/stable/user-guide/core-user-guide/design-patterns/reflection.html
§[14] LangGraph https://github.com/langchain-ai/langgraph
§[15] Guardrails AI Documentation https://www.guardrailsai.com/docs
§[16] PydanticAI Output Validation https://ai.pydantic.dev/output/
§[17] Temporal Documentation https://docs.temporal.io/
§[18] Prefect Documentation https://docs.prefect.io/v3/get-started
§[19] Kestra Checks and Error Handling https://kestra.io/docs/workflow-components/checks https://kestra.io/docs/tutorial/errors
§