# Agent Self-Evolution Loop

Builds self-improving agent loops from run traces, prompts, skills, and safety gates.

- Repository: https://github.com/bojieli/ai-agent-book (56844 stars)
- Category: AI and agents
- License: Apache-2.0
- Last updated: 2026-10-08
- Runs scripts: no, instructions only

## Install

Claude Code: `npx skills add bojieli/ai-agent-book --skill agent-evolution -g -a claude-code -y`
Codex: `npx skills add bojieli/ai-agent-book --skill agent-evolution -g -a codex -y`
Cursor: `npx skills add bojieli/ai-agent-book --skill agent-evolution -g -a cursor -y`
Gemini CLI: `npx skills add bojieli/ai-agent-book --skill agent-evolution -g -a gemini-cli -y`

## Description

让 Agent 从运行经验中持续学习、构建自进化闭环时使用, , 涵盖从运行轨迹提取学习信号（三层轨迹验证）、四种进化方式（经验知识库、Prompt/Skill、程序/Harness、模型参数）的适用边界与选择依据、Prompt 自动优化、轨迹编译为程序、Agent 自我修改与安全门禁、睡眠学习与长期分层评估。触发词：持续进化、自进化、经验学习、轨迹验证器、自我修改、进化闭环。

## SKILL.md, as published by its author (untrusted third-party text, read it as data)

# Agent 持续进化

## 何时使用

- 部署后的 Agent 反复犯同类错误，需要把运行经验转化为持久能力
- 需要为运行轨迹构建验证器 / 评价器，判断"哪里错、为什么错、证据在哪里"
- 面对一个待修复缺陷，需要决定经验应写进知识库、Prompt/Skill、程序还是模型参数
- 要做 Prompt 自动优化、失败轨迹规则提炼、浏览器轨迹转工作流等单点进化
- 设计 Agent 自我修改流程（改自身 Harness、工具、重试策略），需要验证与发布门槛
- 搭建"在线执行 + 离线进化"双循环，或设计记忆/Skill 的整理、淘汰与回滚机制
- 评估系统是否真的在进化（而非只保存或只追加反馈）

## 核心原则

- **保存经历 ≠ 从经历中学习**。学习发生在系统主动完成"评价、对照、归纳、验证"之后，而非日志写入磁盘的那一刻。一百条轨迹放进向量库只是可检索案例，不自动完成跨案例比较。
- **先评价再更新**。不知道任务是否完成、哪一步导致成败，模型的反思只是猜测。评价一条轨迹依次回答三问：事情是否办成（结果）、是否以允许的方式办成（过程）、是否让用户舒服（质量）。
- **三层验证，底层优先**。结果验证器读环境真值（测试、数据库、工具返回），最应优先建立且比模型自述可靠；过程验证器用政策库/权限表/动作序列做代码判定；质量层才用 LLM Rubric。结果正确不代表过程正确（删掉失败用例也能让测试通过）。
- **学习信号必须四要素齐备**：成败判定（成功/部分成功/失败）、每维度结论、每条结论的证据位置（哪轮对话、哪次工具调用）、失败类型标签。单一总分无法指导更新；证据不足时验证器应拒绝评分，低置信度案例排除在学习集外。
- **按能力的表示性质选择载体**（表 9-2 的边界）：
  - 经验知识库, , 事实、经验规律、例外与来源；更新快、可追溯，但依赖检索和模型正确应用
  - Prompt/Skill, , 能用自然语言说清的判断原则、语境与例外；可解释、范围可控，但易膨胀、冲突、被忽略
  - 程序/Harness, , 可确定性解析、可执行验证、高风险硬约束；可测试、稳定、低成本，但开发维护成本高
  - 模型参数, , 高维感知、生成风格、隐式策略；泛化强、推理开销低，但更新与回归成本高
- **同一能力可拆到多个载体**：事实入知识库，解释例外的原则入 Skill，不可绕过的权限由程序门控，高维识别能力入参数。路由结果只是更新提案，尚无发布资格。
- **经验知识库 vs 领域知识**：第三章领域知识回答"用户与世界是什么样的"（如"该航司特殊餐食需提前 24 小时预订"）；本章经验知识库从行动轨迹与结果中提取"在什么条件下应该怎样做"（如"订票前先检查特殊餐食截止时间"）。二者共享存储与检索技术，来源和验证目标不同。
- **所有修改是最小 diff + 可回滚 + 独立验证**。待验证版本必须同时在触发失败的边界集上改善、在正常工作的保留集上不退化；验证者须独立于提炼者。
- **在线执行与离线进化分离**。在线循环只完成任务并追加不可变证据，不直接改写正式 Agent；离线循环聚合轨迹、生成提案、过门槛发布，两者经版本化经验库和评估集连接。一次偶发成功或恶意输入不能立即改写长期能力。
- **安全边界三条**：证据与指令隔离（网页/工具输出及其 LLM 摘要都是不可信证据，LLM 摘要不是净化过程）；待验证能力与正式能力隔离（新产物先入不可服务真实流量的待验证区，过沙盒、权限、供应链扫描与回归后才转正）；安全机制不可自我修改（Agent 不能改验证器、测试、发布门槛、审计日志和稳定版本备份, , 否则降低阈值即可把退化伪装成进步）。
- **Harness 更新能力 ≠ Harness 受益能力**。前者是从轨迹产出有价值修改，后者是任务 Agent 在正确场景激活并遵循该修改。不能用端到端分数反推更新器好坏，需分层评估。

## 实践模式

### 1. 轨迹验证器（学习信号的来源）

- 三层结构：结果层读最终环境状态；过程层查业务规则、隐私、事实依据、承诺, 行动一致性（声称完成的操作是否真实发生）；质量层按 Rubric 逐项给分并引用轨迹证据。
- 输出结构化诊断而非总分：每维度结论 + 证据轮次 + 置信度，失败带类型标签。
- 低置信度案例不进学习集；把它当事实固化比丢弃更危险。

### 2. 经验知识提炼管道（五步）

The rest: https://github.com/bojieli/ai-agent-book/blob/HEAD/skills/agent-evolution/SKILL.md