weft-evidence

weft evidence — 意图驱动平台 PoC 的可复现证据包

本仓库为 weft-audit 的底层安全与 治理引擎 PoC 主张提供可复现证据；它是证据层，不替代项目主页。

The future of software isn't about syntax; it's about Intent and Governance.

2026-10-19 实录：治理层六件套（哨兵/完成否定/判断技能/账本/断点/评分官） 核心链路 3 小时 10 分钟（23:39→02:52）移植进 DSH 0.2.1-rc.2 并全自动发布五仓； 期间发现并修复一个官方静默禁用缺陷（官方仓库 Discussion #10203）。 全程记录：DSH 多 Agent 拓扑迁移实战记录 ｜ 最终报告 ｜ 极客简报

同一模型，20 条真实任务：

模型没有变，变的是编排。评分 rubric 原文、脚本、历次报告全在本仓库， python regression.py 一键复跑。

复跑前需从环境中提供本机 AgentScope 配置，不在仓库保存任何 ID 或凭据：

AGENTSCOPE_BASE
AGENTSCOPE_DOER_AGENT
AGENTSCOPE_CONTROL_AGENT
AGENTSCOPE_AUDITOR_AGENT
AGENTSCOPE_AUDITOR_SESSION
AGENTSCOPE_DEEPSEEK_CREDENTIAL_ID
JARVIS_EVAL_DIR

与生态内现有方案的区别（据对方 README 核实，2026-10-19）

可观测性说明（诚实标注）

当前遥测为自定义格式（心跳计数器 + JSONL 事件日志），尚未对齐 OpenTelemetry GenAI 语义；迁移到 OTel（span 树、可被 Langfuse/Jaeger 消费） 为明确目标，未完成前不宣称「可观测性对齐行业标准」。日志不含任何密钥明文， 脱敏扫描在案。

裁判可靠性校准（Ground Truth）

「0.97 vs 0.02」是单裁判结果；按评测工程标准，裁判自身必须先校准。 5 条人工标注集已完成（校准集）： 所有者判定 vs 三眼定分评分官判定，一致率 4/5（80%，n=5）。 唯一分歧为「诚实否定语境」题——评分表对无产出如实报告缺专用判据， 已定修法（不追溯改分），补测后更新。

守门人机制（2026-10-19 全链实测完成）

状态机（闲聊锁死 → 意图识别 → 反问确认 → 拉起多 Agent → 收工锁回）：

用户输入 → 意图识别
   ├─ 非工作意图 → 闲聊应答（零工具）
   └─ 工作意图 → 反问「要拉起系统吗？」→ 确认后才拉起
                        办事者执行 → 微小审计盯主体 → 审计者复查 → 记忆管家记账

桌面端六插件已在生产记账（账本真实条目，脱敏摘录）：

{"ts":"2026-10-18T22:39:30.877Z","session":"session-a17d…","provider":"unknown","model":"unknown","prompt_tokens":0,"completion_tokens":0}

诚实边界：账本已在桌面端生产环境落盘三条事件，但 provider/model 解析为 unknown、token 为 0——字段映射待补，已知边界在案。2026-10-21 又完成了 一次经所有者确认的线上单入口实跑：自然语言任务 → 目标编译器 READY → 多 Agent 工作链 → 独立审计；脱敏记录见 单入口实跑记录。 这次只证明一条简单只读任务可跑通，不等同于任意复杂任务、写操作或长期稳定性 已经通过。

自我纠错实录

我们公开承认并登记自己的失误（踩坑 #41–#48）：归因跳步、调用撒手、单角度 结论、状态卡漏同步、发布脚本细节错、以及一次「差点编造账本摘录」——提交前 被自审拦下并改读真账。自审机制拦住幻觉的这一次，比任何完美数据都更能说明 「意图驱动 + 审计闭环」真实生效。

四大铁律

1. 防自噬：代码层不可变，能力层可扩展（Skill/插件经测试挂载）。
   来源：Agent 改自身代码导致脑死亡的真实事故。
2. 三层审计：小审计双清单（硬命中即暂停，软项只建议）；
   大审计 0-10 裁决；审计器只读，人类终裁。
3. 五分钟遥测：心跳轻唤醒，物理静默；白班交互校准，夜班自动跑批。
4. 意图触发（设计稿）：对话者与办事系统物理隔离；
   闲聊唤醒不了任何工具，开工必须显式确认。

事故复盘（五篇，全部挂证据等级）

• 42 分钟全线连环崩溃（时间线全来自日志）
• 自噬脑死亡
• 并发写冲突
• OOM 强杀
• VPN 断联

插件

• dsh-guardrail — 双清单护栏，15 例测试全 PASS，Windows/Linux 双规则集。

其它

• metrics.md — 量化账本，每行挂口径
• 评估方法-20261018.md — rubric 原文与已知局限
• dialogist.md — 对话者机制
• docs/architecture.md — 架构图（审计环/四层记忆/防自噬）
• docs/reports/2026-10-21-live-intent-entry.md — 单入口实跑的可核验边界
• docs/faq.md — 常见质问与回答
• docs/roadmap.md — 公开路线图

诚实规则

本仓库只放能复现的东西。面板实录与机记切片分列标注，不混； 所有者口述一律标【口述】；无证据不算完成。