bushizhanghan/dsh-routing-forensics

dsh-routing-forensics — 模型路由浪费取证（DSH 插件）

每次模型调用都是一次路由决定。用贵模型改错别字，是浪费；用便宜模型写引擎，失败重试后更贵。

这个插件回放会话日志，把过去的每一次路由决定摊开算账。

安装

dsh plugin --profile desktop add @bushizhanghan/dsh-routing-forensics

重启 DSH 后生效。只读：从不修改会话日志。

Agent 工具

工具 · 作用 routing_audit · 审计单个会话：回放每轮，按任务复杂度分档，找过配/欠配 routing_sweep · 扫描全部会话，按浪费金额排序 routing_rules · 从证据产出可执行的路由规则

怎么判断复杂度（确定性，不调 LLM）

按请求形状打分，分数决定档位：

信号 · 权重 请求长度 >2000 / >400 / >60 字符 · +3 / +2 / +1 工具调用 ≥8 / ≥3 / ≥1 · +3 / +2 / +1 有文件写入 · +2 重试 ≥3 次 / 有重试 · +6 / +2 上下文峰值 >100k / >20k · +5 / +1

分数 · 档位 · 建议模型层 0 · trivial · cheap 1-3 · simple · cheap 4-5 · standard · standard ≥6 · complex · premium

上下文权重刻意压得很重：一个人只打了「继续」但带着 300k 上下文，那是真在干活，不是琐事。

两类浪费

规则 · 级别 · 抓什么 over-provision · ! warn · 便宜活用了贵模型——差额是可计算的浪费 under-provision-retried · ✗ error · 贵活用便宜模型且失败了（非容量类错误）——每次重试重发整个上下文，比直接升级更贵 under-provision-capacity-retry · · info · 便宜活干重活但失败原因是限流/超时——不是模型能力问题，换个更好的模型也会撞同一堵墙

这个区分很重要：把 RATE_LIMIT 算成"模型不行"会让工具天天喊狼来了。

设计取舍

• 参考价取该档第一个声明的模型，不是全局最便宜。按 input+output 之和挑"最便宜"在混合定价下是错的：glm (0.1/0.3) 之和低于 deepseek (0.14/0.28)，但输出密集时 glm 更贵、输入密集时 deepseek 更贵。
• 金额是估算，不是账单。内置价目表按公开标价，明确标注 estimateNotice；不在表里的模型只计数不定价（unpricedSessions），不猜。
• `SERVER` 不算容量限制。它太泛，常常就是模型自己的失败；当成容量会让误路由藏在借口后面。只有 RATE_LIMIT / TIMEOUT / TRANSPORT 算。
• 确定性：复杂度分级、浪费计算、规则推导全是纯函数，同一份日志永远同一结论。

开发

node --test test/    # 33 个单测 + 15 项集成测试

测试用真机上的会话日志做 fixture。

License

MIT