dsh-ai-output-trust

@deepwhale-cn/dsh-ai-output-trust

大模型安全：直接执行模型输出（eval / shell / SQL / 文件路径）是风险很高的一类 —— 这里查代码里有没有这么干。

关键词：AI 输出 · AI 安全 · 提示注入 · 提示词注入 · 大模型安全 · 任意代码执行 · LLM 安全 · 大模型 Keywords: AI output trust · prompt injection · LLM security · code execution · OWASP LLM AI 输出信任边界 —— 检查代码有没有直接执行 AI 输出。

不装它会怎样

你的 agent 里有这么一行：

eval(aiResponse);

想法是「让模型生成一小段脚本，我执行它」。

但 AI 输出是不可信输入 —— 它可能被提示注入控制，也可能自己发挥。 你等于把任意代码执行权交给了一个概率模型。

OWASP 把这单列为 LLM05 Improper Output Handling。

它查什么

它不会误报「只是调了模型」

变量识别用精确命名，不是「看到 .content 就报」。

这段不报（调了模型，但当成不可信输入处理）：

const raw = result.choices[0].message.content;
const parsed = safeJsonParse(raw);
if (!schema.validate(parsed)) throw new Error('invalid');

这段报：

eval(aiResponse);

正确的做法

AI 输出 → 结构化解析 → Schema 校验 → 白名单分支
        → 参数化查询
        → 路径规范化 + 断言在允许根目录内

安装

dsh plugin --profile web add @deepwhale-cn/dsh-ai-output-trust
# 或纯 CLI
npx @deepwhale-cn/dsh-ai-output-trust

用法

dsh-ai-output-trust --demo          # 看检出效果
dsh-ai-output-trust --list-rules    # 列出规则和依据
dsh-ai-output-trust --html r.html

边界

• 只查四种明确的高危用法（eval / shell / SQL / 路径）。其它「间接信任」不在范围。
• 靠变量命名识别 —— 建议统一命名（ai* / llm* / model*），否则会漏。
• 不做数据流分析，只看调用点附近。
• 与 dsh-ci-guard 分工：那个查 GitHub Actions 脚本注入，这个查运行时。

本插件是一个工具。使用者必须遵守所在地区法律法规，对使用本项目造成的任何后果自行承担责任。

---

深鲸网安守护系列（共 38 个）

一个插件做一件事。安全问题是链式的 —— 配套用才完整。

国内合规（12）｜ 等保对照 · 日志留存 · 备案公示 · 用户同意 · 个人信息权利 · 未成年人保护 · 影响评估 · 数据分类分级 · 算法备案 · 数据出境 · 国密合规 · AI 内容标识

AI 与 Agent 治理（6）｜ AI 输出信任 · 外部内容信任 · MCP 安全 · Agent 权限 · 策略核对 · 可疑指令

数据与凭据（5）｜ 敏感数据 · 密钥轮换 · 数据留存 · 配置审计 · 密钥扫描

供应链与构建（5）｜ 开源许可 · 依赖投毒 · CI 安全 · 工具审查 · 物料清单

权限与应急（3）｜ 最小权限 · 告警外发 · 应急证据包

行业专项（4）｜ 医疗行业专项 · 教育行业专项 · 金融行业专项 · 地方数据条例

编排与交付（3）｜ 一键体检 · 改前改后复核 · 合规可交付文档

都在 DSH 插件市场（dsh-plugin.org）、npm 和 deepwhale.org.cn/guard.html 上。

---