dsh-vision-dashscope

dsh-vision-dashscope

通过 DashScope / 千问（Qwen） 识别并生成图片、视频、音频的 DSH 插件（MCP server）。专治 Deepseek-omnimodal 等插件「视频大了就不行」的问题：

• 长视频/大视频直接识别：走百炼临时 OSS 直传（oss:// 临时 URL，单文件上限 1GB，按模型的 max_file_size_mb 校验），不压缩、不损画质；小视频（≤14MB）走 base64 省一次上传。
• mkv / avi 等浏览器不可播格式也能识别（模型服务端解码抽帧）。
• 音频：短音频 qwen3.5-omni 直接理解，长音频自动 fun-asr 转写。

工具

• 识别工具会调用 DashScope 付费 API（按 token 计费，量小价低）。
• 生成工具必须 confirm=true 才会实际调用付费接口；false 时只返回预计费用（如"预计 3.00 元（5 秒 × 0.6 元/秒）"）。
• 生成结果自动下载到本地输出目录（默认 ~/Downloads/dsh-vision-dashscope，可用 DASH_VISION_OUTPUT_DIR 修改），返回本地路径——配合 dsh-image-preview 可直接在对话里内联预览。
• 文生图默认额外转一张 JPEG 预览（preview 字段，最长边 1600px / 质量 85，可配），原始 PNG 保留在 files 中——DSH 图片内联上限 5MB，大 PNG（1792×2400 可达 7MB）直接内联会 404，用 JPEG 预览即可正常显示。

安装

需要 Python 3.12+、uv。复制 .env.example 为 .env 并填写 API Key：

git clone https://github.com/ywleeo/dsh-vision-dashscope.git
cd dsh-vision-dashscope
cp .env.example .env    # 填入 DASH_VISION_API_KEY
uv sync

API Key 也可用环境变量：DASH_VISION_API_KEY（缺省回退 OMNIMODAL_API_KEY / DASHSCOPE_API_KEY）。

DSH 接入

在 ~/.dsh/profiles/web/cordis.patch.yml（用户 patch 层）追加：

- insert:
    - id: mcp-vision
      name: '@deepseek-ai/dsh-mcp-client'
      config:
        serverName: vision
        transport: stdio
        command: /Users/leeo/.local/bin/uv
        args:
          - run
          - --directory
          - /path/to/dsh-vision-dashscope
          - dsh-vision-dashscope
        failOnStartupError: false

重启 dsh web。连接后工具以 mcp__vision__recognize_video 等名字出现。

大文件上传原理（长视频关键）

1. GET /api/v1/uploads?action=getPolicy&model=<model> 获取上传凭证（含 upload_host、签名、max_file_size_mb）；
2. multipart 上传文件到 OSS 临时存储，得到 oss://<key> 临时 URL（有效期 48h，免费）；
3. chat 请求 video_url: {"url": "oss://..."} 并在 header 加 X-DashScope-OssResourceResolve: enable，模型服务端拉取解码抽帧。

参考：上传文件获取临时 URL（阿里云百炼文档）、视觉理解（视频）。

配置（环境变量 / .env）

测试

uv run pytest -q

License

MIT