dsh-newapi-video

dsh-newapi-video

一个 DeepSeek Harness（DSH）插件：在对话里用 @ 引用素材（图片 / 视频），再加一句提示词，调用 new-api（one-api 风格中转站） 的视频大模型生成视频。

功能

• 注册两个工具：
  • newapi_generate_video —— 文生视频 / 图生视频 / 首尾帧视频。
  • newapi_task_status —— 查询本地任务台账，恢复因超时或中断而丢失的异步任务。
• 通过 @ 引用素材：把 @ 引用的图片路径传给 first_frame（首帧图生视频）、last_frame（尾帧）、reference_images（外观一致性参考图）；视频素材传给 video（视频生视频，视模式而定）。
• 四种中转协议：
  • v1-videos（默认）：new-api 统一任务接口 POST {base}/v1/videos + GET /v1/videos/{task_id}，适配 Seedance 2.0 与 Happyhorse（快乐马）。按模型名自动识别请求体：happyhorse-* 走顶层 size+images；doubao-seedance-* 走 metadata.resolution/ratio + metadata.content（first_frame / last_frame / reference_image / reference_video）。
  • openai-videos：OpenAI 兼容 POST {base}/videos/generations + GET /videos/{task_id}。
  • modelverse-tasks：POST {base}/tasks/submit + GET /tasks/status?task_id=...（可灵 / 即梦 Seedance 等常用）。
  • generic-rest：自定义提交 / 查询路径 + JSON 字段提取，适配任意 new-api 部署。
• Seedance 2.0 / Happyhorse 接入要点：seconds 一律发送字符串（如 "5"）；分辨率用小写精确值 720p / 1080p / 480p / 4k（Seedance 不支持 2K/1080P，Happyhorse 只用 720p/1080p）；Seedance 支持 first_frame+last_frame（首尾帧）、reference_images、video（参考视频）和 ratio: adaptive；Happyhorse 的 i2v（如 happyhorse-1.1-i2v）只传一张参考图，t2v 不传参考图。
• 结果视频自动下载到工作区输出目录，返回本地路径 + 原始 URL（取 metadata.url，可能有时效，建议成功后及时本地保存）。
• 可视化生成面板：为 newapi_generate_video / newapi_task_status 注册了独立卡片（tool.call.toolview）。模型调用工具后，聊天里会直接显示一块面板——含提示词、参数、素材引用（点击可打开文件）、任务状态，以及生成结果的视频播放器，而不是一段 JSON。生成期间面板会实时轮询 /newapi/tasks 显示进度状态（如「生成中…（processing）」）。
• 按项目（工作区）隔离：每条任务记录都带 project（会话工作区根目录 = 工作区路径）。/newapi/tasks 通过请求头 x-newapi-project / 查询参数 project 定位项目，按项目读取各自的任务台账，多个工作区并行生成互不干扰。
• 宽容的项目校验：/newapi/tasks 会校验 project 是否落在已注册工作区内（ctx.get("workspaceRegistry").list()，读不到再回退到 DSH_HOME/storages/workspace.json）。取不到工作区列表时一律放行，只有能确认列表、且 project 确实不在其中才返回 403。
• 友好状态文案：把原始中转站状态映射成中文——queued/pending/submitted → 排队中，processing/running/rendering/generating → 渲染中，succeeded/completed/finished → 已完成，failed/error/cancelled → 失败，未知则原样显示。面板状态标签与 newapi_task_status 都会展示该文案（stateLabel）。
• 设置页：settings.section 提供独立的「NewAPI 视频」设置页（侧边栏出现入口），可视化编辑 Base URL / API Key / model / 模式 / 轮询间隔等。

安装

方式一：插件市场（推荐）

插件已收录到 awesome-dsh-plugin，在 DSH 里打开 设置 → 插件市场，搜索 dsh-newapi-video 一键安装。

方式二：从源码构建

git clone https://github.com/chen704290901chen/dsh-newapi-video.git
cd dsh-newapi-video
npm pack
dsh plugin --profile web add file:./dsh-newapi-video-1.0.0.tgz

配置（WebUI Settings → NewAPI Video）

也可以直接在 profile 的 cordis.patch.yml 里按 id 覆盖配置：

- id: newapi-video
  name: dsh-newapi-video
  config:
    mode: modelverse-tasks
    baseURL: https://api.modelverse.cn/v1
    apiKey: your-key
    model: doubao-seedance-2-0-260128
    resolution: 2K

视频创作开关（输入栏）

对话输入栏「上传素材」旁有一个**「视频创作」开关**（蓝紫渐变胶囊 + 滑块，切换有平滑过渡）。它是整个插件的总开关：

• 开：显示「上传素材」按钮、@ 引用预览条、以及页面顶部的「资产库」标签页；agent 工具可用。
• 关：隐藏「上传素材」按钮、@ 预览条，并移除资产库标签页；同时 settings.enabled 置为 false，宿主把 newapi_generate_video / newapi_generate_image 两个工具从 agent 工具列表彻底注销并移除 system-prompt 指引——agent 完全感知不到插件，等同于在插件市场里禁用。

开关状态存在 settings.enabled（服务端 newapi-video 命名空间），浏览器端也缓存到 localStorage。关闭时即使绕过前端直接调用生成工具，宿主也会拒绝（工具不存在/被注销）。

方向门控（生成前必选方向）

生成前 agent 必须先选定「方向（skill）」并与用户确认，未锁定方向 + 规格（模型 / 画幅 / 时长 / 张数）之前不得调用生成工具：

• 默认方向：电商视觉套件 ecommerce-visual-suite（电商主图 / 详情图 / 宣传视频）。
• 用户明确指定其它 skill / 方向时，按该 skill 的流程执行。
• 方向不明确时先询问用户（如「用哪个方向？电商视觉套件 / 宣传视频 / 其它」），不替用户猜。

该约束由插件注入的 system-prompt（registerGuidance）实现，是行为约定（提示词级）；如需硬校验请加工具 direction 再拦截。

使用示例

在对话里（v1-videos 模式）：

Seedance 2.0 文生视频

用 doubao-seedance-2-0-260128 生成一只猫在雨夜城市奔跑，1080p，16:9，5 秒。

Seedance 2.0 首尾帧

@first.png 做首帧 @last.png 做尾帧，让小猫从坐着站起来走向镜头，720p，自适应比例。

Happyhorse 图生视频

用 happyhorse-1.1-i2v，@ref.png 做参考图，让主体缓慢转身看向镜头，1080p，5 秒。

模型会调用 newapi_generate_video，插件自动拼出对应协议体（如上文「接入要点」）。

用 @cat.png 做首帧，让这只猫在草地上奔跑，电影感运镜，16:9，5 秒。

模型会调用：

{
  "prompt": "A cat running across a grassy field, cinematic camera, ...",
  "first_frame": "cat.png",
  "aspect_ratio": "16:9",
  "duration": 5
}

返回：

{
  "model": "doubao-seedance-2-0-260128",
  "prompt": "...",
  "taskId": "abc123",
  "status": "succeeded",
  "mode": "modelverse-tasks",
  "urls": ["https://..."],
  "files": [{ "path": "newapi_output/video-....mp4", "url": "https://...", "mimeType": "video/mp4" }]
}

说明与限制

• @ 引用本质是「路径文本」：模型需要先用 read 工具确认文件存在，再把路径传给工具；插件会把本地文件读成 base64 data URL，URL 原样透传。
• 图片内联上限 20 MB，视频内联上限 100 MB。
• openai-videos 模式不接受视频素材（只支持首帧图片）；视频素材请在 modelverse-tasks / generic-rest 模式使用。
• 各 new-api 中转站 / 模型的具体请求字段差异较大，若默认协议不匹配，请切换 generic-rest 模式并配置路径与字段提取。