lakeofsky347/dsh-video-studio

dsh-video-studio

DSH 视频工作台:图文分镜、前端代码生成与编辑、本地 MP4 导出

Uncategorized

映流 · DSH 视频工作台

在对话中构思影片,在工作台里调整镜头,最后导出本地 MP4。

映流(dsh-video-studio)是 DSH Desktop 的视频制作插件。你可以把图片、文字和音频交给当前会话中的模型,让它编排分镜、编写动画;也可以打开工作台,自己修改文案、安排声音、逐帧检查画面。分镜、素材、前端源码和修改历史都保存在本地工程中,方便继续编辑。

当前版本:0.5.2。按插件所需的宿主接口检查兼容性,不再绑定 DSH 发布版本号;主要在 macOS Desktop 上验证。详见宿主兼容机制。

*工作台中的示例影片。本文截图取自 0.4.0 的独立测试环境,使用专门制作的演示数据,不代表云端模型的生成效果。点击图片可查看大图。*

目录

  • 可以用它做什么
  • 安装与首次配置
  • 制作第一部影片
  • 自定义与导入视频风格
  • 在工作台里调整影片
  • 添加配音、音乐和音效
  • 检查画面并导出
  • 管理影片和会话
  • 保存、备份与恢复
  • 常见问题
  • 开发与扩展

可以用它做什么

你想做的事 · 在映流中的做法 用图文制作介绍片、知识讲解或展示视频 · 提供主题和素材,让模型生成分镜与前端动画 修改某个镜头的文案、色彩或节奏 · 编辑镜头属性,或用一句话说明修改要求 精细调整动画和布局 · 编辑每个镜头的 HTML、CSS 和 JavaScript 加入旁白、背景音乐和音效 · 导入音频并安排片段,或使用已配置的配音服务 检查某个瞬间的实际画面 · 播放预览、逐帧定位、查看关键帧,或导出当前帧 PNG 继续制作已有影片 · 从影片首页打开工程,查看历史、恢复修改、再次导出

映流通过前端代码绘制画面,使用本机浏览器和 FFmpeg 输出视频。插件已包含节点编辑器与浏览器驱动,无需安装 ComfyUI。

目前支持图片、文字和音频输入;暂不支持导入视频剪辑、云端渲染、完整的图层关键帧编辑器或多人实时协作。子代理协作使用 DSH 自身的代理与任务能力,详见管理影片和会话。

安装与首次配置

1. 准备运行环境

需要准备 · 用途 · 什么时候需要 DSH Desktop,提供插件所需的服务接口 · 运行插件,提供会话、模型和任务服务 · 始终需要 本机 Chrome 或 Chromium · 捕获实际画面帧并参与视频渲染 · 实际帧检查和导出时 FFmpeg · 视频编码、音频处理与混音 · 导出或处理声音时 ffprobe · 读取音频与成片信息 · 导入音频、检查媒体时 DSH 中已配置的模型 · 理解需求、生成分镜和画面、按要求改片 · 使用模型创作时 本机语音或自有语音服务 · 把旁白文字合成为音频 · 需要自动配音时,可选

手动编辑已有工程、预览和本地导出不需要调用聊天模型。聊天模型与配音服务分别配置。

尚未安装浏览器时,可以从 Chrome 官网下载。FFmpeg 可从其下载页面查找对应系统的构建;macOS 用户如果已安装 Homebrew,也可以按 FFmpeg 软件包说明运行 brew install ffmpeg。完成安装后,按下文检查 FFmpeg 和 ffprobe 的路径。

2. 安装并启用插件

  1. 准备与当前版本对应的安装包,例如 dsh-video-studio-0.5.2.tgz。可使用维护者提供的包,或按开发与扩展中的步骤自行构建。
  2. 打开 DSH 的 插件管理 → 添加插件,填写 .tgz 文件的绝对路径。
  3. 安装完成后启用插件。安装与启用是两个步骤,请确认插件已处于运行状态。
  4. 点击 DSH 侧栏的 映流 · 视频工作台,进入影片首页。

普通使用不需要克隆源码,也不需要执行后面的开发命令。

3. 检查本地渲染工具

在影片首页点击 环境设置;进入工作台后,也可以点击右上角的 环境。

*三个工具分别显示「已就绪」或「待配置」。修改路径后,点击「保存并检查环境」。*

插件会尝试自动查找工具。如果显示「待配置」,填写对应可执行文件的绝对路径,而不是安装目录。macOS 上常见的路径如下,具体以你的安装位置为准:

工具 · 路径示例 Google Chrome · /Applications/Google Chrome.app/Contents/MacOS/Google Chrome FFmpeg(Apple Silicon 上的 Homebrew) · /opt/homebrew/bin/ffmpeg ffprobe(Apple Silicon 上的 Homebrew) · /opt/homebrew/bin/ffprobe

已经安装 FFmpeg 的用户可以在终端运行以下命令查找位置;没有输出通常表示工具未安装,或不在当前终端的搜索路径中。

command -v ffmpeg
command -v ffprobe

点击 保存并检查环境,确认三个工具均为「已就绪」。如果修改了本机工具的安装位置,再来这里更新路径即可。

制作第一部影片

可以从 DSH 会话开始,也可以直接在工作台中操作。两种方式编辑的是同一份影片工程,制作过程中可以随时切换。

方式一:在 DSH 会话中制作

适合已经在对话中整理好主题、文案或素材的情况。

  1. 打开一个可以使用视频工具的 DSH 会话,上传需要的图片、文字或音频。
  2. 说明影片主题、目标片长、画幅和希望呈现的内容。必须准确出现的人名、产品名与数据,请一并提供。
  3. 让模型创建影片工程,先整理分镜,再生成画面。例如:
用我上传的三张街景照片,制作一部约 30 秒的中文城市漫步短片。横屏 16:9,1920 × 1080,30 FPS。分为开场、街巷细节和收尾三个部分,文字简洁,图片缓慢移动。先创建工程并整理分镜,再生成画面。保留可编辑的文字、颜色和图片参数,导出前检查实际帧。这次先做无声版。
  1. 从视频工具的结果卡片打开工作台,查看对应影片、镜头或指定帧。
  2. 需要修改时,可以继续在原会话中描述范围:
只修改第二个镜头:把屏幕主文字改为“慢一点,看见街角的日常”,图片改为缓慢放大。保留其他镜头和声音,修改后检查这个镜头的首帧、中间帧和末帧。
  1. 确认内容后,让模型导出,或在工作台点击 导出视频。

会话中的制作直接使用当前会话模型。耗时的渲染或配音任务交给 DSH 后台任务处理;可以让模型查询进度或取消。普通使用无需手写工具参数,开发者可查阅 API 文档。

方式二:从工作台开始

*首页集中管理影片。可以先建立工程、导入素材,再选择模型生成分镜。*

  1. 点击 新建影片,填写「影片名称」「主题与制作想法」「初始目标片长(秒)」和「初始输出比例」。会话关联可以先留空。
  2. 点击 创建影片 进入工作台。初始输出默认为所选比例、短边 1080 像素、30 FPS,之后可以修改。
  3. 在左侧 资产库 点击 导入素材 或 添加文字。支持的格式见下表。
  4. 在顶部 创作模型 中选择 DSH 已配置的提供方和具体模型。如果没有可选模型,先到 DSH 中完成模型配置。
  5. 点击 生成分镜,检查每个镜头的内容、素材和时长,再点击 生成画面,让模型编写镜头动画。
  6. 点击 预览,根据画面继续调整。需要声音时,按配音说明添加;完成后检查并导出。

素材类型 · 支持格式 · 添加方式 图片 · PNG、JPEG、WebP · 导入素材,或把图片拖入资产库 文字 · TXT、Markdown,也可直接粘贴 · 导入素材,或点击「添加文字」 音频 · WAV、MP3、M4A、AAC、FLAC、OGG · 导入素材,然后在「声音与配音」中安排片段

自定义与导入视频风格

影片首页的 视频制作风格 是本地风格库入口。可以新建自己的风格说明,也可以导入已有的视频制作风格;在新建影片时选中一种风格后,它会随影片保存,并作为分镜和镜头生成的视觉、声音与节奏参考。

支持单个 Markdown(.md、.markdown)、TXT 或 JSON 文件,也支持 ZIP 风格包和包含上述文件的文件夹。Markdown/TXT 内容会作为风格描述;JSON 可提供 name、description、prompt(或 stylePrompt、style_prompt、instructions)等字段。文件夹或 ZIP 中可用 STYLE.md 配合 style.json 元数据,单个风格目录会作为一项导入。示例:

{
  "name": "城市水彩",
  "description": "轻盈的城市漫步短片",
  "prompt": "用透明水彩色块、松动的线稿和缓慢的镜头移动表现街巷。"
}

导入只读取文本风格说明,不运行包内代码。风格库保存在本机 DSH 视频工程目录的 styles.json 中;删除库项目不会移除已复制到影片中的风格。

「生成分镜」和「生成画面」是两个步骤。 如果已选好模型,新建时的「创建并生成分镜」可以合并创建与分镜步骤,之后仍需要生成画面。也可以自行添加镜头、修改默认画面,再直接预览。

再次点击「生成分镜」会重新编排整套镜头,并为新镜头建立默认源码。 已有影片只需局部改动时,请使用镜头属性或「修改这个镜头」。

在工作台里调整影片

认识几个主要区域

区域 · 用来做什么 顶部工具栏 · 选择创作模型,设置输出规格,生成、预览和导出 左侧「资产库」 · 导入、搜索和查看图片、文字、音频 中间「分镜画布」 · 查看素材与镜头的关系,连接播放顺序 右侧「镜头属性」 · 修改选中镜头的文字、时长、颜色、运动和图片位置 画布下方「镜头顺序」 · 选择镜头、拖动排序,快速查看整片结构 下方工作面板 · 切换影片预览、声音、制作要求、源码、历史、任务和成片

调整内容和顺序

  • 修改画面文字:选中镜头,在右侧修改「屏幕主文字」和「补充文字」。镜头标题用于标识镜头,与画面中显示的文字分别编辑。
  • 调整时长:修改「时长(秒)」。实际片长等于所有镜头时长之和;「目标片长」用于初始规划,之后增删镜头不会强行缩放其他镜头。
  • 更换素材:在「素材关联」中选择「使用」或「参考」。「使用」让素材参与画面;「参考」帮助模型理解风格与构图,不会自动显示在成片里。仅把素材导入资产库,还没有把它安排进镜头。
  • 改变图片构图:展开「图片位置与缩放」,调整横向位置、纵向位置、缩放和适应方式。
  • 调整顺序:拖动镜头条,或连接画布上的镜头顺序端口。若提示「主链待连接」,检查是否有断链、分叉或循环,也可以点击「按镜头条连接」。
  • 整理画布:拖动空白处平移,滚轮缩放;用「全图概览」「聚焦选中」和「整理画布」找回节点。

画布上的节点位置只影响工作区布局。视频中的图片位置要在镜头属性中调整。参数修改后,如果预览提示内容已更新,点击 刷新预览 查看效果。

用自然语言改片

在 影片预览 右侧选择「当前镜头」或「整部影片」,输入要求,然后点击 修改这个镜头 或 修改整部影片。

可以写:“标题从左侧滑入,图片缓慢放大,背景改成奶油色,保持当前时长。”描述中同时说明希望保留的内容,通常更容易得到所需结果。

直接编辑源码

选中镜头,打开 前端源码,切换 HTML、CSS、JS 进行编辑。点击 保存源码,或使用 Ctrl / ⌘ S,再刷新预览检查结果;出现问题时可以 恢复上次可用。

*每个镜头有独立源码。先保存,再刷新预览,就能检查这次修改。*

源码草稿会按工程和镜头保留。草稿尚未提交时,不会进入预览或成片,还会阻止预览、导出等操作。 可以从顶部「查看源码草稿」进入,保存或丢弃后继续;也可下载草稿备份。如果模型已更新工程,请先对照最新源码,再决定是否将草稿保存到当前版本。

自定义源码需要读取 ctx.params 中的共享参数,右侧属性才能控制对应内容。写死在源码里的文字或颜色,需要修改源码或让模型修改。源码不会自动还原成可视图层。场景接口和示例见 API 文档。

添加配音、音乐和音效

*导入音频后,需要把它添加为声音片段,才会进入影片。自动生成的镜头配音会直接添加到对应镜头。*

使用已有音频

  1. 在 资产库 → 导入素材 中选择音频文件。
  2. 打开 声音与配音,选择「音频资产」和「用途」:配音、背景音乐或音效。
  3. 选择「绑定范围」。旁白通常绑定具体镜头,背景音乐通常绑定整部影片。
  4. 点击 添加声音片段,设置时间和音量。需要时勾选循环播放。
  5. 确认 预览和导出包含声音 已勾选,切回 影片预览,点击 刷新预览 后播放试听。

参数 · 如何理解 片段起点(秒) · 绑定镜头时,相对该镜头开头计算;绑定全片时,相对影片开头计算 裁入(秒) · 从源音频的哪个位置开始使用 裁出(源文件秒) · 使用到源音频的哪个位置;留空使用到文件结尾 音量 · 1 为原音量,0.25 为原音量的四分之一;可以先降低背景音乐,再试听旁白是否清楚 淡入、淡出(秒) · 声音渐强、渐弱的持续时间

例如,把一段音频绑定第二个镜头,起点设为 1,裁入设为 2、裁出设为 6,就会在第二个镜头开始 1 秒后,播放源文件第 2~6 秒的内容。

根据文字生成配音

配音服务的入口是 声音与配音 → 配音模型设置。

使用 macOS 本机语音:

  1. 语音端点填写 local:say,勾选「启用」。
  2. 「声音」填写本机已安装的系统声音名称,例如已安装时可用的 Tingting;留空使用系统默认。无需填写配音模型或 API Key。
  3. 设置语速,点击 保存配音配置。
  4. 选中镜头,填写「镜头旁白」,点击 生成镜头配音。

使用自有语音服务:

在同一面板填写兼容语音接口的完整地址,例如 https://your-service.example/v1/audio/speech,并填写服务要求的模型 ID、声音 ID、语速和语音 API Key。勾选「启用」后保存配置,再生成镜头配音。地址、模型和声音 ID 以该服务的实际要求为准。

语音 Key 使用 DSH 凭据服务保存,不写入影片工程,也不自动复用聊天模型的 Key。输入框留空会保留原 Key;点击「清除密钥」才会删除。 本机语音不调用外部 API;使用远程服务时,旁白文本会提交给你填写的端点。

默认不启用自动配音。远程兼容接口是否可用、支持哪些声音,需要按所用服务确认。

旁白比镜头长时怎么办

默认情况下,较长的镜头旁白会在必要时延长对应镜头。如果必须保持原有片长,勾选 锁定镜头时长;超长时会提示差额,你可以缩短旁白、调整裁剪,或解除锁定。

绑定整部影片的旁白不会自动决定延长哪个镜头;如果超出全片时长,会提示错误,需要先延长镜头或裁剪音频。重新生成同一镜头的配音会替换其原配音片段,旧音频素材仍保留在资产库中。

检查画面并导出