RyanShen3/dsh-toutiao-reader

dsh-toutiao-reader

English | 中文

把「浏览今日头条文章」的实战经验打包成 DeepSeek Harness (DSH) 插件：一个 webfetch 工具 + 一个 toutiao-reader 技能。

模型调用 webfetch(url)
   ├─ ① direct-fetch        静态直连 ~1s（域名缓存记住哪些站必须走浏览器）
   ├─ ② Edge CDP 常驻无头    首次冷启动 ~20s → 常驻端口 9333，单次 ~3-6s
   │     · 复用常驻标签页（省 ~4s）      · 禁图 + 屏蔽字节跳动 CDN 提速
   │     · 头条质询页（安全验证/__ac_signature/acrawler）自动等 reload 宽限窗口
   └─ ③ dump-dom 兜底        CDP 不可用时一次性渲染

为什么需要它

今日头条的静态 HTML 必命中反爬（__ac_nonce/__ac_signature/acrawler），普通 fetch 只能拿到「安全验证」页；web_search 又只给摘要。这个插件把两者之间的空白补上：给一个文章 URL，返回标题 + 全文纯文本。对头条做了专门优化，同时对一般网页（博客、新闻站、国内站直连可达者）同样适用。

提供什么

工具：webfetch

返回：{ method, title, text, textLength, truncated, outfile?, error? }

• 失败以 { error } 形态返回，不抛异常，主流程永不被抓取拖垮
• 声明 isConcurrencySafe: false（CDP 复用同一标签页，强制串行）与 timeoutMs: 120000
• method 字段告诉你走了哪条路，方便判断「快」还是「被反爬了」

技能：toutiao-reader

随插件注册的经验文档（模型可自动调用）：头条 URL 形态表、method 字段解读、质询页处理与重试节奏、正文过短的排查（视频页/问答页/App 引导页）、常驻浏览器管理（端口/pid/停止命令）、网络环境注意事项（curl 不可靠、代理、沙箱重定向）、后备脚本路径。

安装

方式一：插件市场（推荐）

DSH Web → 设置 → 插件市场 → 搜索 toutiao → 安装。

方式二：CLI

dsh plugin --profile web add dsh-toutiao-reader

方式三：手动（本地开发）

# junction 进 profile（无需管理员）
New-Item -ItemType Junction -Path "$env:USERPROFILE\.dsh\profiles\web\node_modules\dsh-toutiao-reader" -Target "<插件目录>"
# profile package.json：dependencies 加 "dsh-toutiao-reader": "link:<插件目录>"，bundles 数组加 "dsh-toutiao-reader"

装完重启 dsh web 生效。不要在 profile 目录里跑 pnpm install（会把官方包复制成物理副本，详见 dsh 社区经验）。

配置

在 profile 的 cordis.patch.yml 用 id 覆盖模式（只写 id，不要重复 insert）：

- id: dsh-toutiao-reader
  config:
    workspace: D:/DSH_Workspace  # 相对 outfile 的解析基准
    cdpPort: 9333                # CDP 调试端口
    browserPath: ""              # Edge/Chrome 路径覆盖，空则自动探测
    maxChars: 12000              # 默认返回正文上限
    domainCachePath: ""          # 域名缓存路径，空则 %TEMP%/webfetch-domains.json

常见问题

抓取很慢？ 首次冷启动常驻浏览器 ~20s 属正常；之后单次 ~3-6s。CDP 阶段禁图、屏蔽字节 CDN 是刻意提速。

正文很短或为空？ 多为视频页/问答页/App 引导页（移动分享页实测仅有 ~40 字引导文案）。换 PC 版链接（www.toutiao.com/article/<id>/）通常可解。

遇到「安全验证」循环？ 等几秒重试一次即可；不要高频重试（触发更严风控）。同一域名解过一次会被域名缓存记住。

浏览器状态坏了？ 读 %TEMP%\webfetch-edge.pid 后 taskkill /PID <pid> /T /F，下次调用自动冷启动。

已有一键脚本？ 与工作区脚本 node tools/webfetch.mjs <url> [outfile] 共享同一个常驻浏览器和标签页（同名 pid/tab/profile 文件），互相加速；插件不可用时脚本就是后备路径。

安全与隐私

• 只读抓取：不写文件（除非显式传 outfile）、不读凭据、不上报任何数据
• 常驻无头浏览器仅监听本机回环（127.0.0.1）
• 域名缓存只存「该域是否需要浏览器」一个字符串，无任何内容记录

兼容性

• 需要本机装有 Edge 或 Chrome（自动探测；可用 browserPath 指定）
• Node.js ≥ 20（依赖全局 fetch / WebSocket / AbortSignal.any）；DSH web 0.1.0-rc.6+ 测试通过
• 境外站点直连超时时，可参考技能文档里的代理建议

License

MIT