dsh-picture-text-reader

图文平台内容抓取（xhs-batch-reader）

DSH Host 插件：在对话里直接按关键词批量抓取小红书笔记与微信公众号文章，并把每篇的正文、图片文字、视频抽帧文字和评论样本读成结构化数据。每条结果都带原文链接（sourceUrl）。

工具

实现

工具本身很薄，真正干活的是随包分发的 Python 脚本 python/xhs_batch.py（同样可被 ~/.dsh/skills/xhs-batch-reader 技能直接调用）：

• 小红书取数复用本机已部署的 xiaohongshu-mcp 只读后端（端口 18861）；
• 公众号文章直接 HTTP 抓取解析（微信文章是服务端渲染），关键词批量走搜狗微信搜索；都不需要登录、不弹浏览器；
• 图片文字用本地 rapidocr-onnxruntime，视频用 ffmpeg 抽帧后再 OCR；
• 小红书只调用 health / login / feeds/list / feeds/search / feeds/detail / user/profile 这些只读端点，发布、点赞、关注、评论类接口一律不调；
• 产物落在 ~/.xhs-batch-reader/runs/<时间戳>/（公众号在 wechat-runs/）：notes.json、notes.md、digest.md、images/、ocr/。

原文链接

• 小红书：https://www.xiaohongshu.com/explore/<note_id>?xsec_token=<token>&xsec_source=pc_search
• 公众号：文章原始 URL（https://mp.weixin.qq.com/s?...）

notes.md 每篇有「原文链接」行，digest.md 每篇有「原文：」行，notes.json 里有 source_url 字段，工具返回的 articles[].sourceUrl 也是它。

运行前提（第一次装完要配一次）

小红书通道需要本机的只读后端二进制和一次扫码；公众号通道只需要 Python 标准库。

1. Python 3.12+：插件按 XHS_PYTHON → ~/.dsh/runtimes/skills/py/python.exe → python 的顺序找解释器。
2. 图片 OCR（可选）：python -m pip install rapidocr-onnxruntime；不装也能跑，只是不出图片文字。
3. 视频抽帧（可选）：把 ffmpeg 放进 PATH，或用 XHS_FFMPEG 指向可执行文件。
4. 小红书只读后端：下载 xpzouying/xiaohongshu-mcp 的 xiaohongshu-mcp-windows-amd64.exe，放到 ~/.xhs-batch-reader/bin/，或用 XHS_MCP_EXE 指到它。首次登录后 cookie 存在 ~/.xhs-batch-reader/cookies.json，之后长期复用。
5. 登录：调用 xhs_login 弹出 Chrome 登录窗口扫码；xhs_status 会显示后端端口、登录状态和 cookie 到期时间。

环境变量

• XHS_PYTHON：Python 解释器，默认自动找 DSH 运行时 python，找不到退回 python
• XHS_CLI：xhs_batch.py 路径，默认用包内 python/xhs_batch.py
• XHS_RUNS：输出根目录，默认 ~/.xhs-batch-reader/runs
• XHS_MCP_EXE：小红书只读后端可执行文件
• XHS_FFMPEG：ffmpeg 路径

限制

• 小红书搜索、博主主页需要登录（扫码一次，cookie 长期复用）；只读单篇链接不需要登录，但链接必须带 xsec_token。
• 公众号搜索依赖搜狗微信，触发反爬时会返回「要求验证码」；此时改用文章链接直接读。搜狗跳转出来的链接带 timestamp/signature 时效签名，过期后请用文章原始 /s/<code> 短链。
• 一次最多读 50 篇；每篇默认最多 12 张图、视频 4 帧。批量 20 篇通常两三分钟。
• OCR 会认错个别字，识别结果按原文保留，不做自动纠错。

调研与借鉴（2026-10-21）

公众号抓取没有引入任何运行时依赖，只参考了以下项目的做法（星数取 GitHub API）：

没有采用 wechatDownload（无源码、无 license）、wechat_articles_spider（需公众号后台扫码，按公众号名抓而非 URL）、MediaCrawler（不支持公众号，且许可限非商业学习）。