开源工具评测：sweety-handdraw-video 把一篇文章自动画成手绘口播视频
做知识类视频最累的环节是什么？不是写文案，是文案写完之后那一整套流程：
- 对着稿子逐段录音，句间停顿生硬，重来一条得整段重录
- 每段配音配一张静态图，画面切换全靠硬切，像 PPT 放映
- 想做手绘风格？要么自己在白板前画一遍录下来，要么调云端图生视频 API，一次渲染几块钱
- 改一个词？整个视频从头渲
今天要聊的 sweety-handdraw-video（仓库 threerocks/sweety-handdraw-video）就是来干这件事的：你丢一篇文章进去，它自动写口播脚本、设计分镜、生成插画，然后在本地渲染成一段"手绘风格"的讲解视频——画面里像有一只手在边画边讲，带配音和字幕。
一、项目是什么
这是一个把文章/故事自动转成手绘风格口播视频的开源工具。它的核心思路是声音先行：先把整篇稿子一次性配音出来（保留句间停顿和换气），再按时间戳安排画面和字幕，而不是传统的逐段录音配静态图。
| 项目信息 | 详情 |
|---|---|
| 仓库地址 | github.com/threerocks/sweety-handdraw-video |
| 作者 | threerocks |
| 运行方式 | Python 本地渲染 + Agent 协作 |
| 默认输出 | 1920×1080 / 30fps MP4 |
| 附带产物 | SRT 字幕、封面 PNG、口播稿、检查记录 |
| 配音模型 | VoxCPM2-8bit（约 3.23GB 权重） |
| 画风数量 | 21 种内置画风 + 6 种手臂预设 |
项目拆成四个模块：
- 主 Skill 模块：协调整个流程，调用 Agent 完成内容理解、脚本撰写、分镜设计、插画生成
- hand-drawn-styles 画风库：21 种内置画风配方（彩铅、毛笔、马克笔等）
- huashu-art-motion 动画渲染引擎：核心渲染器，按时间 t 逐帧绘制 canvas，管道送 FFmpeg 输出 mp4
- assets + scripts：手部素材、声音素材、Python 渲染脚本
它的渲染管线是：无头 Chromium 打开一个 HTML 页面 → Python 起本地 HTTP 服务 → 逐帧调用 window.renderFrame(t) → 读 canvas 像素 → 管道给 FFmpeg → 混入音轨出成片。整个过程不依赖云端图生视频模型。
二、为什么推荐它
1. 声音先行，告别逐段录音的生硬感
传统做法是把稿子切成一段一段，每段单独录音配一张图。问题是句间停顿不连贯、换气缺失、画面硬切。sweety-handdraw-video 是整篇稿子一次性配音，先有完整的声音，再根据时间戳安排画面和字幕——听起来像一个人在自然地讲，而不是在念 PPT。
2. 本地渲染，素材全部留在机器上
这是它和云端图生视频（Runway、Pika、可灵等）最大的区别。不调外部 API，渲染在你自己机器上跑：脚本、插画、时间戳、中间产物全部导出。好处是：费用可控（不按秒烧钱）、素材不外泄、改某一段只重渲那一段。代价是你得自己有机器、有环境。
3. 手绘风格是"画出来"的，不是 AI 图生图
画面不是文生视频模型出的飘忽内容，而是渲染引擎按时间轴逐帧画的：先按部位画轮廓、再按顺序填色、文字逐字书写并保留抬笔动作。这种确定性渲染保证了画面不会跳变、不会角色漂移，风格统一。
4. 笔杆可以打你自己的品牌
画面里那只手拿着画笔，笔杆上可以显示你的品牌名或账号（最多 16 个字符）。对做自媒体的人来说，这等于免费在每条视频里做了一个露出位。
三、同类工具对比
| 对比维度 | sweety-handdraw-video | 云端图生视频 API | 真人白板录制 | 剪映图文成片 |
|---|---|---|---|---|
| 风格 | 手绘逐帧动画 | 自由生成，风格不可控 | 真实手绘 | 模板化 |
| 成本 | 免费开源，吃本地硬件 | 按秒计费，不可控 | 时间成本极高 | 会员制 |
| 声音 | 整篇 TTS，保留停顿 | 无（需另配） | 真人录音 | TTS |
| 修改成本 | 局部重渲 | 整段重渲 + 重新付费 | 重录重画 | 重新生成 |
| 素材隐私 | 本地，不出机器 | 上传云端 | 本地 | 上传云端 |
| 门槛 | 需要 Python 环境 | 注册 API | 需要手绘能力 | 低 |
| 输出可控性 | 高（逐帧确定性） | 低（每次生成不一样） | 高 | 低 |
它的差异化亮点：
- 声音先行——整篇配音保留停顿换气，听感自然
- 本地确定性渲染——不花 API 钱，不抽卡，每次结果一致
- 局部重渲——改一句话只重渲对应片段
- 手绘风格真的在画——不是 AI 图生视频的模糊漂移
四、手把手实操教程
环境准备
- Python：3.9+
- 系统：作者测试环境是 M3 Max 36GB Mac，Windows/Linux 需自行验证兼容性
- 依赖：FFmpeg、Playwright（无头 Chromium）
- 磁盘空间：约 3.23GB 配音模型权重 + 项目缓存
- Agent：需要配合 AI 编程 Agent（如 Codex/Claude Code）来写脚本和分镜
- 图像生成 API：分镜插画生成需要你自己配图像模型的 Key
第一步：安装
npx skills add threerocks/sweety-handdraw-video --skill sweety-handdraw-video然后建虚拟环境、装依赖：
python3 -m venv .venv
source .venv/bin/activate
python -m pip install -r skills/sweety-handdraw-video/scripts/requirements.txt
python skills/sweety-handdraw-video/scripts/validate_package.py最后一条命令用来校验包完整性。
第二步：准备文章素材
把你要做成视频的文章或故事文本准备好。这个工具不是"一键出片"——它需要通过对话界面调用 Agent，让 Agent 帮你：
- 理解文章内容
- 撰写口播脚本（口语化改写）
- 设计分镜（每幅图解释了什么、必须画出哪些动作）
- 生成插画素材
第三步：渲染出片
Agent 把脚本和素材准备好后，执行渲染命令。渲染引擎会：
- 起本地 HTTP 服务
- 无头 Chromium 打开分镜页面
- 逐帧调用
renderFrame(t)读取 canvas - 像素流管道给 FFmpeg
- 混入音轨输出 MP4
第四步：检查产物
输出目录里会得到：
- MP4 视频：1920×1080 / 30fps
- SRT 字幕：时间戳对齐配音
- 封面 PNG
- 口播稿文本
- 检查记录：配音与字幕对齐情况、笔触顺序、文字书写是否完整
第五步：局部修改
如果某一段不满意，不用整个视频重渲。定位到那一段的时间范围，修改对应的脚本/插画，只重渲那段，已认可的配音和其他画面不受影响。
关键概念速查
| 概念 | 说明 |
|---|---|
| 声音先行 | 整篇 TTS 一次性生成，再对齐画面 |
| 按部位画出 | 先画轮廓再填色，保留笔触顺序 |
| 笔杆广告 | 画笔杆上显示品牌名，≤16 字符 |
| 局部重渲 | 改某段只重渲对应时间范围 |
| 分镜 | 每幅图要说明"比直接念这句话多解释了什么" |
五、适用场景
场景一：知识博主做手绘讲解视频。把技术博客、产品说明文章丢进去，自动变成白板讲解风格的视频。不用自己买白板、架相机、画一下午。
场景二：教师做教学动画。把教案转成手绘风格的教学视频，21 种画风可以匹配不同学段——儿童彩铅风给小学生，毛笔画风给国学课。
场景三：故事/寓言类内容。把故事文本自动变成"边画边讲"的短视频，适合做儿童故事、寓言类账号。
场景四：自媒体批量出片。配合 Agent 工作流，把公众号文章批量转成视频稿，笔杆上挂自己的账号名做露出。
六、客观优劣总结
优势：
- 声音先行——配音自然，不像逐段录音那样生硬
- 本地渲染不花钱——不按秒烧 API 费用
- 确定性输出——逐帧绘制，不会角色漂移或画面跳变
- 局部重渲——修改成本低
- 21 种画风 + 6 种手臂——风格选择多
- 素材全部留本地——隐私安全
- 附带字幕和封面——一次出全流程产物
局限性：
- 环境门槛高——需要 Python、FFmpeg、Playwright、3.23GB 模型权重，不是开箱即用
- 硬件要求不低——作者测试用 M3 Max 36GB，普通机器可能跑得慢
- 依赖外部 Agent 和图像 API——它自己不写脚本、不画图，需要你配 AI Agent 和生图模型
- Windows/Linux 未完整验证——作者只在 Apple Silicon Mac 上跑通全流程
- AI 输出需要审查——分镜可能出现动作关系错误、角色漂移、关键信息缺失
- 笔顺不规范——逐字绘制不保证书法笔顺，只重视觉效果
- 不是真免费——开源免费，但生图模型 API、硬件电费、时间都是成本
注意：生成的内容请确保你拥有文章版权或已获授权。TTS 配音和生图 API 各自的服务商条款需要遵守。渲染中间产物会占磁盘，定期清理已交付项目的缓存。
七、写在最后
sweety-handdraw-video 不是那种"输入标题就给你一条成片"的云端工具——它更像一个本地的视频生产流水线，需要你配环境、配 Agent、审查输出。但如果你愿意花这个 setup 成本，换来的是：不按秒付费、素材不出机器、改一段不用整段重渲。
它适合的是愿意折腾工具链、追求内容可控性的创作者，不是想要一键出片的人。
# 快速上手
npx skills add threerocks/sweety-handdraw-video --skill sweety-handdraw-video仓库地址：github.com/threerocks/sweety-handdraw-video，觉得有意思去给作者点个 Star。