# SKG TK 二创验证 — 初版 Plan > intake 阶段 2026-05-12 输出,开发会话起点物。第一件事仍是跑 `/plan` 二次细化。 ## 目标 跑通"TK 链接 → 带改写文案的成品视频"完整链路,验证 SKG AI 素材生产管线第二条思路的可行性。**不是产品化,是原型**——能跑、能看、能改一遍参数就够。 ## 非目标(先不做) - 不做用户系统 / 多人协作 / 权限 - 不做工单对接(验证完再谈合并主管线) - 不做云端部署(本地 4290 端口跑) - 不做批量 / 队列(单条手动触发) - 不做产品信息库(产品信息每次手填或贴文本) ## 七步管线 — 原子任务拆解 ### 步骤 1 — TK 视频下载 - [ ] 输入 TK 链接(TikTok 国际版,英文素材为主) - [ ] `yt-dlp` 下载到本地临时目录,返回 mp4 路径 + 元数据 - [ ] 失败处理:限流 / 链接失效 / 私密视频,给明确报错 - 风险:TK 反爬可能要 cookie / 代理,本地验证阶段可先手动准备 ### 步骤 2 — 视频/音频拆轨 - [ ] `ffmpeg` 拆音轨为 wav(16kHz 单声道,便于 ASR) - [ ] 视频保留原 mp4,记录时长 / 帧率 / 分辨率 - [ ] 拆轨产物存 `temp//` 下,便于复用 ### 步骤 3 — 关键帧抽取 - [ ] **自动**:均匀采样 + 场景切换检测(ffmpeg `select='gt(scene,0.4)'`),返回候选帧 ≥ 10 - [ ] **手动**:UI 时间轴拖动滑轨,预览缩略图,点击加入候选 - [ ] **去重 / 选满**:用户最多保留 10 张,已选满给提示 - [ ] 输出:10 张 jpg + 时间戳清单 ### 步骤 4 — ASR + 实时翻译 - [ ] 音轨 → **Gemini** ASR(带时间戳分段) - [ ] 英文原文逐段输出,旁边实时跑中文翻译流式输出 - [ ] UI:左右双栏(英 / 中),段落级时间戳可点击跳到对应视频时间 ### 步骤 5 — 文案改写 - [ ] 输入区:**产品信息**(SKG 自家产品关键卖点,自由文本框)+ **改写指令**(保留原结构 / 重写 / 加 CTA 等几个 preset) - [ ] **Gemini** 拿原英文转录 + 产品信息 → 输出改写后中文文案(或中英双版) - [ ] 段落级 diff 视图:原文 vs 改写,可手动微调 ### 步骤 6 — 关键帧 → 生图 - [ ] 关键帧勾选 1 张作为参考 - [ ] 生图入口二选一:**nano-banana-pro**(Gemini 3 Pro Image,默认)/ **GPT Image** - [ ] prompt 自动从该帧的改写文案片段 + 产品信息合成,可手改 - [ ] 输出图片入画廊网格,可多次重生 ### 步骤 7 — 生图 → 生视频 + 文案合成 - [ ] 单张图作为视频生成首帧 / 参考图 - [ ] **视频模型三选一**:Seedance / Kling / Veo3(API 抽象层,统一 prompt schema,key 配置文件切换) - [ ] 生视频 prompt = 改写文案对应段落 + 镜头描述(preset:缓推 / 摇 / 静态) - [ ] **文案合成**:生成的视频片段 + 改写文案做字幕 / 配音(TTS 用 Gemini?或先只做字幕)→ ffmpeg 合成最终 mp4 ## 数据流 / 状态 每次跑一个 **Job**,状态机: ``` created → downloading → splitting → frames_extracted → transcribed → rewritten → image_generated → video_generated → composed → done | failed ``` 状态 / 中间产物存 `jobs//state.json` + 文件落盘,刷新页面能恢复。 ## 技术栈拍板 | 层 | 技术 | 备注 | |---|---|---| | 前端 | Next.js 16 + Tailwind 4 + shadcn/ui + Framer Motion | 风格库 04 同栈 | | API | Next.js API routes(轻任务) + Python FastAPI(重任务:yt-dlp / ffmpeg / ASR) | 同机部署 | | 任务编排 | 先同步阻塞 → 跑通后再上 BullMQ / Celery | 不预扩 | | 模型接入 | Poe API 优先,OpenRouter 备用(按 `feedback_poe-api-priority.md`) | 单独 `lib/ai/` 抽象层 | | 存储 | 本地文件系统 `jobs//` + SQLite 存元数据 | 验证阶段够用 | ## 关键风险 / 待澄清 1. **TK 下载合规** — 本地验证 OK,量产前需要法务点头 2. **Veo3 / Seedance / Kling 的 API 可用性** — Poe 上 Veo3 已知可调,另外两家要查 3. **生视频成本** — 单次 5-10 秒视频生成 $0.5-$2,验证阶段控量 4. **字幕烧录 vs 旁白配音** — 步骤 7 默认只做字幕,配音作为 P2 ## 第一冲刺范围(MVP 最小可演) 只做 **步骤 1+2+3+4** 端到端: - 输入 TK 链接 → 拿到视频 → 拆出 10 张关键帧 + 双语转录 - UI 用 04 风格起骨架(hero + 关键帧画廊 slider + 左右双语栏) - **不做** 步骤 5/6/7,等 1-4 跑通再扩 ## 开发会话第一句 ``` 按 CLAUDE.md + .memory/plan.md,先 /plan 二次细化第一冲刺范围(步骤 1-4), 然后 /ui-ux-pro-max --design-system 出 token,用 04 风格起 Next.js 骨架,端口 4290。 ```