auto-save 2026-05-13 09:14 (+3, ~2)

.memory/decisions.md

@@ -0,0 +1,97 @@
+# 关键决策记录
+
+## 2026-05-12
+
+### UI 架构演进（被用户多次调整）
+1. ❌ 初版：上下流式 04 暗色画廊 → 否决
+2. ❌ 横向小节点紧凑 DAG（10 节点）+ stage bar 顶部 → 用户要换方向
+3. ❌ Storyflow 大节点列式 + mini DAG 拓扑底部 → 用户说"理解错了"
+4. ❌ 顶部看板（看板每列对应节点）→ 用户嫌太扎眼
+5. ❌ 折叠看板（点击展开）→ 多选展开 → 改回单选展开
+6. ✅ **侧面 sidebar（108px）+ drawer 弹出**（最终）
+
+### 节点合并
+- 用户："输入/下载/拆分 三合一" → input 节点吃下 download + split 的信息和状态
+- 原 10 节点 → 8 节点
+
+### 视觉决策
+- Kanban 风格（不是 Apple 04 暗色画廊）
+- 4 类型颜色：input 紫蓝 / process 橙 / ai 紫粉 / output 翠绿
+- 关键帧节点改为 process 类型（橙），因为不调模型（只 ffmpeg）
+- mini-card 内嵌：玻璃质感 + 渐变 + 圆角 + 深阴影
+
+### 关键帧选取算法（D 启发式）
+1. ffmpeg 均匀采样 30 张候选（fast seek）
+2. pHash 去重相似帧（汉明距离 < 8）
+3. Laplacian variance 评分清晰度（手写 numpy，不用 scipy）
+4. 时序分桶 n 等分，每桶取最清晰
+5. 输出 5 张
+
+不用场景切换检测（太慢，且 TK 一镜到底视频抓不出来）。
+
+### 抽帧 ffmpeg 参数（重要坑）
+```
+ffmpeg -y -ss <t> -i source.mp4 \
+  -frames:v 1 \
+  -pix_fmt yuvj420p \    # ⚠️ mjpeg 不支持 yuv420p
+  -q:v 3 \
+  out.jpg
+```
+
+### 视频缩略图设计
+- Input 节点上方：每个 job 一个 80px 缩略图浮条 + 「+」按钮再上传
+- hover：自动播放视频片段（muted loop）
+- click：node 上方 360px 展开 controls + 加帧按钮（不全屏）
+
+### 关键帧缩略图设计
+- 浮条 grid-cols-5（超过 5 张换行向上扩展）
+- aspectRatio 跟视频原比例（竖屏 9:16 / 横屏 16:9 自适应）
+- hover：弹 KEYFRAME_WIDTH*2 静态大图（**不放视频，因为关键帧是垫图素材**）
+- click：打开 keyframe drawer 内的 lightbox
+
+### Lightbox 嵌入策略
+- 浮动 fixed 模式被否决（"全屏太遮挡"+"切换累"）
+- 最终：嵌入 keyframe sidebar drawer，drawer 宽度自适应（400 / 760）
+- 颜色顶栏用 TYPE_GRAD["process"] 橙红渐变，跟 keyframe tile 同色系
+
+### Vision identify 结果结构
+```json
+{
+  "scene": "一句话场景",
+  "objects": [{"name", "position", "color", "extract_prompt"}],
+  "style": "风格 / 打光 / 色调",
+  "suggested_prompt": "完整英文 prompt"
+}
+```
+
+下游生图直接拿 suggested_prompt 作 base prompt + 用户的正向/负向 prompt。
+
+### 生图正负 prompt 拼合
+```
+{画面描述}. Include: {正向}. Do NOT include: {负向}.
+Output must be clean without any watermark, username text, or platform logo.
+```
+
+默认 negative：「水印, @用户名, TikTok logo, 平台文字, 浮水印」 → 直出"纯净图"。
+
+## 关键架构选择
+
+### 多 job 支持
+- jobs: Job[] state
+- activeJobId 切换 active
+- URL: `?job=id1,id2,id3` 持久化所有
+- 提交链接 / 上传 → push 新 job + setActive
+
+### 状态机
+```
+created → downloading → downloaded（停，等用户点解析）
+       → splitting → frames_extracted
+       → transcribing → transcribed | failed
+```
+
+「解析」按钮是关键的人工触发点（不是全自动），用户能选择性跑。
+
+## 仍未解决的设计问题
+- 区域化修图（inpainting）UI 没定（A 纯 prompt / B 矩形 / C 画笔 / D SAM）
+- 多 job 并发轮询逻辑（当前只 active job 轮询）
+- 生图结果选用后怎么传到 video gen 节点（数据流）

.memory/plan.md

@@ -1,5 +1,10 @@
 # SKG TK 二创验证 — 初版 Plan
 
+> ⚠️ 2026-05-13 已过时：实际进展见 `.memory/status.md`、关键决策见 `.memory/decisions.md`、SKG 网关能力见 `.memory/skg-gateway.md`
+
+---
+
+
 > intake 阶段 2026-05-12 输出，开发会话起点物。第一件事仍是跑 `/plan` 二次细化。
 
 ## 目标

.memory/skg-gateway.md

@@ -0,0 +1,78 @@
+# SKG AI 网关探测记录
+
+`https://ai.skg.com/ezlink/v1` · OpenAI 兼容 · one-hub 多渠道代理后端
+
+## 端点能力矩阵
+
+| 端点 | 状态 | 用法 | 备注 |
+|---|---|---|---|
+| `GET /v1/models` | ✅ | 列模型 | 列了 100+ 模型（OpenAI/Anthropic/Gemini/DeepSeek 全家桶 + Sora/Whisper/TTS） |
+| `POST /v1/chat/completions` | ✅ | text/multimodal | image_url 通；input_audio 不通 |
+| `POST /v1/images/generations` | ✅ | text→image | 支持 `image` 字段做 i2i |
+| `POST /v1/images/edits` | ❌ 404 | - | |
+| `POST /v1/audio/transcriptions` | ❌ 404 | - | whisper 端点没暴露 |
+| `POST /v1/audio/speech` | ❌ 404 | - | tts 端点没暴露 |
+| `POST /v1/files` | ❌ 403 | - | "必须指定渠道" |
+| `POST /v1/videos/*` | ❌ 404 | - | sora-2 在 models 但端点没通 |
+| `POST /v1/responses` | ❌ 400 | - | 不支持 |
+| `POST /v1beta/models/{m}:generateContent` | ❌ 404 | - | 原生 Gemini 路径未暴露 |
+| `POST /v1/messages` (Anthropic 原生) | ❌ 404 | - | |
+
+## 当前 key 渠道分组
+`纯OpenAI+AWSClaude+Gemini官方`
+
+错误 `503 当前分组「纯OpenAI+AWSClaude+Gemini官方」下对于模型 gpt-4o-audio-preview 无可用渠道` 揭示分组规则——audio 渠道未配。
+
+要让 IT 开 audio：让他们把 `gpt-4o-audio-preview` 或 `whisper-1` 渠道加进这个分组。
+
+## Vision 探测过程
+1. **第一次**：用 dog.jpg（wiki 200px 缩略图）测，全失败 ❌ → **误判为不通**
+2. **第二次**：用 macOS Stone.png 纯灰图测，✅ 通
+3. **第三次**：用真关键帧 jpg 测，✅ 完整识别（虽然 content 偶尔空，要从 reasoning_content 挖）
+
+**教训**：网关层探测要用多种格式 / 多张图，单图失败不能下结论。
+
+## image-to-image 探测
+- `/v1/images/generations` 加 `image: "data:image/jpeg;base64,..."` 字段
+- 返回 `data: [{b64_json: ...}]`
+- 网关后台 one-hub 内部命名 `one-hub-gemini-image`
+- chat completions 同样 multimodal 报 "image upload err" 不通；只走 generations 端点
+
+## 模型实际可用清单
+
+### Vision multimodal（识图）
+- gemini-2.5-flash ⭐ 推荐（速度快，描述好）
+- gemini-2.5-pro（描述更详细，但 thinking 占 token）
+- claude-sonnet-4-5/4-6
+- gpt-4.1, gpt-5/5.1/5.2
+
+### Text chat
+- gemini-2.5-flash ⭐ 默认
+- gemini-2.5-pro
+- 所有 Claude / GPT 模型
+
+### Image generation
+- **gemini-3-pro-image-preview** ⭐ = nano-banana-pro（推荐）
+- gemini-3.1-flash-image-preview
+- gemini-2.5-flash-image
+- gpt-image-1 → 404（看起来网关没接通）
+
+### Audio
+- whisper-1 列了但端点 404
+- gpt-4o-transcribe 列了但端点 404
+- tts-1 列了但端点 404
+- 全部需要 IT 开
+
+### Video
+- sora-2 列了但端点 404
+- 需要 IT 开 / 外部 key
+
+## prompt 拼合标准（生图）
+```
+{base scene description}.
+Include: {positive elements, separated by comma}.
+Do NOT include: {negative elements}.
+Output must be clean without any watermark, username text, or platform logo.
+```
+
+经过测试 nano-banana-pro 对 "Do NOT include" 响应不错（生成图明显避开列出的元素）。

.memory/status.md

@@ -0,0 +1,146 @@
+# SKG TK 二创验证 — 当前状态（2026-05-13）
+
+## 一句话
+SKG AI 素材生产管线第二条思路：TK 链接/上传 → 拆轨 → 抽关键帧（5 张+手动加）→ Vision 识别 → 改写文案 → 生图 → 生视频 → 合成。**MVP 通到生图，剩余 3 个节点占位**。
+
+## 路径 / 端口
+- 路径：`~/Projects/business/20260512-20260512-skg-tk-二创验证/`
+- web dev：`cd web && pnpm dev`（端口 **4290**）
+- api dev：`cd api && source .venv/bin/activate && uvicorn main:app --port 4291 --reload`
+- 测试 job：`?job=c6767f3a166b`（chrisorb 71s 竖屏 TK）
+
+## SKG 网关能力（实测 · 关键！）
+`base_url: https://ai.skg.com/ezlink/v1`
+key 写在 `api/.env` 的 `LLM_API_KEY`
+
+| 端点 / 字段 | 状态 | 用途 |
+|---|---|---|
+| `/v1/chat/completions` text-only | ✅ 通 | translate / rewrite |
+| `/v1/chat/completions` + image_url | ✅ **通**（之前误判为不通，是 dog.jpg 那张图损坏） | vision 识别图片（gemini-2.5-flash 推荐） |
+| `/v1/chat/completions` + input_audio | ❌ 不通 | ASR 不能走这条 |
+| `/v1/audio/transcriptions` (whisper) | ❌ 404 | 整个 audio 端点都没暴露 |
+| `/v1/audio/speech` (tts) | ❌ 404 | |
+| `/v1/images/generations` (text→image) | ✅ 通 | 生图（gemini-3-pro-image-preview = nano-banana-pro） |
+| `/v1/images/generations` + image 参数 | ✅ **通**（image-to-image） | 实测能传 reference image，关键的发现 |
+| `/v1/images/edits` | ❌ 404 | |
+| `/v1/videos/*` (sora-2) | ❌ 404 | 视频生成需要 IT 开通或外部 key |
+| `/v1/files` | ❌ 403 "必须指定渠道" | |
+
+**网关后端 = one-hub 多渠道代理**。当前 key 分组叫「纯OpenAI+AWSClaude+Gemini官方」，缺 audio 渠道（`gpt-4o-audio-preview` 503 "无可用渠道"）和 video 渠道。
+
+## 模型选型（已写入 api/.env）
+```
+ASR_MODEL=whisper-1                          # ⚠️ 端点 404，ASR 还没真跑通
+TRANSLATE_MODEL=gemini-2.5-flash             # ✅ text 已通
+REWRITE_MODEL=gemini-2.5-pro                 # 占位
+VISION_MODEL=gemini-2.5-flash                # ✅ 识别已通
+IMAGE_MODEL=gemini-3-pro-image-preview       # ✅ nano-banana-pro，i2i 已通
+```
+
+## Pipeline 状态（8 节点合并版）
+原 10 节点已合并：input + download + split 合一；translate 合到 transcript；videogen 和 compose 占位。
+
+| 步 | 节点 | 状态 | 备注 |
+|---|---|---|---|
+| 1 | **输入·Input**（合并下载+拆分） | ✅ | yt-dlp 真下 + ffmpeg 拆 wav |
+| 2 | **关键帧·Keyframes** | ✅ | D 启发式：候选 30 张 → pHash 去重 + Laplacian variance 评分 + 时序分桶 → 5 张；手动加帧 OK |
+| 3 | **转录·ASR** | ❌ 阻塞 | SKG 网关 audio 不通；待 IT 开 audio 渠道 / 外部 key |
+| 4 | **翻译·Translate** | ❌ 阻塞 | 依赖 ASR |
+| 5 | **改写·Rewrite** | ⏳ 占位 | 等用户给产品信息模板 |
+| 6 | **生图·Image Gen** | ✅ **刚做完** | nano-banana-pro i2i + 正负 prompt |
+| 7 | **生视频·Video Gen** | ⏳ 占位 | sora-2 端点不通 |
+| 8 | **合成·Compose** | ⏳ 占位 | 本地 ffmpeg + 字幕 + TTS |
+
+## UI 架构（重要）
+- **左侧 sidebar**（108px 极窄）：8 个 stage tile 竖排 + DAG 路径分叉表达
+- **主区 ReactFlow**：8 节点 DAG（input → keyframe/asr → ... → compose）
+- **点 sidebar tile**：从左滑出 drawer panel（粉/紫/橙 Kanban 风格）
+- **关键帧 lightbox**：**embedded 嵌入到 keyframe drawer**（不全屏）—— `<FrameLightbox embedded ... />`，drawer 宽度有 expandedFrame 时 760，无时 400
+- **Input 节点上方**：多视频缩略图浮条 + 「+」加新视频
+- **关键帧节点上方**：5+ 张缩略图按视频原比例（aspect-ratio: width/height）
+- **缩略图 hover**：弹大图静态（关键帧是垫图素材，不放视频）
+- **缩略图点击**：打开 keyframe drawer 内的 lightbox（左大图 + 右识别面板）
+
+## 数据模型（关键 typescript / pydantic）
+```typescript
+KeyFrame {
+  index: number              // 稳定 ID（不连续！frames 数组按 timestamp 排序）
+  timestamp: number
+  url: string
+  description?: {
+    scene, objects: [{name, position, color, extract_prompt}],
+    style, suggested_prompt
+  }
+  generated_images?: [{ id, prompt, model, mode, url, selected, created_at }]
+}
+
+Job { frames: KeyFrame[] ... }
+```
+
+**前端取帧必须用 `frames.find(x => x.index === activeIndex)` 不能用数组下标**（之前的 bug）。
+
+## 关键文件
+- `web/app/page.tsx` — 多 job state 管理（jobs[] + activeJobId），8 节点 LAYOUT
+- `web/components/dashboard.tsx` — sidebar + drawer + 9 个 Kanban section（input/keyframe/asr/translate/rewrite/imagegen/videogen/compose），含 `ImageGenCard` 子组件
+- `web/components/lightbox.tsx` — `FrameLightbox` 支持 `embedded` prop
+- `web/components/video-lightbox.tsx` — Input 节点点视频缩略图弹的播放器
+- `web/components/nodes/index.tsx` — ReactFlow 8 节点定义
+- `web/lib/api.ts` — API client
+- `api/main.py` — FastAPI 所有端点，KeyFrame/GeneratedImage 模型
+
+## 已通的 API 端点
+```
+POST /jobs                                       创建 job（链接）
+POST /jobs/upload                                上传视频
+GET  /jobs/{id}                                  job 状态
+POST /jobs/{id}/analyze?frames=5                 拆轨+抽帧+ASR 自动一气呵成
+POST /jobs/{id}/frames?t=<sec>                   手动按时间戳加帧
+POST /jobs/{id}/frames/{idx}/describe            ✅ Vision 识别（3 次重试 + reasoning_content 兜底）
+POST /jobs/{id}/frames/{idx}/generate            ✅ 生图（i2i / text-only, 含 negative_prompt）
+GET  /jobs/{id}/frames/{idx}/gen/{gen_id}.jpg    生成图二进制
+POST /jobs/{id}/frames/{idx}/gen/{gen_id}/select 选用某 gen 给下游
+GET  /jobs/{id}/video.mp4                        原视频
+GET  /jobs/{id}/frames/{idx}.jpg                 关键帧 jpg
+GET  /health
+```
+
+## 已知坑 / 不要再踩
+1. **关键帧 index 不连续**：手动加帧后 frames 数组按 timestamp 排序，index 是稳定 ID。lightbox 必须用 `frames.find(x => x.index === activeIndex)`，**不要**用 `frames[activeIndex]`。
+2. **SKG 网关 vision 之前测试结果错误**：用 `dog.jpg` 那张 wikipedia 200px 缩略图损坏 / metadata 异常，导致一直以为 image input 不通。用标准 PNG / 真实 jpeg 测就通了。
+3. **Gemini 2.5 Flash 默认带 thinking**，`content` 字段经常为空（token 都给了 reasoning），要从 `reasoning_content` 正则挖 JSON 兜底。
+4. **缩略图 aspect-ratio**：必须用 `aspectRatio: ${job.width}/${job.height}` 自适应，不要强制 `aspect-video` 16:9（竖屏视频会被裁切）。
+5. **ReactFlow `type="input"` / `"output"` 是 reserved**：自带白底默认样式，要 CSS 覆盖 `.react-flow .react-flow__node-input { background: transparent !important; ... }`。
+6. **ReactFlow 12 colorMode 独立于 next-themes**：必须 `<ReactFlow colorMode={resolvedTheme}>` 联动，否则节点白底。
+7. **FastAPI BackgroundTasks 用法**：`bg.add_task(func, arg)` 不能传 coroutine。
+8. **ffmpeg 8 mjpeg encoder 拒绝 yuv420p**：抽帧必须加 `-pix_fmt yuvj420p`，且 `-vsync` 改 `-fps_mode`。
+9. **抽帧速度**：场景切换检测（`select='gt(scene,0.4)'`）超慢（71s 视频要 30s+），换均匀采样 fast seek（5 张 < 3 秒）。
+
+## 待办（按优先级）
+1. **ASR 阻塞**：找 SKG IT 开 audio 渠道，或给一个外部 ASR key（Deepgram / 讯飞 / OpenAI 直连）
+2. **生图测试反馈**：刚做完，等用户在浏览器试 → 调 negative prompt / 模型选型
+3. **区域化修图（inpainting）**：用户讨论了，方案 A 纯 prompt / B 矩形框 / C 画笔 mask / D SAM；暂时搁置
+4. **改写 Rewrite**：等用户给产品信息卡模板
+5. **视频生成**：sora-2 走 SKG 端点不通；考虑外部 key (Runway/Kling/Veo3)
+6. **合成 Compose**：全本地 ffmpeg + 字幕 + TTS
+
+## 操作流（开发会话）
+```bash
+# 1. 启动后端（如未跑）
+cd ~/Projects/business/20260512-20260512-skg-tk-二创验证/api
+source .venv/bin/activate
+uvicorn main:app --port 4291 --reload
+
+# 2. 启动前端（如未跑）
+cd ../web
+pnpm dev
+
+# 3. 浏览器
+open http://localhost:4290/?job=c6767f3a166b
+```
+
+## 用户偏好提醒（feedback memory）
+- feedback_image-gen-model：生图统一用 nano-banana-pro ✅
+- feedback_keep-scope-small：小需求小做
+- feedback_flow-dont-stop：连续执行到交付，真分叉才问
+- feedback_demand-before-infra：基建前先反问谁/痛点/频率
+- feedback_no-guessing-ports：操作前先核实

.memory/worklog.json

@@ -1084,6 +1084,13 @@
       "message": "auto-save 2026-05-13 09:03 (~1)",
       "hash": "d6a5223",
       "files_changed": 1
+    },
+    {
+      "ts": "2026-05-13T09:09:27+08:00",
+      "type": "commit",
+      "message": "auto-save 2026-05-13 09:08 (~1)",
+      "hash": "b87387d",
+      "files_changed": 1
     }
   ]
 }