diff --git a/.memory/worklog.json b/.memory/worklog.json index b64972b..7b00255 100644 --- a/.memory/worklog.json +++ b/.memory/worklog.json @@ -1,11 +1,5 @@ { "entries": [ - { - "files_changed": 1, - "message": "Codex 会话活跃 · 最近命令：codex · 1 项未提交变更 · 最近提交：auto-save 2026-05-15 13:51 (~1)", - "ts": "2026-05-15T05:54:46Z", - "type": "session-heartbeat" - }, { "files_changed": 1, "hash": "b88d2eb", @@ -3259,6 +3253,13 @@ "type": "session-heartbeat", "message": "Codex 会话活跃 · 最近命令：codex · 分支 main · 1 项未提交变更 · 最近提交：auto-save 2026-05-17 22:25 (~3)", "files_changed": 1 + }, + { + "ts": "2026-05-17T22:30:29+08:00", + "type": "commit", + "message": "auto-save 2026-05-17 22:30 (~2)", + "hash": "d3bcced", + "files_changed": 2 } ] } diff --git a/docs/source-analysis.html b/docs/source-analysis.html index 5c00ecf..90220cb 100644 --- a/docs/source-analysis.html +++ b/docs/source-analysis.html @@ -569,7 +569,7 @@

业务管线

-

当前产品方向已收窄为“信息流广告快速复刻”：主界面左侧是素材输入列，右侧先完成音频解析，再进入信息流复刻分镜工作台。用户粘贴 TK 链接或上传视频后点击“开始”，系统自动下载源视频；下载完成后优先提取原音频文案/字幕，并分析讲话人、语速节奏、背景音乐/环境声/音效。分镜规划按逐句时间轴生成；视觉参考改为在原版视频旁统一抽取 12 张关键帧，由人工选择后生成“类似但不复刻”的相似主角 6 张白底视图，再按分镜生成视频候选。

+

当前产品方向已收窄为“信息流广告快速复刻”：主界面左侧是素材输入列，右侧先完成音频解析，再进入信息流复刻分镜工作台。用户粘贴 TK 链接或上传视频后点击“开始”，系统自动下载源视频；下载完成后优先提取原音频文案/字幕，并分析讲话人、语速节奏、背景音乐/环境声/音效。分镜规划按逐句时间轴生成；视觉参考改为在原版视频旁统一抽取 12 张动作/节奏参考帧，也可在原视频播放器右上角按当前播放点手动补帧，由人工选择后生成“类似但不复刻”的相似主角 6 张白底视图，再按分镜生成视频候选。

1

导入素材

粘贴 TK / 信息流视频链接或上传本地视频；“开始”只把任务放入第一步队列。

2

下载源视频

后端用 yt-dlp 或本地上传文件落 source.mp4，记录时长、尺寸和视频只读地址。

@@ -589,7 +589,7 @@ web/next.config.mjsNext.js 构建配置：静态导出、图片不走优化、禁用开发环境左下角 Next Dev Indicator，并移除 Next 16 已不支持的 eslint 顶层配置，避免本地 dev 出现配置 Issue 提示。 web/app/globals.css全局主题变量、登录页视觉样式、ReactFlow 样式引用，以及本地开发态 nextjs-portal 遮挡隐藏规则。 web/app/page.tsx产品工作台主状态：jobs、activeJobId、生成任务状态；主渲染为全屏素材输入列 + 信息流广告复刻工作表；“开始”编排状态只负责在下载完成后自动触发 triggerTranscribe，不再默认触发抽帧、Vision 扫描或分镜初稿保存；底部吸附音频条不再从主界面渲染。 - web/components/ad-recreation-board.tsx信息流广告复刻工作表：左侧素材输入；右侧展示视频下载状态、默认折叠的音频文案依据，以及统一的音频解析结果面板；面板顶部是一行讲话人/节奏/背景音摘要，下方左侧为原视频播放器，中间为“关键帧 / 相似主角”，右侧为较窄的逐句时间轴侧栏，底部横向音频波形用参考图式的连续灰色包络显示响度、停顿和密集爆点。视频播放时通过 requestAnimationFrame 平滑驱动波形播放线，同时同步高亮并滚动当前句；点击音频波形或字幕行会跳转原视频时间。关键帧区一键按动作峰值目标重新抽取 12 张源视频参考帧，优先抓手势、表情变化、节奏点和镜头变化；人工勾选后调用 generateSubjectAssets 的 source_actor + similar 模式生成 6 张白底相似主角视图；这是新演员重构，不做像素提取或精确复刻源人物身份。音频结果下方是信息流复刻分镜工作台：顶部产品参考区是“同一产品素材池”，不限量上传产品图，不做不同产品身份判断；上传原图推荐长边 1200-2000px、短边至少 600px，但后端会统一生成最长边 1600px、JPEG 92 的 AI 工作副本，并回显尺寸、自动转换和风险标注；上传后按“套在脖子上的 U 形肩颈按摩仪”进行同一产品批量识别，左/右按佩戴者身体左右、上/下按佩戴方向，额外标注内外侧、开口方向、局部结构点、背景类型、用途标签、生成风险和备注，用户只检查备注，鼠标悬停通过固定浮层显示大图预览，能盖过滚动容器和分镜框架；缺视角补图失败时保留重试入口。脚本区在分镜行上方提供“作者想法”和“整片改写”，每行新口播文案可直接编辑并可单段 AI 改写，分镜时间和原内容列压缩为窄摘要列，把横向空间留给新口播、画面规划和视频候选；生成本条视频时使用当前编辑后的新口播文案。每条音频分镜纵向排列，行内从左到右串起原内容、新口播文案、画面规划/产品融入和 6 个候选视频槽；候选视频槽在宽屏下一排显示 6 个竖版预览，避免前面空旷、后面拥挤。单条生成会从全局选中关键帧或 12 张关键帧中取最贴近本句时间点的参考帧。单条生成会从产品素材池按分镜角色、视角优先级、用途标签、置信度和风险自动挑选最多 6 张相关产品图，不会把全部产品图提交给生视频模型，然后把产品坐标系、视角标注、方向、结构点和风险写入 Seedance 提示。旧分镜卡、抽帧控制和视频生成组件仍保留在文件里，但当前主路径不渲染。 + web/components/ad-recreation-board.tsx信息流广告复刻工作表：左侧素材输入；右侧展示视频下载状态、默认折叠的音频文案依据，以及统一的音频解析结果面板；面板顶部是一行讲话人/节奏/背景音摘要，下方左侧为原视频播放器，中间为“关键帧 / 相似主角”，右侧为较窄的逐句时间轴侧栏，底部横向音频波形用参考图式的连续灰色包络显示响度、停顿和密集爆点。视频播放时通过 requestAnimationFrame 平滑驱动波形播放线，同时同步高亮并滚动当前句；点击音频波形或字幕行会跳转原视频时间。原视频标题栏右侧提供“当前点抽帧”，按当前播放秒数手动补参考帧；关键帧区一键按动作峰值目标重新抽取 12 张源视频参考帧，优先抓手势、表情变化、节奏点和镜头变化，缩略图按竖版完整比例显示不裁切，鼠标停留会通过固定浮层放大展示完整帧。人工勾选后调用 generateSubjectAssets 的 source_actor + similar 模式生成 6 张白底相似主角视图；这是新演员重构，不做像素提取或精确复刻源人物身份。音频结果下方是信息流复刻分镜工作台：顶部产品参考区是“同一产品素材池”，不限量上传产品图，不做不同产品身份判断；上传原图推荐长边 1200-2000px、短边至少 600px，但后端会统一生成最长边 1600px、JPEG 92 的 AI 工作副本，并回显尺寸、自动转换和风险标注；上传后按“套在脖子上的 U 形肩颈按摩仪”进行同一产品批量识别，左/右按佩戴者身体左右、上/下按佩戴方向，额外标注内外侧、开口方向、局部结构点、背景类型、用途标签、生成风险和备注，用户只检查备注，鼠标悬停通过固定浮层显示大图预览，能盖过滚动容器和分镜框架；缺视角补图失败时保留重试入口。脚本区在分镜行上方提供“作者想法”和“整片改写”，每行新口播文案可直接编辑并可单段 AI 改写，分镜时间和原内容列压缩为窄摘要列，把横向空间留给新口播、画面规划和视频候选；生成本条视频时使用当前编辑后的新口播文案。每条音频分镜纵向排列，行内从左到右串起原内容、新口播文案、画面规划/产品融入和 6 个候选视频槽；候选视频槽在宽屏下一排显示 6 个竖版预览，避免前面空旷、后面拥挤。单条生成会从全局选中关键帧或 12 张关键帧中取最贴近本句时间点的参考帧。单条生成会从产品素材池按分镜角色、视角优先级、用途标签、置信度和风险自动挑选最多 6 张相关产品图，不会把全部产品图提交给生视频模型，然后把产品坐标系、视角标注、方向、结构点和风险写入 Seedance 提示。旧分镜卡、抽帧控制和视频生成组件仍保留在文件里，但当前主路径不渲染。 web/app/login/page.tsx生产登录页：访问账号/访问密钥表单、保持登录、错误/成功状态；当前只在原版 Digital Oasis 动态背景上叠加一个组合登录框，桌面端左侧是动态角色，右侧是图标化登录表单；面板左上角展示官网 SKG 字标和中文“营销内容工作台”系统标识。 web/app/login/layout.tsx登录路由专属 layout：覆盖全站默认网页标题和描述为空，避免 /login 继承工作台 metadata 后在页面源码里继续出现登录界面文字以外的文案。 web/components/login/oasis-canvas.tsx登录页全屏动态视觉层：用 iframe 直接承载下载包 web/public/oasis-source/index.html 的原 WebGPU / Three.js 草场源码；父级登录页只覆盖自己的文案和表单，并在捕获阶段把全局鼠标坐标同时用原生事件和 postMessage 转发给 iframe，避免登录面板或输入框遮挡时草地失去鼠标响应。 @@ -626,7 +626,7 @@ web/app/page.tsx -> 信息流广告复刻工作表：web/components/ad-recreation-board.tsx -> 开始：创建/激活 job → 下载完成后自动触发音频处理 - -> 左侧素材输入列 + 右侧默认折叠的音频文案依据 + 统一音频解析结果面板（声音摘要在上，原视频 / 动作峰值 12 张参考帧选择 / 相似主角 6 白底视图 / 较窄逐句时间轴侧栏并排，底部连续响度波形联动） + -> 左侧素材输入列 + 右侧默认折叠的音频文案依据 + 统一音频解析结果面板（声音摘要在上，原视频播放器右上角可当前点抽帧 / 动作峰值 12 张参考帧完整竖图选择 / 相似主角 6 白底视图 / 较窄逐句时间轴侧栏并排，底部连续响度波形联动） -> 信息流复刻分镜工作台：同一产品素材池不限量上传 → 自动识别视角 / 背景 / 用途 / 风险 → 人工检查备注 → 单条生成自动挑选最多 6 张相关产品图 → 逐句时间轴 → 原内容 / 新口播文案 / 画面规划与产品融入 / 6 个候选视频槽 -> 底部音频条：不再渲染，音频结果集中到右侧工作表 -> 旧节点/深度素材面板：web/components/nodes/index.tsx、web/components/lightbox.tsx、web/components/storyboard-workbench.tsx（底层保留，当前不作为主入口） @@ -879,7 +879,7 @@ ProductRefStateItem { 分镜脚本改写POST /jobs/{id}/script/rewriterewriteStoryboardScript根据原参考文案、当前新口播、分镜角色、时间段和作者想法改写中文口播。mode=segment 只改一段；mode=all 一次改完整片，要求整片前后连贯。接口只返回 items[index,text]，前端暂存在当前页面状态里，生成本条视频时写入 StoryboardScene.action。 原始音频文件GET /jobs/{id}/audio.wavsourceAudioUrl返回拆轨得到的 wav；当前主界面不再渲染底部吸附音频条，右侧复刻工作表会读取该文件生成参考图式横向响度波形，并和原视频、逐句时间轴联动。 改写配音文件GET /jobs/{id}/audio-script.mp3apiAssetUrl(job.audio_script.voice_url)后续新配音阶段保留的 MiniMax T2A 产物。当前第一步不默认生成该文件。 - 手动加帧POST /jobs/{id}/frames?t=addManualFrame按视频时间戳抽一帧，index 递增但 frames 按 timestamp 排序。当前主界面会把原版视频播放秒数传给 SourceReferenceBuildPanel 的“当前点抽帧”。 + 手动加帧POST /jobs/{id}/frames?t=addManualFrame按视频时间戳抽一帧，index 递增但 frames 按 timestamp 排序。当前主界面会把原版视频播放器的播放秒数传给 AudioIntakePanel 标题栏右侧的“当前点抽帧”。 删除关键帧DELETE /jobs/{id}/frames/{idx}deleteFrame删除单张关键帧并清掉对应选择态；当前主界面每张缩略图右下角提供删除入口，方便手动抽错后直接修正。 Vision 识别POST /frames/{idx}/describedescribeFrame写入 frame.description，后续可从 objects 加候选元素。 清洗水印POST /frames/{idx}/cleanupcleanupFrame支持全图和区域清洗，生成 cleaned 待应用版本；前端批量清洗会顺序调用该接口，不自动覆盖原图。单帧清洗状态按 frame.index 隔离，清洗某一张不会禁用其他关键帧的清洗按钮。 @@ -1003,6 +1003,18 @@ ProductRefStateItem {

变更记录

这个记录不是 git log 的替代品。它记录“产品理解发生了什么变化、影响了哪些源码、你以后描述需求时该怎么说”。后续每次改功能都要补一条。

+
+
+

2026-05-17 · 当前点抽帧移回视频区并补悬停预览

+ UI + Workflow +
+
+

问题：“当前点抽帧”放在关键帧池顶部不符合操作路径；抽出来的竖版画面被小缩略图裁切，用户无法快速判断整张帧是否适合做主角/动作参考。

+

改动：AudioIntakePanel 把“当前点抽帧”移动到原版视频标题栏右侧，并扩大原视频、参考帧和时间轴这组区域高度；SourceReferenceBuildPanel 只保留批量抽参考、生成 6 视图和删除，缩略图改为 aspect-[9/16] + object-contain 完整显示，鼠标停留时用 createPortal 在最上层展示放大完整帧。

+

影响：web/components/ad-recreation-board.tsx、docs/source-analysis.html。后续需要补某一秒画面时从视频播放器操作；需要判断帧内容时直接悬停缩略图看大图。

+
+

2026-05-17 · 自动抽帧恢复为动作峰值参考帧

@@ -1023,7 +1035,7 @@ ProductRefStateItem {

问题：原版视频区域偏小，只能看和播放；如果需要补某个具体画面，用户必须重新跑 12 帧抽取，并且抽错后缺少直接删除入口。

-

改动：AudioIntakePanel 放大原视频列和视频高度，并把逐句时间轴压成较窄侧栏；SourceReferenceBuildPanel 接收当前播放秒数，新增“当前点抽帧”按钮，复用 addManualFrame；关键帧缩略图右下角新增删除按钮，复用 deleteFrame，并展示全部已抽帧而不只截取前 12 张。

+

改动：AudioIntakePanel 放大原视频列和视频高度，并把逐句时间轴压成较窄侧栏；当时 SourceReferenceBuildPanel 接收当前播放秒数并提供“当前点抽帧”，后续已移动回原视频标题栏；关键帧缩略图右下角新增删除按钮，复用 deleteFrame，并展示全部已抽帧而不只截取前 12 张。

影响：web/components/ad-recreation-board.tsx、docs/source-analysis.html。后续描述这里时，应把原版视频旁的关键帧区理解为“广告参考帧池”，支持自动抽参考帧、按播放点补帧和单帧删除。

diff --git a/web/components/ad-recreation-board.tsx b/web/components/ad-recreation-board.tsx index 3fc86cb..f361338 100644 --- a/web/components/ad-recreation-board.tsx +++ b/web/components/ad-recreation-board.tsx @@ -1255,6 +1255,7 @@ function SourceReferenceBuildPanel({ const [extracting, setExtracting] = useState(false) const [subjectBusy, setSubjectBusy] = useState(false) const [deletingFrame, setDeletingFrame] = useState(null) + const [framePreview, setFramePreview] = useState<{ index: number; left: number; top: number } | null>(null) const frames = useMemo(() => [...job.frames].sort((a, b) => a.timestamp - b.timestamp), [job.frames]) const selectedReferenceFrames = useMemo( () => frames.filter((frame) => selectedFrames.has(frame.index)), @@ -1273,6 +1274,7 @@ function SourceReferenceBuildPanel({ return null }, [frames, selectedReferenceFrames]) const actorAssets = actorSource?.element.subject_assets ?? [] + const previewFrame = framePreview ? frames.find((frame) => frame.index === framePreview.index) ?? null : null const extractKeyframes = async () => { setExtracting(true) @@ -1345,8 +1347,44 @@ function SourceReferenceBuildPanel({ } } + const updateFramePreviewPosition = (event: ReactMouseEvent, frameIndex: number) => { + const margin = 16 + const previewWidth = Math.min(340, window.innerWidth - margin * 2) + const previewHeight = previewWidth * 16 / 9 + 44 + let left = event.clientX + 18 + let top = event.clientY + 18 + if (left + previewWidth > window.innerWidth - margin) { + left = event.clientX - previewWidth - 18 + } + if (top + previewHeight > window.innerHeight - margin) { + top = window.innerHeight - previewHeight - margin + } + setFramePreview({ + index: frameIndex, + left: Math.max(margin, left), + top: Math.max(margin, top), + }) + } + + const framePreviewPortal = framePreview && previewFrame && typeof document !== "undefined" + ? createPortal( +
+ +
+ 参考帧 {String(frames.findIndex((frame) => frame.index === previewFrame.index) + 1).padStart(2, "0")} + {previewFrame.timestamp.toFixed(1)}s +
+
, + document.body, + ) + : null + return (
+ {framePreviewPortal}
} title="关键帧 / 相似主角" /> @@ -1382,6 +1420,9 @@ function SourceReferenceBuildPanel({ return (
updateFramePreviewPosition(event, frame.index)} + onMouseMove={(event) => updateFramePreviewPosition(event, frame.index)} + onMouseLeave={() => setFramePreview(null)} className={`group relative aspect-[9/16] overflow-hidden rounded border bg-black transition ${ selected ? "border-emerald-300/70" : "border-white/10 hover:border-cyan-300/40" }`}