diff --git a/.memory/worklog.json b/.memory/worklog.json index 0dc250e..52d4d62 100644 --- a/.memory/worklog.json +++ b/.memory/worklog.json @@ -1,18 +1,5 @@ { "entries": [ - { - "files_changed": 1, - "message": "Codex 会话活跃 · 最近命令：codex · 1 项未提交变更 · 最近提交：auto-save 2026-05-15 14:10 (~1)", - "ts": "2026-05-15T06:14:46Z", - "type": "session-heartbeat" - }, - { - "files_changed": 1, - "hash": "b715b34", - "message": "auto-save 2026-05-15 14:16 (~1)", - "ts": "2026-05-15T14:17:11+08:00", - "type": "commit" - }, { "files_changed": 1, "hash": "00699ba", @@ -3259,6 +3246,19 @@ "type": "session-heartbeat", "message": "Codex 会话活跃 · 最近命令：codex · 分支 main · 1 项未提交变更 · 最近提交：fix: reorganize source video frame workflow", "files_changed": 1 + }, + { + "ts": "2026-05-17T22:57:27+08:00", + "type": "commit", + "message": "auto-save 2026-05-17 22:57 (~2)", + "hash": "b4b2259", + "files_changed": 2 + }, + { + "ts": "2026-05-17T14:58:31Z", + "type": "session-heartbeat", + "message": "Codex 会话活跃 · 最近命令：codex · 分支 main · 2 项未提交变更 · 最近提交：auto-save 2026-05-17 22:57 (~2)", + "files_changed": 2 } ] } diff --git a/docs/source-analysis.html b/docs/source-analysis.html index fff9151..af25713 100644 --- a/docs/source-analysis.html +++ b/docs/source-analysis.html @@ -569,7 +569,7 @@

业务管线

-

当前产品方向已收窄为“信息流广告快速复刻”：主界面左侧是素材输入列，右侧先完成音频解析，再进入信息流复刻分镜工作台。用户粘贴 TK 链接或上传视频后点击“开始”，系统自动下载源视频；下载完成后优先提取原音频文案/字幕，并分析讲话人、语速节奏、背景音乐/环境声/音效。分镜规划按逐句时间轴生成；视觉参考改为在原版视频旁统一抽取 12 张动作/节奏参考帧，也可在原视频播放器右上角按当前播放点手动补帧，由人工选择后生成“类似但不复刻”的相似主角 6 张白底视图，再按分镜生成视频候选。

+

当前产品方向已收窄为“信息流广告快速复刻”：主界面左侧是素材输入列，右侧先完成音频解析，再进入信息流复刻分镜工作台。用户粘贴 TK 链接或上传视频后点击“开始”，系统自动下载源视频；下载完成后优先提取原音频文案/字幕，并分析讲话人、语速节奏、背景音乐/环境声/音效。分镜规划按逐句时间轴生成；视觉参考改为原版视频下方的关键帧池：显眼保留“自动抽帧 12 张”，也可在竖版播放器内按当前播放点手动补帧，由人工选择后生成“类似但不复刻”的相似主角 6 张白底视图，再按分镜生成视频候选。

1

导入素材

粘贴 TK / 信息流视频链接或上传本地视频；“开始”只把任务放入第一步队列。

2

下载源视频

后端用 yt-dlp 或本地上传文件落 source.mp4，记录时长、尺寸和视频只读地址。

@@ -589,7 +589,7 @@ web/next.config.mjsNext.js 构建配置：静态导出、图片不走优化、禁用开发环境左下角 Next Dev Indicator，并移除 Next 16 已不支持的 eslint 顶层配置，避免本地 dev 出现配置 Issue 提示。 web/app/globals.css全局主题变量、登录页视觉样式、ReactFlow 样式引用，以及本地开发态 nextjs-portal 遮挡隐藏规则。 web/app/page.tsx产品工作台主状态：jobs、activeJobId、生成任务状态；主渲染为全屏素材输入列 + 信息流广告复刻工作表；“开始”编排状态只负责在下载完成后自动触发 triggerTranscribe，不再默认触发抽帧、Vision 扫描或分镜初稿保存；底部吸附音频条不再从主界面渲染。 - web/components/ad-recreation-board.tsx信息流广告复刻工作表：左侧素材输入；右侧展示视频下载状态、默认折叠的音频文案依据，以及统一的音频解析结果面板；面板顶部是一行讲话人/节奏/背景音摘要，下方第一行左侧为原视频播放器、右侧为逐句时间轴，第二行铺开“关键帧 / 相似主角”。底部横向音频波形用参考图式的连续灰色包络显示响度、停顿和密集爆点，顶部同时显示当前播放秒数、总时长和鼠标指针停点秒数。视频播放时通过 requestAnimationFrame 平滑驱动波形播放线，同时同步高亮并滚动当前句；点击音频波形或字幕行会跳转原视频时间。原视频标题栏右侧提供“当前点抽帧”，按当前播放秒数手动补参考帧；关键帧区一键按动作峰值目标重新抽取 12 张源视频参考帧，优先抓手势、表情变化、节奏点和镜头变化，缩略图按竖版完整比例显示不裁切并横向多列铺开，鼠标停留会通过固定浮层放大展示完整帧。“生成 6 视图”放在相似主角白底视图区，不和抽参考按钮平齐；人工勾选后调用 generateSubjectAssets 的 source_actor + similar 模式生成 6 张白底相似主角视图；这是新演员重构，不做像素提取或精确复刻源人物身份。音频结果下方是信息流复刻分镜工作台：顶部产品参考区是“同一产品素材池”，不限量上传产品图，不做不同产品身份判断；上传原图推荐长边 1200-2000px、短边至少 600px，但后端会统一生成最长边 1600px、JPEG 92 的 AI 工作副本，并回显尺寸、自动转换和风险标注；上传后按“套在脖子上的 U 形肩颈按摩仪”进行同一产品批量识别，左/右按佩戴者身体左右、上/下按佩戴方向，额外标注内外侧、开口方向、局部结构点、背景类型、用途标签、生成风险和备注，用户只检查备注，鼠标悬停通过固定浮层显示大图预览，能盖过滚动容器和分镜框架；缺视角补图失败时保留重试入口。脚本区在分镜行上方提供“作者想法”和“整片改写”，每行新口播文案可直接编辑并可单段 AI 改写，分镜时间和原内容列压缩为窄摘要列，把横向空间留给新口播、画面规划和视频候选；生成本条视频时使用当前编辑后的新口播文案。每条音频分镜纵向排列，行内从左到右串起原内容、新口播文案、画面规划/产品融入和 6 个候选视频槽；候选视频槽在宽屏下一排显示 6 个竖版预览，避免前面空旷、后面拥挤。单条生成会从全局选中关键帧或 12 张关键帧中取最贴近本句时间点的参考帧。单条生成会从产品素材池按分镜角色、视角优先级、用途标签、置信度和风险自动挑选最多 6 张相关产品图，不会把全部产品图提交给生视频模型，然后把产品坐标系、视角标注、方向、结构点和风险写入 Seedance 提示。旧分镜卡、抽帧控制和视频生成组件仍保留在文件里，但当前主路径不渲染。 + web/components/ad-recreation-board.tsx信息流广告复刻工作表：左侧素材输入只负责链接/上传和任务切换，不再重复放横版原视频预览；右侧展示视频下载状态、默认折叠的文案依据，以及源视频工作区。音频解析结果改成默认折叠的辅助信息，展开后同一行看讲话人/节奏/背景音；主工作区左侧是按 9:16 显示的竖版原视频播放器，播放器内覆盖“当前点抽帧”，按当前播放秒数手动补参考帧；右侧上方是音频波形 / 切点参考，下方是逐句时间轴；下一行铺开“关键帧 / 相似主角”。音频波形用参考图式的连续灰色包络显示响度、停顿和密集爆点，顶部同时显示当前播放秒数、总时长和鼠标指针停点秒数。视频播放时通过 requestAnimationFrame 平滑驱动波形播放线，同时同步高亮并滚动当前句；点击音频波形或字幕行会跳转原视频时间。关键帧区的主入口是“自动抽帧 12 张”，一键按动作峰值目标重新抽取 12 张源视频参考帧，优先抓手势、表情变化、节奏点和镜头变化，缩略图按竖版完整比例显示不裁切并用更多列紧凑铺开，鼠标停留会通过固定浮层放大展示完整帧。“生成 6 视图”放在相似主角白底视图区，不和抽参考按钮平齐；人工勾选后调用 generateSubjectAssets 的 source_actor + similar 模式生成 6 张白底相似主角视图；这是新演员重构，不做像素提取或精确复刻源人物身份。音频结果下方是信息流复刻分镜工作台：顶部产品参考区是“同一产品素材池”，不限量上传产品图，不做不同产品身份判断；上传原图推荐长边 1200-2000px、短边至少 600px，但后端会统一生成最长边 1600px、JPEG 92 的 AI 工作副本，并回显尺寸、自动转换和风险标注；上传后按“套在脖子上的 U 形肩颈按摩仪”进行同一产品批量识别，左/右按佩戴者身体左右、上/下按佩戴方向，额外标注内外侧、开口方向、局部结构点、背景类型、用途标签、生成风险和备注，用户只检查备注，鼠标悬停通过固定浮层显示大图预览，能盖过滚动容器和分镜框架；缺视角补图失败时保留重试入口。脚本区在分镜行上方提供“作者想法”和“整片改写”，每行新口播文案可直接编辑并可单段 AI 改写，分镜时间和原内容列压缩为窄摘要列，把横向空间留给新口播、画面规划和视频候选；生成本条视频时使用当前编辑后的新口播文案。每条音频分镜纵向排列，行内从左到右串起原内容、新口播文案、画面规划/产品融入和 6 个候选视频槽；候选视频槽在宽屏下一排显示 6 个竖版预览，避免前面空旷、后面拥挤。单条生成会从全局选中关键帧或 12 张关键帧中取最贴近本句时间点的参考帧。单条生成会从产品素材池按分镜角色、视角优先级、用途标签、置信度和风险自动挑选最多 6 张相关产品图，不会把全部产品图提交给生视频模型，然后把产品坐标系、视角标注、方向、结构点和风险写入 Seedance 提示。旧分镜卡、抽帧控制和视频生成组件仍保留在文件里，但当前主路径不渲染。 web/app/login/page.tsx生产登录页：访问账号/访问密钥表单、保持登录、错误/成功状态；当前只在原版 Digital Oasis 动态背景上叠加一个组合登录框，桌面端左侧是动态角色，右侧是图标化登录表单；面板左上角展示官网 SKG 字标和中文“营销内容工作台”系统标识。 web/app/login/layout.tsx登录路由专属 layout：覆盖全站默认网页标题和描述为空，避免 /login 继承工作台 metadata 后在页面源码里继续出现登录界面文字以外的文案。 web/components/login/oasis-canvas.tsx登录页全屏动态视觉层：用 iframe 直接承载下载包 web/public/oasis-source/index.html 的原 WebGPU / Three.js 草场源码；父级登录页只覆盖自己的文案和表单，并在捕获阶段把全局鼠标坐标同时用原生事件和 postMessage 转发给 iframe，避免登录面板或输入框遮挡时草地失去鼠标响应。 @@ -626,7 +626,7 @@ web/app/page.tsx -> 信息流广告复刻工作表：web/components/ad-recreation-board.tsx -> 开始：创建/激活 job → 下载完成后自动触发音频处理 - -> 左侧素材输入列 + 右侧默认折叠的音频文案依据 + 统一音频解析结果面板（声音摘要在上，原视频播放器右上角可当前点抽帧，逐句时间轴在原视频右侧，参考帧池在下方多列铺开，相似主角 6 白底视图生成按钮放在视图区，底部连续响度波形显示当前/总时长/指针停点） + -> 左侧素材输入列 + 右侧默认折叠的文案依据 + 源视频工作区（音频解析结果默认折叠，竖版 9:16 原视频播放器内可当前点抽帧，右侧上方连续响度波形显示当前/总时长/指针停点，右侧下方逐句时间轴联动滚动，参考帧池在下方多列铺开且主入口为“自动抽帧 12 张”，相似主角 6 白底视图生成按钮放在视图区） -> 信息流复刻分镜工作台：同一产品素材池不限量上传 → 自动识别视角 / 背景 / 用途 / 风险 → 人工检查备注 → 单条生成自动挑选最多 6 张相关产品图 → 逐句时间轴 → 原内容 / 新口播文案 / 画面规划与产品融入 / 6 个候选视频槽 -> 底部音频条：不再渲染，音频结果集中到右侧工作表 -> 旧节点/深度素材面板：web/components/nodes/index.tsx、web/components/lightbox.tsx、web/components/storyboard-workbench.tsx（底层保留，当前不作为主入口） @@ -649,8 +649,8 @@ api/main.py
你看到的区域音频解析结果表
-
主要源码AudioIntakePanel / AudioIntakeStatus / SourceReferenceBuildPanel in web/components/ad-recreation-board.tsx；复用 triggerTranscribe、AudioScript、analyzeJob、addManualFrame、deleteFrame 和 generateSubjectAssets。
-
适合怎么描述“原视频播放尺寸、当前播放点手动抽帧、关键帧删除、相似主角 6 白底视图、连续响度波形、逐句时间轴滚动、高亮和跳转联动还需要怎么调整”。
+
主要源码AudioIntakePanel / SourceReferenceBuildPanel in web/components/ad-recreation-board.tsx；复用 triggerTranscribe、AudioScript、analyzeJob、addManualFrame、deleteFrame 和 generateSubjectAssets。
+
适合怎么描述“竖版原视频尺寸、播放器内当前播放点手动抽帧、自动抽帧 12 张入口、关键帧删除、相似主角 6 白底视图、连续响度波形、逐句时间轴滚动、高亮和跳转联动还需要怎么调整”。
你看到的区域信息流复刻分镜工作台
@@ -925,7 +925,7 @@ ProductRefStateItem { 音频条 - 复刻工作表顶部触发音频解析；全文音频文案依据默认折叠，主展示以统一音频解析结果面板为准：声音/节奏/背景音摘要在上，逐句时间轴在下；底部 AudioStrip 当前不渲染。 + 复刻工作表顶部触发音频解析；全文文案依据默认折叠，音频解析结果也默认折叠为辅助信息；主展示以源视频工作区为准：竖版原视频在左，音频波形和逐句时间轴在右；底部 AudioStrip 当前不渲染。 当前第一步不要默认展示底部音频条、新配音播放器、独立原文案提取大卡片，或把 MiniMax 配音当作已完成结果。 web/components/audio-strip.tsx、pipeline_transcribe、AudioScript @@ -1003,6 +1003,18 @@ ProductRefStateItem {

变更记录

这个记录不是 git log 的替代品。它记录“产品理解发生了什么变化、影响了哪些源码、你以后描述需求时该怎么说”。后续每次改功能都要补一条。

+
+
+

2026-05-17 · 竖版源视频工作区重排并恢复自动抽帧主入口

+ UI + Workflow +
+
+

问题：顶部“音频文案依据 / 当前步骤 / 音频解析结果”仍然抢占主操作空间；左侧素材列重复放横版原视频预览，竖版视频会产生大黑边；“自动抽帧”入口不够显眼，用户会误以为能力被去掉。

+

改动：AdRecreationBoard 把状态压成紧凑标签，文案依据保持默认折叠；MaterialColumn 不再重复显示原视频预览；AudioIntakePanel 把音频解析结果改成默认折叠，主区域改为左侧 9:16 竖版播放器、右侧音频波形 + 逐句时间轴，播放器内覆盖“当前点抽帧”；SourceReferenceBuildPanel 保留并强化“自动抽帧 12 张”主按钮，缩略图更小更密，下面再放相似主角 6 视图。

+

影响：web/components/ad-recreation-board.tsx、docs/source-analysis.html。后续源视频分析先看竖版播放器、波形和逐句时间轴；参考帧池负责自动 12 帧、手动补帧后的删除和相似主角选择。

+
+

2026-05-17 · 时间轴贴近原视频并压小参考帧

diff --git a/web/components/ad-recreation-board.tsx b/web/components/ad-recreation-board.tsx index 4775416..d1422dc 100644 --- a/web/components/ad-recreation-board.tsx +++ b/web/components/ad-recreation-board.tsx @@ -826,8 +826,8 @@ export function AdRecreationBoard({
-
-
+
+
@@ -956,41 +956,10 @@ function MaterialColumn({ )}
- - {job?.video_url && ( -
) } -function AudioIntakeStatus({ job, audioReady }: { job: Job | null; audioReady: boolean }) { - const downloading = !!job && ["created", "downloading"].includes(job.status) - const audioRunning = !!job && (job.status === "transcribing" || job.audio_script?.status === "rewriting") - return ( -
-
- } title="当前步骤" /> - -
-
- - - - -
-
- {job?.message || "粘贴 TK 链接或上传视频后，点击开始进入下载和音频解析。"} -
-
- ) -} - function AudioIntakePanel({ job, selectedFrames, @@ -1132,21 +1101,32 @@ function AudioIntakePanel({ -
- {profiles.map((item) => ( - - ))} -
+
+ + } title="音频解析结果" /> +
+ + 讲话人 / 节奏 / 背景音，展开查看完整模型判断 + + +
+ +
+ {profiles.map((item) => ( + + ))} +
+
-
+
} title="原版视频" /> {currentTime.toFixed(1)}s
-
+
{job.video_url ? (
)} +
-
@@ -1415,20 +1395,20 @@ function SourceReferenceBuildPanel({ onClick={() => void extractKeyframes()} disabled={!job.video_url || extracting || job.status === "splitting"} title="自动按动作峰值抽 12 张参考帧，更偏向手势、表情变化、节奏点和镜头变化" - className="inline-flex h-7 items-center justify-center gap-1 rounded-md bg-white px-2.5 text-[10.5px] font-semibold text-black transition hover:bg-white/90 disabled:cursor-not-allowed disabled:opacity-40" + className="inline-flex h-8 items-center justify-center gap-1 rounded-md bg-white px-3 text-[11px] font-semibold text-black transition hover:bg-white/90 disabled:cursor-not-allowed disabled:opacity-40" > {extracting || job.status === "splitting" ? : } 自动抽帧 12 张
-
+
缩略图完整显示，悬停看大图。 点击选择主角参考
-
+
{frames.map((frame, index) => { const selected = selectedFrames.has(frame.index) return ( @@ -1473,7 +1453,7 @@ function SourceReferenceBuildPanel({ })} {!frames.length && (
- 点击“抽参考 12 帧”，或在原版视频播放器右上角用“当前点抽帧”补充人物参考。 + 点击“自动抽帧 12 张”，或在原版视频播放器上用“当前点抽帧”补充人物参考。
)}
@@ -2902,10 +2882,10 @@ function EmptyState({ text }: { text: string }) { function Requirement({ label, ready, detail }: { label: string; ready: boolean; detail: string }) { return ( -
- {ready ? : } +
+ {ready ? : } {label} - {detail} + {detail}
) }