diff --git a/RULES.md b/RULES.md index 38316eb..5458dd6 100644 --- a/RULES.md +++ b/RULES.md @@ -11,11 +11,11 @@ - 详见 `CLAUDE.md` 立项决策段 + `.memory/plan.md` 七步管线拆解 - 风格:`04-Dark-Gallery-Ambient`(路径:`~/Projects/research/20260305-网页风格库/04-Dark-Gallery-Ambient.md`) - 第一冲刺:步骤 1-4(下载 / 拆轨 / 关键帧 / ASR+翻译) -- 当前产品方向(2026-05-19 再确认):信息流广告快速复刻默认进入“三字段候选生成”工作流。主界面为“左侧素材输入列 + 右侧信息流复刻工作表”。用户粘贴 TK 链接或上传视频后点击“开始分析”,系统自动下载源视频;下载完成后并行启动两条路:音频文案路提取原音频文案/字幕,并分析讲话人、语速节奏、背景音乐/环境声/音效;视频视觉路自动抽取参考帧,供人工选择可用主体并生成相似主体白底视图。波形下方的画面胶片只是临时预览,点击只跳转原视频时间点,拖进参考帧池才正式加入关键帧。产品图上传后独立形成产品资产包,自动识别视角/结构/比例并补缺角度。分镜工作台按逐句时间轴默认只露“文案 / 场景一句话 / 人物+产品+动作”,产品素材池、批量控制、三字段、视频候选和高级区都必须可折叠;视频候选无内容时默认不占大面积,有候选时默认只显示迷你缩略条,展开后才显示 4-grid。单条默认生成 4 个视频候选,顶部支持整片批量生成候选;首尾帧、视觉规划、产品出现方式和旧 6 字段保留在“高级”抽屉与后端 quick-plan 自动展开中,不能再作为客户默认闸门。 +- 当前产品方向(2026-05-19 再确认):信息流广告快速复刻默认进入“三字段候选生成”工作流。主界面为“左侧素材输入列 + 右侧信息流复刻工作表”。用户粘贴 TK 链接或上传视频后点击“开始分析”,系统自动下载源视频;下载完成后并行启动两条路:音频文案路提取原音频文案/字幕,并分析讲话人、语速节奏、背景音乐/环境声/音效;视频视觉路自动抽取参考帧。源视频工作区右侧主体链路是“参考帧池 → 转换层 → 主体元素”:参考帧池竖向排列,用户拖 1-2 张关键帧到转换层,转换层按参考创新生成新的主体套图,主体元素区展示后续分镜可用的主体图;旧下方“相似主体 / 主体模板库”不再作为主路径。波形下方的画面胶片只是临时预览,点击只跳转原视频时间点,拖进参考帧池才正式加入关键帧。产品图上传后独立形成产品资产包,自动识别视角/结构/比例并补缺角度。分镜工作台按逐句时间轴默认只露“文案 / 场景一句话 / 人物+产品+动作”,产品素材池、批量控制、三字段、视频候选和高级区都必须可折叠;视频候选无内容时默认不占大面积,有候选时默认只显示迷你缩略条,展开后才显示 4-grid。单条默认生成 4 个视频候选,顶部支持整片批量生成候选;首尾帧、视觉规划、产品出现方式和旧 6 字段保留在“高级”抽屉与后端 quick-plan 自动展开中,不能再作为客户默认闸门。 ## 部署事实 - 平台:VPS `76.13.31.179`(Ubuntu 24.04 / Docker Compose / Coolify Traefik) -- 发布状态:已部署并验证(2026-05-19,逐句时间轴移到原版视频下方并支持双行文案 + 波形同框时间对齐画面胶片 + 胶片密度按钮上移波形顶部 + 去分隔线 + 胶片上下错落 + body 顶层原位大放大 + 隐藏源视频工作区音频解析摘要卡 + 隐藏工作区顶部状态提示条 + 三字段候选生成工作流 + 折叠紧凑候选区);`https://marketing.skg.com` 已启用应用内登录页,未登录 API 返回 401,认证后首页 200;容器内 `/health` 返回 `ok:true` +- 发布状态:已部署并验证(2026-05-19,右侧三栏主体管线:竖向参考帧池 + 转换层 + 主体元素,旧主体模板区移出主路径 + 逐句时间轴移到原版视频下方并支持双行文案 + 波形同框时间对齐画面胶片 + 胶片密度按钮上移波形顶部 + 去分隔线 + 胶片上下错落 + body 顶层原位大放大 + 隐藏源视频工作区音频解析摘要卡 + 隐藏工作区顶部状态提示条 + 三字段候选生成工作流 + 折叠紧凑候选区);`https://marketing.skg.com` 已启用应用内登录页,未登录 API 返回 401,认证后首页 200;容器内 `/health` 返回 `ok:true` - 主站 / 前端:`https://marketing.skg.com` - API / 后端:`https://marketing.skg.com/api` - 代码仓库 / Gitea:`https://git.kang-kang.com/kangwan/20260512-skg-tk` diff --git a/docs/source-analysis.html b/docs/source-analysis.html index 3e9da63..ae4e689 100644 --- a/docs/source-analysis.html +++ b/docs/source-analysis.html @@ -569,7 +569,7 @@

业务管线

-

当前产品方向已收窄为“信息流广告快速复刻”:主界面左侧是素材输入列,右侧是信息流复刻工作表。后台仍按 01-09 流程顺序计算素材任务、源视频、音频文案、抽帧、主体资产、产品资产、分镜文案、三字段规划和视频候选这些状态,但这些判断不再默认显现在工作区顶部,避免状态提示挤占首屏操作空间。用户粘贴 TK 链接或上传视频后点击“开始分析”,系统自动下载源视频;下载完成后并行启动音频文案路和视频视觉路。音频文案路提取原音频文案/字幕,分析讲话人、语速节奏、背景音乐/环境声/音效,并为后续新口播和分镜文案提供时间轴;视频视觉路同步抽取参考帧,参考帧只用于人工选择主体并生成相似主体白底视图。波形下方的画面胶片由前端临时从源视频截取,密度可调,点击只跳转原视频时间点,拖入参考帧池才调用手动抽帧接口正式写入关键帧。产品图上传后独立形成产品资产包:自动识别视角、左右/上下/内外侧、结构点、比例和风险,并补缺角度。最终分镜规划按逐句时间轴把文案、相似主体资产和产品资产汇合;每条分镜默认是左侧“文案 / 场景一句话 / 人物+产品+动作”三字段、右侧横向视频候选轨。客户可直接改中文镜像,前端会调用改写/翻译链路自动优化对应英文主值;单条和整片都可选择生成数量,整片按行排队提交。首尾帧、视觉规划、产品出现方式等细节保留在高级抽屉和后端自动展开逻辑里,不再作为客户默认闸门。

+

当前产品方向已收窄为“信息流广告快速复刻”:主界面左侧是素材输入列,右侧是信息流复刻工作表。后台仍按 01-09 流程顺序计算素材任务、源视频、音频文案、抽帧、主体资产、产品资产、分镜文案、三字段规划和视频候选这些状态,但这些判断不再默认显现在工作区顶部,避免状态提示挤占首屏操作空间。用户粘贴 TK 链接或上传视频后点击“开始分析”,系统自动下载源视频;下载完成后并行启动音频文案路和视频视觉路。音频文案路提取原音频文案/字幕,分析讲话人、语速节奏、背景音乐/环境声/音效,并为后续新口播和分镜文案提供时间轴;视频视觉路同步抽取参考帧。源视频工作区右侧主体链路改为“参考帧池 → 转换层 → 主体元素”:参考帧池只作为竖向原始参考,拖入转换层的 1-2 张关键帧用于参考创新生成新的主体套图,主体元素区承接生成结果供后续分镜使用;旧下方主体模板库不再作为主路径。波形下方的画面胶片由前端临时从源视频截取,密度可调,点击只跳转原视频时间点,拖入参考帧池才调用手动抽帧接口正式写入关键帧。产品图上传后独立形成产品资产包:自动识别视角、左右/上下/内外侧、结构点、比例和风险,并补缺角度。最终分镜规划按逐句时间轴把文案、主体元素和产品资产汇合;每条分镜默认是左侧“文案 / 场景一句话 / 人物+产品+动作”三字段、右侧横向视频候选轨。客户可直接改中文镜像,前端会调用改写/翻译链路自动优化对应英文主值;单条和整片都可选择生成数量,整片按行排队提交。首尾帧、视觉规划、产品出现方式等细节保留在高级抽屉和后端自动展开逻辑里,不再作为客户默认闸门。

01

素材输入

有当前素材任务即通过;输入框只负责创建或切换任务。

02

源视频下载

job.video_url 存在即通过;created/downloading 视为运行中。公开视频默认不带 cookies 下载;只有 TikTok 明确要求登录态时才配置 YTDLP_COOKIES_FILE,生产容器禁止使用 YTDLP_COOKIES_FROM_BROWSER=chrome

@@ -594,10 +594,11 @@ web/app/globals.css全局主题变量、登录页视觉样式、信息流工作台同源品牌 token、ReactFlow 样式引用,以及本地开发态 nextjs-portal 遮挡隐藏规则。工作台在 skg-board-theme 内定义 --skg-gold-1--skg-gold-2--skg-cream--skg-bg-*--skg-text-*--skg-radius-* 和按钮阴影等变量,并新增 skg-board-brandskg-stat-cardskg-primary-actionskg-secondary-actionskg-empty-state 等样式。暗色工作台复用登录页金色聚焦、米白主按钮和弱暖光氛围;明亮模式通过 skg-board-theme--light 复用同一套结构,改成暖白底、白色 panel、黑底主 CTA 和深色文本,不另起一套界面。 web/app/page.tsx产品工作台主状态:jobs、activeJobId、生成任务状态;主渲染为全屏素材输入列 + 信息流广告复刻工作表;“开始分析”会把 job 放入并行素材分析队列,下载完成后触发 triggerTranscribe 解析音频,并触发 analyzeJob 自动抽 12 张参考帧,形成“音频文案路 + 视频视觉路”同步推进;底部吸附音频条和旧全局浮动主题按钮不再从主界面渲染,避免和工作台内的明暗模式切换重复。 web/components/ad-recreation-board.tsx信息流广告复刻工作表:顶部先展示与登录页连续的 SKG brand strip,包含 SKG 字标、“未来健康 · 营销内容工作台”和“营销内容工作台 · TK 二创”;右侧素材/任务/视频/文案统计改为米白 stat 卡片,主动作按钮统一走 skg-primary-action,次动作走 skg-secondary-action,空状态复用 AnimatedLoginCharactersbuildWorkflowSteps 仍统一生成 01-09 流程顺序、状态和判定依据,WorkflowStepBadge / PipelineLane / 分镜列标题也继续共用同一套编号;但完整 WorkflowOrderBar、右侧素材/视频/音频/文案/参考帧需求 chips、文案依据下拉和“音频文案、抽帧参考、相似主体、产品素材池”四个状态条不再默认渲染在工作区顶部。左侧素材输入只负责链接/上传和任务切换,不再重复放横版原视频预览;右侧源视频工作区直接进入核心操作。讲话人、节奏和背景音分析仍写入 AudioScript,但不再作为“音频解析结果”卡片默认渲染;主工作区左侧宽度调整为 430-460px,上方是按 9:16 显示的竖版原视频播放器,播放器内覆盖“当前点抽帧”,按当前播放秒数手动补参考帧,播放器下方是逐句时间轴,英文和中文都最多显示两行;右侧上方是无标题的波形与切点参考框,下方是参考帧池;下一行只保留“相似主体 / 主体模板”。音频波形用参考图式的连续灰色包络显示响度、停顿和密集爆点,顶部把低/中/高密度按钮和当前播放秒数、总时长、鼠标指针停点秒数直接放在波形上方。视频播放时通过 requestAnimationFrame 平滑驱动波形播放线,同时同步高亮并滚动当前句;点击音频波形或字幕行会跳转原视频时间。音频波形下方同框渲染无标题的 TimelineFilmstrip 临时画面胶片,前端按低/中/高密度从源视频 canvas 截取预览缩略图,并按 frame.time / duration 的百分比定位到和波形同一条时间轴上;波形与胶片之间不显示分隔横线,胶片轨道贴近波形,缩略图轻微上下错落并倾斜重叠排列,hover 时用同一张胶片卡在原位置生成固定顶层克隆,约 4.8 倍放大并自动限制在视口内,避免被工作区、滚动容器或相邻面板遮挡;点击胶片只跳转原视频时间,不写入任务数据,只有拖进 SourceKeyframePicker 参考帧池时才调用手动抽帧并正式加入 job.frames。右侧参考帧池的主入口是“自动抽帧 12 张”,一键按动作峰值目标重新抽取 12 张源视频参考帧,优先抓手势、表情变化、节奏点和镜头变化;缩略图按竖版完整比例显示不裁切并用更多列紧凑铺开,点选状态直接叠在参考帧池缩略图上,鼠标停留会通过固定浮层放大展示完整帧。“生成 10 张高清图”放在下方相似主体白底视图区,不和抽参考按钮平齐;如果用户没有勾选帧,默认把全部关键帧作为主体参考,勾选后只传已选帧;生成区可在“透明骨架 / 普通真人”之间切换,可选择桌面导入的 5 套内置形象作为创意方向,并可填写统一主体方向,例如年轻女性、更运动、更高级。关键帧和相似主体白底视图都用更小的竖版缩略图密排;白底视图只展示每个 view 的最新一张,缩略图上提供“重新生成这一张”和“删除这一张”,单张重生会用 replace_views=true 替换同一视角。前端调用 generateSubjectAssets 时按主体类型传 subject_style=transparent_humansource_actor,按需传 character_id,并使用 reconstruction_mode=similar;后端会把关键帧和内置形象视为同一个主体的创意证据,并锁定同一性别表现、年龄段、体型、材质、风格和视觉身份,同时生成全身多视角 + 肩颈正/左右近景 + 后颈肩背特写,避免整套图出现男女性别、老少年龄或样式混杂。主体生成完成后会形成 subject_consensus_brief,主体模板保存区可预览/编辑这段 brief。音频结果下方是信息流复刻分镜工作台:顶部产品参考区是“同一产品素材池”,不限量上传产品图,不做不同产品身份判断;上传原图推荐长边 1200-2000px、短边至少 600px,但后端会统一生成最长边 1600px、JPEG 92 的 AI 工作副本,并回显尺寸、自动转换和风险标注;上传后按“套在脖子上的 U 形肩颈按摩仪”进行同一产品批量识别,左/右按佩戴者身体左右、上/下按佩戴方向,额外标注内外侧、开口方向、局部结构点、背景类型、用途标签、生成风险和备注,用户只检查备注,鼠标悬停通过固定浮层显示大图预览,能盖过滚动容器和分镜框架;缺视角补图失败时保留重试入口。脚本区在分镜行上方提供“作者想法”和“整片改写”,每行新口播文案可直接编辑并可单段 AI 改写,分镜时间和原内容列压缩为窄摘要列,新口播列进一步收窄,把横向空间留给画面规划和首尾帧。每条音频分镜纵向排列,行内从左到右串起原内容、新口播文案、画面规划/产品融入和历史候选视频槽;画面规划区先选择镜头类型(人物/情绪、人物+产品、产品特写、场景过渡),再用人物/产品开关、首帧规划、尾帧规划和产品出现方式决定这一条到底需不需要产品图或相似主体参考。当前主流程暂停直接调用视频模型,不再提供“生成本条 · Seedance”或“一键提交全部”视频入口;行内新增“首尾帧闸门”,分别显示/生成首帧和尾帧,旧 keyframe 类型首尾帧会被忽略,只认真正的 asset 首尾帧。生成首尾帧时调用 generateSceneAsset,主体只传 subject_brief,不再传主体图;产品按端点选择最多 1-2 张硬参考图,默认正面,侧面/后颈/厚度/特写等关键词会额外补一张对应视角。关键帧只作为前置主体重构证据和行数据承载位置,不再作为后续视频首尾帧参考。视频候选槽只展示历史候选和待生成占位,按钮改为“保存本条规划 / 保存全部规划”。只有该行勾选“产品”时,首尾帧生成才会从产品素材池按端点视角策略自动挑选最多 1-2 张相关产品图;未勾选产品时不会把产品图提交给首尾帧/后续生视频模型,并走纯文字首尾帧。只有该行勾选“人物”时,才会把主体 brief 注入 prompt;否则 prompt 会明确禁止强行添加主角式透明骨架人,后端也不会再给产品特写强加透明骨架人约束。ModelTrace 会在音频解析、产品识别/补图、相似主体高清视图包、脚本改写等入口旁直接展示模型名;所有生图入口都显示并使用 gpt-image-2,没有其他图片模型 fallback;点击后用固定浮层展示模型链路、输入输出和回退逻辑。旧分镜卡、抽帧控制和视频生成组件仍保留在文件里,但当前主路径不渲染。 + SourceSubjectPipeline源视频工作区右侧主体管线主路径:三栏分别是竖向 参考帧池转换层主体元素。参考帧池保留自动 12 张、胶片拖入正式成帧、点击勾选和删除;参考帧本身可拖到转换层。转换层不是抠图区,而是参考创新生成入口:拖入 1-2 张关键帧后自动调用 generateSubjectAssets,也保留手动重生按钮;可选择透明骨架/真人、完整 10 张或常用 4 张,并填写统一方向。主体元素区显示生成出的主体套图,缩略图复用 MediaAssetTile,支持 hover 放大、单张重生和删除。旧下方 SourceReferenceBuildPanel 不再主路径渲染。 AudioStoryboardPlanPanel 三字段候选生成当前分镜主路径:每行是左右双栏,左侧默认显示 skg_copy_*scene_one_line_*action_one_line_* 三组中英字段,右侧直接显示视频候选横向轨。用户改中文镜像后,字段失焦会通过 refineStoryboard 优化对应英文主值,失败时退回 translateText;英文仍是后续 prompt 主值。quickPlanStoryboard 把三字段和主体 brief 展开为完整 StoryboardScenegenerateStoryboardVideocount 可由单行数字控件选择,候选新生成后持续向右追加,不再用 4-grid 撑高每行。整片生成同样可选择每行数量,并以 concurrency=1 按行排队提交。产品素材池、批量控制、每行主体区和高级区都可折叠,高级抽屉仍展示旧 6 字段、首尾帧 prompt 和首尾帧资产槽,但客户默认不用先处理首尾帧。 web/components/resource-library/library-drawer.tsx全局资源中心浮窗:由工作台顶部“资源库”按钮打开,叠加在工作台上方但不阻塞主界面;尺寸、位置和当前 Tab 写入 localStorage["skg-resource-library-drawer"]。提示词 Tab 固定 5 列(场景描述、视频描述、主体描述、SKG 文案、产品角度),每列先显示 use_count 排名前 5 的“常用”,再按月份倒序分组;提示词节点常驻复制按钮,hover 可选英文/中文/双语复制,并调用 use 接口。素材 Tab 固定 4 列(主体、产品、场景、视频),节点不可拖动,按月份倒序硬编码排列;“应用到当前 job”只调用后端复制接口,得到普通 ImageRef(kind="asset") 后再写入产品素材池或复制 ID。浮窗顶部最近 24 小时横条混合显示提示词和素材;新建提示词、上传素材、删除前查引用、详情侧栏都在该组件内完成。 AdRecreationBoard 主题切换顶部指标区左侧有“明亮/暗色”按钮,使用 Sun / Moon 图标切换 skg-board-theme--light 类名,并把选择写入 localStorage["skg-board-theme"]。暗色仍是默认模式;明亮模式只改变工作台外观,不改变任务、素材、分镜、模型调用或接口数据。 - SourceReferenceBuildPanel“相似主体 / 主体模板”当前承担主体资产生成和主体模板复用的前端入口:顶部用 radio 区分“用模板生成”和“不用模板(从源视频关键帧创新)”,源视频相似 不再作为模板卡混进网格。模板库把 GET /subject-templates 数据库模板和 GET /character-library/skg 内置形象合并成 120px 竖排卡片,选中态统一用 SKG 金色;当选择“不用模板”时模板网格会收起,避免把生成按钮和结果缩略图挤到折叠区域之外。保存为主体模板的名称、备注和按钮固定在模板区底部一行。下方“生成主体视图”独立显示模型链路,支持透明骨架/真人、全部 10 / 常用 4 / 自定义视图;同时新增“主体设定”,默认随机组合性别表现、年龄段、着装风格、地域人种、肤色、体型比例、发型和气质场景,也可切到手动指定。随机组合会在点击生成时解析成一套固定 profile 并传给后端 subject_profile,整包视图共用同一人设,不会一张男一张女或一张年轻一张银发。已有生成结果会优先显示在生成区标题下方,再显示控制项,避免用户生成后还要继续向下找图。主体缩略图放大为可单张重生、删除和 hover 放大的媒体卡;生成中会显示本次请求锁定的素材 ID 和主体设定,切换其他模块不会改变已经提交的生成目标。前端仍传 reconstruction_mode=similar,后端先用 VISION_MODEL 把关键帧/模板图转成非身份化文字 brief;如果 brief 失败,则继续用用户方向、模板文字、内置形象 brief 和结构化主体设定。最终主体图只走 gpt-image-2/images/generations 文字生图,不再把原帧或模板图作为强 image-edit 锚点。 + SourceReferenceBuildPanel旧的“相似主体 / 主体模板”大面板代码仍保留在文件里,方便以后恢复模板库复用、入库命名和自定义视图选择;但当前源视频工作区主路径已经由 SourceSubjectPipeline 承接,不再在页面下方渲染这块,避免和“参考帧池 → 转换层 → 主体元素”重复。 web/components/media-asset-tile.tsx项目内媒体素材缩略图基底组件:图片、视频、抽帧、产品图、相似主体图、首尾帧和视频候选默认从这里获得统一交互。组件负责缩略图显示、顶层固定浮层 hover 放大、删除按钮、重新生成等操作按钮、忙碌遮罩和图片/视频共用预览,避免每个新板块重复手写不同的媒体交互。画面胶片是例外:为了保持胶片原位浏览,不使用额外弹出预览,只让胶片缩略图自己在轨道内放大。 web/app/login/page.tsx生产登录页:访问账号/访问密钥表单、保持登录、错误/成功状态;当前只在原版 Digital Oasis 动态背景上叠加一个组合登录框,桌面端左侧是动态角色,右侧是图标化登录表单;面板左上角展示官网 SKG 字标和中文“营销内容工作台”系统标识。 web/app/login/layout.tsx登录路由专属 layout:覆盖全站默认网页标题和描述为空,避免 /login 继承工作台 metadata 后在页面源码里继续出现登录界面文字以外的文案。 @@ -639,7 +640,7 @@ web/app/page.tsx -> 信息流广告复刻工作表:web/components/ad-recreation-board.tsx -> 开始分析:创建/激活 job → 下载完成后并行触发视频视觉路 analyzeJob 与音频文案路 triggerTranscribe -> 后台流程判定:01 素材输入 → 02 源视频下载 → 03 音频文案 → 04 抽帧参考 → 05 相似主体 → 06 产品素材池 → 07 分镜文案 → 08 三字段规划 → 09 视频候选;每步从 buildWorkflowSteps 取判定依据和状态,但默认不渲染完整状态条 - -> 左侧素材输入列 + 源视频工作区(竖版 9:16 原视频播放器放大并内置当前点抽帧,逐句时间轴移到原版视频下方,英文/中文最多两行显示;右侧上方连续响度波形显示当前/总时长/指针停点,波形下方是可调低/中/高密度的临时画面胶片,点击仅跳转、拖入参考帧池才正式选帧;右侧下方是参考帧池;讲话人/节奏/背景音分析写入数据但不默认显示成卡片;参考帧池缩略图自身显示是否已选,不再单独重复显示已选关键帧;下方只保留相似主体 / 主体模板和相似主体高清视图包;不勾选帧则默认用全部帧,勾选后只用已选帧,可叠加 5 套内置形象;主体模板区分为模板库与本次生成 / 入库草稿,数据库接口未完成前只允许命名和备注,不提交保存) + -> 左侧素材输入列 + 源视频工作区(竖版 9:16 原视频播放器放大并内置当前点抽帧,逐句时间轴移到原版视频下方,英文/中文最多两行显示;右侧上方连续响度波形显示当前/总时长/指针停点,波形下方是可调低/中/高密度的临时画面胶片,点击仅跳转、拖入参考帧池才正式选帧;右侧下方是三栏主体管线:参考帧池竖排、转换层参考创新生成套图、主体元素展示生成结果;旧相似主体 / 主体模板区不再主路径渲染;讲话人/节奏/背景音分析写入数据但不默认显示成卡片) -> 信息流复刻分镜工作台:06 同一产品素材池不限量上传 → 自动识别视角 / 背景 / 用途 / 风险 → 人工检查备注 → 07 逐句时间轴 / 原内容 / 新口播文案 → 08 紧凑三字段(文案、场景一句话、人物+产品+动作;可折叠)→ quick-plan 自动展开高级字段 → 单条生成 4 个视频候选 / 收起态迷你缩略条 / 展开态 4-grid / 追加生成 / 选中候选 → 09 整片一键后台批量提交 -> 底部音频条:不再渲染,音频结果集中到右侧工作表 -> 旧节点/深度素材面板:web/components/nodes/index.tsx、web/components/lightbox.tsx、web/components/storyboard-workbench.tsx(底层保留,当前不作为主入口) @@ -662,8 +663,8 @@ api/main.py
你看到的区域源视频工作区
-
主要源码AudioIntakePanel / SourceReferenceBuildPanel in web/components/ad-recreation-board.tsx;关键帧和相似主体缩略图复用 MediaAssetTile;后端复用 triggerTranscribeAudioScriptanalyzeJobaddManualFramedeleteFramegenerateSubjectAssets
-
适合怎么描述“竖版原视频尺寸、播放器内当前播放点手动抽帧、自动抽帧 12 张入口、关键帧删除、相似主体高清视图包、主体模板库、生成主体命名入库草稿、透明骨架/普通真人主体类型、连续响度波形、逐句时间轴宽度、滚动、高亮和跳转联动还需要怎么调整”。
+
主要源码AudioIntakePanel / SourceSubjectPipeline in web/components/ad-recreation-board.tsx;参考帧、转换层参考图和主体元素缩略图复用 MediaAssetTile;后端复用 triggerTranscribeAudioScriptanalyzeJobaddManualFramedeleteFramegenerateSubjectAssets
+
适合怎么描述“竖版原视频尺寸、逐句时间轴、连续响度波形、临时画面胶片、参考帧池竖排、拖关键帧到转换层、转换层自动生成主体套图、主体元素重生/删除/hover 放大还需要怎么调整”。
你看到的区域信息流复刻分镜工作台
@@ -982,7 +983,7 @@ ProductRefStateItem { 应用清洗POST /cleanup/applyapplyCleanedFrame物理覆盖 frames/{idx}.jpg,并备份原图。 元素增改删POST/PATCH/DELETE /elementsaddElement/updateElement/deleteElement让用户修正 Vision 错误,避免候选结果锁死。 元素提取POST /elements/{element_id}/cutoutcutoutElement调用图像模型生成独立白底素材图,每次累积一张 cutout。 - 主体资产包POST /elements/{element_id}/subject-assets
DELETE /elements/{element_id}/subject-assets/{asset_id}generateSubjectAssets
deleteSubjectAsset根据参考帧、可选内置形象或数据库主体模板重新绘制一个统一主体资产包;前端默认把全部关键帧作为 source_frame_indices,如果用户手动选择了关键帧则只传已选帧,也可传 character_id 选择 5 套内置透明骨架形象之一,或传 subject_template_id 使用已保存的主体模板。当前源视频工作区支持 subject_style=transparent_humansource_actor 两种相似主体。reconstruction_mode=similar 是创新路径:后端先用 VISION_MODEL 把关键帧、内置形象或数据库模板反推成非身份化文字 brief,再调用 gpt-image-2/images/generations 文字生图,日志会显示 image_refs=0;不再把 10 张同一人物实拍图上传给 /images/edits。生成完成后,后端会把生成视图或模板 prompt_brief 反推/写入 KeyElement.subject_consensus_brief,作为后续首尾帧的唯一主体身份文字依据。reconstruction_mode=same 仍保留旧 image-edit 路径,用于确实需要精确复刻且有授权的场景。生成视图可由前端传 views 控制:全部 10、常用 4 或自定义;每个 view 单独调用一次生图,明确禁止多视图拼图、contact sheet、多主体、多面板、标签或对比排版。后端不再要求整包全成功才写入:单个视图失败时会保留已成功生成的主体图,返回“部分生成完成”,只有一张都没生成出来才返回错误。replace_views=true 时会替换同一视角旧图;删除接口会移除对应 subject asset 记录并删除本地 jpg 文件。 + 主体资产包POST /elements/{element_id}/subject-assets
DELETE /elements/{element_id}/subject-assets/{asset_id}generateSubjectAssets
deleteSubjectAsset根据转换层里的参考帧重新绘制一个统一主体资产包;前端把拖入转换层的 1-6 张关键帧作为 source_frame_indices,不再默认读取全部关键帧,也不在主路径使用内置形象或数据库主体模板。当前源视频工作区支持 subject_style=transparent_humansource_actor 两种相似主体。reconstruction_mode=similar 是创新路径:后端先用 VISION_MODEL 把关键帧反推成非身份化文字 brief,再调用 gpt-image-2/images/generations 文字生图,日志会显示 image_refs=0;这里是参考创新生成套图,不是抠图、复制或 image-edit 复刻。生成完成后,后端会把生成视图反推/写入 KeyElement.subject_consensus_brief,作为后续首尾帧的唯一主体身份文字依据。reconstruction_mode=same 仍保留旧 image-edit 路径,用于确实需要精确复刻且有授权的场景。生成视图可由前端传 views 控制:完整 10 张或常用 4 张;每个 view 单独调用一次生图,明确禁止多视图拼图、contact sheet、多主体、多面板、标签或对比排版。后端不再要求整包全成功才写入:单个视图失败时会保留已成功生成的主体图,返回“部分生成完成”,只有一张都没生成出来才返回错误。replace_views=true 时会替换同一视角旧图;删除接口会移除对应 subject asset 记录并删除本地 jpg 文件。 首尾帧资产POST /frames/{idx}/scene-assetgenerateSceneAsset同一接口兼容旧场景图和新首尾帧;当前信息流复刻流程传 asset_role=first_frame/last_framesubject_brief 和最多 1-2 张 product_images。首尾帧不再传主体图、不再把主体图和产品图拼成 contact sheet;主体只走文字 brief,允许新动作、新景别、新表情和新环境。若本条需要产品,后端只把产品参考图作为 gpt-image-2 image-edit 的硬视觉真源;若不需要产品,则走纯文字生图。关键帧只作为行数据承载位置。生成结果保存在 scene_assets,前端再写入 StoryboardScene.first_image/last_image。 产品图库GET /product-library/skglistProductLibrary读取内置 SKG 白底图库 manifest,返回产品标题、品类、尺寸、白底评分和预览图 URL。 产品图入库到 jobPOST /jobs/{id}/assetsPOST /jobs/{id}/assets/product-libraryuploadStoryboardAssetcopyProductLibraryAsset上传产品图或把内置产品图库条目复制为当前 job 的普通 asset。后端统一生成最长边 1600px、JPEG 92 的 AI 工作副本,透明底铺白,过大/过小图片会在 ImageRef.asset_meta 里返回转换动作和风险;黑底/白底背景本身不强行转换。注意该接口只写图片文件,产品素材池列表另由 PUT /jobs/{id}/product-refs 持久化。 @@ -1108,6 +1109,18 @@ ProductRefStateItem {

变更记录

这个记录不是 git log 的替代品。它记录“产品理解发生了什么变化、影响了哪些源码、你以后描述需求时该怎么说”。后续每次改功能都要补一条。

+
+
+

2026-05-19 · 右侧改为参考帧池到主体元素管线

+ UI + Workflow +
+
+

问题:旧下方“相似主体 / 主体模板库”过重,用户实际只想从少量关键帧里挑 1-2 张作为参考,直接生成新的主体套图。

+

改动:AudioIntakePanel 右侧新增 SourceSubjectPipeline,把主体流程改为三栏:竖向参考帧池、转换层和主体元素。参考帧池可从胶片正式加帧,也可拖关键帧到转换层;转换层拖入后自动调用 generateSubjectAssets 参考创新生成套图,保留透明骨架/真人、完整 10 / 常用 4、统一方向和手动重生;主体元素区展示生成结果并支持单张重生、删除和 hover 放大。

+

影响:SourceReferenceBuildPanel 不再主路径渲染,主体模板库入口从首屏移除;后续描述这里时,应按“参考帧池 → 转换层 → 主体元素”来提需求。

+
+

2026-05-19 · 逐句时间轴移到原版视频下方

diff --git a/web/components/ad-recreation-board.tsx b/web/components/ad-recreation-board.tsx index bc0b216..188e92b 100644 --- a/web/components/ad-recreation-board.tsx +++ b/web/components/ad-recreation-board.tsx @@ -130,6 +130,7 @@ type FilmstripHoverPreview = { } const FILMSTRIP_DRAG_TYPE = "application/x-skg-filmstrip-time" +const SOURCE_KEYFRAME_DRAG_TYPE = "application/x-skg-source-keyframe" const FILMSTRIP_DENSITIES: Array<{ value: FilmstripDensitySeconds; label: string; detail: string }> = [ { value: 5, label: "低", detail: "5s/张" }, { value: 2, label: "中", detail: "2s/张" }, @@ -177,6 +178,7 @@ type SubjectPlanningRef = ImageRef & { view: string; roleHint: string; consensus type SubjectStyleMode = "transparent_human" | "source_actor" type SubjectMode = "template" | "source_similar" type SubjectViewMode = "all" | "common" | "custom" +type SubjectPipelineViewMode = "all" | "common" type SubjectProfileMode = "random" | "manual" type SubjectProfileFieldKey = "gender" | "age" | "wardrobe" | "region_ethnicity" | "skin_tone" | "body" | "hair" | "mood" type SubjectProfileDraft = Record @@ -2404,10 +2406,6 @@ function AudioIntakePanel({ }, [job, mediaDuration]) const activeSegment = job?.transcript.find((segment) => currentTime >= segment.start && currentTime <= Math.max(segment.end, segment.start + 0.2)) const frames = useMemo(() => job ? [...job.frames].sort((a, b) => a.timestamp - b.timestamp) : [], [job]) - const selectedReferenceFrames = useMemo( - () => frames.filter((frame) => selectedFrames.has(frame.index)), - [frames, selectedFrames], - ) const waveTimeHint = waveHoverTime !== null ? `指针停点 ${waveHoverTime.toFixed(1)}s` : activeSegment @@ -2663,29 +2661,23 @@ function AudioIntakePanel({
- void extractKeyframes()} onDeleteFrame={onDeleteFrame ? (idx) => void deleteReferenceFrame(idx) : undefined} + onJobUpdate={onJobUpdate} + runtimeModels={runtimeModels} filmstripDragging={filmstripDragTime !== null} onDropFilmstripFrame={(time) => void addFilmstripFrame(time)} />
- -
@@ -2954,6 +2946,490 @@ function FilmstripDensityControls({ ) } +function SourceSubjectPipeline({ + job, + frames, + selectedFrames, + extracting, + deletingFrame, + onToggleFrame, + onExtract, + onDeleteFrame, + onJobUpdate, + runtimeModels, + filmstripDragging, + onDropFilmstripFrame, +}: { + job: Job + frames: KeyFrame[] + selectedFrames: Set + extracting: boolean + deletingFrame: number | null + onToggleFrame: (idx: number) => void + onExtract: () => void + onDeleteFrame?: (idx: number) => void + onJobUpdate: (job: Job) => void + runtimeModels?: RuntimeModels + filmstripDragging?: boolean + onDropFilmstripFrame?: (time: number) => void +}) { + const [referenceDropActive, setReferenceDropActive] = useState(false) + const [conversionDropActive, setConversionDropActive] = useState(false) + const [conversionFrameIndices, setConversionFrameIndices] = useState([]) + const [subjectStyle, setSubjectStyle] = useState("transparent_human") + const [subjectViewMode, setSubjectViewMode] = useState("all") + const [subjectDirection, setSubjectDirection] = useState("") + const [subjectBusyFor, setSubjectBusyFor] = useState<{ jobId: string; jobLabel: string; viewCount: number; sourceCount: number; profileLabel: string } | null>(null) + const [subjectAssetBusy, setSubjectAssetBusy] = useState(null) + const [lastSubjectProfile, setLastSubjectProfile] = useState(null) + const subjectBusy = !!subjectBusyFor + const selectedSubjectViews = subjectViewMode === "common" + ? COMMON_SUBJECT_VIEW_VALUES + : SUBJECT_ASSET_VIEWS.map((view) => view.value) + const conversionFrames = useMemo( + () => conversionFrameIndices + .map((index) => frames.find((frame) => frame.index === index)) + .filter((frame): frame is KeyFrame => !!frame), + [conversionFrameIndices, frames], + ) + const actorSource = useMemo( + () => findSimilarActorSource(conversionFrames.length ? conversionFrames : frames, frames), + [conversionFrames, frames], + ) + const visibleActorAssets = useMemo(() => { + const latestByView = new Map() + for (const asset of actorSource?.element.subject_assets ?? []) { + const current = latestByView.get(asset.view) + if (!current || (asset.created_at || 0) >= (current.created_at || 0)) latestByView.set(asset.view, asset) + } + return [...latestByView.values()].sort((a, b) => { + const ai = SUBJECT_VIEW_ORDER.indexOf(a.view) + const bi = SUBJECT_VIEW_ORDER.indexOf(b.view) + return (ai === -1 ? 99 : ai) - (bi === -1 ? 99 : bi) + }) + }, [actorSource]) + + useEffect(() => { + setConversionFrameIndices([]) + setLastSubjectProfile(null) + setSubjectBusyFor(null) + setSubjectAssetBusy(null) + }, [job.id]) + + useEffect(() => { + setConversionFrameIndices((current) => current.filter((index) => frames.some((frame) => frame.index === index))) + }, [frames]) + + const buildSubjectProfileForRequest = () => { + const resolved = resolveSubjectProfile("random", randomSubjectProfileDraft()) + setLastSubjectProfile(resolved) + return resolved + } + + const generateSubjectPack = async (sourceIndices = conversionFrameIndices) => { + if (subjectBusyFor) { + toast.warning("主体套图正在生成中,完成后再重生。") + return + } + const sourceFrames = sourceIndices + .map((index) => frames.find((frame) => frame.index === index)) + .filter((frame): frame is KeyFrame => !!frame) + if (!sourceFrames.length) { + toast.warning("先把参考帧拖到转换层。") + return + } + const baseFrame = sourceFrames[0] + const requestJobId = job.id + const requestProfile = buildSubjectProfileForRequest() + setSubjectBusyFor({ + jobId: requestJobId, + jobLabel: shortId(requestJobId), + viewCount: selectedSubjectViews.length, + sourceCount: sourceFrames.length, + profileLabel: requestProfile.summary, + }) + try { + let workingJob = job + let workingFrame = workingJob.frames.find((frame) => frame.index === baseFrame.index) ?? baseFrame + let element = workingFrame.elements?.find(isSimilarActorElement) + if (!element) { + workingJob = await addElement(requestJobId, baseFrame.index, { + name_zh: subjectStyle === "transparent_human" ? "参考创新透明骨架主体" : "参考创新广告主角", + name_en: subjectStyle === "transparent_human" ? "reference inspired transparent skeleton humanoid subject" : "reference inspired ad actor", + position: "generated from conversion layer reference frames", + source: "manual", + }) + onJobUpdate(workingJob) + workingFrame = workingJob.frames.find((frame) => frame.index === baseFrame.index) ?? workingFrame + element = workingFrame.elements?.find(isSimilarActorElement) + ?? workingFrame.elements?.[workingFrame.elements.length - 1] + } + if (!element) throw new Error("subject element missing") + + const updated = await generateSubjectAssets(requestJobId, baseFrame.index, element.id, { + subject_kind: "living", + subject_style: subjectStyle, + reconstruction_mode: "similar", + background: "white", + size: SUBJECT_ASSET_SIZE, + source_frame_indices: sourceFrames.slice(0, 8).map((frame) => frame.index), + views: selectedSubjectViews, + subject_profile: requestProfile.payload, + prompt: buildSimilarSubjectPrompt(subjectStyle, subjectDirection, null, requestProfile), + replace_views: true, + }) + onJobUpdate(updated) + toast.success(`主体套图已生成:${selectedSubjectViews.length} 张`) + } catch (e) { + try { + onJobUpdate(await getJob(requestJobId)) + } catch { /* keep original error visible */ } + toast.error("主体套图生成失败:" + (e instanceof Error ? e.message : String(e))) + } finally { + setSubjectBusyFor(null) + } + } + + const addConversionFrame = (frame: KeyFrame) => { + const existed = conversionFrameIndices.includes(frame.index) + const next = existed + ? conversionFrameIndices + : [...conversionFrameIndices, frame.index].slice(0, 6) + setConversionFrameIndices(next) + if (existed) { + toast.info("这张参考帧已经在转换层。") + return + } + toast.info(`已加入转换层:${frame.timestamp.toFixed(1)}s,开始生成主体套图。`) + void generateSubjectPack(next) + } + + const removeConversionFrame = (frameIndex: number) => { + setConversionFrameIndices((current) => current.filter((index) => index !== frameIndex)) + } + + const regenerateSubjectAsset = async (asset: SubjectAsset) => { + if (!actorSource) return + const sourceIndices = asset.source_frame_indices?.length + ? asset.source_frame_indices + : conversionFrames.map((frame) => frame.index) + if (!sourceIndices.length) { + toast.warning("转换层没有参考帧,不能重生。") + return + } + setSubjectAssetBusy(`regen:${asset.id}`) + try { + const requestProfile = lastSubjectProfile ?? buildSubjectProfileForRequest() + const updated = await generateSubjectAssets(job.id, actorSource.frame.index, actorSource.element.id, { + subject_kind: "living", + subject_style: subjectStyle, + reconstruction_mode: "similar", + background: asset.background || "white", + size: SUBJECT_ASSET_SIZE, + source_frame_indices: sourceIndices, + views: [asset.view], + subject_profile: requestProfile.payload, + prompt: buildSimilarSubjectPrompt(subjectStyle, subjectDirection, null, requestProfile), + replace_views: true, + }) + onJobUpdate(updated) + toast.success("已重新生成这张主体元素") + } catch (e) { + toast.error("主体元素重生失败:" + (e instanceof Error ? e.message : String(e))) + } finally { + setSubjectAssetBusy(null) + } + } + + const deleteActorAsset = async (asset: SubjectAsset) => { + if (!actorSource) return + setSubjectAssetBusy(`delete:${asset.id}`) + try { + const updated = await deleteSubjectAsset(job.id, actorSource.frame.index, actorSource.element.id, asset.id) + onJobUpdate(updated) + toast.success("主体元素已删除") + } catch (e) { + toast.error("主体元素删除失败:" + (e instanceof Error ? e.message : String(e))) + } finally { + setSubjectAssetBusy(null) + } + } + + return ( +
+
+
+ } title="参考帧池" /> + +
+
{ + if (!onDropFilmstripFrame) return + event.preventDefault() + setReferenceDropActive(true) + }} + onDragOver={(event) => { + if (!onDropFilmstripFrame) return + event.preventDefault() + event.dataTransfer.dropEffect = "copy" + }} + onDragLeave={(event) => { + const next = event.relatedTarget as Node | null + if (next && event.currentTarget.contains(next)) return + setReferenceDropActive(false) + }} + onDrop={(event) => { + if (!onDropFilmstripFrame) return + event.preventDefault() + setReferenceDropActive(false) + const raw = event.dataTransfer.getData(FILMSTRIP_DRAG_TYPE) + const time = Number(raw) + if (Number.isFinite(time)) onDropFilmstripFrame(time) + }} + > +
+ {frames.length} 张 + {filmstripDragging ? "松手加入" : "拖到转换层"} +
+
+ {frames.map((frame, index) => { + const selected = selectedFrames.has(frame.index) + return ( +
{ + event.dataTransfer.setData(SOURCE_KEYFRAME_DRAG_TYPE, String(frame.index)) + event.dataTransfer.effectAllowed = "copy" + }} + className="relative" + > + onToggleFrame(frame.index)} + topLeft={{String(index + 1).padStart(2, "0")}} + topRight={{conversionFrameIndices.includes(frame.index) ? : selected ? : }} + onDelete={onDeleteFrame ? () => onDeleteFrame(frame.index) : undefined} + deleting={deletingFrame === frame.index} + deleteLabel={`删除参考帧 ${index + 1}`} + /> +
+ ) + })} + {!frames.length && ( +
+ 自动抽帧,或从上方胶片拖入。 +
+ )} +
+
+
+ +
+
+ } title="转换层" /> + +
+
{ + if (!Array.from(event.dataTransfer.types).includes(SOURCE_KEYFRAME_DRAG_TYPE)) return + event.preventDefault() + setConversionDropActive(true) + }} + onDragOver={(event) => { + if (!Array.from(event.dataTransfer.types).includes(SOURCE_KEYFRAME_DRAG_TYPE)) return + event.preventDefault() + event.dataTransfer.dropEffect = "copy" + }} + onDragLeave={(event) => { + const next = event.relatedTarget as Node | null + if (next && event.currentTarget.contains(next)) return + setConversionDropActive(false) + }} + onDrop={(event) => { + event.preventDefault() + setConversionDropActive(false) + const frameIndex = Number(event.dataTransfer.getData(SOURCE_KEYFRAME_DRAG_TYPE)) + const frame = frames.find((item) => item.index === frameIndex) + if (frame) addConversionFrame(frame) + }} + > +
+ 拖入 1-2 张参考帧后自动生成主体套图;这里做参考创新,不抠原图。 +
+
+ {conversionFrames.map((frame, index) => ( +
+ {String(index + 1).padStart(2, "0")}} + /> + +
+ ))} + {!conversionFrames.length ? ( +
+ 把左侧参考帧拖到这里。 +
+ ) : null} +
+ +
+
+ {[ + { value: "transparent_human" as const, label: "透明骨架" }, + { value: "source_actor" as const, label: "真人" }, + ].map((item) => ( + + ))} +
+
+ {[ + { value: "all" as const, label: `完整 ${SUBJECT_ASSET_VIEWS.length}` }, + { value: "common" as const, label: `常用 ${COMMON_SUBJECT_VIEW_VALUES.length}` }, + ].map((item) => ( + + ))} +
+ setSubjectDirection(event.target.value)} + placeholder="统一方向:更年轻 / 更高级 / 运动感" + className="h-9 w-full rounded-md border border-white/10 bg-black/35 px-2.5 text-[11px] text-white outline-none placeholder:text-white/28 focus:border-cyan-300/50" + /> + + {lastSubjectProfile ? ( +
+ 上次锁定人设:{lastSubjectProfile.summary} +
+ ) : null} +
+
+
+ +
+
+ } title="主体元素" /> + + {visibleActorAssets.length ? `${visibleActorAssets.length} 张` : "待生成"} + +
+
+ {subjectBusyFor ? ( +
+ 正在生成 {subjectBusyFor.viewCount} 张主体元素;参考帧 {subjectBusyFor.sourceCount} 张。 + 主体设定:{subjectBusyFor.profileLabel} +
+ ) : null} + {visibleActorAssets.length ? ( +
+ {visibleActorAssets.map((asset) => { + const busyMode = subjectAssetBusy?.endsWith(asset.id) ? subjectAssetBusy.split(":")[0] : "" + return ( + , + tone: "cyan", + busy: busyMode === "regen", + disabled: !!subjectAssetBusy || subjectBusy, + onClick: () => void regenerateSubjectAsset(asset), + }]} + onDelete={() => void deleteActorAsset(asset)} + deleting={busyMode === "delete"} + deleteDisabled={!!subjectAssetBusy || subjectBusy} + deleteLabel="删除这一张" + /> + ) + })} +
+ ) : ( +
+ 转换层生成完成后,这里会展示可用于后续分镜的主体套图。 +
+ )} +
+
+
+ ) +} + function SourceKeyframePicker({ job, frames,