diff --git a/api/main.py b/api/main.py
index 5018bcb..be364d8 100644
--- a/api/main.py
+++ b/api/main.py
@@ -2618,17 +2618,22 @@ def translate_text(req: TranslateReq) -> dict:
def _fallback_script_rewrite_item(segment: ScriptRewriteSegmentReq, author_intent: str = "") -> dict:
- text = (segment.current_text or "").strip()
source = (segment.source or "").strip()
intent = (author_intent or "").strip()
- if text:
- rewritten = text
- elif source:
- rewritten = f"这一段按原片节奏切到 SKG 肩颈按摩仪,把{source[:28]}转成肩颈放松场景。"
- else:
- rewritten = "这一段延续原片节奏,把画面和口播落到 SKG 肩颈放松体验。"
- if intent and intent not in rewritten:
- rewritten = f"{rewritten} {intent[:48]}"
+ role = segment.role or ""
+ templates = {
+ "开场钩子": "你有没有发现,低头久了以后,脖子和肩膀会先替你喊累。",
+ "痛点推进": "刷手机、坐电脑、赶通勤叠在一起,肩颈很容易一直绷着放不下来。",
+ "利益证明": "SKG 这种挂脖按摩仪,重点就是贴住肩颈位置,把热敷感和揉按感带到真正紧的地方。",
+ "方案过渡": "这一段可以直接拍拿起、戴上、贴合,让产品自然进入日常放松场景。",
+ "转化收口": "如果你也想把肩颈放松变成每天的小习惯,可以从这台 SKG 开始。",
+ "节奏承接": "顺着原片节奏,把这一句落到一个具体的肩颈使用场景里。",
+ }
+ rewritten = templates.get(role, templates["节奏承接"])
+ if source and role not in {"开场钩子", "转化收口"}:
+ rewritten = f"{rewritten} 原片这一句的节奏可以保留,但内容换成 SKG 的佩戴和放松体验。"
+ if intent:
+ rewritten = f"{rewritten} 语气按作者想法处理:{intent[:44]}。"
return {"index": segment.index, "text": rewritten[:220]}
@@ -2695,21 +2700,31 @@ def _rewrite_storyboard_script_sync(req: RewriteStoryboardScriptReq) -> list[dic
+ json.dumps(payload, ensure_ascii=False)
+ '\n\n只输出严格 JSON:{"items":[{"index":0,"text":"改写后的中文口播"}]}'
)
- try:
- resp = llm().chat.completions.create(
- model=AUDIO_REWRITE_MODEL,
- messages=[
- {"role": "system", "content": "只返回合法 JSON,不要 markdown,不要解释。"},
- {"role": "user", "content": prompt},
- ],
- response_format={"type": "json_object"},
- temperature=0.68 if req.mode == "all" else 0.62,
- max_tokens=max(900, min(5000, 180 * len(segments) + 500)),
- )
- raw = (resp.choices[0].message.content or "").strip()
- return _parse_script_rewrite_items(raw, segments, author_intent)
- except Exception:
- return [_fallback_script_rewrite_item(segment, author_intent) for segment in segments]
+ models = []
+ for model in [AUDIO_REWRITE_MODEL, ASR_FALLBACK_MODEL, TRANSLATE_MODEL]:
+ if model and model not in models:
+ models.append(model)
+ for model in models:
+ try:
+ resp = llm().chat.completions.create(
+ model=model,
+ messages=[
+ {"role": "system", "content": "只返回合法 JSON,不要 markdown,不要解释。"},
+ {"role": "user", "content": prompt},
+ ],
+ response_format={"type": "json_object"},
+ temperature=0.68 if req.mode == "all" else 0.62,
+ max_tokens=max(900, min(5000, 180 * len(segments) + 500)),
+ )
+ message = resp.choices[0].message
+ raw = (message.content or getattr(message, "reasoning_content", "") or "").strip()
+ items = _parse_script_rewrite_items(raw, segments, author_intent)
+ if any((item.get("text") or "").strip() for item in items):
+ return items
+ except Exception as e:
+ print(f"[script rewrite fallback] {model}: {e}", flush=True)
+ continue
+ return [_fallback_script_rewrite_item(segment, author_intent) for segment in segments]
@app.post("/jobs/{job_id}/script/rewrite")
diff --git a/docs/source-analysis.html b/docs/source-analysis.html
index 0a1f358..a36ed68 100644
--- a/docs/source-analysis.html
+++ b/docs/source-analysis.html
@@ -589,7 +589,7 @@
web/next.config.mjs | Next.js 构建配置:静态导出、图片不走优化、禁用开发环境左下角 Next Dev Indicator,并移除 Next 16 已不支持的 eslint 顶层配置,避免本地 dev 出现配置 Issue 提示。 |
web/app/globals.css | 全局主题变量、登录页视觉样式、ReactFlow 样式引用,以及本地开发态 nextjs-portal 遮挡隐藏规则。 |
web/app/page.tsx | 产品工作台主状态:jobs、activeJobId、生成任务状态;主渲染为全屏素材输入列 + 信息流广告复刻工作表;“开始”编排状态只负责在下载完成后自动触发 triggerTranscribe,不再默认触发抽帧、Vision 扫描或分镜初稿保存;底部吸附音频条不再从主界面渲染。 |
- web/components/ad-recreation-board.tsx | 信息流广告复刻工作表:左侧素材输入;右侧展示视频下载状态、默认折叠的音频文案依据,以及统一的音频解析结果面板;面板顶部是一行讲话人/节奏/背景音摘要,下方左侧为原视频播放器、右侧为逐句时间轴,底部横向音频波形用参考图式的连续灰色包络显示响度、停顿和密集爆点。视频播放时通过 requestAnimationFrame 平滑驱动波形播放线,同时同步高亮并滚动当前句;点击音频波形或字幕行会跳转原视频时间。音频结果下方是信息流复刻分镜工作台:顶部产品参考区是“同一产品素材池”,不限量上传产品图,不做不同产品身份判断;上传原图推荐长边 1200-2000px、短边至少 600px,但后端会统一生成最长边 1600px、JPEG 92 的 AI 工作副本,并回显尺寸、自动转换和风险标注;上传后按“套在脖子上的 U 形肩颈按摩仪”进行同一产品批量识别,左/右按佩戴者身体左右、上/下按佩戴方向,额外标注内外侧、开口方向、局部结构点、背景类型、用途标签、生成风险和备注,用户只检查备注,鼠标悬停通过固定浮层显示大图预览,能盖过滚动容器和分镜框架;缺视角补图失败时保留重试入口。每条音频分镜纵向排列,行内从左到右串起原内容、新口播文案、画面规划/产品融入、参考帧/关键元素和 6 个候选视频槽。单条生成会从产品素材池按分镜角色、视角优先级、用途标签、置信度和风险自动挑选最多 6 张相关产品图,不会把全部产品图提交给生视频模型,然后把产品坐标系、视角标注、方向、结构点和风险写入 Seedance 提示。旧分镜卡、抽帧控制和视频生成组件仍保留在文件里,但当前主路径不渲染。 |
+ web/components/ad-recreation-board.tsx | 信息流广告复刻工作表:左侧素材输入;右侧展示视频下载状态、默认折叠的音频文案依据,以及统一的音频解析结果面板;面板顶部是一行讲话人/节奏/背景音摘要,下方左侧为原视频播放器、右侧为逐句时间轴,底部横向音频波形用参考图式的连续灰色包络显示响度、停顿和密集爆点。视频播放时通过 requestAnimationFrame 平滑驱动波形播放线,同时同步高亮并滚动当前句;点击音频波形或字幕行会跳转原视频时间。音频结果下方是信息流复刻分镜工作台:顶部产品参考区是“同一产品素材池”,不限量上传产品图,不做不同产品身份判断;上传原图推荐长边 1200-2000px、短边至少 600px,但后端会统一生成最长边 1600px、JPEG 92 的 AI 工作副本,并回显尺寸、自动转换和风险标注;上传后按“套在脖子上的 U 形肩颈按摩仪”进行同一产品批量识别,左/右按佩戴者身体左右、上/下按佩戴方向,额外标注内外侧、开口方向、局部结构点、背景类型、用途标签、生成风险和备注,用户只检查备注,鼠标悬停通过固定浮层显示大图预览,能盖过滚动容器和分镜框架;缺视角补图失败时保留重试入口。脚本区在分镜行上方提供“作者想法”和“整片改写”,每行新口播文案可直接编辑并可单段 AI 改写,原内容和新文案列压缩为紧凑脚本列;生成本条视频时使用当前编辑后的新口播文案。每条音频分镜纵向排列,行内从左到右串起原内容、新口播文案、画面规划/产品融入、参考帧/关键元素和 6 个候选视频槽。单条生成会从产品素材池按分镜角色、视角优先级、用途标签、置信度和风险自动挑选最多 6 张相关产品图,不会把全部产品图提交给生视频模型,然后把产品坐标系、视角标注、方向、结构点和风险写入 Seedance 提示。旧分镜卡、抽帧控制和视频生成组件仍保留在文件里,但当前主路径不渲染。 |
web/app/login/page.tsx | 生产登录页:访问账号/访问密钥表单、保持登录、错误/成功状态;当前只在原版 Digital Oasis 动态背景上叠加一个组合登录框,桌面端左侧是动态角色,右侧是图标化登录表单;面板左上角展示官网 SKG 字标和中文“营销内容工作台”系统标识。 |
web/app/login/layout.tsx | 登录路由专属 layout:覆盖全站默认网页标题和描述为空,避免 /login 继承工作台 metadata 后在页面源码里继续出现登录界面文字以外的文案。 |
web/components/login/oasis-canvas.tsx | 登录页全屏动态视觉层:用 iframe 直接承载下载包 web/public/oasis-source/index.html 的原 WebGPU / Three.js 草场源码;父级登录页只覆盖自己的文案和表单,并在捕获阶段把全局鼠标坐标同时用原生事件和 postMessage 转发给 iframe,避免登录面板或输入框遮挡时草地失去鼠标响应。 |
@@ -860,6 +860,7 @@ SubjectAsset {
| 删除输入视频 | DELETE /jobs/{id} | deleteJob | 从任务队列、URL 和磁盘 jobs/<id> 目录移除整个 job,包括源视频、关键帧、元素提取图和生成视频。 |
| 解析视频 | POST /jobs/{id}/analyze?frames=&target=&mode=&quality= | analyzeJob | 后续阶段保留的抽帧能力。默认 frames=12;target 支持透明骨架人、综合、清晰主体、转场变化、表情瞬间、动作峰值。当前第一步主流程不自动调用该接口。 |
| 音频文案轨 | POST /jobs/{id}/transcribe | triggerTranscribe | 若尚未拆轨,先从 source.mp4 提取 audio.wav 并回填 source_audio_url;随后用 ASR 提取原始文案,翻译成中文,写入 audio_script.source_text、source_zh 和逐句 transcript。远端 ASR_MODEL 失败后先走本机 LOCAL_ASR_BIN/LOCAL_ASR_MODEL(默认 mlx_whisper),再尝试 ASR_FALLBACK_MODEL。后端会拒绝重复文本、逐秒假字幕或覆盖率过低的结果,不再把不可听的多模态输出写进时间轴。再用 ASR_FALLBACK_MODEL 多模态音频分析讲话人、语速节奏、停顿、背景音乐/环境声/音效,写入 speaker_profile、rhythm_profile、background_audio_profile。当前第一步不默认生成 SKG 新口播和 MiniMax 配音。 |
+ | 分镜脚本改写 | POST /jobs/{id}/script/rewrite | rewriteStoryboardScript | 根据原参考文案、当前新口播、分镜角色、时间段和作者想法改写中文口播。mode=segment 只改一段;mode=all 一次改完整片,要求整片前后连贯。接口只返回 items[index,text],前端暂存在当前页面状态里,生成本条视频时写入 StoryboardScene.action。 |
| 原始音频文件 | GET /jobs/{id}/audio.wav | sourceAudioUrl | 返回拆轨得到的 wav;当前主界面不再渲染底部吸附音频条,右侧复刻工作表会读取该文件生成参考图式横向响度波形,并和原视频、逐句时间轴联动。 |
| 改写配音文件 | GET /jobs/{id}/audio-script.mp3 | apiAssetUrl(job.audio_script.voice_url) | 后续新配音阶段保留的 MiniMax T2A 产物。当前第一步不默认生成该文件。 |
| 手动加帧 | POST /jobs/{id}/frames?t= | addManualFrame | 按视频时间戳抽一帧,index 递增但 frames 按 timestamp 排序。 |
@@ -984,6 +985,19 @@ SubjectAsset {
变更记录
这个记录不是 git log 的替代品。它记录“产品理解发生了什么变化、影响了哪些源码、你以后描述需求时该怎么说”。后续每次改功能都要补一条。
+
+
+ 2026-05-17 · 分镜脚本支持单段和整片 AI 改写
+ API
+ UI
+ Workflow
+
+
+
问题:“原内容 / 新口播文案”两列占用空间偏多,并且新口播只是固定模板,不能按作者想法或原片节奏继续改写;单条生成前也无法微调文案。
+
改动:AudioStoryboardPlanPanel 在脚本区上方新增作者想法输入、整片改写和还原初稿;每行新口播改成可编辑 textarea,并提供“单段改写”。新增 POST /jobs/{id}/script/rewrite 和前端 rewriteStoryboardScript,后端根据原参考文案、当前新文案、分镜角色、时间段和作者想法返回中文口播。
+
影响:api/main.py、web/lib/api.ts、web/components/ad-recreation-board.tsx、docs/source-analysis.html。当前改写结果是页面级脚本状态,点击“生成本条”时会写入对应 StoryboardScene.action;后续如果要刷新后保留,应新增 job 级脚本草稿持久化字段。
+
+
2026-05-17 · 产品图识别加入肩颈按摩仪坐标系