feat: add storyboard script rewriting

2026-05-17 20:52:52 +08:00
parent db248221f7
commit 096f201470
2 changed files with 54 additions and 25 deletions
--- a/api/main.py
+++ b/api/main.py
@@ -2618,17 +2618,22 @@ def translate_text(req: TranslateReq) -> dict:


 def _fallback_script_rewrite_item(segment: ScriptRewriteSegmentReq, author_intent: str = "") -> dict:
-    text = (segment.current_text or "").strip()
    source = (segment.source or "").strip()
    intent = (author_intent or "").strip()
-    if text:
-        rewritten = text
-    elif source:
-        rewritten = f"这一段按原片节奏切到 SKG 肩颈按摩仪，把{source[:28]}转成肩颈放松场景。"
-    else:
-        rewritten = "这一段延续原片节奏，把画面和口播落到 SKG 肩颈放松体验。"
-    if intent and intent not in rewritten:
-        rewritten = f"{rewritten} {intent[:48]}"
+    role = segment.role or ""
+    templates = {
+        "开场钩子": "你有没有发现，低头久了以后，脖子和肩膀会先替你喊累。",
+        "痛点推进": "刷手机、坐电脑、赶通勤叠在一起，肩颈很容易一直绷着放不下来。",
+        "利益证明": "SKG 这种挂脖按摩仪，重点就是贴住肩颈位置，把热敷感和揉按感带到真正紧的地方。",
+        "方案过渡": "这一段可以直接拍拿起、戴上、贴合，让产品自然进入日常放松场景。",
+        "转化收口": "如果你也想把肩颈放松变成每天的小习惯，可以从这台 SKG 开始。",
+        "节奏承接": "顺着原片节奏，把这一句落到一个具体的肩颈使用场景里。",
+    }
+    rewritten = templates.get(role, templates["节奏承接"])
+    if source and role not in {"开场钩子", "转化收口"}:
+        rewritten = f"{rewritten} 原片这一句的节奏可以保留，但内容换成 SKG 的佩戴和放松体验。"
+    if intent:
+        rewritten = f"{rewritten} 语气按作者想法处理：{intent[:44]}。"
    return {"index": segment.index, "text": rewritten[:220]}


@@ -2695,21 +2700,31 @@ def _rewrite_storyboard_script_sync(req: RewriteStoryboardScriptReq) -> list[dic
        + json.dumps(payload, ensure_ascii=False)
        + '\n\n只输出严格 JSON：{"items":[{"index":0,"text":"改写后的中文口播"}]}'
    )
-    try:
-        resp = llm().chat.completions.create(
-            model=AUDIO_REWRITE_MODEL,
-            messages=[
-                {"role": "system", "content": "只返回合法 JSON，不要 markdown，不要解释。"},
-                {"role": "user", "content": prompt},
-            ],
-            response_format={"type": "json_object"},
-            temperature=0.68 if req.mode == "all" else 0.62,
-            max_tokens=max(900, min(5000, 180 * len(segments) + 500)),
-        )
-        raw = (resp.choices[0].message.content or "").strip()
-        return _parse_script_rewrite_items(raw, segments, author_intent)
-    except Exception:
-        return [_fallback_script_rewrite_item(segment, author_intent) for segment in segments]
+    models = []
+    for model in [AUDIO_REWRITE_MODEL, ASR_FALLBACK_MODEL, TRANSLATE_MODEL]:
+        if model and model not in models:
+            models.append(model)
+    for model in models:
+        try:
+            resp = llm().chat.completions.create(
+                model=model,
+                messages=[
+                    {"role": "system", "content": "只返回合法 JSON，不要 markdown，不要解释。"},
+                    {"role": "user", "content": prompt},
+                ],
+                response_format={"type": "json_object"},
+                temperature=0.68 if req.mode == "all" else 0.62,
+                max_tokens=max(900, min(5000, 180 * len(segments) + 500)),
+            )
+            message = resp.choices[0].message
+            raw = (message.content or getattr(message, "reasoning_content", "") or "").strip()
+            items = _parse_script_rewrite_items(raw, segments, author_intent)
+            if any((item.get("text") or "").strip() for item in items):
+                return items
+        except Exception as e:
+            print(f"[script rewrite fallback] {model}: {e}", flush=True)
+            continue
+    return [_fallback_script_rewrite_item(segment, author_intent) for segment in segments]


@app.post("/jobs/{job_id}/script/rewrite")
--- a/docs/source-analysis.html
+++ b/docs/source-analysis.html
@@ -589,7 +589,7 @@
                <tr><td><code>web/next.config.mjs</code></td><td>Next.js 构建配置：静态导出、图片不走优化、禁用开发环境左下角 Next Dev Indicator，并移除 Next 16 已不支持的 <code>eslint</code> 顶层配置，避免本地 dev 出现配置 Issue 提示。</td></tr>
                <tr><td><code>web/app/globals.css</code></td><td>全局主题变量、登录页视觉样式、ReactFlow 样式引用，以及本地开发态 <code>nextjs-portal</code> 遮挡隐藏规则。</td></tr>
                <tr><td><code>web/app/page.tsx</code></td><td>产品工作台主状态：jobs、activeJobId、生成任务状态；主渲染为全屏素材输入列 + 信息流广告复刻工作表；“开始”编排状态只负责在下载完成后自动触发 <code>triggerTranscribe</code>，不再默认触发抽帧、Vision 扫描或分镜初稿保存；底部吸附音频条不再从主界面渲染。</td></tr>
-                <tr><td><code>web/components/ad-recreation-board.tsx</code></td><td>信息流广告复刻工作表：左侧素材输入；右侧展示视频下载状态、默认折叠的音频文案依据，以及统一的音频解析结果面板；面板顶部是一行讲话人/节奏/背景音摘要，下方左侧为原视频播放器、右侧为逐句时间轴，底部横向音频波形用参考图式的连续灰色包络显示响度、停顿和密集爆点。视频播放时通过 <code>requestAnimationFrame</code> 平滑驱动波形播放线，同时同步高亮并滚动当前句；点击音频波形或字幕行会跳转原视频时间。音频结果下方是信息流复刻分镜工作台：顶部产品参考区是“同一产品素材池”，不限量上传产品图，不做不同产品身份判断；上传原图推荐长边 1200-2000px、短边至少 600px，但后端会统一生成最长边 1600px、JPEG 92 的 AI 工作副本，并回显尺寸、自动转换和风险标注；上传后按“套在脖子上的 U 形肩颈按摩仪”进行同一产品批量识别，左/右按佩戴者身体左右、上/下按佩戴方向，额外标注内外侧、开口方向、局部结构点、背景类型、用途标签、生成风险和备注，用户只检查备注，鼠标悬停通过固定浮层显示大图预览，能盖过滚动容器和分镜框架；缺视角补图失败时保留重试入口。每条音频分镜纵向排列，行内从左到右串起原内容、新口播文案、画面规划/产品融入、参考帧/关键元素和 6 个候选视频槽。单条生成会从产品素材池按分镜角色、视角优先级、用途标签、置信度和风险自动挑选最多 6 张相关产品图，不会把全部产品图提交给生视频模型，然后把产品坐标系、视角标注、方向、结构点和风险写入 Seedance 提示。旧分镜卡、抽帧控制和视频生成组件仍保留在文件里，但当前主路径不渲染。</td></tr>
+                <tr><td><code>web/components/ad-recreation-board.tsx</code></td><td>信息流广告复刻工作表：左侧素材输入；右侧展示视频下载状态、默认折叠的音频文案依据，以及统一的音频解析结果面板；面板顶部是一行讲话人/节奏/背景音摘要，下方左侧为原视频播放器、右侧为逐句时间轴，底部横向音频波形用参考图式的连续灰色包络显示响度、停顿和密集爆点。视频播放时通过 <code>requestAnimationFrame</code> 平滑驱动波形播放线，同时同步高亮并滚动当前句；点击音频波形或字幕行会跳转原视频时间。音频结果下方是信息流复刻分镜工作台：顶部产品参考区是“同一产品素材池”，不限量上传产品图，不做不同产品身份判断；上传原图推荐长边 1200-2000px、短边至少 600px，但后端会统一生成最长边 1600px、JPEG 92 的 AI 工作副本，并回显尺寸、自动转换和风险标注；上传后按“套在脖子上的 U 形肩颈按摩仪”进行同一产品批量识别，左/右按佩戴者身体左右、上/下按佩戴方向，额外标注内外侧、开口方向、局部结构点、背景类型、用途标签、生成风险和备注，用户只检查备注，鼠标悬停通过固定浮层显示大图预览，能盖过滚动容器和分镜框架；缺视角补图失败时保留重试入口。脚本区在分镜行上方提供“作者想法”和“整片改写”，每行新口播文案可直接编辑并可单段 AI 改写，原内容和新文案列压缩为紧凑脚本列；生成本条视频时使用当前编辑后的新口播文案。每条音频分镜纵向排列，行内从左到右串起原内容、新口播文案、画面规划/产品融入、参考帧/关键元素和 6 个候选视频槽。单条生成会从产品素材池按分镜角色、视角优先级、用途标签、置信度和风险自动挑选最多 6 张相关产品图，不会把全部产品图提交给生视频模型，然后把产品坐标系、视角标注、方向、结构点和风险写入 Seedance 提示。旧分镜卡、抽帧控制和视频生成组件仍保留在文件里，但当前主路径不渲染。</td></tr>
                <tr><td><code>web/app/login/page.tsx</code></td><td>生产登录页：访问账号/访问密钥表单、保持登录、错误/成功状态；当前只在原版 Digital Oasis 动态背景上叠加一个组合登录框，桌面端左侧是动态角色，右侧是图标化登录表单；面板左上角展示官网 SKG 字标和中文“营销内容工作台”系统标识。</td></tr>
                <tr><td><code>web/app/login/layout.tsx</code></td><td>登录路由专属 layout：覆盖全站默认网页标题和描述为空，避免 <code>/login</code> 继承工作台 metadata 后在页面源码里继续出现登录界面文字以外的文案。</td></tr>
                <tr><td><code>web/components/login/oasis-canvas.tsx</code></td><td>登录页全屏动态视觉层：用 iframe 直接承载下载包 <code>web/public/oasis-source/index.html</code> 的原 WebGPU / Three.js 草场源码；父级登录页只覆盖自己的文案和表单，并在捕获阶段把全局鼠标坐标同时用原生事件和 <code>postMessage</code> 转发给 iframe，避免登录面板或输入框遮挡时草地失去鼠标响应。</td></tr>
@@ -860,6 +860,7 @@ SubjectAsset {
            <tr><td>删除输入视频</td><td><code>DELETE /jobs/{id}</code></td><td><code>deleteJob</code></td><td>从任务队列、URL 和磁盘 <code>jobs/&lt;id&gt;</code> 目录移除整个 job，包括源视频、关键帧、元素提取图和生成视频。</td></tr>
            <tr><td>解析视频</td><td><code>POST /jobs/{id}/analyze?frames=&amp;target=&amp;mode=&amp;quality=</code></td><td><code>analyzeJob</code></td><td>后续阶段保留的抽帧能力。默认 <code>frames=12</code>；<code>target</code> 支持透明骨架人、综合、清晰主体、转场变化、表情瞬间、动作峰值。当前第一步主流程不自动调用该接口。</td></tr>
            <tr><td>音频文案轨</td><td><code>POST /jobs/{id}/transcribe</code></td><td><code>triggerTranscribe</code></td><td>若尚未拆轨，先从 <code>source.mp4</code> 提取 <code>audio.wav</code> 并回填 <code>source_audio_url</code>；随后用 ASR 提取原始文案，翻译成中文，写入 <code>audio_script.source_text</code>、<code>source_zh</code> 和逐句 <code>transcript</code>。远端 <code>ASR_MODEL</code> 失败后先走本机 <code>LOCAL_ASR_BIN</code>/<code>LOCAL_ASR_MODEL</code>（默认 <code>mlx_whisper</code>），再尝试 <code>ASR_FALLBACK_MODEL</code>。后端会拒绝重复文本、逐秒假字幕或覆盖率过低的结果，不再把不可听的多模态输出写进时间轴。再用 <code>ASR_FALLBACK_MODEL</code> 多模态音频分析讲话人、语速节奏、停顿、背景音乐/环境声/音效，写入 <code>speaker_profile</code>、<code>rhythm_profile</code>、<code>background_audio_profile</code>。当前第一步不默认生成 SKG 新口播和 MiniMax 配音。</td></tr>
+            <tr><td>分镜脚本改写</td><td><code>POST /jobs/{id}/script/rewrite</code></td><td><code>rewriteStoryboardScript</code></td><td>根据原参考文案、当前新口播、分镜角色、时间段和作者想法改写中文口播。<code>mode=segment</code> 只改一段；<code>mode=all</code> 一次改完整片，要求整片前后连贯。接口只返回 <code>items[index,text]</code>，前端暂存在当前页面状态里，生成本条视频时写入 <code>StoryboardScene.action</code>。</td></tr>
            <tr><td>原始音频文件</td><td><code>GET /jobs/{id}/audio.wav</code></td><td><code>sourceAudioUrl</code></td><td>返回拆轨得到的 wav；当前主界面不再渲染底部吸附音频条，右侧复刻工作表会读取该文件生成参考图式横向响度波形，并和原视频、逐句时间轴联动。</td></tr>
            <tr><td>改写配音文件</td><td><code>GET /jobs/{id}/audio-script.mp3</code></td><td><code>apiAssetUrl(job.audio_script.voice_url)</code></td><td>后续新配音阶段保留的 MiniMax T2A 产物。当前第一步不默认生成该文件。</td></tr>
            <tr><td>手动加帧</td><td><code>POST /jobs/{id}/frames?t=</code></td><td><code>addManualFrame</code></td><td>按视频时间戳抽一帧，index 递增但 frames 按 timestamp 排序。</td></tr>
@@ -984,6 +985,19 @@ SubjectAsset {
        <h2>变更记录</h2>
        <p>这个记录不是 git log 的替代品。它记录“产品理解发生了什么变化、影响了哪些源码、你以后描述需求时该怎么说”。后续每次改功能都要补一条。</p>
        <div class="changelog">
+          <article class="change">
+            <header>
+              <h3>2026-05-17 · 分镜脚本支持单段和整片 AI 改写</h3>
+              <span class="tag blue">API</span>
+              <span class="tag rose">UI</span>
+              <span class="tag cyan">Workflow</span>
+            </header>
+            <div class="body">
+              <p><strong>问题：</strong>“原内容 / 新口播文案”两列占用空间偏多，并且新口播只是固定模板，不能按作者想法或原片节奏继续改写；单条生成前也无法微调文案。</p>
+              <p><strong>改动：</strong><code>AudioStoryboardPlanPanel</code> 在脚本区上方新增作者想法输入、整片改写和还原初稿；每行新口播改成可编辑 <code>textarea</code>，并提供“单段改写”。新增 <code>POST /jobs/{id}/script/rewrite</code> 和前端 <code>rewriteStoryboardScript</code>，后端根据原参考文案、当前新文案、分镜角色、时间段和作者想法返回中文口播。</p>
+              <p><strong>影响：</strong><code>api/main.py</code>、<code>web/lib/api.ts</code>、<code>web/components/ad-recreation-board.tsx</code>、<code>docs/source-analysis.html</code>。当前改写结果是页面级脚本状态，点击“生成本条”时会写入对应 <code>StoryboardScene.action</code>；后续如果要刷新后保留，应新增 job 级脚本草稿持久化字段。</p>
+            </div>
+          </article>
          <article class="change">
            <header>
              <h3>2026-05-17 · 产品图识别加入肩颈按摩仪坐标系</h3>