diff --git a/RULES.md b/RULES.md index 83524ff..1a2bf6b 100644 --- a/RULES.md +++ b/RULES.md @@ -11,7 +11,7 @@ - 详见 `CLAUDE.md` 立项决策段 + `.memory/plan.md` 七步管线拆解 - 风格：`04-Dark-Gallery-Ambient`（路径：`~/Projects/research/20260305-网页风格库/04-Dark-Gallery-Ambient.md`） - 第一冲刺：步骤 1-4（下载 / 拆轨 / 关键帧 / ASR+翻译） -- 当前产品方向（2026-05-25 单对话框版）：默认首页彻底从“信息流广告复刻管线”切换为多人通用的 SKG 营销内容生成入口，服务约 6 名公司成员同时使用。首页默认只保留一个中央对话框，不再显示侧栏、灵感区、任务列表或大结果面板；用户先选择四种生成方式之一：文生视频、文生图、首帧生视频、首尾帧生视频，然后手写提示词并点击生成。首帧 / 首尾帧模式只露必要图片上传位，视频模式只保留时长选择。用户登录后仍只看到自己的任务、结果和详情页，继续沿用后端 owner 隔离；结果生成后从对话框下方进入 `/detail/?job=` 沉淀参考图、生成图、视频候选和提示词。旧 TK 复刻工作台、Agent Cut 一键出片和营销图文方案保留为高级/详情页能力，不再作为默认首页入口或默认理解框架。 +- 当前产品方向（2026-05-25 单对话框版）：默认首页彻底从“信息流广告复刻管线”切换为多人通用的 SKG 营销内容生成入口，服务约 6 名公司成员同时使用。首页默认只保留一个中央对话框，不再显示侧栏、灵感区、任务列表或大结果面板；用户先选择四种生成方式之一：文生视频、文生图、首帧生视频、首尾帧生视频，然后手写提示词并点击生成。首帧 / 首尾帧模式只露必要图片上传位，视频模式只保留时长选择。后端 `/health` 向前端返回可选图片 / 视频模型，首页允许用户选择图片模型（自动、GPT Image 2、Gemini 图片兜底）和视频模型（Seedance、Kling、Veo 3 等别名；实际可用模型以环境变量映射为准）。用户登录后仍只看到自己的任务、结果和详情页，继续沿用后端 owner 隔离；结果生成后从对话框下方进入 `/detail/?job=` 沉淀参考图、生成图、视频候选和提示词。旧 TK 复刻工作台、Agent Cut 一键出片和营销图文方案保留为高级/详情页能力，不再作为默认首页入口或默认理解框架。 ## 部署事实 - 平台：VPS `76.13.31.179`（Ubuntu 24.04 / Docker Compose / Coolify Traefik） diff --git a/api/main.py b/api/main.py index 85922ed..b5b926f 100644 --- a/api/main.py +++ b/api/main.py @@ -4106,6 +4106,71 @@ def _image_model_candidates(force_fallback: bool = False, preference: str | None return [GPT_IMAGE_MODEL, *fallbacks] +def image_model_options() -> list[dict]: + options = [ + { + "id": "auto", + "label": "自动", + "model": GPT_IMAGE_MODEL, + "description": "优先 GPT Image 2，必要时按后端熔断和兜底策略切到备用图片模型", + "available": bool(IMAGE_API_KEY), + }, + { + "id": GPT_IMAGE_MODEL, + "label": "GPT Image 2", + "model": GPT_IMAGE_MODEL, + "description": "主生图模型，适合营销图和参考图重绘", + "available": bool(IMAGE_API_KEY), + }, + ] + if IMAGE_FALLBACK_ENABLED and IMAGE_FALLBACK_MODEL and IMAGE_FALLBACK_MODEL != GPT_IMAGE_MODEL: + options.append({ + "id": IMAGE_FALLBACK_MODEL, + "label": "Gemini 图片", + "model": IMAGE_FALLBACK_MODEL, + "description": "备用图片模型，适合主模型慢或失败时手动选择", + "available": bool(IMAGE_API_KEY), + }) + return options + + +def video_model_options() -> list[dict]: + label_map = { + "seedance": "Seedance", + "kling": "Kling", + "veo3": "Veo 3", + "veo": "Veo", + "voe": "Veo", + } + seen: set[str] = set() + options: list[dict] = [] + for key in ["seedance", "kling", "veo3", "veo"]: + if key not in VIDEO_MODEL_ALIASES: + continue + model = VIDEO_MODEL_ALIASES[key] + unique_key = f"{key}:{model}" + if unique_key in seen: + continue + seen.add(unique_key) + options.append({ + "id": key, + "label": label_map.get(key, key), + "model": model, + "description": "当前视频网关可选模型", + "available": bool(video_api_key()), + }) + default_model = resolve_video_model(VIDEO_MODEL) + if not any(item["id"] == VIDEO_MODEL or item["model"] == default_model for item in options): + options.insert(0, { + "id": VIDEO_MODEL, + "label": label_map.get(VIDEO_MODEL, VIDEO_MODEL), + "model": default_model, + "description": "默认视频模型", + "available": bool(video_api_key()), + }) + return options + + def _image_failure_can_fallback(status_code: int, body: str, last_err: str) -> bool: if status_code in (400, 401, 403, 404): return False @@ -5132,6 +5197,7 @@ def health() -> dict: "image": IMAGE_MODEL, "image_base_url": IMAGE_BASE_URL or LLM_BASE_URL or "openai-default", "image_request_timeout_seconds": IMAGE_REQUEST_TIMEOUT_SECONDS, + "image_options": image_model_options(), "ai_proxy_configured": bool(AI_HTTP_PROXY), "image_fallbacks": _image_fallback_models(), "image_circuit": _image_circuit_snapshot(), @@ -5146,6 +5212,7 @@ def health() -> dict: "voice_configured": bool(AZURE_OPENAI_API_KEY), "video": VIDEO_MODEL, "video_aliases": VIDEO_MODEL_ALIASES, + "video_options": video_model_options(), "video_provider": video_provider_name(), "video_base_url": video_api_base(), "video_configured": bool(video_api_key()), @@ -5598,7 +5665,7 @@ class GenerateReq(BaseModel): prompt: str extra_prompt: str = "" # ✓ 需要的元素（正向） negative_prompt: str = "" # ✗ 不需要的元素（负向） - model: str = "" # 兼容旧前端字段；服务端强制使用 gpt-image-2 + model: str = "auto" # auto / gpt-image-2 / gemini-3-pro-image-preview mode: str = "edit" # "edit" 带参考图，"text" 纯文字 from_selected: bool = False # True 时优先用 frame.selected 的生成图作 reference（迭代），否则原关键帧 @@ -5649,8 +5716,8 @@ def generate_image(job_id: str, idx: int, req: GenerateReq) -> Job: if req.mode == "edit": img_bytes_in = reference_path.read_bytes() - # 尝试 i2i；主模型上游异常时允许 Gemini 兜底。无兜底时保留旧的多次重试。 - model_candidates = _image_model_candidates() + # 尝试 i2i；auto 允许按熔断策略兜底，显式模型只走用户所选模型。 + model_candidates = _image_model_candidates(preference=req.model) plan: list[str] = ([req.mode] if model_candidates != [GPT_IMAGE_MODEL] else [req.mode] * 3) if req.mode == "edit" else [req.mode] if req.mode == "edit": plan.append("text") # i2i 都失败时自动降级 diff --git a/docs/source-analysis.html b/docs/source-analysis.html index 8ca135a..1758faf 100644 --- a/docs/source-analysis.html +++ b/docs/source-analysis.html @@ -572,16 +572,16 @@

2026-05-24 完整重设计：默认首页已从“TK 信息流复刻 / 三字段分镜管线”推倒，改为面向公司约 6 名成员同时使用的 SKG 营销内容多人创作平台。主路径是文生图、图生图、文生视频、图生视频和营销图文方案生成；每个登录用户只看到自己的任务和详情页结果。旧 TK 复刻工作台与 Agent Cut 一键出片保留为高级入口，不再作为默认工作台。

2026-05-25 即梦 generate 式简化：默认首页进一步压缩为窄导航栏、会话侧栏和中央 prompt composer，不再把四入口、参考图、我的任务和结果区平铺成三栏。图片 / 视频 / 图文模式、自动设置和参考上传都收进 composer 底部的小按钮；参考图是输入框左侧倾斜上传卡；结果只用右下角浮层提示，完整沉淀交给详情页。

-

2026-05-25 单对话框版：默认首页再收敛为一个中央对话框，首页只让用户选文生视频、文生图、首帧生视频、首尾帧生视频，然后手写提示词生成。首帧 / 首尾帧模式只出现必要上传位；营销图文不再作为首页默认入口。

+

2026-05-25 单对话框版：默认首页再收敛为一个中央对话框，首页只让用户选文生视频、文生图、首帧生视频、首尾帧生视频，然后手写提示词生成。首帧 / 首尾帧模式只出现必要上传位；营销图文不再作为首页默认入口。后端 /health 返回可选图片 / 视频模型，首页按返回值显示模型选择。

-

当前默认业务管线是“个人隔离任务 → 在中央对话框选择生成方式 → 必要时上传首帧 / 尾帧 → 手写提示词 → 生成图片或视频 → 进入详情页继续沉淀”。首页不再渲染侧栏、灵感区、最近任务列表、自动设置或营销图文入口；默认只做四件事：文生视频、文生图、首帧生视频、首尾帧生视频。底层仍复用既有 /creative/jobs/image、/jobs/{id}/frames/upload、/jobs/{id}/frames/{idx}/generate、/jobs/{id}/frames/{idx}/storyboard/video；首尾帧视频会把尾帧作为第二张参考帧上传，并通过 last_image 提交给视频接口。多人互不影响依赖后端 owner_id 和飞书 / 备用登录会话隔离。旧信息流复刻链路仍保留在 web/components/ad-recreation-board.tsx 与 /agent/，营销图文能力仍在详情页和接口中保留，但不作为默认首页路径。

+

当前默认业务管线是“个人隔离任务 → 在中央对话框选择生成方式 → 选择模型 → 必要时上传首帧 / 尾帧 → 手写提示词 → 生成图片或视频 → 进入详情页继续沉淀”。首页不再渲染侧栏、灵感区、最近任务列表、自动设置或营销图文入口；默认只做四件事：文生视频、文生图、首帧生视频、首尾帧生视频。底层仍复用既有 /creative/jobs/image、/jobs/{id}/frames/upload、/jobs/{id}/frames/{idx}/generate、/jobs/{id}/frames/{idx}/storyboard/video；首尾帧视频会把尾帧作为第二张参考帧上传，并通过 last_image 提交给视频接口。生图接口现在按前端 model 字段走 auto / gpt-image-2 / gemini-3-pro-image-preview，视频接口继续按 model 字段走 seedance / kling / veo3 / veo 别名映射，实际模型以服务器环境变量为准。多人互不影响依赖后端 owner_id 和飞书 / 备用登录会话隔离。旧信息流复刻链路仍保留在 web/components/ad-recreation-board.tsx 与 /agent/，营销图文能力仍在详情页和接口中保留，但不作为默认首页路径。

01

个人任务

GET /jobs 按当前登录用户过滤；旧无 owner 任务只对备用账号可见。

02

选择方式

首页对话框只提供文生视频、文生图、首帧生视频、首尾帧生视频四个按钮。

-
03

上传帧 / 空白任务

POST /creative/jobs/image 创建 0 号关键帧；首尾帧模式再用 /frames/upload 上传尾帧。

-
04

手写提示词

首页不再生成营销文案或自动展开产品 / 人群配置，用户直接写图片或视频提示词。

-
05

生成图片

generateImage 复用 /frames/0/generate，文生图传 mode=text。

-
06

生成视频

generateStoryboardVideo 提交文本、可选 first_image 和可选 last_image，视频任务排队后写入 generated_videos。

+
03

选择模型

GET /health 返回 image_options 和 video_options；首页按当前生成方式切换模型下拉。

+
04

上传帧 / 空白任务

POST /creative/jobs/image 创建 0 号关键帧；首尾帧模式再用 /frames/upload 上传尾帧。

+
05

手写提示词

首页不再生成营销文案或自动展开产品 / 人群配置，用户直接写图片或视频提示词。

+
06

生成图片 / 视频

generateImage 传 mode=text 和图片模型；generateStoryboardVideo 提交文本、模型、可选 first_image 和可选 last_image。

07

结果沉淀

首页只在对话框下方显示最新图片或视频；所有图片/视频缩略图继续复用 MediaAssetTile。

08

详情页

/detail/?job=<id> 展示参考图、全量生成图、视频候选、提示词和营销图文，并支持继续生成。

09

高级复刻

旧 AdRecreationBoard 与 /agent/ 作为高级入口保留，不再是默认路径。

@@ -597,7 +597,7 @@ web/next.config.mjsNext.js 构建配置：静态导出、图片不走优化、禁用开发环境左下角 Next Dev Indicator，并移除 Next 16 已不支持的 eslint 顶层配置，避免本地 dev 出现配置 Issue 提示。 web/app/globals.css全局主题变量、登录页视觉样式、信息流工作台玻璃拟态 token、ReactFlow 样式引用，以及本地开发态 nextjs-portal 遮挡隐藏规则。工作台在 skg-board-theme 内按 Figma 本地 MCP 参考改成黑灰玻璃系统：深灰背景、#383838 胶囊侧栏、rgba(255,255,255,.1) 玻璃面、backdrop-filter: blur(5px)、20px 圆角、10px 10px 10px rgba(0,0,0,.3) 阴影和绿黄状态色；新增 skg-board-shell、skg-board-rail、skg-glass-card、skg-glass-card--flat、skg-status-orb 等样式。侧栏改为跟随视口拉满工作台可用高度的悬停胶囊，桌面最小 600px，展开时在同一侧栏内承载素材输入抽屉。明暗主题已分开维护 shell、panel、glass、stat、action 和音频波形 token；暗色压低灰雾和面板底色，明亮模式改为暖白工作台，避免指标卡、按钮和波形继续残留黑底/白线；顶部指标卡增加紫、黄绿、琥珀、青绿、绿色光斑变量，接近原版多色玻璃卡效果。主/次按钮、指标卡和空状态继续走统一类，避免各板块散写不同玻璃效果。 - web/app/page.tsx当前默认首页：单对话框生成台。页面只保留顶部极轻量品牌和中央对话框，四个主按钮是文生视频、文生图、首帧生视频、首尾帧生视频；首帧 / 首尾帧模式才显示上传位，视频模式只保留时长选择，用户必须手写提示词后点击生成。每次生成都会创建新的轻量 Job，文生图调用 generateImage，视频调用 generateStoryboardVideo；首尾帧模式先用 createCreativeImageJob 保存首帧，再用 uploadReferenceFrame 保存尾帧并以 last_image 提交。图片/视频缩略图统一复用 MediaAssetTile，支持顶层 hover 预览和删除；旧 TK 复刻工作台组件仍保留在 web/components/ad-recreation-board.tsx，但不再作为默认首页渲染。 + web/app/page.tsx当前默认首页：单对话框生成台。页面只保留顶部极轻量品牌和中央对话框，四个主按钮是文生视频、文生图、首帧生视频、首尾帧生视频；首帧 / 首尾帧模式才显示上传位，视频模式只保留时长选择，用户必须手写提示词后点击生成。页面启动时读取 getRuntimeHealth，按 image_options / video_options 显示模型下拉。每次生成都会创建新的轻量 Job，文生图调用 generateImage 并传图片模型，视频调用 generateStoryboardVideo 并传视频模型；首尾帧模式先用 createCreativeImageJob 保存首帧，再用 uploadReferenceFrame 保存尾帧并以 last_image 提交。图片/视频缩略图统一复用 MediaAssetTile，支持顶层 hover 预览和删除；旧 TK 复刻工作台组件仍保留在 web/components/ad-recreation-board.tsx，但不再作为默认首页渲染。 web/app/detail/page.tsx任务详情页：静态导出路由 /detail/?job=<id>，通过 query 读取 job id，调用 getJob 恢复同一任务。页面展示参考图、全部生成图、视频候选、营销图文方案和历史提示词，可继续调用 generateImage、generateStoryboardVideo、generateCreativeCopy，并支持删除图片/视频。该页继续依赖后端 owner 过滤，用户不能通过切换 URL 读取别人的任务。 web/app/agent/page.tsx新增一键出片终端页：只保留 TikTok 链接、产品图上传、实时 Agent Terminal 和最终成片播放器；通过 POST /agent-runs 创建受限后台状态机任务，通过 GET /agent-runs/{id} 轮询日志、进度、审片图和最终 mp4。该页不替代旧工作台深度编辑能力，只承接“用户只看成品”的快速出片主路径。 web/components/ad-recreation-board.tsx信息流广告复刻工作表：外壳按 Figma “Dashboard Glassmorphism”参考整体改为黑灰玻璃工作台，WorkbenchRail 默认收起为拉满工作台可用高度的 65px 胶囊工具条，只保留真实动作入口：素材任务、资源库和主题切换；鼠标移入或键盘聚焦侧栏时，skg-board-rail 切换 is-open 并从左侧展开 320px 素材输入抽屉，点击素材任务按钮可固定展开。顶部从登录页式 brand strip 改为轻量生产控制条，左侧显示 未来健康 · 营销内容工作台、主标题 营销内容工作台 和副标题 信息流广告复刻生产，右侧保留素材/当前/视频/文案段/背景音指标，并用紫、黄绿、琥珀、青绿、绿色光斑卡片增强原版玻璃拟态的颜色层次。主内容只保留源视频拆解工作区，素材输入的数据流、接口、模型调用和状态推导不变。工作台外层已取消 1800x1000 固定基准画布、ResizeObserver 档位计算和 CSS zoom 整页缩放，改为正常流式桌面容器：min-height: 100vh、width: 100%、max-width: 1920px，并保留 min-width: 1280px 作为最低操作宽度；核心列宽不再被整体缩放，文字、图标和边线由浏览器原生字号渲染，避免小数缩放导致发虚。buildWorkflowSteps 仍统一生成 01-09 流程顺序、状态和判定依据，WorkflowStepBadge / PipelineLane / 分镜列标题也继续共用同一套编号；但完整 WorkflowOrderBar、右侧素材/视频/音频/文案/参考帧需求 chips、文案依据下拉和“音频文案、抽帧参考、主体重构、产品素材池”四个状态条不再默认渲染在工作区顶部。侧边素材输入面板只负责链接/上传和任务切换，不再重复放横版原视频预览；主画布源视频工作区直接进入核心操作。讲话人、节奏和背景音分析仍写入 AudioScript，但不再作为“音频解析结果”卡片默认渲染；源视频工作区撤销右上“布局调节”临时面板，不再读取或写入 localStorage["skg-source-workspace-layout:v1"]；当前固定为左侧原视频列 380px、9:16 视频高 500px、逐句时间轴最大高 360px、参考帧池 140px、主体空态 78px；转换层不再固定拉长，按内容自然高度显示，内容过多时最多到 560px 后在自身区域内滚动；上方是按 9:16 显示的竖版原视频播放器，播放器内覆盖“当前点抽帧”，按当前播放秒数手动补参考帧，播放器下方是逐句时间轴，英文和中文都最多显示两行；右侧上方是无标题的波形与切点参考框，下方主体链路改为上方参考帧池 + 转换层、下方主体元素结果栏。音频波形用参考图式的连续灰色包络显示响度、停顿和密集爆点，并通过 skg-audio-waveform 读取明暗主题变量，避免明亮模式继续使用黑底/白色波形；顶部把低/中/高密度按钮和当前播放秒数、总时长、鼠标指针停点秒数直接放在波形上方。视频播放时通过 requestAnimationFrame 平滑驱动波形播放线，同时同步高亮并滚动当前句；点击音频波形或字幕行会跳转原视频时间。音频波形下方同框渲染无标题的 TimelineFilmstrip 临时画面胶片，前端按低/中/高密度从源视频 canvas 截取预览缩略图，并按 frame.time / duration 的百分比定位到和波形同一条时间轴上；波形与胶片之间不显示分隔横线，胶片轨道贴近波形，缩略图轻微上下错落并倾斜重叠排列，hover 时用同一张胶片卡在原位置生成固定顶层克隆，约 4.8 倍放大并自动限制在视口内，避免被工作区、滚动容器或相邻面板遮挡；单击胶片只跳转视频时间点，不写入任务数据，双击胶片或拖进参考帧池时才调用手动抽帧并正式加入 job.frames，已加入的胶片显示“已添加”；胶片预览按 job、视频、密度和时长缓存，未切换低/中/高时返回页面不重新扫视频。参考帧池的主入口是“自动抽帧 12 张”，一键按动作峰值目标重新抽取 12 张源视频参考帧，优先抓手势、表情变化、节奏点和镜头变化；缩略图按竖版完整比例显示不裁切，点选状态直接叠在参考帧池缩略图上，鼠标停留会通过固定浮层放大展示完整帧。转换层改为轻量对话式生图确认区并拿到主操作宽度：左侧参考帧可点 + 或直接拖入转换层，本地图片拖入会通过 uploadReferenceFrame 保存为参考帧；转换层上方是参考输入区，下方不再显示当前要求摘要、保留元素副本或对话记录计数，只保留带张数控件的“发送消息”输入 composer；模型确认类回复不再逐条展示，生成英文 prompt 后发送区主按钮直接切换为“确认生成 N 张”，点击后才调用主体套图生成。主体元素结果栏在转换层下方，空态只占紧凑提示；有结果时按每次生成的套图文件夹显示，左侧横向展示当前套图，右侧切换套图包，保留单张重生和删除；缩略图上提供“重新生成这一张”和“删除这一张”，单张重生会用 replace_views=true 替换同一视角。前端对卡通重构传 subject_style=cartoon_subject，其他方向传 subject_style=source_actor；形象锁定或自主描述空文本可走 reconstruction_mode=same，其他参考创新走 similar 并把参考帧作为 /images/edits 的 image refs 一起提交。主体生成完成后会形成 subject_consensus_brief。音频结果下方是信息流复刻分镜工作台：顶部产品参考区是“同一产品素材池”，不限量上传产品图，不做不同产品身份判断；上传原图推荐长边 1200-2000px、短边至少 600px，但后端会统一生成最长边 1600px、JPEG 92 的 AI 工作副本，并回显尺寸、自动转换和风险标注；上传后按“套在脖子上的 U 形肩颈按摩仪”进行同一产品批量识别，左/右按佩戴者身体左右、上/下按佩戴方向，额外标注内外侧、开口方向、局部结构点、背景类型、用途标签、生成风险和备注，用户只检查备注，鼠标悬停通过固定浮层显示大图预览，能盖过滚动容器和分镜框架；缺视角补图失败时保留重试入口。脚本区在分镜行上方提供“作者想法”和“整片改写”，每行新口播文案可直接编辑并可单段 AI 改写。每条音频分镜默认是左侧三字段、右侧横向视频候选轨；高级区仍保留首尾帧 prompt、产品出现方式和旧 6 字段。ModelTrace 会在音频解析、产品识别/补图、主体重构视图包、脚本改写等入口旁直接展示模型名；生图入口会显示 gpt-image-2 / gemini-3-pro-image-preview 链路和短时熔断规则，点击后用固定浮层展示模型链路、输入输出和回退逻辑。旧分镜卡、抽帧控制和视频生成组件仍保留在文件里，但当前主路径不渲染。 @@ -627,7 +627,7 @@

后端核心

- + @@ -645,9 +645,10 @@ 
当前前端主链路：
 	web/app/page.tsx
 	  -> 单对话框：文生视频 / 文生图 / 首帧生视频 / 首尾帧生视频
+  -> 模型选项：GET /health → image_options / video_options
   -> 创建轻量任务：POST /creative/jobs/image → 生成只有 0 号关键帧的 Job；首尾帧时再 POST /jobs/{id}/frames/upload
-  -> 生图：generateImage(job.id, 0, { prompt, mode: text }) → jobs/<jobId>/gen
-  -> 生视频：generateStoryboardVideo(job.id, 0, { prompt, first_image?, last_image?, duration }) → jobs/<jobId>/storyboard_videos
+  -> 生图：generateImage(job.id, 0, { prompt, mode: text, model }) → jobs/<jobId>/gen
+  -> 生视频：generateStoryboardVideo(job.id, 0, { prompt, model, first_image?, last_image?, duration }) → jobs/<jobId>/storyboard_videos
 	  -> 当前结果：最新图片 / 视频只在对话框下方展示
 	  -> 任务详情页：web/app/detail/page.tsx?job=<id> → getJob → 展示参考图、生成图、视频、提示词、图文方案 → 可继续生成 / 删除 / 复制
 
@@ -1195,6 +1196,19 @@ ProductRefStateItem {
               
影响：默认首页不再展示营销图文、灵感、最近任务、侧栏或自动设置；默认使用方式是“选模式 → 上传必要帧 → 写提示词 → 生成”。详情页仍保留任务沉淀和继续生成能力。

             
           
+          

+            

+              
2026-05-25 · 首页接入图片和视频模型选择

+              API
+              UI
+              Docs
+            

+            

+              
问题：平台准备给团队直接使用时，用户需要自己选择模型；前端虽然可以传视频 model，但首页没有模型选择，生图接口也忽略了前端传入的 model。

+              
改动：api/main.py 的 /health 新增 image_options 和 video_options；/frames/{idx}/generate 按 model 字段选择 auto / gpt-image-2 / gemini-3-pro-image-preview。web/app/page.tsx 读取模型选项并在单对话框底部显示模型下拉，生图和生视频提交时都带上用户选择。

+              
验证：本地后端真实探针已确认 gpt-image-2 文生图成功；同一 job 提交 seedance 5 秒视频后拿到上游 provider id，并最终回填 mp4。

+            

+          

           

             

               
2026-05-25 · 默认首页复刻即梦 generate 极简布局

diff --git a/web/app/page.tsx b/web/app/page.tsx
index 1cfbc03..9f303db 100644
--- a/web/app/page.tsx
+++ b/web/app/page.tsx
@@ -22,11 +22,13 @@ import {
   deleteGeneratedVideo,
   generateImage,
   generateStoryboardVideo,
+  getRuntimeHealth,
   getJob,
   uploadReferenceFrame,
   type GeneratedImage,
   type GeneratedVideo,
   type Job,
+  type RuntimeModelOption,
 } from "@/lib/api"
 
 type CreationMode = "text-video" | "text-image" | "first-frame-video" | "first-last-frame-video"
@@ -105,6 +107,14 @@ export default function Home() {
   const [lastFrameFile, setLastFrameFile] = useState(null)
   const [firstFramePreview, setFirstFramePreview] = useState("")
   const [lastFramePreview, setLastFramePreview] = useState("")
+  const [imageModel, setImageModel] = useState("auto")
+  const [videoModel, setVideoModel] = useState("seedance")
+  const [imageOptions, setImageOptions] = useState([
+    { id: "auto", label: "自动", model: "gpt-image-2", available: true },
+  ])
+  const [videoOptions, setVideoOptions] = useState([
+    { id: "seedance", label: "Seedance", model: "seedance", available: true },
+  ])
   const [job, setJob] = useState(null)
   const [busy, setBusy] = useState(null)
   const [error, setError] = useState("")
@@ -117,6 +127,30 @@ export default function Home() {
   const runningVideo = (job?.generated_videos ?? []).some((item) => item.status === "queued" || item.status === "in_progress")
   const submitting = busy === mode || busy === "job"
 
+  useEffect(() => {
+    getRuntimeHealth()
+      .then((health) => {
+        const models = health.models
+        const nextImageOptions = models?.image_options?.length
+          ? models.image_options
+          : [
+              { id: "auto", label: "自动", model: models?.image || "gpt-image-2", available: true },
+              { id: models?.image || "gpt-image-2", label: "GPT Image 2", model: models?.image || "gpt-image-2", available: true },
+            ]
+        const nextVideoOptions = models?.video_options?.length
+          ? models.video_options
+          : [{ id: models?.video || "seedance", label: "Seedance", model: models?.video || "seedance", available: !!models?.video_configured }]
+        setImageOptions(nextImageOptions)
+        setVideoOptions(nextVideoOptions)
+        if (!nextImageOptions.some((item) => item.id === imageModel)) setImageModel(nextImageOptions[0]?.id || "auto")
+        if (!nextVideoOptions.some((item) => item.id === videoModel)) setVideoModel(nextVideoOptions[0]?.id || "seedance")
+      })
+      .catch(() => {
+        setImageOptions([{ id: "auto", label: "自动", model: "gpt-image-2", available: true }])
+        setVideoOptions([{ id: "seedance", label: "Seedance", model: "seedance", available: true }])
+      })
+  }, [])
+
   useEffect(() => {
     if (!firstFrameFile) {
       setFirstFramePreview("")
@@ -211,6 +245,7 @@ export default function Home() {
       const updated = await generateImage(target.id, 0, {
         prompt: promptWithGuardrails(),
         mode: "text",
+        model: imageModel,
       })
       setJob(updated)
       toast.success("图片已生成")
@@ -237,6 +272,7 @@ export default function Home() {
         first_image: activeMode.needsFirstFrame ? { kind: "keyframe", frame_idx: 0 } : null,
         last_image: activeMode.needsLastFrame && lastFrame ? { kind: "keyframe", frame_idx: lastFrame.index } : null,
         size: "720x1280",
+        model: videoModel,
       })
       setJob(updated)
       toast.success("视频已提交")
@@ -368,7 +404,24 @@ export default function Home() {
               />
 
               

-                

+                

+                  
                   {isVideoMode(mode) ? (
api/main.pyFastAPI 单文件后端：登录会话、状态模型、任务恢复、下载、抽帧、Vision、清洗、元素、分镜、原音频转写/翻译、声音与背景音分析、后续口播改写/TTS、文件返回；同时承载全局 prompt_library 和 asset_library 的磁盘索引、CRUD、删除保护和复制到 job API。新增轻量创作入口 POST /creative/jobs/image 和 POST /creative/copy：前者把上传图片或空白底图写成一个只有 0 号关键帧的 Job，让首页直接复用生图/生视频接口；后者输出 3 组可直接进入图片/视频模型的短视频文案和提示词。旧 AgentRun 一键出片状态机和 TK 复刻接口继续保留。
api/main.pyFastAPI 单文件后端：登录会话、状态模型、任务恢复、下载、抽帧、Vision、清洗、元素、分镜、原音频转写/翻译、声音与背景音分析、后续口播改写/TTS、文件返回；同时承载全局 prompt_library 和 asset_library 的磁盘索引、CRUD、删除保护和复制到 job API。轻量创作入口 POST /creative/jobs/image 把上传图片或空白底图写成一个只有 0 号关键帧的 Job，让首页直接复用生图/生视频接口；/health 新增 image_options 和 video_options；/frames/{idx}/generate 的 model 字段现在用于图片模型偏好，/storyboard/video 继续使用 model 字段选择视频别名。旧 AgentRun 一键出片状态机、TK 复刻接口和 POST /creative/copy 继续保留。
api/product_library/skg-products内置 SKG 白底产品图库：manifest.json 记录从桌面产品图筛出的 gallery 白底图和桌面 4 张产品角度图，images/ 存 45 张参考图。
api/character_library/skg-characters内置相似主体形象库：从桌面 5 套策划形象导入，manifest.json 记录运动阳光男、都市型男、优雅白领女、运动辣妹、绅士大叔，每套含 7 张透明骨架参考图和一段 prompt_brief。相似主体生成时优先使用文字 brief 作为创意方向，避免把内置图作为强参考图复制。
asset_library/全局素材库目录，和 jobs/ 平级，不写入任何 job state。四类目录为 subjects、products、scenes、videos；每个素材自带 manifest.json 和图片/视频文件，index.json 只是启动扫描重建出来的缓存。库素材选用到 job 时必须复制文件到 jobs/<jobId>/assets 或 storyboard-videos，禁止直接保存 library 引用。