lixi
062e11b1ff
CI / ai-gates (push) Successful in 39s
按 openapi-internal.yaml 落地两个端点与鉴权，全部离线可测。
**鉴权（app/api/auth.py）**是这一层的安全边界，三条纪律各有测试：
- **强制校验 aud 与 iss**（交给 pyjwt 强制，不解出来自己比——自己比容易漏掉
「claim 不存在」那一路）。这是独立密钥对方案唯一的意义所在：Java 侧现有的
JwtVerifier 只验签名、不校验 aud，正因如此才必须独立密钥；若本服务也只验签名，
那对独立密钥就白搭了。
- **额外强制 typ=service**，作为「有人误把用户密钥配到这里」的第二道防线。
- **缺公钥时全拒而非全过**。配置缺失必须立刻暴露，而不是变成一扇敞开的门；
与 Java 侧 InternalAuthFilter 未配置 internal-token 时全拒 /internal/** 一致。
- 失败一律返回同一个笼统原因，**不告诉调用方是签名错/过期/aud 不符**——对方是
我们自己的服务，真正原因在日志里；细节回给调用方只会在将来某天变成提示。
**三类失败分开**（契约核心）。第三类「任务失败」走 200 + state=failed + failure，
因为那种情况下 HTTP 调用是成功的；做成非 2xx 会让「查不到任务」与「任务失败了」
难以区分。另外两处刻意选择：
- 服务商 429 **不透传**，一律 502 + provider 信封。429 既可能是「等几秒」也可能是
「等到明天」，状态码表达不了这个区别，retry 才是权威信号。
- 超出模型限制的请求归 service/invalid_request 而非 provider——请求**根本没发出去**，
归到 provider 会让调用方以为是上游问题而去退避重试，而重试同样的参数永远不会变好。
- 服务商 404（含超出其 7 天保留期）归 service/task_not_found：调用方要做的是
**停止轮询**，不是退避重试。
- 接管 FastAPI 默认的 {"detail": [...]} 校验错误，否则调用方要处理三种形状，
而第三种还是框架实现细节。
**契约漂移守卫（tests/api/test_contract_drift.py，14 项）**：本项目开工审计已证明
「没有门禁的契约必然漂移」——四模块快照锁实际不存在，白名单 42/41 之误四份文档
一路不可见整整一个迭代。内部契约同样需要门禁。比对路径/方法/字段集/枚举/必填项，
**不比对字节**（永远不会相同，只会制造一个天天红然后被 skip 绕过的门禁）。
写这个守卫时它立刻抓到一处问题，但**问题在我的内省方式而不在应用**：本版本
FastAPI 的 include_router 会包一层内部 wrapper，路由并不平铺在 app.routes 上。
已改用 app.openapi()——它是「究竟暴露了什么」的权威视图，且不依赖框架内部结构，
否则这个门禁会在升级框架时莫名失效，而一个悄悄失效的门禁比没有门禁更糟。
**新增 pyproject.toml**：`Depends()` 放在参数默认值里正是 FastAPI 的标准写法，
ruff 的 B008 在此是误报。按 ruff 正规方式声明这些调用可安全求值，而不是在每个
端点上撒 noqa——后者迟早被用来压制真正的问题。
schemas 用 extra="forbid"：拼错的字段应当立刻报错而非被静默忽略，后者表现为
「我传了 durationSec 却没生效」这类极难查的问题。测试覆盖了 camelCase 与
user_id（契约刻意不含它）两种被拒情形。
新增依赖 fastapi / uvicorn / pyjwt[crypto]；测试 127 → 166。
Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
174 lines
8.8 KiB
Markdown
174 lines
8.8 KiB
Markdown
# patbond-ai
|
||
|
||
Patbond 的 AI 生成服务（Python）。负责调用 AI 服务商 API 完成图片与视频生成，
|
||
是四仓中唯一直接持有 AI 服务商凭证的仓库。
|
||
|
||
架构与边界的完整决策见 **patbond-doc `docs/architecture/decisions.md` ADR-023**。
|
||
以下为要点，改动前请以 ADR 原文为准。
|
||
|
||
## 职责边界
|
||
|
||
- **只负责调用 AI 服务商 API。** 不访问数据库——生成任务状态的唯一事实来源是
|
||
Java 侧的 `creation.generation_jobs`。
|
||
- **不持有对象存储凭证。** 产物由 Java 下发预签名 PUT 地址，本服务直传后回报，
|
||
再由 Java 核实并建 `media.assets` 行（即客户端两步上传，本服务站在客户端位置）。
|
||
- **对上游同步或异步一律对外呈现为异步**：`submit` 立即返回任务 id，同步型
|
||
服务商（长连接等待返回）在本服务内部以后台任务承载。这样 Java 侧无长连接占线程，
|
||
且 `provider_request_id` 立即可得，超时不再产生「是否已扣费」的歧义。
|
||
|
||
## 与 Java 侧的接口
|
||
|
||
- 传输为 **REST（JSON）**，非 gRPC（理由见 ADR-023 §4：避免引入第二套无门禁契约体系）。
|
||
- 契约为本仓内独立的 **`openapi-internal.yaml`**，独立版本号，
|
||
**不进** patbond-api 的四模块快照锁，**也不写入**面向客户端的 `openapi.yaml`。
|
||
- 鉴权为 **服务身份 JWT**（独立密钥对，非用户 token 转发）：本服务强制校验
|
||
`aud=patbond-ai` 与 `typ=service`。
|
||
- Java 主动轮询本服务查询进度；回调是将来的可选优化，当前不启用。
|
||
- 请求体**不含 `userId`**（数据最小化）：完成工作只需 `jobId`、生成参数与预签名上传地址。
|
||
|
||
## 运行
|
||
|
||
```bash
|
||
cp .env.sample .env # 填入实际值；.env 已被 gitignore
|
||
python -m app # 默认 127.0.0.1:8000
|
||
```
|
||
|
||
**只监听回环**是默认：本服务只接受来自 `patbond-creation` 的内部调用，不该对外
|
||
可达（与项目「默认拒绝、需要外部访问时经 nginx 反代」的纪律一致）。
|
||
|
||
探活：`GET /health`（**在 `/internal` 之外，不需要服务票**）。它会报出实际装配了
|
||
哪些适配器——缺服务商凭证时适配器不装配，而那个症状（任务永远排队）离根因很远，
|
||
让探活直接说出来能省很多排查时间。
|
||
|
||
## 接口
|
||
|
||
| 端点 | 说明 |
|
||
| --- | --- |
|
||
| `POST /internal/generation/tasks` | 提交任务，返回**服务商**任务 ID |
|
||
| `GET /internal/generation/tasks/{provider_request_id}` | 查询任务 |
|
||
| `GET /health` | 探活，无需服务票 |
|
||
|
||
**权威契约是仓库根目录的 `openapi-internal.yaml`**（手写），不是 FastAPI 自动生成
|
||
的 `/openapi.json`（后者仅供调试，交互文档已关闭）。两者的一致性由
|
||
`tests/api/test_contract_drift.py` 守着——比对路径、方法、字段集、枚举取值与必填项，
|
||
**不比对字节**（那永远不会相同，只会制造一个天天红然后被 skip 绕过的门禁）。
|
||
|
||
### 三类失败必须分开
|
||
|
||
| 类别 | 形态 | 调用方该做什么 |
|
||
| --- | --- | --- |
|
||
| `service` | 非 2xx + `error.kind = "service"` | 我方 bug 或配置问题。除 `internal_error`/`provider_unavailable` 外不该重试 |
|
||
| `provider` | 非 2xx + `error.kind = "provider"` + 完整分类 | **一律以 `retry` 字段为准**，不要自己解读厂商码 |
|
||
| 任务失败 | **200** + `state = "failed"` + `failure` | 同上看 `retry` |
|
||
|
||
第三类刻意不走错误通道：查询一个失败的任务，**HTTP 调用是成功的**，失败的是任务。
|
||
做成非 2xx 会让「查不到任务」与「任务失败了」难以区分。
|
||
|
||
判别字段是 `error.kind`，**不是 HTTP 状态码**——状态码在两类之间会撞。
|
||
|
||
`provider` 信封与 `failure` 的分类字段**故意完全一致**，故调用方可复用同一段处置
|
||
逻辑，不必为「提交时被限流」与「任务失败于限流」写两套分支。
|
||
|
||
## 代码结构
|
||
|
||
分四层，依赖**单向**向内（`config` → `providers` → `domain`），由
|
||
`tests/test_layering.py` 自动守着——靠纪律守不住的东西，靠测试才守得住。
|
||
|
||
```
|
||
app/
|
||
├── domain/generation.py 与服务商无关的领域模型
|
||
├── providers/
|
||
│ ├── base.py 生成能力抽象（新增供应商 = 实现它）
|
||
│ ├── registry.py provider_code → 适配器
|
||
│ └── volcengine/
|
||
│ ├── client.py HTTP 传输与鉴权（不认识「视频」）
|
||
│ ├── errors.py 火山错误码 → 领域 Failure
|
||
│ ├── models.py 厂商请求/响应 DTO
|
||
│ └── video.py Seedance 视频业务
|
||
├── config.py 集中配置（全部旋钮从环境变量读）
|
||
└── assembly.py 装配根（唯一同时知道配置与具体供应商的地方）
|
||
```
|
||
|
||
**为什么这么切**：
|
||
|
||
- **`domain/` 对厂商与 httpx 零依赖。** 这是「换供应商不动上层」的支点。判断一个
|
||
概念该放哪：问「换一家供应商，它还在吗」——`Retry`/`UserFacing` 描述的是
|
||
Worker 与客户端该怎么做，与谁家无关，故在领域层；`expired` 状态、
|
||
`QuotaExceeded` 这类码是火山特有的，故在适配层。
|
||
- **`client.py` 与 `video.py` 分开。** client 只管鉴权、超时、错误解包，不认识
|
||
「视频」。以后接火山的**图片或语音**接口时新建兄弟模块复用同一个 client，
|
||
而不是再抄一遍鉴权与错误解包——这是拆它出来的全部理由。
|
||
- **适配层不读配置**，全部通过构造参数注入。否则单测得摆弄环境变量，且同一进程
|
||
内没法跑两套不同配置的实例。
|
||
|
||
### 新增一家供应商 / 一种能力
|
||
|
||
1. 实现 `app/providers/base.py` 的 `GenerationProvider`；
|
||
2. 在 `app/assembly.py` 的 `build_registry()` 里登记一行；
|
||
3. 目录表的 `provider_code` 与适配器的 `provider_code` 必须同值——Java 侧按
|
||
任务行冻结的 `provider_code_snapshot` 查适配器（**不按当前目录**，因为目录
|
||
可能被改指向，而在途任务必须仍由当初提交它的适配器轮询）。
|
||
|
||
上层与领域层**一行都不用改**。
|
||
|
||
## 已接入的服务商
|
||
|
||
| 服务商 | 能力 | provider_code | 状态 |
|
||
| --- | --- | --- | --- |
|
||
| 火山方舟 Seedance | 视频生成 | `volcengine-seedance` | 提交与查询已实现，产物转存待存储决策 |
|
||
|
||
接口事实与错误码映射的完整取证见 patbond-doc
|
||
`docs/development/providers/volcengine-seedance.md`。其中两条尤其要记住：
|
||
|
||
- **火山不支持幂等键**，「提交超时后不知道有没有扣费」只能由 `max_attempts` 兜住；
|
||
- **产物 URL 只有 24 小时有效期**，因此厂商 URL 不能当存储用，必须在时限内转存。
|
||
|
||
## 配置
|
||
|
||
全部旋钮见 `app/config.py`，常用项：
|
||
|
||
| 环境变量 | 默认值 | 说明 |
|
||
| --- | --- | --- |
|
||
| `ARK_API_KEY` | _（无）_ | 火山方舟密钥。**缺失时该适配器不装配**，服务仍可启动 |
|
||
| `ARK_BASE_URL` | 北京区官方地址 | |
|
||
| `ARK_TIMEOUT_SEC` | `10` | **单次 HTTP 往返**超时，不是生成耗时 |
|
||
| `ARK_VIDEO_MODEL` | _（无）_ | 仅作兜底；正常由 Java 侧传入任务行的模型快照 |
|
||
| `ARK_TASK_EXPIRY_SEC` | `3600` | 厂商 `execution_expires_after`，区间 `[3600, 259200]`。默认取下限——厂商默认 48 小时对交互式应用过长 |
|
||
| `PATBOND_SERVICE_JWT_PUBLIC_KEY` | _（无）_ | 校验 Java 侧服务票的 RS256 公钥 |
|
||
| `PATBOND_SERVICE_JWT_AUDIENCE` | `patbond-ai` | **必须强制校验**，否则独立密钥对失去意义 |
|
||
|
||
非法值**响亮失败而不静默回落**：一次配置笔误变成难查的行为偏差是最糟的结果。
|
||
|
||
## 本地门禁
|
||
|
||
与 CI 同一套命令（`.gitea/workflows/ci.yml`）。**逐条分开跑并读各自的退出码**——
|
||
`ruff check . | tail -1; echo $?` 读到的是 `tail` 的退出码，会把一次真实的 lint
|
||
失败读成通过（本仓已因此红过一次）：
|
||
|
||
```bash
|
||
sh scripts/check-secrets.sh --all # 凭证防泄漏全量自查
|
||
ruff format --check .
|
||
ruff check .
|
||
pytest -q
|
||
```
|
||
|
||
**每人每仓启用一次** pre-commit 防泄漏钩子：
|
||
|
||
```bash
|
||
git config core.hooksPath scripts/hooks
|
||
```
|
||
|
||
`scripts/check-secrets.sh` 是四仓同构副本，**调整规则时四仓同步提交**。
|
||
它覆盖 AI 服务商密钥形态（`sk-ant-`、`sk-`/`sk-proj-`/`sk-svcacct-`）与
|
||
`api_key`/`auth_token` 实值赋值——本仓正是这些规则的主要适用对象。
|
||
|
||
## 凭证纪律
|
||
|
||
真实密钥**只允许存在于被 gitignore 的文件中**（`.env`），占位样例进 `.env.sample`。
|
||
拦下真实凭证时的第一动作是**去服务商控制台轮换/禁用该密钥**，然后才是清理提交。
|
||
|
||
## 分支与发布
|
||
|
||
`dev` 直推 + CI 绿，`main` 经 PR 合并。本仓纳入四仓 tag 同步与发布回归
|
||
（ADR-023 §12）。发布流程见 patbond-doc `docs/development/releases.md`。
|