Files
patbond-ai/README.md
T
lixi 062e11b1ff
CI / ai-gates (push) Successful in 39s
feat(ai): 内部 HTTP 端点 + 服务票校验 + 契约漂移守卫(166 测试)
按 openapi-internal.yaml 落地两个端点与鉴权,全部离线可测。

**鉴权(app/api/auth.py)**是这一层的安全边界,三条纪律各有测试:
- **强制校验 aud 与 iss**(交给 pyjwt 强制,不解出来自己比——自己比容易漏掉
  「claim 不存在」那一路)。这是独立密钥对方案唯一的意义所在:Java 侧现有的
  JwtVerifier 只验签名、不校验 aud,正因如此才必须独立密钥;若本服务也只验签名,
  那对独立密钥就白搭了。
- **额外强制 typ=service**,作为「有人误把用户密钥配到这里」的第二道防线。
- **缺公钥时全拒而非全过**。配置缺失必须立刻暴露,而不是变成一扇敞开的门;
  与 Java 侧 InternalAuthFilter 未配置 internal-token 时全拒 /internal/** 一致。
- 失败一律返回同一个笼统原因,**不告诉调用方是签名错/过期/aud 不符**——对方是
  我们自己的服务,真正原因在日志里;细节回给调用方只会在将来某天变成提示。

**三类失败分开**(契约核心)。第三类「任务失败」走 200 + state=failed + failure,
因为那种情况下 HTTP 调用是成功的;做成非 2xx 会让「查不到任务」与「任务失败了」
难以区分。另外两处刻意选择:
- 服务商 429 **不透传**,一律 502 + provider 信封。429 既可能是「等几秒」也可能是
  「等到明天」,状态码表达不了这个区别,retry 才是权威信号。
- 超出模型限制的请求归 service/invalid_request 而非 provider——请求**根本没发出去**,
  归到 provider 会让调用方以为是上游问题而去退避重试,而重试同样的参数永远不会变好。
- 服务商 404(含超出其 7 天保留期)归 service/task_not_found:调用方要做的是
  **停止轮询**,不是退避重试。
- 接管 FastAPI 默认的 {"detail": [...]} 校验错误,否则调用方要处理三种形状,
  而第三种还是框架实现细节。

**契约漂移守卫(tests/api/test_contract_drift.py,14 项)**:本项目开工审计已证明
「没有门禁的契约必然漂移」——四模块快照锁实际不存在,白名单 42/41 之误四份文档
一路不可见整整一个迭代。内部契约同样需要门禁。比对路径/方法/字段集/枚举/必填项,
**不比对字节**(永远不会相同,只会制造一个天天红然后被 skip 绕过的门禁)。

写这个守卫时它立刻抓到一处问题,但**问题在我的内省方式而不在应用**:本版本
FastAPI 的 include_router 会包一层内部 wrapper,路由并不平铺在 app.routes 上。
已改用 app.openapi()——它是「究竟暴露了什么」的权威视图,且不依赖框架内部结构,
否则这个门禁会在升级框架时莫名失效,而一个悄悄失效的门禁比没有门禁更糟。

**新增 pyproject.toml**:`Depends()` 放在参数默认值里正是 FastAPI 的标准写法,
ruff 的 B008 在此是误报。按 ruff 正规方式声明这些调用可安全求值,而不是在每个
端点上撒 noqa——后者迟早被用来压制真正的问题。

schemas 用 extra="forbid":拼错的字段应当立刻报错而非被静默忽略,后者表现为
「我传了 durationSec 却没生效」这类极难查的问题。测试覆盖了 camelCase 与
user_id(契约刻意不含它)两种被拒情形。

新增依赖 fastapi / uvicorn / pyjwt[crypto];测试 127 → 166。

Co-Authored-By: Claude Opus 5 (1M context) <noreply@anthropic.com>
2026-09-20 16:59:44 +08:00

8.8 KiB
Raw Blame History

patbond-ai

Patbond 的 AI 生成服务(Python)。负责调用 AI 服务商 API 完成图片与视频生成, 是四仓中唯一直接持有 AI 服务商凭证的仓库。

架构与边界的完整决策见 patbond-doc docs/architecture/decisions.md ADR-023。 以下为要点,改动前请以 ADR 原文为准。

职责边界

  • 只负责调用 AI 服务商 API。 不访问数据库——生成任务状态的唯一事实来源是 Java 侧的 creation.generation_jobs。
  • 不持有对象存储凭证。 产物由 Java 下发预签名 PUT 地址,本服务直传后回报, 再由 Java 核实并建 media.assets 行(即客户端两步上传,本服务站在客户端位置)。
  • 对上游同步或异步一律对外呈现为异步:submit 立即返回任务 id,同步型 服务商(长连接等待返回)在本服务内部以后台任务承载。这样 Java 侧无长连接占线程, 且 provider_request_id 立即可得,超时不再产生「是否已扣费」的歧义。

与 Java 侧的接口

  • 传输为 REST(JSON),非 gRPC(理由见 ADR-023 §4:避免引入第二套无门禁契约体系)。
  • 契约为本仓内独立的 openapi-internal.yaml,独立版本号, 不进 patbond-api 的四模块快照锁,也不写入面向客户端的 openapi.yaml。
  • 鉴权为 服务身份 JWT(独立密钥对,非用户 token 转发):本服务强制校验 aud=patbond-ai 与 typ=service。
  • Java 主动轮询本服务查询进度;回调是将来的可选优化,当前不启用。
  • 请求体不含 userId(数据最小化):完成工作只需 jobId、生成参数与预签名上传地址。

运行

cp .env.sample .env      # 填入实际值;.env 已被 gitignore
python -m app            # 默认 127.0.0.1:8000

只监听回环是默认:本服务只接受来自 patbond-creation 的内部调用,不该对外 可达(与项目「默认拒绝、需要外部访问时经 nginx 反代」的纪律一致)。

探活:GET /health(在 /internal 之外,不需要服务票)。它会报出实际装配了 哪些适配器——缺服务商凭证时适配器不装配,而那个症状(任务永远排队)离根因很远, 让探活直接说出来能省很多排查时间。

接口

端点 说明
POST /internal/generation/tasks 提交任务,返回服务商任务 ID
GET /internal/generation/tasks/{provider_request_id} 查询任务
GET /health 探活,无需服务票

权威契约是仓库根目录的 openapi-internal.yaml(手写),不是 FastAPI 自动生成 的 /openapi.json(后者仅供调试,交互文档已关闭)。两者的一致性由 tests/api/test_contract_drift.py 守着——比对路径、方法、字段集、枚举取值与必填项, 不比对字节(那永远不会相同,只会制造一个天天红然后被 skip 绕过的门禁)。

三类失败必须分开

类别 形态 调用方该做什么
service 非 2xx + error.kind = "service" 我方 bug 或配置问题。除 internal_error/provider_unavailable 外不该重试
provider 非 2xx + error.kind = "provider" + 完整分类 一律以 retry 字段为准,不要自己解读厂商码
任务失败 200 + state = "failed" + failure 同上看 retry

第三类刻意不走错误通道:查询一个失败的任务,HTTP 调用是成功的,失败的是任务。 做成非 2xx 会让「查不到任务」与「任务失败了」难以区分。

判别字段是 error.kind,不是 HTTP 状态码——状态码在两类之间会撞。

provider 信封与 failure 的分类字段故意完全一致,故调用方可复用同一段处置 逻辑,不必为「提交时被限流」与「任务失败于限流」写两套分支。

代码结构

分四层,依赖单向向内(config → providers → domain),由 tests/test_layering.py 自动守着——靠纪律守不住的东西,靠测试才守得住。

app/
├── domain/generation.py      与服务商无关的领域模型
├── providers/
│   ├── base.py               生成能力抽象(新增供应商 = 实现它)
│   ├── registry.py           provider_code → 适配器
│   └── volcengine/
│       ├── client.py         HTTP 传输与鉴权(不认识「视频」)
│       ├── errors.py         火山错误码 → 领域 Failure
│       ├── models.py         厂商请求/响应 DTO
│       └── video.py          Seedance 视频业务
├── config.py                 集中配置(全部旋钮从环境变量读)
└── assembly.py               装配根(唯一同时知道配置与具体供应商的地方)

为什么这么切:

  • domain/ 对厂商与 httpx 零依赖。 这是「换供应商不动上层」的支点。判断一个 概念该放哪:问「换一家供应商,它还在吗」——Retry/UserFacing 描述的是 Worker 与客户端该怎么做,与谁家无关,故在领域层;expired 状态、 QuotaExceeded 这类码是火山特有的,故在适配层。
  • client.py 与 video.py 分开。 client 只管鉴权、超时、错误解包,不认识 「视频」。以后接火山的图片或语音接口时新建兄弟模块复用同一个 client, 而不是再抄一遍鉴权与错误解包——这是拆它出来的全部理由。
  • 适配层不读配置,全部通过构造参数注入。否则单测得摆弄环境变量,且同一进程 内没法跑两套不同配置的实例。

新增一家供应商 / 一种能力

  1. 实现 app/providers/base.py 的 GenerationProvider;
  2. 在 app/assembly.py 的 build_registry() 里登记一行;
  3. 目录表的 provider_code 与适配器的 provider_code 必须同值——Java 侧按 任务行冻结的 provider_code_snapshot 查适配器(不按当前目录,因为目录 可能被改指向,而在途任务必须仍由当初提交它的适配器轮询)。

上层与领域层一行都不用改。

已接入的服务商

服务商 能力 provider_code 状态
火山方舟 Seedance 视频生成 volcengine-seedance 提交与查询已实现,产物转存待存储决策

接口事实与错误码映射的完整取证见 patbond-doc docs/development/providers/volcengine-seedance.md。其中两条尤其要记住:

  • 火山不支持幂等键,「提交超时后不知道有没有扣费」只能由 max_attempts 兜住;
  • 产物 URL 只有 24 小时有效期,因此厂商 URL 不能当存储用,必须在时限内转存。

配置

全部旋钮见 app/config.py,常用项:

环境变量 默认值 说明
ARK_API_KEY (无) 火山方舟密钥。缺失时该适配器不装配,服务仍可启动
ARK_BASE_URL 北京区官方地址
ARK_TIMEOUT_SEC 10 单次 HTTP 往返超时,不是生成耗时
ARK_VIDEO_MODEL (无) 仅作兜底;正常由 Java 侧传入任务行的模型快照
ARK_TASK_EXPIRY_SEC 3600 厂商 execution_expires_after,区间 [3600, 259200]。默认取下限——厂商默认 48 小时对交互式应用过长
PATBOND_SERVICE_JWT_PUBLIC_KEY (无) 校验 Java 侧服务票的 RS256 公钥
PATBOND_SERVICE_JWT_AUDIENCE patbond-ai 必须强制校验,否则独立密钥对失去意义

非法值响亮失败而不静默回落:一次配置笔误变成难查的行为偏差是最糟的结果。

本地门禁

与 CI 同一套命令(.gitea/workflows/ci.yml)。逐条分开跑并读各自的退出码—— ruff check . | tail -1; echo $? 读到的是 tail 的退出码,会把一次真实的 lint 失败读成通过(本仓已因此红过一次):

sh scripts/check-secrets.sh --all   # 凭证防泄漏全量自查
ruff format --check .
ruff check .
pytest -q

每人每仓启用一次 pre-commit 防泄漏钩子:

git config core.hooksPath scripts/hooks

scripts/check-secrets.sh 是四仓同构副本,调整规则时四仓同步提交。 它覆盖 AI 服务商密钥形态(sk-ant-、sk-/sk-proj-/sk-svcacct-)与 api_key/auth_token 实值赋值——本仓正是这些规则的主要适用对象。

凭证纪律

真实密钥只允许存在于被 gitignore 的文件中(.env),占位样例进 .env.sample。 拦下真实凭证时的第一动作是去服务商控制台轮换/禁用该密钥,然后才是清理提交。

分支与发布

dev 直推 + CI 绿,main 经 PR 合并。本仓纳入四仓 tag 同步与发布回归 (ADR-023 §12)。发布流程见 patbond-doc docs/development/releases.md。