设置 Provider
这个 guide 给出让 model backend 跑起来的最短路径。Provider 字段见 Provider 集成,main model、auxiliary models 和 fallback routing 见 配置模型。
你要设置什么
Provider setup 会创建两部分:
| 部分 | 含义 |
|---|---|
| Provider entry | Anyy 如何连接并认证到模型服务。 |
| Main model | 普通 chat 和 tool turns 使用的 provider/model pair。 |
Auxiliary media models 和 fallback routing 分开配置。除非你正在设置对应行为,否则不要把 media 或 fallback 设置写进这页的 manual provider snippets。
运行 Wizard
anyy setup model
Wizard 需要交互式 terminal。它会让你选择 provider template、完成认证并选择 model。确认后会写入 provider entry,以及同步的 main-model fields。
检查结果:
anyy config
Config view 是 read-only。它会报告 resolved model、provider、API mode、base URL、auth reference status 和 max-turn setting。
使用 Credential References
Provider credentials 应使用引用:
| Ref | 用途 |
|---|---|
env:NAME | 由 shell 或 service manager 提供。 |
file:/absolute/path | 存在 Anyy home 之外的 credential。 |
secret:name | Anyy 管理的 profile-local secret。 |
不要把 raw API keys 写进 config.yaml。Provider credential fields 会拒绝 literal: values。
手动配置本地 Provider
运行本地 model server 时,可以使用本地 OpenAI-compatible endpoint:
providers:
- id: local
api_mode: openai-compatible
auth_mode: none
base_url: http://127.0.0.1:1234/v1
default_model: local-model
main_model:
provider_id: local
model: local-model
auth_mode: none 只接受本地或私有 endpoint。Public internet endpoint 如果没有 auth,会被 config validation 拒绝。
Main Model 可用后再加 Fallback
先确认 anyy chat 能通过 main model 工作,再配置 fallback:
anyy setup model fallback
Fallback wizard 需要已经存在 main model。它使用已配置且有 default model 的 providers,并写入规范的 auxiliary_models.fallback chain。
Fallback 是 provider error 的 resilience path。候选模型如果不能满足当前 turn 的 tools、media、context 或 continuity requirements,仍然可能被跳过。
验证 Setup
anyy config
anyy doctor
anyy chat "Say hello in one sentence."
如果 gateway 正在运行时修改 provider config,测试 resident session 前先 restart 或 reload 拥有 provider state 的 runtime path。
故障排查
| 现象 | 检查 |
|---|---|
setup model 拒绝运行 | 它需要交互式 terminal。 |
anyy config 显示 auth ref 未设置 | Export env var,创建 secret: file,或修正 file: path。 |
| 本地 endpoint 被拒绝 | auth_mode: none 需要 local 或 private base_url。 |
| Config 修改后 chat 失败 | 先运行 anyy config,再 restart/reload gateway,然后测试 resident sessions。 |
| Fallback setup 失败 | 先配置 main model,并确认 fallback providers 有可用 default models。 |