跳到主要内容

设置 Provider

这个 guide 给出让 model backend 跑起来的最短路径。Provider 字段见 Provider 集成,main model、auxiliary models 和 fallback routing 见 配置模型

你要设置什么

Provider setup 会创建两部分:

部分含义
Provider entryAnyy 如何连接并认证到模型服务。
Main model普通 chat 和 tool turns 使用的 provider/model pair。

Auxiliary media models 和 fallback routing 分开配置。除非你正在设置对应行为,否则不要把 media 或 fallback 设置写进这页的 manual provider snippets。

运行 Wizard

anyy setup model

Wizard 需要交互式 terminal。它会让你选择 provider template、完成认证并选择 model。确认后会写入 provider entry,以及同步的 main-model fields。

检查结果:

anyy config

Config view 是 read-only。它会报告 resolved model、provider、API mode、base URL、auth reference status 和 max-turn setting。

使用 Credential References

Provider credentials 应使用引用:

Ref用途
env:NAME由 shell 或 service manager 提供。
file:/absolute/path存在 Anyy home 之外的 credential。
secret:nameAnyy 管理的 profile-local secret。

不要把 raw API keys 写进 config.yaml。Provider credential fields 会拒绝 literal: values。

手动配置本地 Provider

运行本地 model server 时,可以使用本地 OpenAI-compatible endpoint:

providers:
- id: local
api_mode: openai-compatible
auth_mode: none
base_url: http://127.0.0.1:1234/v1
default_model: local-model

main_model:
provider_id: local
model: local-model

auth_mode: none 只接受本地或私有 endpoint。Public internet endpoint 如果没有 auth,会被 config validation 拒绝。

Main Model 可用后再加 Fallback

先确认 anyy chat 能通过 main model 工作,再配置 fallback:

anyy setup model fallback

Fallback wizard 需要已经存在 main model。它使用已配置且有 default model 的 providers,并写入规范的 auxiliary_models.fallback chain。

Fallback 是 provider error 的 resilience path。候选模型如果不能满足当前 turn 的 tools、media、context 或 continuity requirements,仍然可能被跳过。

验证 Setup

anyy config
anyy doctor
anyy chat "Say hello in one sentence."

如果 gateway 正在运行时修改 provider config,测试 resident session 前先 restart 或 reload 拥有 provider state 的 runtime path。

故障排查

现象检查
setup model 拒绝运行它需要交互式 terminal。
anyy config 显示 auth ref 未设置Export env var,创建 secret: file,或修正 file: path。
本地 endpoint 被拒绝auth_mode: none 需要 local 或 private base_url
Config 修改后 chat 失败先运行 anyy config,再 restart/reload gateway,然后测试 resident sessions。
Fallback setup 失败先配置 main model,并确认 fallback providers 有可用 default models。