我想配置一家 LLM 提供商

我想配置一家 LLM 提供商

当你第一次把 Mirrai 跑起来、或者想换一家模型服务时,读这篇。Mirrai 至少要配置一家 LLM 提供商,才能生成回复。

提供商一览

提供商协议默认模型
OpenAIRESTgpt-4o
Atlas CloudOpenAI 兼容google/gemini-3-flash-preview
Cheaper InferenceOpenAI 兼容gpt-5.4-mini
ClaudeRESTclaude-sonnet-4-6
DeepSeekOpenAI 兼容deepseek-chat
Kimi (月之暗面)OpenAI 兼容moonshot-v1-8k
通义千问OpenAI 兼容qwen-turbo
豆包OpenAI 兼容自定义
302.aiOpenAI 兼容自定义
OllamaRESTllama3 (本地)
DifyWorkflow API自定义
讯飞星火WebSocket + HMACv3.5

OpenAI 兼容协议共用一个适配器,通过 baseUrl / model 区分——换个兼容服务一般只改这两个值,不用改代码。

怎么配

配置写在项目根目录的 .env 里。挑一家,填对应的 Key,并把默认提供商指向它:

DEFAULT_LLM_PROVIDER=openai
OPENAI_API_KEY=sk-你的密钥

你应该看到:重启服务后,网页端设置里的默认提供商显示为 OpenAI,和示例分身说一句话能收到流式回复。

各提供商对应的环境变量:

提供商变量
OpenAIOPENAI_API_KEY,可选 OPENAI_BASE_URL / OPENAI_MODEL
Atlas CloudATLASCLOUD_API_KEY,可选 ATLAS_BASE_URL / ATLAS_MODEL
Cheaper InferenceCHEAPER_INFERENCE_API_KEY,可选 CHEAPER_INFERENCE_BASE_URL / CHEAPER_INFERENCE_MODEL
ClaudeCLAUDE_API_KEY,可选 CLAUDE_MODEL
DeepSeekDEEPSEEK_API_KEY
KimiKIMI_API_KEY
通义千问TONGYI_API_KEY,可选 TONGYI_MODEL
豆包DOUBAO_API_KEY,可选 DOUBAO_BASE_URL / DOUBAO_MODEL
302.ai_302AI_API_KEY
OllamaOLLAMA_URL / OLLAMA_MODEL
DifyDIFY_API_KEY / DIFY_URL
讯飞星火XUNFEI_APP_ID / XUNFEI_API_KEY / XUNFEI_API_SECRET

DEFAULT_LLM_PROVIDER 的取值就是提供商名:openai / atlas / cheaperinference / claude / deepseek / kimi / ollama / dify / xunfei / tongyi / doubao / 302ai。

不要把填了真实 Key 的 .env 提交进仓库。它应该只在你自己的机器上。

网页端也能管

除了 .env,网页端的 LLM 设置里也可以管理每用户的提供商配置:填 Key、换默认提供商、改 baseUrl / model。密钥只回显掩码,不回传明文。两边冲突时以你最后设置的默认提供商为准。

验证一下

  1. 重启服务(改 .env 之后要重启才生效)。
  2. 打开一个分身(没有分身就用示例分身),发一句「在吗」。
  3. 你应该看到:回复逐 token 流出,而不是等很久才出一整段;情感状态也会跟着变。

如果回复里报「未配置提供商」之类的错误,检查 .env 里 Key 是否填对、DEFAULT_LLM_PROVIDER 是否指向有 Key 的那一家。

换一家提供商

改 DEFAULT_LLM_PROVIDER(或在网页端切换),重启即可。人设、记忆和聊天记录都不依赖提供商,换一家不会丢东西,TA 还是 TA。

小提示:AI 回复质量取决于所选模型,推荐 GPT-4o 或 Claude 获得更好的效果。想让所有数据不出机器,看我想完全离线跑。