> ## Documentation Index > Fetch the complete documentation index at: https://docs.aihubmix.com/llms.txt > Use this file to discover all available pages before exploring further. # AnythingLLM > 在 AnythingLLM 中接入 AIHubMix：用单个 API Key 为本地私有 RAG 知识库统一接入对话与 Embedding 模型。 **AnythingLLM** 是由 [Mintplex Labs](https://mintplexlabs.com/) 开发的**开源全栈 AI 应用**(MIT 协议),核心定位:**把任何文档变成可以对话的知识库**。 它有三种产品形态: * **桌面端 AI 客户端**——像 ChatGPT 客户端一样开箱即用,本地存储 * **私有 RAG 系统**——上传 PDF/Word/网页,AI 基于这些文档回答你的问题 * **多用户协作平台**(Docker 自托管)——团队共享知识库 + 权限管理 | 维度 | 详情 | | :--------- | :---------------------------------------------------------------------------------- | | **官网** | [anythingllm.com](http://anythingllm.com) | | **GitHub** | [Mintplex-Labs/anything-llm](https://github.com/Mintplex-Labs/anything-llm)(40k+ ⭐) | | **协议** | MIT,完全开源 | | **支持平台** | 桌面端:macOS / Windows / Linux;服务端:Docker | | **价格** | 桌面版完全免费;Docker 自托管免费;云服务可选付费 | ### 核心能力清单 * **多格式文档导入**:PDF、Word、Excel、CSV、纯文本、Markdown、代码文件、整个网站 * **Workspace 机制**:每个工作区是独立知识库,文档/对话/模型互不污染 * **多模型 LLM 支持**:OpenAI、Anthropic、Google、Azure、AWS Bedrock、Ollama、LM Studio,以及任意 OpenAI 兼容端点( **AIHubMix 入口**) * **多 Embedder 支持**:OpenAI、Cohere、Voyage、本地模型(如 nomic-embed-text、bge-m3) * **内置向量数据库**:默认 LanceDB(零配置),也可接 Pinecone、Chroma、Weaviate、Qdrant 等 * **Agent 能力**:在 RAG 之外让模型调用工具——网页抓取、SQL 查询、自定义脚本 * **API 服务**:暴露 OpenAI 兼容接口,可被 n8n、Make、Raycast 等工具反向调用 AnythingLLM 把文档解析、向量化、检索、对话全部在你自己的电脑上完成,**只有"被检索到的少量片段"会发给 LLM 厂商**。这是 RAG 工具区别于聊天客户端的本质——**数据主权 + 文档级精准检索**。 *** ## AnythingLLM 在 RAG 工具谱里的位置 | 工具 | 定位 | 适合谁 | | :------------------------- | :---------------- | :---------------------- | | **LangChain / LlamaIndex** | RAG 框架(写代码) | 开发者,要从 0 搭流水线 | | **Dify / FastGPT** | RAG 平台(可视化工作流) | 需要 Agent 编排、多步骤工作流的中小团队 | | **AnythingLLM** | **开箱即用的 RAG 客户端** | 想直接传文档对话、不想搭建后端的个人或团队 | | **Ollama + Open WebUI** | 纯本地 LLM 推理界面 | 想完全离线、不接 API 的极客 | AnythingLLM 的核心卖点:**装好就能用**。下载桌面版,首次启动 5 分钟就能完成"上传 PDF → 提问"的完整流程。它内置了向量库(LanceDB)、文档解析器、Embedder 调用器、Workspace 隔离机制——你只需要选一个 LLM Provider 和一个 Embedder Provider。 ## 通用配置方法 先从 [AnythingLLM 官网](https://anythingllm.com/) 下载并安装桌面版。进入应用后，打开左下角头像菜单，在设置页里找到 LLM 配置入口。 AnythingLLM 设置入口 打开设置页后，先点击 **LLM Provider** 下拉框，在列表中选择 **Generic OpenAI**，下图对应的就是这一步。这个选项用于接入 OpenAI 兼容接口，AIHubMix 可以直接按这种方式配置。 AnythingLLM 选择 Generic OpenAI 按下面的方式填写连接信息： * **Base URL** 填写： ```text theme={null} https://aihubmix.com/v1 ``` 如遇当前 API 主地址不可用，可将此处域名替换为备用地址 `https://api.inferera.com`，路径保持不变。 * **API Key** 填写你在 [AIHubMix 控制台](https://aihubmix.com/token) 创建的 Key。 * **Chat Model Name** 填写要使用的模型 ID，例如 `gpt-4o-mini`、`claude-haiku-4-5` 等。模型 ID 建议从 AIHubMix 模型广场复制，避免手动输入出错。 * **Token context window** 和 **Max Tokens** 可以按模型能力调整；如果不确定，先使用默认值，确认能正常对话后再按需要增大。 AnythingLLM 填写 Base URL 和 API Key 保存配置后，回到对话页面选择刚配置的模型，发送一条简单消息确认是否能正常回复。 AnythingLLM 选择模型 在这个位置也可以快速切换 AIHubMix 支持的其他模型。需要更换模型时，直接从下拉菜单选择已配置的模型即可。 AnythingLLM 验证回复 ## 非 OpenAI 模型使用方法 模型服务商选择 Generic OpenAI 不变，在 Chat Model Name 一栏手动修改所需模型名称即可。\ 在 AIHubMix 模型列表中复制需要使用的模型 ID，填入 Chat Model Name 即可。 ### Docker 部署给团队用 桌面版是单机使用,团队需要 [AnythingLLM Docker 镜像](https://hub.docker.com/r/mintplexlabs/anythingllm)。Docker 版本的核心区别: * 多用户登录,管理员可控权限 * Workspace 可在用户间共享(只读/可写) * 文档解析、向量化运行在服务端 * LLM 与 Embedder 配置由管理员统一管理——**也就是说,只要管理员配好一个 AIHubMix Key,全团队成员都能用** ```text theme={null} docker run -d -p 3001:3001 \ -v anythingllm_storage:/app/server/storage \ --name anythingllm \ mintplexlabs/anythingllm ``` 访问 `http://localhost:3001`,登录后在系统设置里按上文配置 AIHubMix 即可。 *** ## 常见故障排查 **问题:文档上传了,提问时模型说"找不到相关信息"** 90% 的情况是 Embedder 没配置好,或者 chunk size 太大。检查: 1. Embedder 是否真的设置成了向量模型(不是 Chat 模型) 2. 文档是否真的被向量化(在 Workspace 设置里看 "Pinned Documents" 列表) 3. 提问时是否在正确的 Workspace 里(每个 Workspace 文档独立) **问题:配置完之后,Chat 模型回 401 或 model not found** 按概率排查: 1. `Generic OpenAI` 选对了吗?选成 `OpenAI` 会忽略 Base URL 2. Base URL 是 `https://aihubmix.com/v1`(带 `/v1`),不要漏 3. Chat Model Name 与 AIHubMix 实际支持的模型 ID 一致(去 `aihubmix.com` 复制) 4. AIHubMix 余额是否充足 **问题:回答速度慢,经常卡住** * 检查模型是不是 `gpt-5` / `o3` / `deepseek-reasoner` 这种推理模型——RAG 场景下确实需要推理时,慢是正常的;只是问"文档里 X 是什么"这种简单检索,换成 `gpt-4o-mini` 或 `claude-haiku-4-5` 立刻就快 * 检查 Token context window 是否设太大,导致每次请求要塞海量上下文 **问题:中文文档检索效果不好** * 检查 Embedder——`text-embedding-3-small` 对中文已经不错,但本地 `bge-m3` 对中文更优 * 检查 chunk 大小——中文建议 chunk size 设为 300–500 字符,过大会稀释相关性 * 检查文档质量——PDF 表格、扫描件需要先 OCR **问题:想给团队用,但不想每个人都管 API Key** 使用 Docker 自托管版,管理员配 Key,用户登录即用。 *** ## 参考资料 * AnythingLLM 官网:[anythingllm.com](https://anythingllm.com/) * AnythingLLM 文档:[docs.anythingllm.com](https://docs.anythingllm.com/) * AIHubMix 模型列表与 Key 管理:[aihubmix.com](https://aihubmix.com/) * AnythingLLM Docker Hub:[hub.docker.com/r/mintplexlabs/anythingllm](https://hub.docker.com/r/mintplexlabs/anythingllm) *** 更新时间：2026-07-03