AnythingLLM

• 桌面端 AI 客户端——像 ChatGPT 客户端一样开箱即用,本地存储
• 私有 RAG 系统——上传 PDF/Word/网页,AI 基于这些文档回答你的问题
• 多用户协作平台(Docker 自托管)——团队共享知识库 + 权限管理

​

核心能力清单

• 多格式文档导入:PDF、Word、Excel、CSV、纯文本、Markdown、代码文件、整个网站
• Workspace 机制:每个工作区是独立知识库,文档/对话/模型互不污染
• 多模型 LLM 支持:OpenAI、Anthropic、Google、Azure、AWS Bedrock、Ollama、LM Studio,以及任意 OpenAI 兼容端点( AIHubMix 入口)
• 多 Embedder 支持:OpenAI、Cohere、Voyage、本地模型(如 nomic-embed-text、bge-m3)
• 内置向量数据库:默认 LanceDB(零配置),也可接 Pinecone、Chroma、Weaviate、Qdrant 等
• Agent 能力:在 RAG 之外让模型调用工具——网页抓取、SQL 查询、自定义脚本
• API 服务:暴露 OpenAI 兼容接口,可被 n8n、Make、Raycast 等工具反向调用

​

AnythingLLM 在 RAG 工具谱里的位置

​

通常使用方法

进入下图所示的设置页面：

• Base URL 一栏输入下方的网址：

https://aihubmix.com/v1

• APIkey 输入本站的 Key
• Chat Model Name 一栏输入自己需要用的模型名称。
• 注 Token context window 和 Max Tokens 根据模型不同可以填不同的大小。

​

非 openai 模型使用方法

​

Docker 部署给团队用

• 多用户登录,管理员可控权限
• Workspace 可在用户间共享(只读/可写)
• 文档解析、向量化运行在服务端
• LLM 与 Embedder 配置由管理员统一管理——也就是说,只要管理员配好一个 AIHubMix Key,全团队成员都能用

docker run -d -p 3001:3001 \
  -v anythingllm_storage:/app/server/storage \
  --name anythingllm \
  mintplexlabs/anythingllm

​

常见故障排查

1. Embedder 是否真的设置成了向量模型(不是 Chat 模型)
2. 文档是否真的被向量化(在 Workspace 设置里看 “Pinned Documents” 列表)
3. 提问时是否在正确的 Workspace 里(每个 Workspace 文档独立)

1. Generic OpenAI 选对了吗?选成 OpenAI 会忽略 Base URL
2. Base URL 是 https://aihubmix.com/v1(带 /v1),不要漏
3. Chat Model Name 与 AIHubMix 实际支持的模型 ID 一致(去 aihubmix.com 复制)
4. AIHubMix 余额是否充足

• 检查模型是不是 gpt-5 / o3 / deepseek-reasoner 这种推理模型——RAG 场景下确实需要推理时,慢是正常的;只是问”文档里 X 是什么”这种简单检索,换成 gpt-4o-mini 或 claude-haiku-4-5 立刻就快
• 检查 Token context window 是否设太大,导致每次请求要塞海量上下文

• 检查 Embedder——text-embedding-3-small 对中文已经不错,但本地 bge-m3 对中文更优
• 检查 chunk 大小——中文建议 chunk size 设为 300–500 字符,过大会稀释相关性
• 检查文档质量——PDF 表格、扫描件需要先 OCR

​

参考资料

• AnythingLLM 官网:anythingllm.com
• AnythingLLM 文档:docs.anythingllm.com
• AIHubMix 模型列表与 Key 管理:aihubmix.com
• AnythingLLM Docker Hub:hub.docker.com/r/mintplexlabs/anythingllm