dify 支持集成 ollama 部署的大型语言模型 (llm) 推理和嵌入能力。
快速集成指南
-
下载并运行 Ollama: 请参考 Ollama 官方文档进行本地部署和配置。运行 Ollama 并启动 Llama 模型，例如：
ollama run llama3.1。成功启动后，Ollama 会在本地 11434 端口启动 API 服务，访问地址为http://localhost:11434。更多模型信息请访问 https://www.php.cn/link/5aa99ed4dc2312e348d37fc9da80eb5b。 -
在 Dify 中配置 Ollama: 在 Dify 的“设置 > 模型供应商 > Ollama”页面填写以下信息：
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
-
模型名称:
llama3.1(或您选择的模型名称) -
基础 URL: 根据您的部署环境填写可访问的 Ollama 服务地址。
-
Docker 部署: 建议使用局域网 IP 地址 (例如
http://192.168.1.100:11434) 或 Docker 宿主机 IP 地址 (例如http://172.17.0.1:11434)。 您可以使用ip addr show(Linux/macOS) 或ipconfig(Windows) 命令查找您的 IP 地址。 -
本地源码部署: 使用
http://localhost:11434。
-
Docker 部署: 建议使用局域网 IP 地址 (例如
-
模型类型:
对话(或文本嵌入，取决于您使用的模型) -
模型上下文长度:
4096(或模型支持的最大上下文长度) -
最大 token 上限:
4096(或模型支持的最大 token 数量) -
是否支持 Vision:
是(如果模型支持图像理解)
保存配置后，Dify 将验证连接。
-
模型名称:
-
使用 Ollama 模型: 在 Dify 应用的提示词编排页面选择 Ollama 供应商下的
llama3.1模型，设置参数后即可使用。
常见问题解答 (FAQ)
⚠️ Docker 部署下的连接错误:
如果您使用 Docker 部署 Dify 和 Ollama，可能会遇到连接错误，例如 Connection refused。这是因为 Docker 容器无法访问 Ollama 服务。 解决方法是将 Ollama 服务暴露给网络，并使用正确的 Ollama 服务地址 (例如 Docker 宿主机 IP 地址) 在 Dify 中进行配置。
不同操作系统下的环境变量设置:
-
macOS: 使用
launchctl setenv OLLAMA_HOST "0.0.0.0"设置环境变量，重启 Ollama 应用。 如果无效，尝试使用host.docker.internal替换localhost。 -
Linux: 使用
systemctl edit ollama.service编辑 systemd 服务文件，添加Environment="OLLAMA_HOST=0.0.0.0"，然后systemctl daemon-reload和systemctl restart ollama。 -
Windows: 关闭 Ollama，修改系统环境变量
OLLAMA_HOST，然后重新启动 Ollama。
如何暴露 Ollama 服务:
Ollama 默认绑定到 127.0.0.1:11434。 您可以通过设置 OLLAMA_HOST 环境变量将其绑定到 0.0.0.0，使其在网络上可见。 请注意网络安全，并仅在受信任的网络环境中这样做。
