奥拉玛是什么?
Ollama 是一个框架,可让您在本地机器上运行开源大型语言模型 (LLM),例如 DeepSeek-R1、Llama 3.3、Phi-4、Mistral、Gemma 2 和其他模型。在本地运行 LLM 可增强隐私性、控制力和性能,因为数据会保留在用户环境中并减少延迟。它还提供网络独立性,并可能提高可靠性和对监管要求的遵守程度。
硬件需求
Mendix Studio Pro 9.24.2 或更高版本。
1 – 下载并安装Ollama
Mac 用户请注意:如果您正在运行 Mendix Mac 上的 Studio Pro 与 Parallels, Mendix 建议在 Windows 上安装 Ollama,这样您就不需要设置端口转发。
2 – 下载你的第一个模型
查询 Ollama模型库 并通过打开终端并输入来下载其中一个模型 ollama pull model-id
。将 model-id 标记替换为您要从模型库中使用的模型。在本教程中,我们使用 DeepSeek-R1 并执行 ollama pull deepseek-r1
在终端。
根据模型大小,下载可能需要一些时间。在等待期间,您可以继续下一步并开始设置您的 Mendix 应用程序。
下载完成后,您可以通过运行直接在控制台中测试模型 ollama run deepseek-r1
(再次替换 deepseek-r1
使用您选择的模型 ID),然后输入提示以开始对话。
3 – 设置您的 Mendix 应用
现在我们已经成功设置并测试了 Ollama,我们准备切换到 Mendix Studio Pro 使 OpenAI 连接器与 Ollama 兼容。许多 AI 提供商和平台都提供与 OpenAI 的 API 规范兼容的 REST API,这就是为什么 OpenAI 连接器为实现提供了理想的起点。
如果你已经有了 Mendix 您想要使用的 Studio Pro 9.24.2 或更高版本中的项目,请下载 GenAI 用于 Mendix 和 OpenAI 连接器 来自 Mendix 市场并设置其依赖项。或者,您可以从 GenAI 入门应用程序之一开始,例如 AI机器人模板应用,它已经包含所有必需的模块,如果您想构建自己的类似 ChatGPT 的自定义聊天机器人,它是一个很好的模板。
4 – 配置 OpenAI 连接器
- 按照以下步骤设置加密密钥 MxDocs 中提到.
- 然后添加模块角色
OpenAIConnector.Administrator
在您的应用程序的安全设置中将其设置为管理员用户角色。 - 最后,添加
Configuration_Overview
页面(USE_ME > Configuration
)到您的导航,或添加Snippet_Configurations
到已经是您的导航一部分的页面。
5 – 运行应用程序并添加您的 Ollama 模型配置
现在运行应用程序,以管理员身份登录并打开添加到导航的 OpenAI 配置页面。单击新建按钮以创建新配置。
选择显示名称并将 Api 类型设置为 OpenAI。将端点设置为 http://localhost:11434/v1
.最后,输入 1
或任何其他字符串作为令牌,以避免保存时出现验证错误。令牌字符串的内容完全是任意的,因为本地 Ollama 服务器不受授权方法的保护。
保存配置后,您将看到一个包含所有默认 OpenAI 模型的新弹出窗口。这些模型不适用于我们的 Ollama 配置,因此您可以删除它们。之后,我们将本地 Ollama 模型作为已部署模型添加到 Mendix 应用程序。
选择一个显示名称,并将模型名称设置为其模型库中的 Ollama 模型 ID。 Ollama 网站上的模型概述 可以帮助确定模型的输出模态和附加功能。对于 DeepSeek-R1,它应该看起来像下面的屏幕截图。
单击保存。然后关闭已部署的模型弹出窗口。
6 – 测试 Ollama 模型 Mendix
要测试您的新模型,请将鼠标悬停在 Ollama 配置行中的三个点上,然后在弹出菜单中选择测试选项。从部署模型下拉列表中选择您刚刚创建的模型,然后单击测试按钮。如果一切设置正确,您将看到一条成功消息。
如果测试不成功,请检查 Studio Pro 控制台中的日志以查看更多详细信息,并遵循以下故障排除提示:
- 验证端点和模型名称是否输入正确。验证两者均不包含空格。
- 如果无法访问 Ollama 服务器,请尝试打开新终端并运行来重新启动它
ollama serve
.
该模型现已准备好用于您的 Mendix 应用程序。如果你已经开始使用 AI Bot Starter App,请查看 操作指南文档 完成设置并开始聊天。
阅读有关智能应用程序的更多信息
如果你是 GenAI 新手,请查看 GenAI 展示应用程序,演示并解释了在 Mendix 应用程序。要开始开发人工智能增强应用程序,除了 AI Bot Starter App 之外, Mendix 提供各种入门应用程序,可以启动智能应用程序的开发,因为它们包含所有必要的模型、配置逻辑和基本实现。可用的入门应用程序包括 支持助理,帮助用户查询知识库并创建支持票,或 RFP 助理,可用于回答包含重复问题的问卷。请参阅 Mendix 概述文件 所有可用的 GenAI 组件和应用程序.
所有入门应用程序均与使用 OpenAI 连接器设置的 Ollama 模型兼容,如本博文所述,前提是您正在运行的模型支持所需的功能,例如视觉或函数调用。查看 Ollama 网站上的模型概述 筛选具有特定功能的模型。最后,查看其他 构建智能应用程序的资源 Mendix.
关注我们.
如果您正在开发自己的 GenAI 用例并需要帮助或想要提供反馈,我们很乐意听取您的意见。请联系您的客户成功经理, 给我们发邮件 或通过以下方式给我们留言 #genai-connectors 频道 在 Mendix 社区 Slack。 在此注册!