跳到主要内容

如何使用 OpenAI Connector 和 Ollama 在本地运行开源 LLM 

如何使用 OpenAI Connector 和 Ollama 在本地运行开源 LLM 

在这篇博文中,你将学习如何从 Mendix 应用程序。为此,我们将利用 Mendix 市场,将智能 GenAI 功能引入到您的用例中。由于许多 GenAI 提供商提供与 OpenAI 兼容的 API,因此也可以使用如下所述的类似方法将这些提供商集成到 Mendix.

奥拉玛是什么?

Ollama 是一个框架,可让您在本地机器上运行开源大型语言模型 (LLM),例如 DeepSeek-R1、Llama 3.3、Phi-4、Mistral、Gemma 2 和其他模型。在本地运行 LLM 可增强隐私性、控制力和性能,因为数据会保留在用户环境中并减少延迟。它还提供网络独立性,并可能提高可靠性和对监管要求的遵守程度。

硬件需求

Mendix Studio Pro 9.24.2 或更高版本。

1 – 下载并安装Ollama

下载并安装 Ollama。

Mac 用户请注意:如果您正在运行 Mendix Mac 上的 Studio Pro 与 Parallels, Mendix 建议在 Windows 上安装 Ollama,这样您就不需要设置端口转发。

2 – 下载你的第一个模型

查询 Ollama模型库 并通过打开终端并输入来下载其中一个模型 ollama pull model-id。将 model-id 标记替换为您要从模型库中使用的模型。在本教程中,我们使用 DeepSeek-R1 并执行 ollama pull deepseek-r1 在终端。

根据模型大小,下载可能需要一些时间。在等待期间,您可以继续下一步并开始设置您的 Mendix 应用程序。

下载完成后,您可以通过运行直接在控制台中测试模型 ollama run deepseek-r1 (再次替换 deepseek-r1 使用您选择的模型 ID),然后输入提示以开始对话。

3 – 设置您的 Mendix 应用

现在我们已经成功设置并测试了 Ollama,我们准备切换到 Mendix Studio Pro 使 OpenAI 连接器与 Ollama 兼容。许多 AI 提供商和平台都提供与 OpenAI 的 API 规范兼容的 REST API,这就是为什么 OpenAI 连接器为实现提供了理想的起点。

如果你已经有了 Mendix 您想要使用的 Studio Pro 9.24.2 或更高版本中的项目,请下载 GenAI 用于 MendixOpenAI 连接器 来自 Mendix 市场并设置其依赖项。或者,您可以从 GenAI 入门应用程序之一开始,例如 AI机器人模板应用,它已经包含所有必需的模块,如果您想构建自己的类似 ChatGPT 的自定义聊天机器人,它是一个很好的模板。

4 – 配置 OpenAI 连接器

  1. 按照以下步骤设置加密密钥 MxDocs 中提到.
  2. 然后添加模块角色 OpenAIConnector.Administrator 在您的应用程序的安全设置中将其设置为管理员用户角色。
  3. 最后,添加 Configuration_Overview 页面(USE_ME > Configuration)到您的导航,或添加 Snippet_Configurations 到已经是您的导航一部分的页面。

5 – 运行应用程序并添加您的 Ollama 模型配置

现在运行应用程序,以管理员身份登录并打开添加到导航的 OpenAI 配置页面。单击新建按钮以创建新配置。

选择显示名称并将 Api 类型设置为 OpenAI。将端点设置为 http://localhost:11434/v1.最后,输入 1 或任何其他字符串作为令牌,以避免保存时出现验证错误。令牌字符串的内容完全是任意的,因为本地 Ollama 服务器不受授权方法的保护。

Ollama模型配置

保存配置后,您将看到一个包含所有默认 OpenAI 模型的新弹出窗口。这些模型不适用于我们的 Ollama 配置,因此您可以删除它们。之后,我们将本地 Ollama 模型作为已部署模型添加到 Mendix 应用程序。

选择一个显示名称,并将模型名称设置为其模型库中的 Ollama 模型 ID。 Ollama 网站上的模型概述 可以帮助确定模型的输出模态和附加功能。对于 DeepSeek-R1,它应该看起来像下面的屏幕截图。

Ollama 概述

单击保存。然后关闭已部署的模型弹出窗口。

6 – 测试 Ollama 模型 Mendix

要测试您的新模型,请将鼠标悬停在 Ollama 配置行中的三个点上,然后在弹出菜单中选择测试选项。从部署模型下拉列表中选择您刚刚创建的模型,然后单击测试按钮。如果一切设置正确,您将看到一条成功消息。

如果测试不成功,请检查 Studio Pro 控制台中的日志以查看更多详细信息,并遵循以下故障排除提示:

  1. 验证端点和模型名称是否输入正确。验证两者均不包含空格。
  2. 如果无法访问 Ollama 服务器,请尝试打开新终端并运行来重新启动它 ollama serve.

该模型现已准备好用于您的 Mendix 应用程序。如果你已经开始使用 AI Bot Starter App,请查看 操作指南文档 完成设置并开始聊天。

阅读有关智能应用程序的更多信息

如果你是 GenAI 新手,请查看 GenAI 展示应用程序,演示并解释了在 Mendix 应用程序。要开始开发人工智能增强应用程序,除了 AI Bot Starter App 之外, Mendix 提供各种入门应用程序,可以启动智能应用程序的开发,因为它们包含所有必要的模型、配置逻辑和基本实现。可用的入门应用程序包括 支持助理,帮助用户查询知识库并创建支持票,或 RFP 助理,可用于回答包含重复问题的问卷。请参阅 Mendix 概述文件 所有可用的 GenAI 组件和应用程序.

所有入门应用程序均与使用 OpenAI 连接器设置的 Ollama 模型兼容,如本博文所述,前提是您正在运行的模型支持所需的功能,例如视觉或函数调用。查看 Ollama 网站上的模型概述 筛选具有特定功能的模型。最后,查看其他 构建智能应用程序的资源 Mendix.

关注我们.

如果您正在开发自己的 GenAI 用例并需要帮助或想要提供反馈,我们很乐意听取您的意见。请联系您的客户成功经理, 给我们发邮件 或通过以下方式给我们留言 #genai-connectors 频道 在 Mendix 社区 Slack。 在此注册!

选择你的语言