So führen Sie Open-Source-LLMs lokal mit dem OpenAI Connector und Ollama aus 

Was ist Ollama?

Ollama ist ein Framework, mit dem Sie Open-Source-Large Language Models (LLMs) wie DeepSeek-R1, Llama 3.3, Phi-4, Mistral, Gemma 2 und andere Modelle lokal ausführen können. Die lokale Ausführung von LLMs bietet mehr Datenschutz, Kontrolle und Leistung, da Daten in der Benutzerumgebung gespeichert und Latenzen reduziert werden. Darüber hinaus bietet es Netzwerkunabhängigkeit und kann die Zuverlässigkeit und Einhaltung gesetzlicher Anforderungen verbessern.

Voraussetzungen:

Mendix Studio Pro 9.24.2 oder höher.

1 – Laden Sie Ollama herunter und installieren Sie es

Laden Sie Ollama herunter und installieren Sie es.

Hinweis für Mac-Benutzer: Wenn Sie Mendix Studio Pro auf einem Mac mit Parallels, Mendix empfiehlt, Ollama unter Windows zu installieren, sodass Sie keine Portweiterleitung einrichten müssen.

2 – Laden Sie Ihr erstes Modell herunter

Entdecken Sie auch das Ollama-Modellbibliothek und laden Sie eines ihrer Modelle herunter, indem Sie ein Terminal öffnen und eingeben ollama pull model-idErsetzen Sie das Modell-ID-Token durch das Modell, das Sie aus der Modellbibliothek verwenden möchten. Für dieses Tutorial haben wir DeepSeek-R1 verwendet und ausgeführt ollama pull deepseek-r1 im Terminal.

Je nach Modellgröße kann der Download einige Zeit in Anspruch nehmen. Währenddessen können Sie bereits mit dem nächsten Schritt fortfahren und mit der Einrichtung Ihres Mendix App.

Sobald der Download abgeschlossen ist, können Sie das Modell direkt in der Konsole testen, indem Sie Folgendes ausführen: ollama run deepseek-r1 (ersetzen Sie erneut deepseek-r1 mit der von Ihnen gewählten Modell-ID) und geben Sie dann eine Eingabeaufforderung ein, um ein Gespräch zu beginnen.

3 – Richten Sie Ihre Mendix App

Nachdem wir Ollama erfolgreich eingerichtet und getestet haben, sind wir bereit für den Wechsel zu Mendix Studio Pro, um den OpenAI-Connector mit Ollama kompatibel zu machen. Viele KI-Anbieter und -Plattformen bieten eine REST-API an, die mit der API-Spezifikation von OpenAI kompatibel ist. Daher bietet der OpenAI-Connector den idealen Ausgangspunkt für eine Implementierung.

Wenn Sie bereits eine haben Mendix Projekt in Studio Pro Version 9.24.2 oder höher, das Sie verwenden möchten, laden Sie GenAI für Mendix und den OpenAI-Konnektor von dem Mendix Marketplace und richten Sie die Abhängigkeiten ein. Alternativ können Sie mit einer der GenAI-Starter-Apps wie der AI Bot Starter App, das bereits alle erforderlichen Module enthält und eine großartige Vorlage ist, wenn Sie Ihren eigenen ChatGPT-ähnlichen benutzerdefinierten Chatbot erstellen möchten.

4 – Konfigurieren Sie den OpenAI-Connector

1. Richten Sie einen Verschlüsselungsschlüssel ein, indem Sie die folgenden Schritte ausführen erwähnt in MxDocs.
2. Anschließend fügen Sie die Modulrolle hinzu OpenAIConnector.Administrator zu Ihrer Administrator-Benutzerrolle in den Sicherheitseinstellungen Ihrer App.
3. Zum Schluss fügen Sie die Configuration_Overview Seite (USE_ME > Configuration) zu Ihrer Navigation oder fügen Sie die Snippet_Configurations zu einer Seite, die bereits Teil Ihrer Navigation ist.

5 – Führen Sie die App aus und fügen Sie Ihre Ollama-Modellkonfiguration hinzu

Starten Sie nun die App, melden Sie sich als Administrator an und öffnen Sie die OpenAI-Konfigurationsseite, die der Navigation hinzugefügt wurde. Klicken Sie auf die Schaltfläche „Neu“, um eine neue Konfiguration zu erstellen.

Wählen Sie einen Anzeigenamen und legen Sie den API-Typ auf OpenAI fest. Legen Sie den Endpunkt auf http://localhost:11434/v1Geben Sie abschließend 1 oder eine beliebige andere Zeichenfolge als Token, um einen Validierungsfehler beim Speichern zu vermeiden. Der Inhalt der Token-Zeichenfolge ist völlig beliebig, da der lokale Ollama-Server nicht durch eine Autorisierungsmethode geschützt ist.

Nach dem Speichern der Konfiguration wird ein neues Popup mit allen Standard-OpenAI-Modellen angezeigt. Diese funktionieren nicht mit unserer Ollama-Konfiguration, daher können Sie sie löschen. Anschließend fügen wir das lokale Ollama-Modell als bereitgestelltes Modell zum Mendix App.

Wählen Sie einen Anzeigenamen und setzen Sie den Modellnamen auf die Ollama-Modell-ID aus der Modellbibliothek. Die Modellübersicht auf der Website von Ollama kann helfen, die Ausgabemodalität des Modells und zusätzliche Funktionen zu bestimmen. Für DeepSeek-R1 sollte es wie im folgenden Screenshot aussehen.

Klicken Sie auf „Speichern“. Schließen Sie das Popup „Bereitgestelltes Modell“.

6 – Testen Sie das Ollama-Modell in Mendix

Um Ihr neues Modell zu testen, bewegen Sie den Mauszeiger über die drei Punkte in der Ollama-Konfigurationszeile und wählen Sie im Popup-Menü die Option „Testen“. Wählen Sie das soeben erstellte Modell aus der Dropdown-Liste „Bereitgestelltes Modell“ aus und klicken Sie auf die Schaltfläche „Testen“. Wenn alles korrekt eingerichtet ist, wird eine Erfolgsmeldung angezeigt.

Wenn der Test nicht erfolgreich ist, überprüfen Sie die Protokolle in der Konsole in Studio Pro, um weitere Details anzuzeigen, und gehen Sie die folgenden Tipps zur Fehlerbehebung durch:

1. Überprüfen Sie, ob der Endpunkt- und Modellname korrekt eingegeben wurden. Stellen Sie sicher, dass beide keine Leerzeichen enthalten.
2. Wenn der Ollama-Server nicht erreicht werden kann, versuchen Sie, ihn neu zu starten, indem Sie ein neues Terminal öffnen und ausführen ollama serve.

Das Modell ist nun bereit für den Einsatz in Ihrem Mendix App. Wenn Sie mit der AI Bot Starter App begonnen haben, schauen Sie sich die Anleitungsdokumentation um die Einrichtung abzuschließen und einen Chat zu starten.

Lesen Sie mehr über Smart-Apps

Wenn Sie neu bei GenAI sind, schauen Sie sich die GenAI-Vorzeige-App, das mehr als zehn verschiedene Anwendungsfälle für die Implementierung von GenAI in einem Mendix App. Um mit der Entwicklung einer KI-erweiterten App zu beginnen, gibt es neben der AI Bot Starter App Mendix bietet verschiedene Starter-Apps an, die die Entwicklung einer Smart-App beschleunigen, da sie alle notwendigen Modelle, die Konfigurationslogik und die grundlegende Implementierung enthalten. Zu den verfügbaren Starter-Apps gehören die Unterstützender Assistent, das Benutzern hilft, eine Wissensdatenbank abzufragen und Support-Tickets zu erstellen, oder ein RFP-Assistent, mit dem Fragebögen mit sich wiederholenden Fragen beantwortet werden können. Siehe die Mendix Dokumente für einen Überblick über alle verfügbaren GenAI-Komponenten und Apps.

Alle Starter-Apps sind mit Ollama-Modellen kompatibel, die mit dem OpenAI-Connector eingerichtet wurden, wie in diesem Blogbeitrag beschrieben, vorausgesetzt, das von Ihnen verwendete Modell unterstützt die erforderlichen Funktionen wie Vision oder Funktionsaufrufe. Überprüfen Sie die Modellübersicht auf der Website von Ollama um nach Modellen mit bestimmten Fähigkeiten zu filtern. Werfen Sie abschließend einen Blick auf die zusätzlichen Ressourcen zum Erstellen intelligenter Apps mit Mendix.

Vernetzen Sie sich mit uns

Wenn Sie an Ihrem eigenen GenAI-Anwendungsfall arbeiten und Unterstützung benötigen oder Feedback geben möchten, freuen wir uns über Ihre Kontaktaufnahme. Kontaktieren Sie Ihren Customer Success Manager. senden Sie uns eine Email oder schreiben Sie uns im #genai-connectors-Kanal auf die Mendix Gemeinschafts-Slack. Registrieren Sie sich hier,!