Comment exécuter des LLM open source localement avec OpenAI Connector et Ollama 

Qu’est-ce qu’Ollama ?

Ollama est un framework qui vous permet d'exécuter des modèles de langage étendus (LLM) open source tels que DeepSeek-R1, Llama 3.3, Phi-4, Mistral, Gemma 2 et d'autres modèles, sur votre machine locale. L'exécution locale des LLM améliore la confidentialité, le contrôle et les performances en conservant les données dans l'environnement utilisateur et en réduisant la latence. Elle assure également l'indépendance du réseau et peut améliorer la fiabilité et la conformité aux exigences réglementaires.

Pré-requis :

Mendix Studio Pro 9.24.2 ou supérieur.

1 – Téléchargez et installez Ollama

Téléchargez et installez Ollama.

Remarque pour les utilisateurs de Mac : si vous exécutez Mendix Studio Pro sur un Mac avec Parallels, Mendix recommande d'installer Ollama sur Windows, afin que vous n'ayez pas besoin de configurer la redirection de port.

2 – Téléchargez votre premier modèle

Jetez un coup d'œil au Bibliothèque de modèles Ollama et téléchargez l'un de leurs modèles en ouvrant un terminal et en entrant ollama pull model-idRemplacez le jeton d'identification du modèle par le modèle que vous souhaitez utiliser dans la bibliothèque. Pour ce tutoriel, nous avons utilisé DeepSeek-R1 et exécuté ollama pull deepseek-r1 dans le terminal.

Selon la taille du modèle, le téléchargement peut prendre un certain temps. En attendant, vous pouvez passer à l'étape suivante et commencer la configuration de votre appareil. Mendix app.

Une fois le téléchargement terminé, vous pouvez tester le modèle directement dans la console en exécutant ollama run deepseek-r1 (encore une fois, remplacez deepseek-r1 (avec l'ID de modèle que vous avez choisi) puis entrez une invite pour démarrer une conversation.

3 – Configurez votre Mendix appli

Maintenant que nous avons configuré et testé Ollama avec succès, nous sommes prêts à passer à Mendix Studio Pro rend le connecteur OpenAI compatible avec Ollama. De nombreux fournisseurs et plateformes d'IA proposent une API REST compatible avec la spécification d'API d'OpenAI. Le connecteur OpenAI constitue donc le point de départ idéal pour une implémentation.

Si vous avez déjà un Mendix projet dans Studio Pro version 9.24.2 ou supérieure que vous souhaitez utiliser, téléchargez GenAI pour Mendix et de la Connecteur OpenAI du Mendix Marketplace et configurez ses dépendances. Vous pouvez également démarrer avec l'une des applications de démarrage GenAI, comme Application de démarrage AI Bot, qui contient déjà tous les modules requis et constitue un excellent modèle si vous souhaitez créer votre propre chatbot personnalisé de type ChatGPT.

4 – Configurer le connecteur OpenAI

1. Configurez une clé de chiffrement en suivant les étapes mentionné dans MxDocs.
2. Ajoutez ensuite le rôle du module OpenAIConnector.Administrator à votre rôle d'utilisateur Administrateur dans les paramètres de sécurité de votre application.
3. Enfin, ajoutez le Configuration_Overview Page (USE_ME > Configuration) à votre navigation, ou ajoutez le Snippet_Configurations vers une page qui fait déjà partie de votre navigation.

5 – Exécutez l’application et ajoutez la configuration de votre modèle Ollama

Exécutez maintenant l'application, connectez-vous en tant qu'administrateur et ouvrez la page de configuration OpenAI ajoutée à la navigation. Cliquez sur le bouton « Nouveau » pour créer une nouvelle configuration.

Choisissez un nom d'affichage et définissez le type d'API sur OpenAI. Définissez le point de terminaison sur http://localhost:11434/v1. Enfin, entrez 1 ou toute autre chaîne de caractères comme jeton pour éviter une erreur de validation lors de l'enregistrement. Le contenu de la chaîne de caractères est totalement arbitraire, car le serveur Ollama local n'est pas protégé par une méthode d'autorisation.

Après avoir enregistré la configuration, une nouvelle fenêtre contextuelle s'affichera avec tous les modèles OpenAI par défaut. Ceux-ci ne fonctionneront pas avec notre configuration Ollama ; vous pouvez donc les supprimer. Nous ajouterons ensuite le modèle Ollama local comme modèle déployé à la configuration. Mendix app.

Choisissez un nom d'affichage et définissez le nom du modèle sur l'ID de modèle Ollama de leur bibliothèque de modèles. aperçu du modèle sur le site Web d'Ollama Cela peut aider à déterminer la modalité de sortie du modèle et ses fonctionnalités supplémentaires. Pour DeepSeek-R1, cela devrait ressembler à la capture d'écran ci-dessous.

Cliquez sur « Enregistrer » et fermez la fenêtre contextuelle du modèle déployé.

6 – Tester le modèle Ollama en Mendix

Pour tester votre nouveau modèle, survolez les trois points de la ligne de configuration d'Ollama et sélectionnez l'option « Tester » dans le menu contextuel. Sélectionnez le modèle que vous venez de créer dans la liste déroulante des modèles déployés et cliquez sur le bouton « Tester ». Si tout est correctement configuré, un message de réussite s'affichera.

Si le test échoue, vérifiez les journaux dans la console de Studio Pro pour afficher plus de détails et suivez les conseils de dépannage suivants :

1. Vérifiez que le point de terminaison et le nom du modèle ont été correctement saisis. Vérifiez qu'ils ne contiennent aucun espace.
2. Si le serveur Ollama n'est pas accessible, essayez de le redémarrer en ouvrant un nouveau terminal et en exécutant ollama serve.

Le modèle est maintenant prêt à être utilisé dans votre Mendix application. Si vous avez commencé avec l'application AI Bot Starter, jetez un œil à la documentation pratique pour terminer la configuration et démarrer une discussion.

En savoir plus sur les applications intelligentes

Si vous êtes nouveau sur GenAI, consultez le Application vitrine GenAI, qui démontre et explique plus de dix cas d'utilisation différents pour la mise en œuvre de GenAI dans un Mendix application. Pour démarrer le développement d'une application augmentée par l'IA, en plus de l'application AI Bot Starter, Mendix propose diverses applications de démarrage pour accélérer le développement d'une application intelligente, car elles contiennent tous les modèles, la logique de configuration et l'implémentation de base nécessaires. Parmi les applications de démarrage disponibles, on trouve : Assistant de support, qui aide les utilisateurs à interroger une base de connaissances et à créer des tickets d'assistance, ou un Assistante de demande de propositions, qui peut être utilisé pour répondre à des questionnaires contenant des questions répétitives. Voir le Mendix documents pour un aperçu de tous les composants et applications GenAI disponibles.

Toutes les applications de démarrage sont compatibles avec les modèles Ollama configurés avec le connecteur OpenAI, comme décrit dans cet article, à condition que le modèle que vous exécutez prenne en charge les fonctionnalités requises, telles que la vision ou l'appel de fonctions. Consultez le aperçu du modèle sur le site Web d'Ollama pour filtrer les modèles dotés de certaines fonctionnalités. Enfin, jetez un œil aux fonctionnalités supplémentaires ressources pour créer des applications intelligentes avec Mendix.

Suivez nous sur

Si vous travaillez sur votre propre cas d'utilisation GenAI et avez besoin d'aide ou souhaitez nous faire part de vos commentaires, n'hésitez pas à nous contacter. Contactez votre responsable de la réussite client. Envoyez-nous un e-mail ou envoyez-nous un message dans le Chaîne #genai-connectors sur le Mendix Communauté Slack. Inscrivez-vous ici!