Et si votre application pouvait réellement utiliser un ordinateur (ouvrir des fichiers, cliquer sur des boutons et effectuer des tâches) simplement en le demandant ?

Merci à GenAI et à quelques astuces pratiques Mendix outils, c'est non seulement possible, mais étonnamment faisable. Dans cet article, nous vous montrerons comment créer un Mendix Application qui communique avec un ordinateur virtuel et réalise des actions. Vous découvrirez comment intégrer des modèles de langage étendus (LLM), configurer les connecteurs appropriés et permettre à vos utilisateurs de piloter des actions simplement en interagissant avec votre application en langage humain.

Qu'est-ce que l'utilisation de l'ordinateur ?

L'utilisation de l'ordinateur est une idée nouvelle et puissante dans le monde de l'IA générative (GenAI) et du développement d'applications. Elle permet aux développeurs de créer des applications capables de contrôler un ordinateur, généralement virtuel, pour effectuer des tâches en fonction des demandes de l'utilisateur.

En bref : une configuration informatique consiste en une application connectée à un modèle de langage étendu (MLL) spécialisé, entraîné à prédire les actions d'utilisation de l'ordinateur. Lorsqu'un utilisateur saisit dans l'application une information telle que « Pouvez-vous rechercher des vols pour Amsterdam pour le deuxième week-end du mois prochain ? », le LLM détermine les étapes nécessaires à cette opération, tout en tenant compte de l'historique et du contexte des conversations.

Ces étapes peuvent aller de l'ouverture d'un navigateur à la saisie dans un champ de recherche, en passant par le clic sur un bouton. Le LLM renvoie ensuite des instructions spécifiques, comme l'emplacement de la souris, le texte à saisir ou le clic sur lequel cliquer. L'application utilise ces instructions pour contrôler l'ordinateur virtuel. Parfois, l'application envoie également des captures d'écran de l'écran au LLM, afin qu'il puisse visualiser ce qui se passe et décider de la marche à suivre.

Avec Mendix, vous pouvez déjà créer une « application intelligente » qui assiste les utilisateurs et prend en charge les processus métier grâce à des fonctionnalités informatiques. Il est facile de démarrer en utilisant des composants compatibles avec la plateforme. Mendix Place de marché similaire GenAI Commons, Interface utilisateur conversationnelle, et un connecteur LLM compatible avec votre configuration. Connecter votre application à un ordinateur virtuel est rapide. L'application peut communiquer avec l'ordinateur grâce à des outils courants, comme les API REST, couramment utilisées dans Mendix projets.

Mettre l'utilisation de l'ordinateur en pratique Mendix

Dans notre exemple, le Mendix L'application utilise une interface de chat où l'utilisateur peut saisir ce qu'il souhaite faire. L'application effectue ensuite les actions nécessaires sur un bureau virtuel. Cette configuration repose sur Application GenAI Showcase, qui comprend un ensemble de petits exemples fonctionnels pour aider les développeurs à apprendre les modèles GenAI et à créer des applications plus intelligentes Mendix applications. Il est destiné à la fois à inspirer et à enseigner, en particulier pour ceux qui sont nouveaux dans GenAI.

Choisir le LLM et le mettre en place

Nous utilisons Anthropic Claude Sonnet 3.7, un LLM hébergé sur Amazon Bedrock. Nous nous y connecterons via Mendix-prise en charge Connecteur Amazon Bedrock. Lorsqu'il est activé pour une utilisation sur ordinateur (nous avons choisi la version 20250124), le LLM répondra avec des instructions d'utilisation de l'ordinateur envoyées sous forme d'objets d'appel d'outils qui peuvent être traités dans un modèle d'appel de fonction dans le Mendix app.

Appel de fonction avec la boucle d'agent

Le Mendix L'application suit un modèle d'appel de fonctions, ce qui signifie qu'elle gère les appels d'outils du LLM à l'aide de la logique des microflux. Elle envoie également des captures d'écran du bureau virtuel au LLM afin qu'il puisse visualiser l'écran actuel et déterminer l'étape suivante. Ce va-et-vient est appelé la boucle d'agent.

Grâce au module GenAI Commons, cela fonctionne immédiatement en utilisant le Action de complétion du chatNous n'avions besoin que d'un seul microflux de fonction pour mapper les instructions du LLM (sur quoi cliquer, où taper, etc.) et les envoyer sous forme de commande à l'ordinateur virtuel.

Connexion à l'ordinateur virtuel

Pour que la machine virtuelle exécute les instructions de l'application, nous avons configuré une intégration REST avec un conteneur Docker local. L'image utilisée pour notre conteneur est basée sur Dépôt de démonstration d'utilisation de l'ordinateur d'Anthropic, et inclut le code Python qui exécute les commandes.

Nous avons enveloppé ce code dans un serveur HTTP simple et l'a publié dans le conteneur. De cette façon, Mendix l'application peut simplement utiliser une activité d'appel de service REST dans le microflow pour déclencher les actions.

Tout voir en action

Le bureau de l'ordinateur virtuel est visible sur un port local (par exemple, localhost:6080), afin que nous puissions observer ce qui se passe en temps réel dans un navigateur. Si vous placez l'interface de chat et le bureau virtuel côte à côte dans le Mendix application, vous pouvez clairement voir comment le système réagit si l'utilisateur entre, par exemple, sa demande d'informations sur le vol.

Ce qu'il faut garder à l'esprit lors de l'utilisation d'un ordinateur

L’utilisation d’un ordinateur est puissante, mais elle implique certains éléments importants à prendre en compte.

1 – La qualité du modèle est importante

Différents LLM (et même différentes versions d'un même LLM) donneront des résultats différents. Certains sont plus efficaces pour comprendre les captures d'écran, d'autres pour planifier des étapes efficaces. Certains donnent des réponses plus courtes, tandis que d'autres sont plus efficaces pour se remettre en question en cas de problème.

Gardez à l'esprit que l'utilisation de l'ordinateur est encore en version bêta pour la plupart des principaux fournisseurs de LLM, y compris OpenAI et Amazon Bedrock, donc les choses changent vite.

2 – Cela peut être lent et coûteux

En fonction de nombreux facteurs (par exemple, la manière dont le modèle est sollicité, les versions du modèle et de l'ensemble d'outils utilisées, et la qualité de ses capacités de vision), l'application peut devoir appeler le LLM plusieurs fois pour une même requête. Chacun de ces appels utilise des jetons, ce qui peut engendrer des coûts supplémentaires. Si le LLM continue d'essayer sans obtenir la bonne réponse, il risque de tourner en boucle jusqu'à atteindre une limite de jetons ou de temps.

De plus, le processus peut être lent. Chaque étape prend quelques secondes et chaque capture d'écran doit être créée et envoyée. Bien que cela puisse prendre plus de temps qu'un humain effectuant la même tâche, cela peut en valoir la peine, surtout si vous automatisez des tâches répétitives ou traitez plusieurs demandes simultanément. Automatiser ces tâches fastidieuses ou répétitives, surtout si elles peuvent être exécutées simultanément, permet aux utilisateurs de se concentrer sur des tâches plus importantes et plus détaillées.

3 – La sécurité et la sûreté sont cruciales

L'utilisation d'un ordinateur donnant à l'application le contrôle total d'une machine virtuelle, il est important de fixer des limites. Sans protection, le système pourrait exécuter des commandes indésirables.

Vous devriez:

• Limiter les logiciels et l'accès au système disponibles sur la machine virtuelle
• Configurez des invites et des garde-fous LLM pour vérifier les actions avant leur exécution
• Décider quel niveau de risque est acceptable
• Testez soigneusement et assurez-vous que le système se comporte comme vous l'attendez

Pourquoi l'utilisation de l'ordinateur est importante

L'utilisation de l'ordinateur ouvre une toute nouvelle voie pour créer des applications intelligentes et utiles avec MendixEn combinant les LLM avec un bureau virtuel et une logique bien pensée, vous pouvez créer des applications qui ne se contentent pas de répondre aux utilisateurs, mais agissent en leur nom. Bien que des défis subsistent en termes de performances, de coûts et de sécurité, le potentiel est énorme. Que vous automatisiez des tâches répétitives ou que vous exploriez de nouvelles façons de rationaliser les flux de travail, ce modèle performant mérite d'être expérimenté.