Was wäre, wenn Ihre App tatsächlich einen Computer nutzen könnte – zum Beispiel Dateien öffnen, auf Schaltflächen klicken und Dinge erledigen – nur auf Anfrage?

Dank GenAI und einigen praktischen Mendix Werkzeuge, das ist nicht nur möglich – es ist überraschend machbar. In diesem Beitrag zeigen wir Ihnen, wie Sie eine Mendix App, die mit einem virtuellen Computer kommuniziert und Dinge in Gang setzt. Sie erfahren, wie Sie große Sprachmodelle (LLMs) einbinden, die richtigen Konnektoren einrichten und Ihre Benutzer Aktionen ausführen lassen, indem sie einfach in menschlicher Sprache mit Ihrer App interagieren.

Was ist Computernutzung?

Computernutzung ist eine neue und leistungsstarke Idee in der Welt der generativen KI (GenAI) und der App-Entwicklung. Entwickler können damit Apps erstellen, die einen – meist virtuellen – Computer steuern, um Aufgaben basierend auf den Benutzeranforderungen zu erledigen.

Kurz gesagt: Ein Computer-Setup besteht aus einer App, die mit einem spezialisierten Large Language Model (LLM) verbunden ist, das darauf trainiert ist, Computernutzungsaktionen vorherzusagen. Wenn ein Nutzer beispielsweise etwas in die App eingibt wie: „Können Sie nach Flügen nach Amsterdam für das zweite Wochenende nächsten Monats suchen?“, ermittelt das LLM die dafür notwendigen Schritte und berücksichtigt dabei Chatverlauf und Kontext.

Diese Schritte können vom Öffnen eines Browsers über das Eintippen in ein Suchfeld bis hin zum Klicken auf eine Schaltfläche reichen. Das LLM sendet dann spezifische Anweisungen zurück, beispielsweise wohin die Maus bewegt, was eingegeben oder angeklickt werden soll. Die App nutzt diese Anweisungen zur Steuerung des virtuellen Computers. Manchmal sendet die App auch Screenshots des Computerbildschirms an das LLM, damit dieses sehen kann, was passiert, und entscheiden kann, was als Nächstes zu tun ist.

Mit Mendixkönnen Sie bereits eine „intelligente App“ erstellen, die Benutzern hilft und Geschäftsprozesse mithilfe von Computerfunktionen unterstützt. Der Einstieg ist ganz einfach, indem Sie plattformgestützte Komponenten aus dem Mendix Marktplatz wie GenAI Commons, Konversations-Benutzeroberflächeund einen LLM-Connector, der mit Ihrem Setup kompatibel ist. Das Verbinden Ihrer App mit einem virtuellen Computer dauert nicht lange. Die App kann mit dem Computer über bekannte Tools – wie REST-APIs – kommunizieren, die häufig in Mendix Projekte.

Computernutzung in die Tat umsetzen in Mendix

In unserem Beispiel ist das Mendix Die App verwendet eine Chat-Oberfläche, in die der Benutzer seine gewünschten Aktionen eingeben kann. Die App führt dann die erforderlichen Aktionen auf einem virtuellen Desktop aus. Dieses Setup basiert auf dem GenAI Showcase-App, das eine Reihe kleiner, funktionierender Beispiele enthält, die Entwicklern helfen, GenAI-Muster zu lernen und intelligentere Mendix Apps. Es soll sowohl inspirieren als auch lehren, insbesondere für diejenigen, die neu bei GenAI sind.

Auswahl und Einrichtung des LLM

Wir verwenden Anthropic Claude Sonnet 3.7, ein LLM, das über Amazon Bedrock gehostet wird. Wir verbinden uns damit über Mendix-gestützt Amazon Bedrock-Konnektor. Wenn es für die Computernutzung aktiviert ist (wir haben Version 20250124 gewählt), antwortet das LLM mit Computernutzungsanweisungen, die als Tool-Call-Objekte gesendet werden, die in einem Funktionsaufrufmuster im Mendix App.

Funktionsaufruf mit der Agentenschleife

Der Mendix Die App folgt einem Funktionsaufrufmuster. Das bedeutet, dass sie die Tool-Aufrufe des LLM mithilfe von Logik in Mikroflows verarbeitet. Sie sendet außerdem Screenshots des virtuellen Desktops an das LLM zurück, damit dieses den aktuellen Bildschirm sehen und den nächsten Schritt planen kann. Dieser Austausch wird als Agentenschleife bezeichnet.

Dank des GenAI Commons-Moduls funktioniert dies sofort mit dem Aktion „Chat-Abschlüsse“. Wir brauchten nur einen Funktions-Mikrofluss, um die Anweisungen des LLM (was anzuklicken ist, wo einzugeben ist usw.) abzubilden und sie als Befehl an den virtuellen Computer zu senden.

Herstellen einer Verbindung zum virtuellen Computer

Damit die virtuelle Maschine die Anweisungen der App ausführt, richten wir eine REST-Integration mit einem lokalen Docker-Container ein. Das für unseren Container verwendete Image basiert auf Anthropics Demo-Repository zur Computernutzung, und enthält den Python-Code, der die Befehle ausführt.

Wir haben diesen Code verpackt in ein einfacher HTTP-Server und veröffentlichte es im Container. Auf diese Weise Mendix Die App kann einfach eine „REST-Dienst aufrufen“-Aktivität im Mikrofluss verwenden, um die Aktionen auszulösen.

Alles in Aktion sehen

Der Desktop des virtuellen Computers ist auf einem lokalen Port sichtbar (z. B. localhost:6080), sodass wir das Geschehen in Echtzeit im Browser verfolgen können. Wenn Sie die Chat-Oberfläche und den virtuellen Desktop nebeneinander im Mendix App lässt sich deutlich erkennen, wie das System reagiert, wenn der Nutzer beispielsweise seine Anfrage nach Fluginformationen eingibt.

Was Sie bei der Computernutzung beachten sollten

Die Nutzung eines Computers ist leistungsstark, es müssen jedoch einige wichtige Dinge beachtet werden.

1 – Die Modellqualität ist wichtig

Verschiedene LLMs (und sogar verschiedene Versionen desselben LLMs) liefern unterschiedliche Ergebnisse. Manche sind besser darin, Screenshots zu verstehen, andere können effiziente Schritte planen. Manche liefern kürzere Antworten, während andere besser darin sind, Probleme zu beheben.

Bedenken Sie: Die Computernutzung befindet sich bei den meisten großen LLM-Anbietern noch in der Beta-Phase, darunter OpenAI und Amazonas Grundgestein, die Dinge ändern sich also schnell.

2 – Es kann langsam und teuer werden

Abhängig von vielen Faktoren – z. B. der Modellabfrage, den verwendeten Modell- und Toolset-Versionen und der Qualität der Bildverarbeitungsfunktionen – muss die App das LLM möglicherweise mehrmals für eine Anfrage aufrufen. Jeder dieser Aufrufe verbraucht Token, was sich zu höheren Kosten summieren kann. Und wenn das LLM wiederholt versucht, ohne die richtige Antwort zu erhalten, kann es zu einer Schleife kommen, bis ein Token- oder Zeitlimit erreicht ist.

Außerdem kann der Prozess zeitaufwändig sein. Jeder Schritt dauert nur wenige Sekunden, und jeder Screenshot muss erstellt und gesendet werden. Das kann zwar länger dauern, als wenn ein Mensch die gleiche Aufgabe erledigt, aber es kann sich dennoch lohnen, insbesondere wenn Sie wiederkehrende Aufgaben automatisieren oder viele Anfragen gleichzeitig bearbeiten. Die Automatisierung dieser langweiligen oder wiederkehrenden Aufgaben – insbesondere wenn sie gleichzeitig ausgeführt werden können – gibt Mitarbeitern mehr Zeit für wichtigere und detailliertere Aufgaben.

3 – Sicherheit und Schutz sind entscheidend

Da die Anwendung bei der Computernutzung die volle Kontrolle über eine virtuelle Maschine erhält, ist es wichtig, Grenzen zu setzen. Ohne Sicherheitsvorkehrungen könnte das System unerwünschte Befehle ausführen.

Du solltest:

• Beschränken Sie den auf der virtuellen Maschine verfügbaren Software- und Systemzugriff.
• Richten Sie LLM-Eingabeaufforderungen und Leitplanken ein, um Aktionen vor ihrer Ausführung zu überprüfen
• Entscheiden Sie, welches Risikoniveau akzeptabel ist
• Testen Sie sorgfältig und stellen Sie sicher, dass sich das System wie erwartet verhält

Warum die Computernutzung wichtig ist

Die Computernutzung eröffnet völlig neue Möglichkeiten zum Erstellen intelligenter, hilfreicher Apps mit MendixDurch die Kombination von LLMs mit einem virtuellen Desktop und einer gut durchdachten Logik können Sie Anwendungen erstellen, die nicht nur auf Benutzer reagieren, sondern in deren Namen handeln. Zwar gibt es noch Herausforderungen in Bezug auf Leistung, Kosten und Sicherheit, aber das Potenzial ist enorm. Ob Sie wiederkehrende Aufgaben automatisieren oder neue Wege zur Optimierung von Arbeitsabläufen erkunden – dieses leistungsstarke Muster lohnt sich zum Experimentieren.