앱이 실제로 컴퓨터를 사용할 수 있다면 어떨까요? 예를 들어, 파일을 열고, 버튼을 클릭하고, 질문만 하면 작업을 처리할 수 있다면요?

GenAI와 몇 가지 편리한 기능 덕분에 Mendix 도구를 사용하면 가능할 뿐만 아니라 놀랍게도 가능합니다. 이 게시물에서는 Mendix 가상 컴퓨터와 통신하여 작업을 처리하는 앱입니다. 대규모 언어 모델(LLM)을 연결하고, 적절한 커넥터를 설정하고, 사용자가 인간 언어로 앱과 상호 작용하는 것만으로도 작업을 수행할 수 있도록 하는 방법을 알아봅니다.

컴퓨터 사용이란 무엇인가?

컴퓨터 사용(Computer Use)은 생성 AI(GenAI)와 앱 개발 분야에서 새롭고 강력한 아이디어입니다. 이를 통해 개발자는 컴퓨터(보통 가상 컴퓨터)를 제어하여 사용자의 요청에 따라 작업을 완료하는 앱을 개발할 수 있습니다.

간단히 말해, 컴퓨터 사용 설정은 컴퓨터 사용 행동을 예측하도록 훈련된 특수 대규모 언어 모델(LLM)에 연결되는 앱으로 구성됩니다. 사용자가 앱에 "다음 달 두 번째 주말에 암스테르담행 항공편을 검색해 주시겠어요?"와 같은 내용을 입력하면, LLM은 채팅 기록과 맥락을 고려하여 해당 작업을 수행하는 데 필요한 단계를 파악합니다.

이러한 단계는 브라우저를 여는 것부터 검색창에 입력하고 버튼을 클릭하는 것까지 다양합니다. 그러면 LLM은 마우스를 어디로 움직여야 하는지, 무엇을 입력해야 하는지, 무엇을 클릭해야 하는지와 같은 구체적인 지침을 보냅니다. 앱은 이러한 지침을 사용하여 가상 컴퓨터를 제어합니다. 경우에 따라 앱은 LLM에 컴퓨터 화면 스크린샷을 전송하여 현재 상황을 파악하고 다음 작업을 결정하기도 합니다.

와 Mendix컴퓨터 사용 기능을 활용하여 사용자를 돕고 비즈니스 프로세스를 지원하는 "스마트 앱"을 이미 구축할 수 있습니다. 플랫폼 지원 구성 요소를 사용하여 쉽게 시작할 수 있습니다. Mendix 마켓플레이스와 같은 GenAI 커먼즈, 대화형 UI, 그리고 설정에 맞는 LLM 커넥터가 있습니다. 앱을 가상 컴퓨터에 연결하는 데 시간이 오래 걸리지 않습니다. 앱은 REST API와 같이 일반적으로 사용되는 도구를 사용하여 컴퓨터와 통신할 수 있습니다. Mendix 프로젝트.

컴퓨터 사용을 실천에 옮기다 Mendix

우리의 예에서 Mendix 앱은 사용자가 원하는 작업을 입력할 수 있는 채팅 인터페이스를 사용합니다. 그러면 앱이 가상 데스크톱에서 필요한 작업을 수행합니다. 이 설정은 다음을 기반으로 합니다. GenAI Showcase app개발자가 GenAI 패턴을 학습하고 더 스마트하게 구축하는 데 도움이 되는 여러 가지 작고 실제적인 예제가 포함되어 있습니다. Mendix 앱입니다. 특히 GenAI를 처음 접하는 사람들에게 영감을 주고 교훈을 주기 위해 제작되었습니다.

LLM 선택 및 설정

Amazon Bedrock에서 호스팅되는 LLM인 Anthropic Claude Sonnet 3.7을 사용하고 있습니다. 다음을 사용하여 연결합니다. Mendix지원되는 Amazon Bedrock 커넥터. 컴퓨터 사용을 위해 활성화된 경우(버전 20250124 선택) LLM은 함수 호출 패턴에서 처리할 수 있는 도구 호출 개체로 전송된 컴퓨터 사용 지침으로 응답합니다. Mendix 응용 프로그램.

에이전트 루프를 사용한 함수 호출

따라서 Mendix 앱은 함수 호출 패턴을 따르는데, 이는 마이크로플로우 로직을 사용하여 LLM의 도구 호출을 처리한다는 것을 의미합니다. 또한 가상 데스크톱의 스크린샷을 LLM으로 다시 전송하여 현재 화면을 확인하고 다음 단계를 파악합니다. 이러한 상호 작용을 에이전트 루프라고 합니다.

GenAI Commons 모듈 덕분에 이 기능은 다음 기능을 사용하여 바로 사용할 수 있습니다. 채팅 완료 작업LLM의 명령(클릭할 내용, 입력할 위치 등)을 매핑하고 이를 가상 컴퓨터에 명령으로 전송하기 위해 하나의 마이크로플로우 함수만 필요했습니다.

가상 컴퓨터에 연결

가상 머신이 앱의 명령을 실행하도록 하기 위해 로컬 Docker 컨테이너와 REST 통합을 설정했습니다. 컨테이너에 사용된 이미지는 다음 기반입니다. Anthropic의 컴퓨터 사용 데모 저장소, 명령을 실행하는 Python 코드가 포함되어 있습니다.

우리는 이 코드를 다음과 같이 묶었습니다. 간단한 HTTP 서버 컨테이너 내부에 게시했습니다. 이렇게 하면 Mendix 앱은 마이크로플로에서 REST 서비스 호출 활동을 사용하여 작업을 트리거할 수 있습니다.

모든 것을 실제로 보는 것

가상 컴퓨터의 데스크톱은 로컬 포트(예: localhost:6080), 브라우저에서 실시간으로 무슨 일이 일어나고 있는지 실제로 볼 수 있습니다. 채팅 인터페이스와 가상 데스크톱을 나란히 배치하면 Mendix 앱을 사용하면 사용자가 항공편 정보를 요청할 때 시스템이 어떻게 응답하는지 명확하게 볼 수 있습니다.

컴퓨터 사용 시 주의 사항

컴퓨터를 사용하면 강력한 힘을 발휘할 수 있지만, 고려해야 할 몇 가지 중요한 사항이 있습니다.

1 – 모델 품질이 중요합니다

LLM에 따라 (심지어 같은 LLM의 다른 버전일지라도) 결과가 달라집니다. 스크린샷을 이해하는 데 더 나은 LLM도 있고, 효율적인 단계를 계획하는 데 더 나은 LLM도 있습니다. 더 짧은 답변을 제공하는 LLM도 있고, 문제 발생 시 복구하는 데 더 나은 LLM도 있습니다.

참고 사항: 대부분의 주요 LLM 제공업체를 포함하여 컴퓨터 사용은 아직 베타 상태입니다. OpenAI Amazon Bedrock그래서 세상은 빠르게 변하고 있습니다.

2 – 느리고 비용이 많이 들 수 있습니다.

모델이 요청되는 방식, 사용되는 모델 및 도구 모음 버전, 비전 기능의 성능 등 여러 요인에 따라 앱은 한 번의 요청에 대해 LLM을 여러 번 호출해야 할 수 있습니다. 이러한 호출은 각각 토큰을 사용하므로 비용이 증가할 수 있습니다. 또한 LLM이 정답을 얻지 못한 채 계속 시도하면 토큰이나 시간 제한에 도달할 때까지 반복될 수 있습니다.

또한, 프로세스가 느릴 수 있습니다. 각 단계는 몇 초밖에 걸리지 않으며, 모든 스크린샷을 만들어 전송해야 합니다. 사람이 같은 작업을 하는 것보다 시간이 더 오래 걸릴 수 있지만, 특히 반복적인 작업을 자동화하거나 여러 요청을 동시에 처리하는 경우 여전히 가치가 있을 수 있습니다. 이러한 지루하거나 반복적인 작업, 특히 동시에 실행할 수 있는 작업을 자동화하면 사람들이 더 중요하고 세부적인 작업에 집중할 수 있습니다.

3 – 보안과 안전이 중요합니다

컴퓨터 사용은 앱이 가상 머신을 완전히 제어할 수 있게 하므로, 제한을 설정하는 것이 중요합니다. 안전 장치가 없으면 시스템이 원치 않는 명령을 실행할 수 있습니다.

당신은해야한다 :

• 가상 머신에서 사용 가능한 소프트웨어 및 시스템 액세스를 제한합니다.
• 작업이 실행되기 전에 작업을 확인하기 위해 LLM 프롬프트와 가드레일을 설정합니다.
• 허용 가능한 위험 수준을 결정하세요
• 신중하게 테스트하고 시스템이 예상한 대로 작동하는지 확인하세요.

컴퓨터 사용이 중요한 이유

컴퓨터 사용은 스마트하고 유용한 앱을 구축하는 완전히 새로운 방법을 열어줍니다. MendixLLM을 가상 데스크톱과 잘 배치된 로직과 결합하면 단순히 사용자에게 응답하는 것이 아니라 사용자를 대신하여 작동하는 애플리케이션을 만들 수 있습니다. 성능, 비용, 안전성 측면에서 여전히 과제가 있지만, 그 잠재력은 무궁무진합니다. 반복적인 작업을 자동화하든 워크플로우를 간소화하는 새로운 방법을 모색하든, 이는 실험해 볼 만한 가치가 있는 강력한 패턴입니다.