최고의 AI 어시스턴트

AI 지원 보조원이 다음과 같은 모든 작업을 수행한다고 상상해 보세요.

• 개인 지식 기반에서 찾은 정보를 기반으로 일반적인 질문에 답변합니다.
• 데이터베이스에서 실시간 사용자 데이터 검색,
• 해결책을 위해 개인 지식 기반을 검색하고
• 한 번의 대화로 직원을 대신하여 지원 티켓을 모두 생성할 수 있습니다.

이 기능은 구현을 담당하는 소프트웨어 개발자에게 매우 귀중할 것입니다. 또한 사용자 만족도와 운영 효율성을 향상하고자 하는 제품 소유자에게도 도움이 될 것입니다.

가장 중요한 것은 최종 사용자가 간소화되고 효율적인 지원 프로세스의 혜택을 누릴 수 있다는 것입니다. 여기서 함수 호출(도구 사용이라고도 함)이 작용합니다. 이를 통해 AI 모델은 현재 사용자를 대신하여 다양한 작업을 수행할 수 있습니다.

아래 영상은 새롭게 출시된 제품의 사용자 인터페이스를 보여줍니다. 지원 어시스턴트 스타터 앱. 애니메이션은 이전에 설명된 IT 지원 사용 사례를 기반으로 합니다. 또한 이 게시물 전체에서 예시로 사용됩니다. Support Assistant Starter App은 가상 에이전트를 구축하는 데 도움이 됩니다. (시작하는 방법에 대한 추가 팁은 "시작하는 방법(이 블로그의 마지막 섹션을 참조하세요.)

함수 호출이 데이터 검색에서 작업 자동화에 이르기까지 복잡한 문제를 해결하는 데 어떻게 도움이 될 수 있는지 살펴보겠습니다. 또한 플랫폼 지원 GenAI 커넥터를 통합하는 방법도 다룹니다. Mendix 응용 프로그램. GenAI의 모든 잠재력을 활용하여 더 스마트한 앱을 구축할 수 있는 실제적인 사례와 실행 가능한 통찰력을 제공해 드리겠습니다.

함수 호출이란 무엇인가요?

함수 호출은 텍스트 생성 기능의 선택적 기능으로, 채팅 완성이라고도 합니다. 이를 통해 LLM은 외부 도구 및 시스템에 연결할 수 있습니다.

함수 호출은 많은 LLM에서 지원하는 표준 패턴입니다.

• OpenAI 채팅GPT
• 인류학적 클로드
• 메타 라마
• 코히어 사령부.

LLM이 외부 도구 및 시스템에 연결하도록 허용하는 것은 다음과 같은 다양한 사용 사례에 유용할 수 있습니다.

데이터 검색

• 실시간 데이터(예: 라이브 프로덕션 메트릭) 또는 도메인별 정보(예: 내부 문서)에 액세스하여 관련 응답을 제공합니다.
• 현재 사용자에 대한 데이터를 검색하여 사용자가 자신의 계정이나 최근 활동에 대해 질문할 수 있도록 합니다.
• 공개 외부 API에서 실시간 데이터 검색. 예를 들어, "로테르담의 내일 날씨는 어때요?"와 같은 질문에 답하기 위한 주가나 날씨 데이터.

트리거 동작

• 채팅 대화를 기반으로 주문과 같은 객체 생성
• LLM을 사용하여 복잡한 요청을 해석하여 내부 또는 외부 시스템에서 워크플로 시작
• 비정형 데이터를 기반으로 계산 수행
• 변경 사항을 만들거나 표시할 항목을 요청하여 페이지의 개체와 상호 작용합니다.

함수 호출을 사용하는 방법 Mendix

좋은 소식은 개발자가 함수 호출을 사용하기 위해 추가 배포, 도구, 서비스 또는 기술이 필요하지 않다는 것입니다. Mendix. 모든 것이 내부에서 구성될 수 있습니다. Mendix 당사 플랫폼에서 지원하는 GenAI 커넥터가 포함된 Studio Pro.

아래 다이어그램은 함수 호출 방법을 간략하게 설명합니다. Mendix 앱이 작동합니다.

1단계

기능 Mendix 기본적으로 LLM에 대한 요청의 일부로 설명 및 등록할 수 있는 마이크로플로입니다. 일반적으로 요청에 함수를 추가하는 것은 선택 사항입니다. 요청에 함수가 포함되어 있지 않으면 2~5단계는 적용되지 않으며 LLM은 6단계에 표시된 대로 사용자 프롬프트에 따라 직접 답변을 생성합니다.

2단계

현재 컨텍스트와 기능 설명을 기반으로 모델은 사전 정의된 기능(마이크로플로)을 호출하여 더 많은 정보를 수집하거나 사용자 메시지에 따라 조치를 취해야 하는지 여부를 결정합니다. 이를 사용자 프롬프트라고 합니다.

3단계

LLM은 함수 자체를 호출하지 않습니다. 대신, 함수가 실행할 함수에 대한 지침이 포함된 구조화된 응답을 반환합니다. Mendix 앱과 필요한 입력 매개변수.

4 단계와 5 단계

그런 다음 마이크로플로우 함수가 내부에서 실행됩니다. Mendix 앱. 반환 값은 처리 중인 초기 사용자 프롬프트에 추가하기 위해 LLM으로 다시 전송됩니다.

이 과정은 아래 다이어그램의 2~5단계로 시각화되어 있으며, LLM이 다음 단계에서 최종 응답을 반환할 때까지 반복됩니다.

6단계

LLM은 최종 보조 응답을 반환합니다.

플랫폼 지원 GenAI 커넥터의 채팅 완료 작업은 6단계를 모두 자동으로 처리합니다. 이를 통해 개발자는 요청에 추가할 함수 마이크로플로를 만드는 데만 집중할 수 있고 나머지는 대신 관리됩니다.

Mendix 개발자는 완전한 통제권을 갖고 있습니다

안에 Mendix 앱, 함수 마이크로플로는 현재 사용자의 컨텍스트에서 실행됩니다. 이를 통해 개발자는 현재 사용자와 관련된 데이터만 검색하여 노출되도록 할 수 있습니다. 따라서 Mendix 앱은 마이크로흐름이 어떤 것인지, LLM에서 어떤 데이터를 사용하는지에 대한 완벽한 제어권을 가지고 있습니다.

사용자는 데이터 보안 및 작업 검증에 대한 세부적인 접근 권한을 갖게 됩니다. 데이터 검색 외에도 사용자는 프롬프트에 따라 작업을 트리거하여 현재 페이지와 상호 작용할 수 있습니다.

객체 생성, 마이크로플로 트리거, UI 요소 업데이트와 같이 실제 세계에 영향을 미칠 수 있는 작업의 경우, 사용자를 계속 참여시키기 위해 확인 단계를 포함하는 것이 좋습니다. 어시스턴트가 100개를 주문하려고 했는데 실수로 10개를 주문하는 것을 원하지 않을 것입니다! (다른 예로는 이메일 보내기, 주문 제출, 약속 예약 등이 있습니다.)

둘 다 OpenAI Connector 아마존 베드록 커넥터 함수 호출을 활용하여 채팅 완성을 지원합니다. GenAI Commons 모듈. 이러한 모듈은 요청에 기능을 추가하는 데 사용하기 쉬운 작업을 제공합니다.

아래의 마이크로흐름은 다음 방법의 예를 보여줍니다.

• 요청 객체가 생성됩니다
• 다양한 기능이 추가되었습니다
• Amazon Bedrock 또는 (Azure) OpenAI와 같은 선호하는 AI 공급자와의 채팅 완료 작업이 실행됩니다.
• 도우미 응답이 페이지에 표시될 수 있도록 업데이트되었습니다.

플랫폼 지원 GenAI 커넥터와 함께 채팅 완료 작업을 사용할 때 개발자는 요청에 함수 마이크로플로를 추가하기만 하면 됩니다. 커넥터는 응답을 처리하고 LLM이 최종 보조 응답을 제공할 때까지 함수 마이크로플로를 실행합니다.

지원 지원 시작 앱에서 함수 호출은 어떻게 사용됩니까?

좀 더 자세히 보자 지원 어시스턴트 스타터 앱우리는 함수 호출이 매력적이고 대화형 사용자 경험을 만드는 데 필수적인지 알아보고 싶습니다.

일반적으로 직원들은 IT 관련 문제가 있어서 IT 지원 애플리케이션을 방문합니다. 여기서 지원 챗봇은 1차 지원의 오버헤드를 줄이는 것이 목적입니다. 생성된 티켓 수와 이를 처리하는 데 필요한 리소스를 줄여 이를 수행합니다.

함수 호출을 사용하여 지원 담당자에게 다음 작업을 선택할 수 있는 기회를 제공했습니다.

매뉴얼을 사용하여 지식 기반 쿼리

여기에서 LLM은 일반적인 IT 문제에 대한 솔루션이 포함된 정적 매뉴얼과 가이드가 있는 비공개 지식 기반을 쿼리합니다. 이는 기본적으로 검색 증강 생성(RAG) 함수로 래핑된 정적 텍스트 데이터에 대해.

해결된 티켓이 포함된 지식 기반 쿼리

이 기능은 유사한 설명이 있는 해결된 티켓을 살펴보고 가능한 솔루션을 제안합니다. 정적 자유 텍스트 데이터를 사용하는 첫 번째 기능과 달리 이 기능은 다음과 함께 작동합니다. Mendix RAG라고 알려진 객체 관련 데이터로 시간이 지남에 따라 변경될 수 있습니다.

사용자가 매뉴얼이나 해결된 티켓의 솔루션으로 문제를 해결하면 채팅이 종료되고 티켓이 생성되지 않습니다. 이는 사용자와 헬프 데스크 직원의 시간을 절약합니다.

사용자의 유사한 오픈 티켓을 확인하고 티켓을 업데이트합니다.

새 티켓을 만들기 전에 같은 직원이 이미 비슷한 문제에 대한 티켓을 열었는지 확인하세요. 열었다면 티켓 업데이트 기능을 사용하여 기존 티켓에 새 정보를 추가할 수 있습니다.

닫힌 티켓이나 지식 베이스의 이전 단계나 솔루션이 작동하지 않는 경우, 어시스턴트는 사용자에게 새 티켓을 만들 것인지 물어볼 수 있습니다. 이를 통해 사용자는 중요한 세부 정보를 포함할 수 있어 지원 직원이 더 쉽게 작업하고 추가 작업을 줄일 수 있습니다.

새로운 티켓을 만드세요

이 기능은 대화에서 이미 제공된 정보를 사용하여 사용자를 위한 티켓을 만듭니다. 이를 통해 모든 관련 세부 정보를 포착하는 고품질 티켓이 생성되어 티켓 해결이 더 빨라집니다.

함수를 정의할 때는 함수의 목적과 사용 시기를 명확하게 설명하는 것이 필수적입니다. 설명은 LLM에 대한 프롬프트 역할을 하며, 함수를 호출할 시기, 필요한 입력, 반환 값을 해석하는 방법을 나타냅니다.

시스템 프롬프트에 함수 실행 순서에 대한 일반 지침을 포함할 수 있습니다. 예를 들어, 지원 담당자는 새 티켓을 만들기 전에 항상 지식 기반이나 해결 티켓을 확인하여 솔루션을 찾아야 합니다.

함수 호출을 사용해야 하는 이유 Mendix 앱

데이터 검색에 관해서는 프롬프트 엔지니어링이나 함수 호출을 사용할 수 있습니다. 그러나 함수 호출에는 몇 가지 명확한 장점이 있습니다.

• 미래의 대화에서 어떤 정보가 관련성이 있을지 예측하기 어려워서 시스템 프롬프트에 너무 많은 정보를 추가하게 될 수 있습니다. 함수 호출은 여전히 ​​함수를 미리 정의해야 하지만, 관련 없는 정보가 채팅 컨텍스트를 어지럽히는 것을 방지합니다. 그러면 LLM이 필요에 따라 어떤 데이터를 검색하여 포함할지 결정할 수 있습니다.
• 시스템 프롬프트에 불필요한 정보를 추가하면 LLM이 중요한 것에 집중하지 못할 수 있습니다. 이로 인해 예상치 못한 동작과 응답이 발생할 수 있습니다.
• 또한, 사용자는 일반적으로 요청의 입력 및 출력 토큰 수에 따라 요금이 청구됩니다. 많은 추가 데이터를 포함하면 프롬프트가 길어지고 입력 토큰이 늘어나고 비용이 불필요하게 증가합니다.

함수 호출은 필요한 데이터만 적절한 시기에 제공하여 항상 최신 상태를 유지함으로써 이러한 과제를 해결하는 데 도움이 됩니다.

다른 경우 함수 내부에서 액션을 트리거해야 하는 경우, 신속한 엔지니어링은 잘 작동하지 않습니다. 함수 호출은 일반적으로 에이전트나 보조자가 필요하지만 로우코드 방식으로 수행할 수 있는 새로운 기회를 제공합니다.

플랫폼 지원 기능을 사용하여 함수 호출을 사용하는 이점 Mendix GenAI Commons 모듈 기반 커넥터는 다음과 같습니다.

• 마이크로플로우는 내부에서 실행될 수 있습니다. Mendix 외부 시스템에서 사용할 수 있도록 API를 통해 공개하지 않아도 됩니다.
• 외부에서 코드를 작성할 필요가 없습니다. Mendix, 함수 호출을 진정한 로우코드 경험으로 만듭니다.

시작하는 방법

새로운 체크 아웃 지원 어시스턴트 스타터 앱 논의한 사용 사례를 기반으로 가상 에이전트를 빠르게 구축하는 데 도움이 됩니다. 또한 함수 호출을 구현하는 방법을 배우는 좋은 방법이기도 합니다. Mendix.

GenAI 기능을 추가하는 것이 처음이라면 Mendix 응용 프로그램을 탐색하는 것이 좋습니다. GenAI 쇼케이스 애플리케이션에 대해 더 알아보세요.. 간단한 채팅 구현을 사용한 다양한 영감을 주는 사용 사례가 포함되어 있습니다. 대화형 UI 모듈 함수 호출, 검색 증강 생성(RAG), 비전, 이미지 생성과 같은 고급 기능도 추가되었습니다.

Support Assistant Starter 앱과 GenAI 쇼케이스 앱은 모두 두 개의 인기 있는 AI 공급업체에 대한 플랫폼 지원 커넥터를 사용합니다. (애저) 오픈AI Amazon Bedrock이러한 공급업체와 모델 간에 쉽게 전환할 수 있으므로 나란히 테스트하고 비교하기가 간편합니다.

이 커넥터는 다음에 구축됩니다. GenAI Commons 모듈, 공유 도메인 모델과 함수를 등록하고 요청에 추가하기 위한 재사용 가능한 작업을 제공합니다. 커넥터는 LLM의 함수 호출 응답을 처리하고 현재 사용자의 컨텍스트에 따라 함수를 실행합니다.

를 확인하십시오 함수 호출을 지원하는 모델 개요 및 검토 기술 문서.

GenAI 사용 사례를 직접 작업 중이고 도움이 필요하거나 피드백을 제공하고 싶다면 저희에게 연락해 주시기 바랍니다. 고객 성공 관리자에게 문의하거나 다음 주소로 메시지를 보내주세요. #제나이-커넥터 채널 Mendix 커뮤니티 슬랙. 여기에 가입!