Lato Bicycles의 혁신과 효율성은 항상 진행 중입니다. 많은 회사와 마찬가지로 Mendix 고객, Lato 사용 Mendix 포트폴리오 관리를 통해 이니셔티브를 추적했습니다. 이러한 전략적 개요를 통해 혁신과 효율성 향상이 필요한 영역을 파악하고, 이를 구축 및 운영 단계까지 추적할 수 있었습니다. 최근 포트폴리오 검토 과정에서 리더십 팀은 고객 서비스 프로세스의 병목 현상을 발견했습니다. 바로 반품 요청의 초기 분류 과정이었습니다.

각 요청은 웹 양식을 통해 비정형 텍스트 형태로 접수되어 고객 서비스 담당자가 직접 읽고 분류하여 다음 단계를 결정해야 했습니다. 이 과정은 반복적이고 시간이 많이 걸렸으며, 때로는 해결이 지연되기도 했습니다.

사용 MendixLato는 최초의 AI 에이전트인 A를 설계하기 시작했습니다. 반품 요청 도우미 들어오는 요청을 분석하고, 주요 세부 정보를 요약하고, 수리 계획을 자동으로 준비할 수 있습니다.

(자세한 내용은 뭐 및 why AI 에이전트 구축에 대한 자세한 내용은 아래의 관련 기사를 참조하세요.)

측정 가능한 결과 정의

개발이 시작되기 전, 라토는 프로젝트의 성공이 무엇을 의미하는지 정의했습니다. 그들의 목표는 명확했습니다.

• 수동 분류 시간을 40% 단축합니다.
• 반품 요청을 분류하는 데 95%의 정확도를 달성합니다.
• 청구 해결 시간을 14일에서 3일로 단축했습니다.

이러한 KPI는 직접 추적되었습니다. Mendix 포트폴리오 관리를 통해 프로젝트가 실질적인 사업 성과와 일치하도록 보장합니다.

올바른 트리거 선택

반품 요청은 불규칙적으로 도착하기 때문에, 팀은 반품 요청 포털에 새 요청이 제출될 때마다 활성화되는 이벤트 기반 에이전트를 선택했습니다.

포털은 이미 고객 주문 관리 및 제품 재고와 같은 주요 시스템과 통합되어 있어 상담원에게 이상적인 진입점이었습니다. 상담원이 완전히 자율적으로 실행되지 않기 때문에 상담원과의 사용자 상호 작용은 다음을 통해 진행되도록 설정되었습니다. 사용자 작업 시스템 관리자가 즉시 관찰할 수 있는 에이전트가 생성하는 정보입니다.

Lato는 직원들이 이미 작업하고 있는 곳에 자동화를 도입함으로써 업무 중단을 최소화하고 도입을 가속화했습니다.

모델 선택

Lato는 에이전트 구동을 위해 Claude 3.5를 선택했습니다. 이는 다음을 제공했습니다.

• 강력한 도구 사용 기능
• 균형 잡힌 성능과 비용
• 간소화된 조달 및 모니터링

더 진보된 모델도 있었지만, Lato의 핵심 요구 사항인 도구 사용, 요약 및 의사 결정 지원은 Claude 3.5에서 완벽하게 충족되었습니다. 또한, Mendix's Cloud Gen AI 리소스 팩Lato는 전체 프로세스를 간소화할 수 있었습니다. 리소스 팩:

• 모델 구매 및 조달이 간소화되었습니다.
• 개발팀에 간단하고 로우코드 통합 경로를 제공했습니다.
• 내장된 사용량 모니터링 기능을 통해 처음부터 데이터 소비량과 비용을 명확하게 파악할 수 있습니다.
• Lato의 기존 데이터 처리 계약에 따라 적용됨 Mendix.

미세 조정 및 사용자 정의에 대한 참고 사항: 기본 LLM은 강력하지만, 조직의 특정 도메인 데이터(예: Lato 제품 설명, 일반적인 보증 문제)를 기반으로 모델을 미세 조정하면 전문 작업에 대한 정확도와 관련성을 크게 향상시킬 수 있습니다. 이는 초기 상담원이 안정적이고 성과 격차를 명확하게 파악한 후에 고려해야 하는 고급 기법입니다. 전담 데이터 준비 및 컴퓨팅 리소스가 필요합니다.

프롬프트 작성

기본 모델이 결정되면 다음으로 중요한 단계는 다음과 같습니다. 신속한 엔지니어링: 원하는 행동을 이끌어내기 위해 에이전트의 프롬프트 내에서 데이터와 지침을 구조화합니다.

에이전트는 일반적으로 두 가지 주요 유형의 프롬프트를 사용하여 작업합니다. 시스템 프롬프트 그리고 사용자 프롬프트시스템 프롬프트는 개발자가 에이전트의 페르소나, 전반적인 목표, 제약 조건, 그리고 에이전트의 행동 방식을 정의하기 위해 제공하는 일련의 지침입니다. 시스템 프롬프트에는 전체 상호작용의 기반을 마련하는 핵심 지침이 포함됩니다.

Lato의 반품 요청 에이전트의 경우 시스템 프롬프트 다음과 같을 수 있습니다.

역할: 당신은 전기 자전거 제조업체의 고객 서비스 담당자(CSR)를 위한 AI 비서입니다. 당신의 임무는 고객 수리 문제를 명확하고 실행 가능한 CSR 계획으로 정리하는 것입니다.

핵심 업무: 고객의 문제 설명을 받고, 수리에 필요한 주요 세부 정보를 파악하며, 다양한 Lato 시스템에서 유용한 정보를 조사하여 CSR에게 제공하는 것이 핵심 업무입니다. 계획을 제안할 때는 고객의 주문 내역, 부품 가격, 그리고 수리 비용을 고려해야 합니다.

최종 결과물: 귀하의 응답은 다음 형식을 사용하여 구성된 요약이어야 합니다.

수리 요청 요약
고객: [고객의 성명 및 회사]
부분: [이름 및 일련 번호(제공된 경우)]
문제: [문제에 대한 자세한 설명]
다음 단계: [CSR을 위한 명확하고 간단한 행동 계획]

사용자 프롬프트는 에이전트의 동작을 유발하는 사용자 또는 시스템의 직접적인 입력입니다. 이 초기 사용자 프롬프트는 에이전트의 작업을 시작합니다.

Lato의 반품 요청 에이전트의 경우 초기 사용자 프롬프트 다음과 같을 수 있습니다.

From: {{Email Address of requester}}
InputContent: {{Request content}}

에이전트 툴킷 구축

강력한 에이전트에는 도구가 필요합니다. 이러한 도구는 마이크로플로우와 같은 특수 기능입니다. Mendix 에이전트가 특정 작업을 수행하기 위해 호출할 수 있는 애플리케이션입니다. 에이전트는 사용 가능한 도구 목록을 가지고 있으며, 각 도구에는 명확한 이름과 설명이 있습니다. 작업이 주어지면 에이전트의 임무는 이러한 도구들을 활용하여 원하는 결과를 달성하는 것입니다.

Lato는 고객의 이메일을 기반으로 REST 호출을 사용하여 고객 데이터를 검색하는 필수 기능 하나로 시작했습니다. Mendix 에이전트 빌더는:

1. 데이터를 검색하기 위한 마이크로플로우를 구축했습니다.

2. 명확한 이름과 설명이 있는 도구로 추가했습니다.

3. 내장된 테스트 케이스를 사용하여 통화를 테스트했습니다.

처음에는 Lato 반품 요청 담당자가 필요한 데이터만 수집하고 모든 조치를 고객 서비스 담당자에게 맡겼습니다.

이러한 단계적 접근 방식은 전체 에이전트 시스템의 복잡성 없이 문제의 특정 부분을 해결했습니다.

사용자가 에이전트에 의존하기 시작하면서 새로운 과제가 나타났습니다.

개선을 향한 반복

에이전트 개발은 일회성이 아닌 반복적인 과정입니다. 기준 모델로 시작하여 제시된 KPI를 기준으로 평가한 다음, 다양한 시나리오에서 에이전트를 엄격하게 테스트하는 것이 중요합니다.

사용자들이 에이전트를 사용하기 시작했을 때, 부품을 찾는 데 자주 실패하는 것을 발견했습니다. 에이전트의 검색은 수신 요청의 철자 오류와 제품 재고 및 고객 주문 관리 시스템의 데이터 품질 문제로 인해 방해를 받았습니다.

이 문제를 해결하기 위해 상담원이 일련번호로 부품을 검색할 수 있는 새로운 도구가 도입되었습니다. 이는 이름 기반 검색이 실패할 때 부품을 찾는 신뢰할 수 있는 대안을 제공했습니다.

그런 다음 팀은 테스트 기능을 사용했습니다. 에이전트 커먼스 특정 테스트 케이스를 기준으로 변경 사항을 검토하여 개선 사항을 평가했습니다. 더욱 강력한 에이전트는 새 버전으로 배포되어 지속적인 성공을 보장하고 추가적인 개선 가능성을 파악하기 위해 모니터링되었습니다.

하지만 에이전트는 "명시되지 않은 것은 무엇이든 가정한다"는 원칙에 따라 작동합니다. 즉, 프롬프트나 도구 정의의 모호함은 에이전트의 내재된 지식으로 채워지게 되며, 이는 예측 불가능하고 바람직하지 않은 결과로 이어질 수 있습니다. 에이전트의 목표, 제약 조건 및 작업 순서를 구체적으로 명시하는 것이 중요합니다.

Lato 반품 요청 담당자는 유용한 정보를 수집하고 있었지만, 자동화를 한 단계 더 발전시키기 위해 Lato는 CSR이 클릭 한 번으로 검토하고 전송할 수 있는 이메일 초안을 작성하기를 원했습니다. 이를 위해 이메일 초안을 작성하고 워크플로를 시작하는 새로운 도구가 도입되었습니다.

그들은 다음을 포함하도록 시스템 프롬프트를 업데이트했습니다.

고객에게 답변이 필요한 경우 이메일을 작성하세요.

이 방식은 오류가 발생하기 쉬웠습니다. 때로는 상담원이 도구를 호출하지 않고 상담원 응답으로 이메일을 초안으로 작성하기도 했고, 이메일을 언제 작성해야 할지 결정하는 데 일관성이 없었습니다.

그래서 라토는 그들의 프롬프트를 다음과 같이 개선했습니다.

모르는 고객의 경우: EmailDraft_Create 기능을 사용하세요. 제목은 "최근 문의에 관하여"이고, 본문에는 "0800 444 5555로 연락 주시면 추가 지원을 받으실 수 있습니다"라는 명확한 행동 촉구 문구를 포함해야 합니다.

알 수 없는 부품이 있는 기존 고객의 경우: EmailDraft_Create 함수를 사용하세요. 제목은 "문의에 필요한 정보"로 하고, 본문은 부품 번호나 사진과 같은 추가 정보를 입력하도록 유도해야 합니다. 다음과 같은 문구를 사용하는 것이 좋습니다.

"요청을 받았습니다. 정확한 부품을 확인할 수 있도록 부품 번호나 사진을 보내주시겠습니까?"

알려진 부분이 있는 기존 고객의 경우: 이메일을 작성하지 마십시오. 별도의 지시에 따라 계획만 제공하십시오.

프롬프트의 구체성 덕분에 에이전트의 신뢰성이 훨씬 높아졌습니다. 새로운 프롬프트는 호출해야 할 도구와 해당 도구가 트리거되는 상황을 명확하게 제시하여 에이전트가 의도한 대로 행동하도록 보장했습니다.

인간에게 최신 소식을 전하다

중대한 결과를 초래하는 모든 결정에는 항상 사람이 참여해야 합니다. 에이전트는 일상적인 작업을 자동화하는 데는 뛰어나지만, 중대한 결정에 필요한 직관과 윤리적 판단력이 부족합니다.

Lato는 모든 고객 커뮤니케이션과 수리 작업에 수동 승인이 필요하도록 시스템을 설계했습니다.

• 따라서 이메일 초안 도구는 응답을 준비하지만 전송하지는 않습니다.
• 따라서 RepairBookIn_Initiate 도구는 검증을 위해 CSR로 라우팅되는 워크플로를 트리거합니다.

이 수동 검토는 비용이 많이 들거나 되돌릴 수 없는 조치를 방지하는 데 중요한 안전장치입니다.

…그리고 자동화가 중요한 결정에 있어서 인간의 판단을 우회하지 않도록 보장합니다.

컨텍스트 관리 및 스마트한 확장

에이전트의 맥락 창은 단기 기억이며 용량이 제한적입니다. 정보가 너무 많으면 에이전트가 가장 중요한 세부 사항에 집중하는 데 어려움을 겪는 등 과도한 행동으로 이어질 수 있습니다. 효과적인 맥락 관리가 매우 중요합니다.

에이전트가 관련 없는 데이터로 인해 과부하되는 것을 방지하기 위해 Lato는 다음과 같은 컨텍스트 관리 전략을 구현했습니다.

• 최소한의 도구 검색: 도구는 전체 데이터 세트가 아닌 특정 데이터만 검색하도록 설계되었습니다. 이 경우, Lato는 도구가 부품 이름이나 일련 번호 중 하나만 허용하도록 하여 모든 응답이 집중되도록 했습니다.
• 컨텍스트 외부에서 필요한 데이터 유지: Lato는 수신 메시지에 대한 정확한 보고가 필요하다는 것을 깨달았습니다. 그들은 상담원의 추론만 알고 있었는데, 그 추론은 구조화되지 않은 형식이었습니다. 그들은 다음과 같이 덧붙였습니다. 스토어인메모리 에이전트의 평가를 영구적으로 저장합니다.

• 검색 증강 생성(RAG) 가장 관련성 있는 수리 매뉴얼 콘텐츠만 가져옵니다.

Lato는 에이전트가 제공한 수리 평가가 Lato 수리 지침에 맞지 않는다는 것을 발견했으므로 수리 매뉴얼 지식 기반에 대한 액세스를 추가하기로 결정했습니다. Mendix 클라우드 리소스 팩을 통해 에이전트는 콘텐츠에 대한 유사성 검색을 수행하고 Lato 관련 데이터를 맥락에 맞게 검색할 수 있었습니다.

시스템이 발전함에 따라 Lato는 효율성을 유지하기 위해 작업을 더 작은 에이전트로 분할하기 시작했습니다. 단일 Lato 반품 요청 에이전트는 다음과 같이 세분화되었습니다.

• 제품 평가자 에이전트: 이 회사의 유일한 임무는 제품 정보를 분석하고, 보증 기간을 확인하고, 적격 여부를 판단하는 것입니다.
• 고객 연구원 상담원: 이 에이전트는 고객 내역, 구매 기록, 커뮤니케이션 로그에 접근하는 것을 전문으로 합니다.
• 스케줄러 에이전트: 고객이나 내부 팀과의 후속 일정을 조정하기 위해 캘린더 및 커뮤니케이션 도구를 사용하는 전담 에이전트입니다.

더 작은 에이전트는 마이크로플로 또는 사용자 정의 워크플로를 사용하여 프로그래밍 방식으로 오케스트레이션 에이전트를 통해 연결될 수 있습니다.

결과 및 다음 단계

Lato의 반품 요청 에이전트는 느리고 수동적인 프로세스를 빠르고 AI 지원 워크플로로 전환하여 분류 시간을 줄이고, 정확도를 높이며, 인간 상담원이 복잡한 사례에 집중할 수 있도록 해줍니다.

그들의 여정은 명확한 목표와 신중하고 신속한 설계를 통해 Mendix의 로우코드 AI 도구조직은 한 번에 한 주체씩 실험을 거쳐 의미 있는 비즈니스 영향으로 나아갈 수 있습니다.