Lato BikesのAIの旅:エージェントの構築 Mendix | Mendix

メインコンテンツへスキップ

Lato BikesのAIの旅:エージェントの構築 Mendix

主要なポイント(要点)

  • 中古ラトバイク Mendix 返品トリアージを自動化し、非構造化顧客データを実用的な洞察に変換します。
  • 単一のイベント駆動型エージェントから小規模に開始することで、チームは価値を証明し、アプローチを改良することができました。
  • 迅速で明確な情報と思慮深いツール設計により、正確で信頼性の高いエージェントの動作が保証されます。
  • 自律的AI Mendix エージェントビルダーとポートフォリオ管理により、Lato はパフォーマンスを追跡し、自信を持って AI 戦略を拡大しました。

ラト・バイシクルズにとって、革新と効率性は常に進化を続けています。多くの Mendix 顧客、ラトは Mendix ポートフォリオ管理を活用し、取り組みの進捗状況を追跡しました。この戦略的な概要により、イノベーションと効率性向上が期待できる領域を特定し、導入から運用開始まで追跡することができました。最近のポートフォリオレビューで、経営陣は顧客サービスプロセスにおけるボトルネック、つまり返品リクエストの初期トリアージに気づきました。

各リクエストはウェブフォーム経由で非構造化テキストとして届くため、カスタマーサービス担当者は手作業で内容を読み、分類し、次のステップを決定する必要がありました。このプロセスは反復的で時間がかかり、解決が遅れることもありました。

図1: ラトの初期プロセス

使い方 Mendixラトは最初のAIエージェントの設計に着手した。 返品リクエストアシスタント 受信したリクエストを分析し、重要な詳細を要約し、修復計画を自動的に作成できるシステムです。

(詳細については および 現在も将来も、 AI エージェントの構築の詳細については、以下の関連記事をご覧ください。

測定可能な成果の定義

開発が始まる前に、ラトはプロジェクトにおける成功の意味を定義しました。彼らの目標は明確でした。

  • 手動トリアージ時間を 40% 削減します。
  • 返品リクエストの分類において 95% の精度を達成します。
  • 請求解決時間を 14 日から 3 日に短縮します。

これらのKPIは、 Mendix ポートフォリオ管理により、プロジェクトが具体的なビジネス成果と一致していることを保証します。

適切なトリガーの選択

返品リクエストは散発的に届くため、チームは、返品リクエストポータルで新しいリクエストが送信されるたびにアクティブになるイベント駆動型エージェントを選択しました。

ポータルは顧客注文管理や製品在庫管理といった主要システムと既に統合されており、エージェントにとって理想的なエントリーポイントとなっていました。エージェントは完全に自律的に動作するわけではないため、ユーザーとのやり取りは ユーザータスク エージェントが生成したデータは、システム管理者がすぐに使用できる形で監視できます。

従業員がすでに作業している場所に自動化を組み込むことで、Lato は混乱を最小限に抑え、導入を加速しました。

モデルの選択

LatoはエージェントのパワーとしてClaude 3.5を選択しました。これにより、以下のメリットが得られます。

  • 強力なツール使用能力
  • バランスの取れたパフォーマンスとコスト
  • 簡素化された調達と監視

より高度なモデルも利用可能でしたが、Latoのコアニーズであるツールの使用、要約、意思決定支援はClaude 3.5によって完全に満たされました。さらに、 MendixのクラウドGen AIリソースパックLatoはプロセス全体を効率化することができました。リソースパック:

  • モデルの購入と調達を簡素化しました。
  • 開発チームに、シンプルでローコードの統合パスを提供しました。
  • 組み込みの使用状況モニタリングが含まれており、最初からデータの消費量とコストを明確に把握できます。
  • Latoの既存のデータ処理契約の対象となっている Mendix.

微調整とカスタマイズに関する注意: ベースとなるLLMは強力ですが、組織の特定のドメインデータ(例:Latoの製品説明、一般的な保証問題)に基づいてモデルを微調整することで、専門的なタスクに対する精度と関連性を大幅に向上させることができます。これは、初期エージェントが安定し、パフォーマンスのギャップを明確に把握した後に検討すべき高度な手法です。専用のデータ準備と計算リソースが必要です。

プロンプトの作成

基礎モデルが決定したら、次の重要なステップは 迅速なエンジニアリング: エージェントのプロンプト内でデータと指示を構造化して、望ましい動作を引き出します。

エージェントは通常、2つの主要なタイプのプロンプトを使用して操作します。 システムプロンプトユーザープロンプトシステムプロンプトとは、エージェントのペルソナ、全体的な目標、制約、そして動作を定義するために開発者が提供する一連の指示です。システムプロンプトには、インタラクション全体の土台となる核となる指示が含まれています。

ラトの返品リクエストエージェントの場合、 システムプロンプト 次のようになります:

役割:あなたは、eバイクメーカーのカスタマーサービス担当者(CSR)のAIアシスタントです。お客様の修理に関する問題を整理し、CSR向けに明確で実行可能なプランを作成することがあなたの仕事です。

主な業務:お客様から問題の説明を受け、修理に必要な主要な詳細を特定し、Latoの様々なシステムから有用な情報を調査し、CSRに提供することが主な業務です。プランを提案する際には、お客様の注文履歴、部品の価値、修理費用を考慮する必要があります。

最終出力: 回答は次の形式を使用した構造化された要約である必要があります。

修理依頼の概要
顧客: [顧客の氏名と会社名]
部品: [名前とシリアル番号(提供されている場合)]
問題: [問題の詳細な説明]
次のステップ: [CSRのための明確でシンプルな行動計画]

ユーザープロンプトとは、エージェントのアクションをトリガーする、ユーザーまたはシステムからの直接入力です。この最初のユーザープロンプトによって、エージェントのタスクが開始されます。

ラトの返品リクエストエージェントの場合、最初の ユーザープロンプト 次のようになります:

From: {{Email Address of requester}}
InputContent: {{Request content}}

エージェントのツールキットの構築

強力なエージェントにはツールが必要です。これらのツールは、例えばマイクロフローのような特殊な機能です。 Mendix エージェントは特定のアクションを実行するために、アプリケーションを呼び出すことができます。エージェントは利用可能なツールのリストを持ち、それぞれに明確な名前と説明が付いています。タスクが与えられた場合、エージェントの役割は、これらのツールを連携させて、望ましい結果を達成することです。

Latoは、顧客のメールアドレスに基づいてREST呼び出しを使用して顧客データを取得するという重要な機能から始めました。 Mendix エージェントビルダーでは、次のことが行われます。

1. データを取得するためのマイクロフローを構築しました。

2. 明確な名前と説明が付いたツールとして追加しました。

3. 組み込みのテスト ケースを使用して呼び出しをテストしました。

当初、Lato 返品リクエスト エージェントは必要なデータを収集するだけで、すべてのアクションをカスタマー サービス担当者に任せていました。

この段階的なアプローチにより、完全なエージェントシステムの複雑さを伴わずに、問題の特定の部分が解決されました。

ユーザーがエージェントに頼り始めると、新たな課題が浮上しました。

改善に向けて反復する

エージェントの開発は、一度きりの作業ではなく、反復的なプロセスです。まずベースラインモデルを作成し、設定されたKPIに基づいて評価し、その後、幅広いシナリオでエージェントを厳密にテストすることが重要です。

ユーザーがエージェントを使い始めた当初、部品が見つからないことが頻繁に発生していました。エージェントの検索は、受信したリクエストのスペルミスや、製品在庫管理システムと顧客注文管理システムの両方におけるデータ品質の問題によって妨げられていました。

この問題を解決するために、エージェントがシリアル番号で部品を検索できる新しいツールが導入されました。これにより、部品名による検索が失敗した場合に、信頼性の高い代替手段が提供されるようになりました。

チームはその後、 エージェントコモンズ 具体的なテストケースを用いて変更点をレビューすることで、改善効果を評価することができました。より堅牢なエージェントは新バージョンとして導入され、継続的な成功を保証し、さらなる改善点を特定するために監視されました。

しかし、エージェントは「明示されていないことはすべて想定される」という原則に基づいて動作します。つまり、プロンプトやツールの定義における曖昧さは、エージェントの固有の知識によって補われるため、予測不可能で望ましくない結果につながる可能性があります。エージェントの目標、制約、そして操作の順序を具体的に指定することが重要です。

Latoの返品リクエストエージェントは、これまで有益な方法で情報をまとめていましたが、自動化をさらに進化させるため、CSRがワンクリックで確認・送信できるメールの下書きを作成できるようにしたいと考えました。そこで、メールの下書きを作成し、ワークフローを開始するための新しいツールが導入されました。

システムプロンプトが更新され、次の内容が含まれるようになりました。

顧客への返信が必要な場合は、電子メールを作成します。

これはエラーが発生しやすいものでした。エージェントがツールを呼び出さずにエージェント応答で電子メールを下書きすることがあり、電子メールを下書きする必要があるタイミングが一貫して決定されませんでした。

そこで、Lato はプロンプトを改良しました。

未知の顧客の場合:EmailDraft_Create関数をご利用ください。件名は「最近のお問い合わせについて」とし、本文には明確な行動喚起(「さらにサポートいたしますので、0800 444 5555までご連絡ください」)を記載してください。

認識できない部品をお持ちの既知のお客様へのメール:EmailDraft_Create関数をご利用ください。件名は「お問い合わせに必要な情報」とし、本文では部品番号や写真など、より詳しい情報を入力できるよう促します。以下のようなフレーズが効果的です。

「ご要望を承りました。正しい部品を特定するために、部品番号または写真をご提供いただけますか?」

部品が認識されている既知のお客様:メールの下書きはしないでください。別途指示があった場合のみ、図面をご提供ください。

プロンプトの具体的さにより、エージェントの信頼性は大幅に向上しました。新しいプロンプトにより、呼び出されるツールとそれらが実行されるシナリオが明確になり、エージェントが意図したとおりに動作することが保証されました。

人間をループ内に維持する

重大な結果をもたらす意思決定には、常に人間が関与するべきです。エージェントは定型的なタスクの自動化には優れていますが、重大な意思決定に必要な直感と倫理的判断力は欠いています。

Lato は、すべての顧客とのコミュニケーションと修理アクションに手動の承認が必要となるようにシステムを設計しました。

  • 私達の メール下書き ツールは応答を準備しますが、送信しません。
  • 私達の RepairBookIn_Initiate ツールは、検証のために CSR にルーティングするワークフローをトリガーします。

この手動レビューは、コストのかかる、あるいは取り返しのつかないアクションに対する重要な安全策です…

…そして、自動化により、重大な決定を下す際に人間の判断が無視されることがないようにすることができます。

コンテキストの管理とスマートなスケーリング

エージェントのコンテキストウィンドウは短期記憶であり、容量には限りがあります。情報が多すぎると、エージェントは最も重要な詳細に集中できなくなり、過剰な行動につながる可能性があります。効果的なコンテキスト管理が不可欠です。

エージェントが無関係なデータで過負荷になるのを防ぐために、Lato はコンテキスト管理戦略を実装しました。

  • 最小限のツール取得: ツールは特定のデータのみ(データセット全体ではなく)を取得するように構築されています。この場合、Latoはツールが部品名またはシリアル番号のいずれかを受け入れるようにすることで、応答が絞り込まれるようにしました。
  • コンテキスト外で必要なデータの保存: ラトは、受信メッセージに関する正確なレポートが求められていることに気づきました。彼らが持っていたのは、エージェントの推論結果だけで、それは構造化されていない形式でした。彼らはこう付け加えました。 メモリ内ストア エージェントの評価を永続的に保存します。

  • 検索拡張生成(RAG) は、最も関連性の高い修理マニュアルのコンテンツのみを取得します。

ラトは、代理店が提供する修理評価がラト修理ガイドラインに適合していないことに気づいたため、修理マニュアルの知識ベースへのアクセスを追加することを決定しました。 Mendix クラウドリソースパック。これにより、エージェントはコンテンツの類似性検索を行い、Lato固有の関連データをコンテキストに沿って取得できるようになりました。

 

システムが成熟するにつれ、Latoは効率性を維持するために、タスクをより小さなエージェントに分割し始めました。単一のLato返品リクエストエージェントは、以下のエージェントに分割されました。

  • 製品評価エージェント: その唯一のタスクは、製品情報を分析し、保証日を確認し、適格性を判断することです。
  • 顧客研究者エージェント: このエージェントは、顧客履歴、購入記録、通信ログへのアクセスを専門としています。
  • スケジューラエージェント: カレンダーとコミュニケーション ツールを使用して顧客または社内チームとのフォローアップをスケジュールする専任エージェント。

その後、マイクロフローまたはカスタム ワークフローを使用して、プログラムでオーケストレーション エージェントを介して、より小さなエージェントを接続できます。

結果と次のステップ

Lato の返品リクエスト エージェントは、時間のかかる手動プロセスを高速な AI 支援ワークフローに変換し、トリアージ時間を短縮し、精度を向上させ、複雑なケースに人間のエージェントを解放しました。

彼らの旅は、明確な目標、慎重かつ迅速な設計、そして MendixのローコードAIツール組織は、エージェントごとに実験から意味のあるビジネスへの影響に移行できます。

言語を選択してください