우리는 인공지능이 우리에게 무엇을 해줄 수 있는지에 대해 많은 시간을 할애하여 이야기합니다. 하지만 정작 중요한 것은 무엇일까요? AI 거버넌스?

거버넌스는 AI 관련 논의에서 헤드라인을 장식하거나 논쟁을 불러일으키는 부분은 아닐지 모르지만, 조직이 데이터, 의사 결정 및 비즈니스 프로세스를 AI에 맡길 수 있을지 여부를 결정하는 핵심 요소입니다.

인공지능(AI)을 통해 가장 뛰어난 재무적 성과를 거두는 기업들 사이에서 지배구조는 점점 더 중요한 요소로 자리 잡고 있습니다. PwC는 다음과 같이 말합니다. 2026년 AI 성능 연구 이러한 기업들이 책임 있는 AI 프레임워크를 보유할 가능성이 1.7배 더 높다는 사실이 밝혀졌습니다.

번역: 모든 AI 프로그램의 성공은 여러 요소에 크게 좌우됩니다. 그것을 중심으로 구축된 거버넌스에 관하여.

팀들이 더 많은 소프트웨어를 개발하고 에이전트에게 회사 정보 접근 권한과 실행 권한이 부여됨에 따라, AI는 기존 거버넌스에 새로운 요구 사항을 제시합니다. 리더는 어떤 에이전트가 실행 중인지, 어떤 정보에 접근할 수 있는지, 그리고 필요한 검토가 수행되었는지 정확하게 파악할 수 있어야 합니다. 이를 위해서는 AI 기반 거버넌스 프레임워크가 제공하도록 설계된 검증 가능한 증거가 필요합니다.

다양한 정책들이 존재합니다. 필드 CTO인 메노 오디크에 따르면 Mendix at Siemens성공적인 AI 거버넌스 프레임워크는 조직이 프레임워크를 안정적으로 구현하는지 여부에 달려 있습니다.
다음 질문들은 여러분의 거버넌스 프레임워크가 AI 배포에 필요한 수준의 가시성, 감독 및 책임성을 제공하는지 평가하는 데 도움이 될 수 있습니다.

1. 모든 에이전트, 해당 에이전트의 소유자 및 허용된 접근 권한을 확인할 수 있습니까?

AI 기반 거버넌스 프레임워크는 조직 내 모든 에이전트에 대한 명확한 시야를 리더에게 제공해야 합니다. 이를 위해서는 각 에이전트의 목적, 버전, 담당자, 데이터 및 시스템에 대한 접근 권한 등을 보여주는 중앙 집중식 목록이 필요합니다.

이러한 접근 권한 경계는 신중하게 고려해야 합니다. 오디크는 상담원이 유용한 업무를 수행하기 위해 회사 정보가 필요하지만, 해당 맥락을 제공하는 과정에서 의도치 않게 민감한 데이터가 노출될 수 있다고 설명합니다. 팀은 상담원이 접근할 수 있는 정보를 명확히 정의해야 하며, 특히 권한이 제한된 사람을 대신하여 업무를 수행하는 경우를 고려해야 합니다.

각 에이전트에 대해 해당 에이전트가 사용할 수 있는 정보와 수행할 수 있는 작업 권한을 명확히 설정할 수 있어야 합니다. 에이전트가 배포, 업데이트 또는 폐기될 때마다 해당 기록을 최신 상태로 유지하면 팀에서 감독을 위한 명확한 출발점을 확보할 수 있습니다.

2. 제품 출시 전에 필수 검증이 완료되었음을 증명할 수 있습니까?

리더들은 개발 과정 전반에 걸쳐 적절한 검토가 이루어졌다고 진심으로 믿을 수도 있습니다. 하지만 문제는, 그들이 이를 검증할 수 없는 경우가 많다는 것입니다.

AI가 팀에서 생산하는 소프트웨어의 양을 증가시킴에 따라, 리더들은 자신들의 코드 산출물 양에 맞춰 검토 프로세스가 제대로 진행되고 있는지 파악해야 한다고 오디크는 강조합니다.

특정 릴리스에 대해 팀은 어떤 산출물이 필수 검증을 거쳤는지, 누가 검토했는지, 승인 여부 등을 입증할 수 있어야 합니다. 이러한 기록은 실제 운영 환경에 배포된 버전과 연결되어야 합니다. 만약 이러한 증거를 확보하기 어렵다면, 관리자는 검토 수행 방식이나 기록 방식에 문제가 있음을 인지하고 해결해야 합니다.

3. 에이전트의 활동에 대한 유용한 기록을 검색할 수 있습니까?

담당자가 업무 기록을 업데이트했는데 누군가 그 결과에 이의를 제기하는 경우, 조사팀은 조사를 진행할 수 있도록 증거를 확보해야 합니다.

이 활동 기록은 관련 입력, 모델 상호 작용, 도구 호출, 조치 및 승인을 조사 대상 요청 및 결과와 연결해야 합니다. 또한 발생한 상황을 검토하는 담당자가 접근하고 이해할 수 있어야 합니다.

오디크는 기록들을 지적합니다 모델 호출추적성의 중요한 요소로서 매개변수와 답변을 도출하는 데 사용된 맥락 또한 중요합니다. 기록된 조치 및 승인과 함께 이러한 세부 정보는 팀이 결과가 발생한 방식을 재구성하고 정책 위반 사항을 확인하는 데 도움이 됩니다.

4. 승인 및 문제 해결 절차가 워크플로에 포함되어 있습니까?

각 에이전트에 대해 팀은 다음 사항을 정의해야 합니다.

• 독립적으로 취할 수 있는 조치는 무엇인가요?
• 어떤 행동에 인간의 승인이 필요한가?
• 문제가 발생했을 때 누가 책임을 져야 할까요?

중대한 변경 사항의 경우, 워크플로가 진행되기 전에 권한 있는 담당자가 제안된 변경 사항을 검토하고 승인해야 합니다.

상담원은 허용된 정보를 수집하고 권장 사항을 준비할 수 있으며, 예를 들어 중요한 시스템을 업데이트하기 전에 승인을 받아야 합니다.

평가에서는 필요한 승인 절차가 이행되었는지, 승인이 이루어질 때까지 절차가 일시 중단되는지, 그리고 승인 내용이 기록되는지 여부를 확인해야 합니다.

5. 더 많은 팀이 AI를 도입함에 따라 동일한 거버넌스 표준이 유지될까요?

더 많은 팀이 애플리케이션과 에이전트를 구축함에 따라, 리더는 포트폴리오 전반에 걸쳐 권한 및 감독이 일관되게 유지된다는 확신을 가져야 합니다.

새로운 프로젝트가 공통된 통제 시스템을 계승하는지, 팀이 해당 통제 시스템이 적용되었음을 입증할 수 있는지, 그리고 예외 사항이 어떻게 승인되고 기록되는지를 평가합니다.

각 프로젝트는 여전히 특정 데이터, 권한 및 작업에 대한 평가가 필요합니다. 하지만 공유 제어 기능을 통해 팀은 일관된 출발점을 확보하고, 리더는 배포가 확장됨에 따라 전반적인 상황을 효과적으로 관리할 수 있습니다.

포트폴리오 전반에 걸친 거버넌스 지원

공통 제어 세트는 아키텍처가 작업을 수행하는 부분입니다. 제어 기능이 플랫폼 내에 존재하면 모든 새로운 애플리케이션과 에이전트가 관리 대상이 됩니다.

Mendix에이전트 기반 개발 플랫폼이자 그 일부입니다. Siemens' Intelligence Center X에이전트 기반 엔터프라이즈 시스템인 이 시스템은 팀이 표준을 한 번만 코드화하고 빌드 시점과 실행 중인 전체 환경에서 모든 애플리케이션을 해당 표준에 따라 검사할 수 있도록 지원합니다. 플랫폼에서 구축된 에이전트는 관리되는 워크플로 내에서 작동하며, 설정된 권한에 따라 동작합니다. 그들이 일하는 인간그리고 그들의 활동은 중앙 감사 로그에 기록됩니다.

팀은 사람의 검토를 필수적인 워크플로 단계로 설정할 수 있으므로, 후속 조치는 프로세스가 계속 진행되기 전에 승인을 받아야 합니다. 오디크가 강조하는 것처럼, 검토가 이루어지려면 이러한 감독 기능이 구현되어야 합니다.

플랫폼 수준에서 제어 기능을 구축하면 후속 애플리케이션 개발 시 팀이 반복해야 하는 기초 작업을 줄일 수 있습니다.

와 함께 Mendix한 번 설정하면 모든 곳에 적용됩니다. "많은 고객들이 웹사이트 구축 속도를 높이기 위해 이 플랫폼을 활용하고 있습니다." 두 번째, 세 번째, 네 번째 지원서오디크는 "그렇다"고 말합니다.

당신의 통치력을 시험해 보세요

큰 힘에는 큰 책임이 따른다. 이는 진부한 표현이 아니라 AI 에이전트를 관리할 때 반드시 지켜야 할 실질적인 원칙이다. 에이전트에게 회사 정보에 ​​대한 접근 권한과 행동 권한을 부여했다면, 그들이 하는 일에 대해 책임을 질 수 있어야 한다.

먼저 조직에서 이미 실행 중인 에이전트에 여기에 제시된 질문을 적용해 보세요. 에이전트 소유자를 식별하고, 권한을 확인하고, 검토 및 활동 내역을 확인할 수 있습니까?

이러한 답변을 통해 정책이 실제 상황에서 얼마나 잘 작동하는지, 그리고 다음 배포로 인해 업무량이 증가하기 전에 무엇을 개선해야 하는지 알 수 있습니다.