Nous passons beaucoup de temps à parler de ce que l'IA peut faire pour nous. Mais qu'en est-il de Gouvernance de l'IA?

La gouvernance n'est peut-être pas l'aspect du débat sur l'IA qui fait les gros titres ou qui suscite les débats, mais c'est bien celui qui détermine si une organisation peut faire confiance à l'IA pour ses données, ses décisions et ses processus métier.

La gouvernance est de plus en plus un élément incontournable pour les entreprises qui obtiennent les meilleurs résultats financiers grâce à l'IA. (PwC) Étude sur les performances de l'IA en 2026 L’étude a révélé que ces entreprises étaient 1.7 fois plus susceptibles de disposer d’un cadre d’IA responsable.

Traduction : le succès de tout programme d'IA repose fortement sur sur la gouvernance qui l'entoure.

À mesure que les équipes développent davantage de logiciels et que les agents accèdent aux informations de l'entreprise et obtiennent le pouvoir d'exécuter des tâches, l'IA impose de nouvelles exigences à la gouvernance existante. Les responsables doivent pouvoir identifier précisément quels agents sont en activité, à quoi ils ont accès et si les revues requises ont été effectuées. Cela nécessite le type de preuves vérifiables qu'un cadre de gouvernance adapté à l'IA est conçu pour fournir.

Il existe de nombreuses politiques. Selon Menno Odijk, directeur technique de Field pour Mendix at SiemensLa réussite d'un cadre de gouvernance de l'IA repose sur la capacité des organisations à mettre en œuvre ces cadres de manière fiable.
Les questions suivantes peuvent vous aider à évaluer si votre cadre de gouvernance offre le niveau de visibilité, de contrôle et de responsabilité requis par vos déploiements d'IA.

1. Pouvez-vous identifier chaque agent, son propriétaire et ses droits d'accès ?

Un cadre de gouvernance adapté à l'IA doit offrir aux dirigeants une vision claire des agents opérant au sein de leur organisation. Cela nécessite un inventaire centralisé recensant pour chaque agent sa finalité, sa version, son responsable et ses autorisations d'accès aux données et aux systèmes.

Ces limites d'accès exigent une réflexion approfondie. Odijk explique que les agents ont besoin d'informations sur l'entreprise pour accomplir leur travail, mais que la fourniture de ce contexte peut, par inadvertance, exposer des données sensibles dans leurs réponses. Les équipes doivent définir précisément les informations auxquelles un agent est autorisé à accéder, notamment lorsqu'il agit pour le compte d'une personne dont les autorisations sont restreintes.

Pour chaque agent, il est essentiel de pouvoir définir les informations qu'il peut utiliser et les actions qu'il est autorisé à entreprendre. La mise à jour régulière de ce registre, au fur et à mesure des déploiements, des mises à jour et des mises hors service des agents, offre aux équipes un point de départ clair pour la supervision.

2. Pouvez-vous prouver que la validation requise a eu lieu avant la mise en production ?

Les dirigeants peuvent sincèrement croire qu'un examen adéquat a eu lieu tout au long du développement. Le seul problème ? Ils ne peuvent souvent pas le vérifier.

À mesure que l'IA augmente le volume de logiciels produits par les équipes, Odijk souligne que les dirigeants doivent savoir si leurs processus de révision suivent le rythme de cette augmentation.

Pour chaque version, les équipes doivent pouvoir indiquer quels éléments ont fait l'objet de la validation requise, qui les a examinés et s'ils ont été approuvés. Ces informations doivent correspondre à la version déployée en production. Si ces éléments sont difficiles à retrouver, les responsables doivent remédier à une lacune dans la manière dont les examens sont effectués ou consignés.

3. Pouvez-vous récupérer un enregistrement exploitable des actions d'un agent ?

Si un agent met à jour un dossier commercial et que quelqu'un conteste le résultat, votre équipe a besoin d'une piste de preuves lui permettant d'enquêter.

Ce compte rendu d'activité doit relier les données d'entrée pertinentes, les interactions avec le modèle, les appels d'outils, les actions et les approbations à la demande et au résultat obtenu faisant l'objet de l'enquête. Il doit être accessible et compréhensible par les personnes chargées d'examiner les événements.

Odijk fait référence à des documents de appels de modèlesLeurs paramètres et le contexte utilisés pour obtenir des réponses constituent des éléments essentiels de la traçabilité. Conjugués aux actions et approbations enregistrées, ces détails aident les équipes à reconstituer le déroulement d'un événement et à vérifier les écarts par rapport aux politiques en vigueur.

4. Les responsabilités d'approbation et d'escalade sont-elles intégrées au flux de travail ?

Pour chaque agent, les équipes doivent définir :

• Quelles actions peut-elle entreprendre de manière indépendante ?
• Quelles actions nécessitent une approbation humaine ?
• Qui doit intervenir en cas de problème ?

Pour les actions ayant des conséquences importantes, une personne autorisée devrait être requise pour examiner et approuver la modification proposée avant que le processus ne se poursuive.

Un agent peut recueillir les informations autorisées et préparer une recommandation, par exemple, tout en ayant besoin d'une approbation avant de mettre à jour un système critique.

L'évaluation doit établir si les étapes d'approbation requises ont été mises en œuvre, si le processus est suspendu jusqu'à l'obtention de l'approbation et si cette approbation est consignée.

5. Les mêmes normes de gouvernance seront-elles maintenues à mesure que davantage d'équipes déploieront l'IA ?

À mesure que de plus en plus d'équipes développent des applications et des agents, les dirigeants ont besoin d'avoir l'assurance que les autorisations et la supervision restent cohérentes dans l'ensemble du portefeuille.

Évaluer si les nouveaux projets héritent d'un ensemble commun de contrôles, si les équipes peuvent démontrer que ces contrôles ont été appliqués et comment les exceptions sont approuvées et consignées.

Chaque projet nécessite une évaluation de ses données, autorisations et actions spécifiques. Toutefois, les contrôles partagés offrent aux équipes un point de départ cohérent et aident les responsables à maintenir la supervision à mesure que le déploiement s'étend.

Soutenir la gouvernance à travers le portefeuille

Un ensemble commun de contrôles est intégré à l'architecture. Lorsque ces contrôles résident dans la plateforme, chaque nouvelle application et chaque nouvel agent sont soumis à cette gouvernance.

Mendix, une plateforme de développement d'agents et une partie de Siemens» Intelligence Center X, un système d'entreprise basé sur les agents, permet aux équipes de définir une norme une seule fois et de vérifier chaque application par rapport à celle-ci, lors de la conception et tout au long de l'environnement d'exécution. Les agents créés sur la plateforme fonctionnent au sein de flux de travail gouvernés. Ils agissent avec les autorisations définies par le humains pour lesquels ils travaillentet leur activité est consignée dans un journal d'audit central.

Les équipes peuvent configurer la vérification humaine comme une étape obligatoire du processus, de sorte que les actions qui en découlent nécessitent une approbation avant que le processus ne se poursuive. Comme le souligne Odijk, ces mécanismes de contrôle doivent être mis en œuvre pour que la vérification puisse avoir lieu.

La mise en place de contrôles au niveau de la plateforme peut également réduire le travail de fond que les équipes de travail doivent répéter pour les applications ultérieures.

Avec MendixVous configurez une seule fois et c'est appliqué partout. « Nombre de nos clients adoptent la plateforme pour gagner du temps lors du développement de leurs applications. » deuxième, troisième et quatrième demandes« », dit Odijk.

Mettez votre gouvernance à l'épreuve

Un grand pouvoir implique de grandes responsabilités. Il ne s'agit pas d'un simple cliché, mais d'une obligation pratique lorsqu'il s'agit de gérer des agents d'IA. Si vous leur donnez accès aux informations de l'entreprise et l'autorisation d'agir, vous devez pouvoir répondre de leurs actions.

Commencez par appliquer les questions décrites ici à un agent déjà en fonctionnement dans votre organisation. Pouvez-vous identifier son propriétaire, confirmer ses autorisations et retrouver des preuves de son examen et de son activité ?

Ces réponses vous indiqueront dans quelle mesure vos politiques se vérifient en pratique et ce qui nécessite une attention particulière avant que votre prochain déploiement n'augmente la charge de travail.