Que surveiller, à quel rythme : le plan de surveillance d'un système de management de l'IA
Surveiller n'est pas collecter. Un indicateur qu'on relève sans jamais rien en décider ne surveille rien : il remplit un tableau.
Deux erreurs opposées guettent un plan de surveillance. La première : ne mesurer que ce qui se compte facilement — les réunions, les formations, les documents. La seconde : tout mesurer, et ne rien regarder. La norme ne tranche pas pour vous ; elle demande que vous ayez décidé.
La clause distingue deux moments : relever, puis analyser et évaluer. Beaucoup de dispositifs s’arrêtent au premier.
Deux niveaux à ne pas confondre
La norme fait surveiller à deux étages, et un plan qui n’en couvre qu’un laisse un angle mort.
Les systèmes d’IA. Se comportent-ils toujours comme prévu ? C’est l’objet du contrôle A.6.2.6, lorsqu’il est retenu : performance, dérive, qualité des sorties, écarts entre groupes. Le guide sur la dérive détaille ce niveau.
Le système de management. Fonctionne-t-il ? Trois exigences y conduisent. La clause 9.1 elle-même. La clause 8.1, qui demande de surveiller l’efficacité des mesures retenues et d’envisager des actions correctives quand elles ne produisent pas l’effet attendu. Et la clause 6.2, qui veut des objectifs suivis dans le temps.
Le premier niveau répond à « nos systèmes sont-ils fiables ? », le second à « notre dispositif les tient-il ? ». Une organisation peut avoir d’excellents tableaux de bord de modèles et aucun indicateur sur la façon dont elle les gouverne.
Des indicateurs rattachés à une décision
Un indicateur est utile, et défendable en audit, s’il répond à trois questions : à quel objectif il se rattache, comment il se calcule, et quelle décision il peut déclencher. Les exemples ci-dessous sont des propositions à adapter ; la norme n’en impose aucun.
| Indicateur | Ce qu’il mesure | La décision qu’il peut déclencher |
|---|---|---|
| Part des systèmes du périmètre dont l’évaluation d’impact est à jour | La tenue du processus d’évaluation d’impact | Planifier les réévaluations en retard, ou suspendre une mise en service |
| Nombre de systèmes mis en service sans la revue prévue | Le contournement du processus d’entrée | Renforcer le point d’entrée, et ouvrir une non-conformité |
| Part des actions correctives dont l’efficacité a été vérifiée | La fin réelle de la boucle de la clause 10.2 | Programmer les examens d’efficacité en souffrance |
| Part des services d’IA externes évalués | La maîtrise des fournisseurs | Conditionner un renouvellement à l’évaluation |
| Incidents et quasi-incidents, par système | La fiabilité en exploitation | Réapprécier les risques d’un système, ou le retirer |
| Dérogations accordées à la politique IA | L’adéquation de la politique au terrain | Modifier une règle qui ne tient pas |
Trois défauts disqualifient un indicateur : il ne mesure qu’une activité, sa méthode de calcul n’est écrite nulle part, ou il n’a jamais conduit à rien.
Un rythme calé sur le changement, pas sur le calendrier
« À quelle fréquence ? » n’a pas de réponse unique : la norme vous laisse la fixer. Trois critères aident à la choisir.
La vitesse à laquelle la chose peut changer. Un service d’IA dont le fournisseur met le modèle à jour sans préavis se surveille plus souvent qu’un modèle figé que vous hébergez vous-même.
La gravité d’un défaut qui passerait inaperçu. Un système qui oriente des décisions sur des personnes justifie des relevés plus serrés qu’un outil d’aide à la rédaction.
Le rythme des décisions qui exploitent le résultat. Un indicateur examiné en revue de direction n’a pas besoin d’être relevé chaque semaine ; une alerte qui doit arrêter un système, si.
| Rythme | Ce qui s’y surveille, typiquement |
|---|---|
| En continu | Journaux, alertes de seuil, disponibilité |
| Chaque mois | Échantillons de sorties relus, réclamations, versions de modèle utilisées |
| Chaque trimestre | Indicateurs du système de management, examinés en instance de pilotage |
| Chaque année | Tendances pour la revue de direction, réappréciation planifiée des risques et des impacts |
| À l’événement | Nouveau système, mise à jour de modèle, incident, changement d’usage ou de réglementation |
La dernière ligne compte autant que les autres. Les clauses 8.2 et 8.4 font rejouer l’appréciation des risques et l’évaluation d’impact à des intervalles que vous planifiez. S’y ajoute un déclencheur événementiel, et il n’est pas le même des deux côtés : 8.2 vise les changements significatifs envisagés comme ceux déjà survenus, là où 8.4 ne nomme que les changements envisagés. Un calendrier seul ne les voit pas venir.
Ce qu’il faut retenir
Deux niveaux : les systèmes, et le système de management qui les tient. Des indicateurs qui mènent à une décision. Un rythme fixé par la vitesse du changement et la gravité d’un défaut, complété par des déclencheurs à l’événement. Et, pour chaque relevé, la trace de ce qu’on en a conclu.