Un audit interne qui trouve quelque chose : programme, échantillon, constats
Un audit interne sans aucun constat ne rassure personne. Il indique surtout qu'on a vérifié ce qui était écrit, et pas ce qui se faisait.
La clause 9.2 est courte, et presque toutes les organisations la satisfont sur le papier : un programme existe, un rapport aussi. La différence entre un audit utile et un audit de forme ne se lit pas dans ces deux documents. Elle se lit dans ce que l’audit a trouvé, et dans ce qu’on en a fait.
Ce que l’audit doit établir
Trois vérifications, donc. L’audit de forme n’en fait qu’une : il compare la documentation à la norme, clause par clause. C’est utile, mais c’est aussi ce que l’auditeur de certification fera lui-même au stade 1.
Vos propres exigences. Votre politique interdit toute mise en service sans évaluation d’impact ; votre procédure d’achat impose d’évaluer un fournisseur d’IA avant de signer. L’audit vérifie que l’organisation fait ce qu’elle a écrit, et pas seulement que ce qu’elle a écrit ressemble à la norme. Les écarts s’y concentrent, parce que personne ne relit ses propres engagements.
La mise en œuvre effective. Un processus existe s’il a produit des enregistrements sur la période. L’audit le vérifie sur des cas réels ; une procédure ne prouve que l’intention, comme l’explique le plan de preuve.
L’entretien. Un système exact le jour où on l’a écrit peut être faux six mois plus tard : un inventaire que plus personne ne met à jour, des critères de risque que l’arrivée d’un nouveau type de système a rendus inadaptés.
Un programme pondéré, pas un calendrier
Ces deux éléments sont ce que l’on néglige le plus. Un programme calqué sur le sommaire de la norme — la clause 4 au premier trimestre, la clause 5 au deuxième — respecte la forme et manque la demande : auditer plus souvent, ou plus en profondeur, là où un défaut coûte le plus et là où l’on a déjà trouvé quelque chose.
Dans un système de management de l’IA, les processus qui pèsent le plus sont en général ceux dont un défaut atteint des personnes ou reste longtemps invisible. L’exemple ci-dessous est à adapter : la norme ne fixe aucune fréquence.
| Processus | Pourquoi il pèse | Rythme proposé | Méthode |
|---|---|---|---|
| Évaluation d’impact et appréciation des risques (6.1.2, 6.1.4, 8.2, 8.4) | Un défaut touche des personnes, et se découvre tard | Chaque année | Suivre un système de bout en bout |
| Mise en service et changements (8.1, A.6) | C’est là que les étapes se sautent sous la pression des délais | Chaque année | Échantillon des mises en service de la période |
| Fournisseurs d’IA (A.10.3) | Relève souvent des achats, hors du regard de l’équipe IA | Chaque année au début, puis selon les résultats | Partir des factures et des changements de version |
| Non-conformités et actions correctives (10.2) | La vérification d’efficacité est l’omission la plus fréquente | Chaque année | Échantillon d’actions closes |
| Politique, rôles, compétences (5, 7) | Stable une fois en place | Une fois sur le cycle de certification | Entretiens et vérification documentaire |
Les résultats précédents font bouger ce tableau. Un processus audité deux fois sans écart peut passer à un rythme plus lent. Un processus où l’audit a relevé une non-conformité est réexaminé après l’action corrective : c’est aussi la manière la plus simple de vérifier qu’elle a produit son effet, comme la clause 10 le demande.
Un mandat écrit pour chaque audit
La norme demande que chaque audit ait ses objectifs, ses critères et son périmètre. Écrits sérieusement, ils font la moitié du travail : ils disent à l’auditeur ce qu’il cherche, et à l’audité ce qu’on lui demandera.
| Mandat de forme | Mandat utile | |
|---|---|---|
| Objectif | Auditer la clause 8 | Vérifier que les systèmes mis en service depuis le dernier audit l’ont été après une évaluation d’impact, et après une vérification contre des critères d’acceptation écrits |
| Critères | ISO/IEC 42001 | Les clauses 6.1.4 et 8.4, les contrôles A.6 retenus dans la déclaration d’applicabilité, la procédure interne de mise en service |
| Périmètre | Le service data | Toutes les mises en service de la période, tous services confondus, outils achetés compris |
Les critères de droite citent les documents de l’organisation à côté de la norme : c’est ce qui permet de vérifier le respect de ses propres exigences. Le périmètre sort des frontières d’un service, parce que les systèmes d’IA entrent aussi par les achats et par les fonctions activées dans des logiciels déjà en place.
L’échantillon : c’est l’auditeur qui le choisit
C’est la décision qui sépare le plus nettement un audit utile d’un audit de forme. Les quatre pratiques qui suivent relèvent de la méthode d’audit, pas de la norme. Les lignes directrices générales pour auditer un système de management se trouvent dans ISO 19011, qu’ISO/IEC 42001 n’impose pas.
Suivre un système, pas un chapitre. Prenez une ligne de l’inventaire et suivez-la : l’évaluation d’impact du système, les risques qui le concernent dans le registre, les mesures retenues pour les traiter, la vérification avant mise en service, les relevés de surveillance, les incidents. Un seul fil traverse cinq clauses et montre les ruptures entre elles — ce qu’un audit par chapitre ne voit jamais.
Remonter depuis le terrain. Partez d’un fait que la documentation ne maîtrise pas : une facture d’abonnement à un service d’IA, un ticket d’incident, l’annonce par un fournisseur de la fin d’une version de modèle. Cherchez ensuite sa trace dans le système. Un service payé chaque mois et absent de l’inventaire est un constat qu’aucune relecture documentaire ne produit.
Tirer les cas soi-même. Un échantillon proposé par l’audité montre ce qu’il a de mieux. Demandez la liste complète — mises en service, actions correctives closes, changements de fournisseur —, puis choisissez, en incluant les cas les plus récents.
Interroger ceux qui font. Demandez à la personne qui a mis un modèle en production ce qu’elle a dû faire avant, puis comparez avec la procédure. L’écart entre les deux récits est souvent le constat le plus utile de l’audit.
Qui peut auditer
La norme fixe un résultat plutôt qu’un profil : la désignation des auditeurs comme la conduite de l’audit doivent en préserver l’objectivité et l’impartialité (9.2.2 b)). Elle n’exige ni auditeur externe, ni auditeur certifié, et admet qu’un audit interne soit mené par l’organisation elle-même comme par un prestataire agissant pour son compte (3.18, note 2). Elle n’écrit nulle part qu’on ne peut pas auditer son propre travail. Mais l’indépendance figure dans sa définition même de l’audit (3.18), et on voit mal comment démontrer l’impartialité de quelqu’un qui examine ce qu’il a lui-même construit — le consultant qui viendrait auditer la documentation qu’il a rédigée est dans ce cas. En pratique, c’est la règle à suivre.
La vraie difficulté est ailleurs : la compétence. Un auditeur qualité ou sécurité de l’information maîtrise la méthode, pas toujours le sujet ; un data scientist connaît le sujet, rarement la méthode, et appartient souvent à l’équipe auditée. La réponse habituelle est un binôme : l’un conduit l’audit, l’autre, issu d’une autre équipe, lit les enregistrements techniques.
Des constats rattachés à des preuves
Un constat utile tient en trois éléments : le critère, c’est-à-dire l’exigence de la norme ou de l’organisation ; ce qui a été constaté, avec la preuve examinée ; et l’écart entre les deux. Sans les trois, un constat est une opinion : l’audité la conteste, ou l’ignore.
| Constat de forme | Constat utile |
|---|---|
| « La gestion des fournisseurs est perfectible. » | Critère : procédure d’achat, section sur les services d’IA ; contrôle A.10.3 retenu. Constaté : sur six services d’IA facturés au premier semestre, deux ne figurent ni à l’inventaire ni au registre des évaluations de fournisseurs. Écart : deux services en usage sans évaluation préalable. |
| « Sensibilisation insuffisante. » | Critère : clause 7.3 ; plan de sensibilisation de l’année. Constaté : au service client, quatre personnes interrogées sur cinq ignorent quelles données ne doivent pas être saisies dans l’assistant. Écart : la sensibilisation prévue n’a pas atteint ce service. |
Après le rapport
Le rapport ne clôt pas l’audit. Les résultats vont aux responsables concernés : ceux des processus audités, pas seulement le responsable du système. La direction des achats reçoit le constat sur les fournisseurs, le responsable du service client celui sur la sensibilisation.
Trois circuits prennent ensuite le relais :
- les non-conformités entrent dans le traitement prévu par la clause 10 : réaction, recherche de cause, action, vérification de son efficacité ;
- les résultats d’audit font partie des entrées de la revue de direction, qui les examine dans leurs tendances ;
- le programme suivant se règle sur ce qui a été trouvé.
Les signes d’un audit de forme
- aucun constat, ou seulement des observations ;
- une liste de questions fermées calquée sur le sommaire de la norme, cochées oui ou non ;
- un échantillon proposé par l’audité ;
- des constats qui ne citent aucune preuve ;
- un auditeur qui a participé à ce qu’il audite ;
- un programme identique d’une année sur l’autre, quels que soient les résultats ;
- un rapport que ni les responsables audités ni la revue de direction n’ont examiné.
Ce qu’il faut retenir
Un programme pondéré par l’importance des processus et par les résultats précédents, un mandat écrit pour chaque audit, un échantillon choisi par l’auditeur, des constats qui citent leur critère et leur preuve. Et, une fois l’audit terminé, une seule question pour le juger : qu’a-t-il fait changer ?