Une machine placée au milieu de nos décisions

Nous parlons souvent de l’intelligence artificielle comme d’un objet extérieur. Une technologie arrive, avec ses capacités, ses risques, ses promesses, puis nous décidons de l’adopter ou de la refuser.

Cette représentation est commode. Elle nous permet d’examiner la machine sans trop nous examiner nous-mêmes.

Pourtant, une intelligence artificielle n’entre presque jamais seule dans une situation. Elle s’insère dans une organisation existante, dans une manière de travailler, dans des rapports d’autorité, dans des contraintes économiques et dans des habitudes parfois anciennes. Elle ne décide pas seulement à partir de données. Elle reçoit un objectif, des critères, des limites, une question formulée par quelqu’un.

Avant même qu’elle ne produise une réponse, plusieurs décisions humaines ont donc déjà été prises.

Que cherchons-nous à obtenir ? Quelles informations jugeons-nous pertinentes ? Quelles conséquences acceptons-nous ? Qui pourra contester le résultat ? Que se passera-t-il si la machine se trompe ?

Ces questions sont liées. Les séparer permet souvent de simplifier un projet. Cela ne supprime pas leurs relations.

La tentation d’une réponse sans hésitation

Une machine qui répond rapidement exerce une forme d’attraction particulière.

Elle ne manifeste pas sa fatigue. Elle ne demande pas toujours du temps pour réfléchir. Elle peut formuler une conclusion claire, structurée, parfois plus assurée que ne le serait une personne prudente devant la même situation.

Cette assurance apparente nous rassure.

Dans beaucoup de domaines, nous ne cherchons pas uniquement une bonne réponse. Nous cherchons aussi la fin de l’incertitude. Nous voulons sortir de l’hésitation, refermer la question et pouvoir continuer.

L’intelligence artificielle répond très bien à ce besoin. Elle transforme facilement une situation confuse en proposition ordonnée. Elle classe, résume, compare et recommande.

Mais une réponse bien formulée n’est pas nécessairement une décision bien fondée.

La difficulté n’est pas toujours dans le raisonnement visible. Elle peut se trouver en amont : dans une donnée absente, une hypothèse erronée, une catégorie trop étroite ou une question mal posée. La machine peut produire une réponse cohérente à l’intérieur d’un cadre qui ne correspond pas à la réalité.

Cette possibilité n’est d’ailleurs pas propre à l’intelligence artificielle. Les institutions, les procédures et les êtres humains raisonnent eux aussi à l’intérieur de cadres incomplets. La nouveauté tient peut-être à la vitesse, à l’échelle et à la facilité avec laquelle une conclusion peut désormais être produite et reproduite.

Déléguer une tâche ou abandonner un jugement

Nous déléguons depuis longtemps.

Nous confions des calculs aux machines, des itinéraires aux systèmes de navigation, des vérifications à des logiciels et certaines décisions à des procédures. Sans cette délégation, une grande partie de nos activités serait impossible.

Le problème ne réside donc pas dans la délégation elle-même.

Il apparaît lorsque nous ne savons plus exactement ce que nous avons délégué.

Demander à une intelligence artificielle de corriger une faute, de repérer une incohérence ou de proposer plusieurs formulations n’est pas la même chose que lui demander quelle formulation doit être retenue. Dans le premier cas, elle augmente notre capacité d’examen. Dans le second, elle peut commencer à occuper la place du jugement.

La frontière n’est pas toujours nette.

Une suggestion répétée finit par devenir une norme. Un classement finit par déterminer ce qui mérite d’être vu. Une recommandation présentée comme pratique peut progressivement prendre la forme d’une décision.

Nous conservons parfois officiellement le dernier mot, tout en n’ayant plus les moyens réels de l’exercer.

Cliquer sur « valider » ne suffit pas à prouver que nous avons décidé.

Pour qu’une décision reste humaine, il faut encore pouvoir comprendre ce qui est proposé, identifier les alternatives, mesurer les conséquences et refuser la recommandation sans rendre tout le système inutilisable.

Ce que nous demandons réellement à l’IA

Nos demandes adressées à une intelligence artificielle révèlent souvent davantage que leur contenu immédiat.

Lorsque nous lui demandons d’écrire un message difficile, cherchons-nous une formulation plus claire ou une protection contre la réaction de notre interlocuteur ?

Lorsque nous lui demandons de trancher entre deux solutions, cherchons-nous une analyse ou l’autorisation d’arrêter de réfléchir ?

Lorsque nous lui demandons d’évaluer une personne, un dossier ou un risque, voulons-nous gagner du temps ou déplacer la responsabilité vers un système présenté comme neutre ?

Il n’existe pas une seule réponse à ces questions. Les usages sont différents, et les intentions également.

Mais il est utile de reconnaître que l’outil ne répond pas seulement à un besoin technique. Il peut aussi répondre à un besoin psychologique, institutionnel ou politique.

Nous pouvons vouloir aller plus vite.

Nous pouvons également vouloir ne pas être celui qui décide.

C’est à cet endroit que l’intelligence artificielle devient un miroir assez précis de nos organisations. Elle révèle les décisions que personne ne souhaite assumer, les critères que nous appliquions déjà sans les déclarer et les rapports de pouvoir que nous préférions parfois présenter comme de simples nécessités techniques.

L’illusion de la neutralité

Une décision automatisée peut sembler moins personnelle.

Elle n’élève pas la voix. Elle ne montre ni préférence ni colère. Elle produit un résultat selon une procédure.

Cette absence d’émotion visible est facilement confondue avec l’absence de parti pris.

Pourtant, toute décision suppose une sélection.

Il faut choisir les informations prises en compte, les objectifs recherchés, le poids accordé à chaque critère et le niveau d’erreur jugé acceptable. Même lorsqu’un modèle apprend à partir de données plutôt qu’à partir de règles écrites manuellement, quelqu’un décide quelles données seront utilisées, comment elles seront préparées et ce que le système devra optimiser.

La neutralité n’apparaît donc pas simplement parce que la décision est confiée à une machine.

Elle peut même devenir plus difficile à contester lorsque les choix initiaux disparaissent derrière la complexité technique. Ce qui était auparavant une décision discutable peut alors être présenté comme un résultat.

Les mots comptent.

Un système ne « constate » pas toujours. Il estime, classe, rapproche ou prédit selon des critères déterminés. Présenter cette opération comme une évidence transforme une hypothèse en autorité.

La responsabilité ne disparaît pas dans la chaîne

Lorsqu’une décision passe par plusieurs acteurs, la responsabilité a tendance à se disperser.

Le concepteur explique qu’il n’a fait qu’implémenter le modèle demandé. L’organisation affirme qu’elle s’appuie sur un outil reconnu. L’utilisateur final indique qu’il a suivi la recommandation. Le fournisseur rappelle que le système n’était qu’une aide à la décision.

Chacun peut avoir une part de vérité.

Mais une somme de responsabilités partielles ne doit pas produire une irresponsabilité complète.

C’est ici que tout est lié : la conception technique, l’interface, les règles internes, le vocabulaire utilisé, la formation des utilisateurs et les possibilités de recours.

Un bouton présenté comme une simple confirmation peut encourager l’acceptation automatique. Une alerte trop fréquente finit par ne plus être lue. Une explication incompréhensible peut servir davantage à protéger l’organisation qu’à informer la personne concernée.

L’éthique d’un système ne se trouve donc pas uniquement dans ses principes généraux. Elle se trouve aussi dans des détails très concrets.

Qui peut interrompre le processus ?

Qui peut demander une explication ?

Qui supporte les conséquences d’une erreur ?

Qui dispose du temps et des connaissances nécessaires pour contester ?

Concevoir pour préserver le désaccord

Nous cherchons souvent à rendre les systèmes plus fluides. Moins d’étapes, moins de friction, moins d’hésitation.

Cette recherche est légitime. Une complexité inutile peut décourager, exclure et produire ses propres injustices.

Mais toute friction n’est pas un défaut.

Il existe des moments où ralentir protège le jugement. Une confirmation supplémentaire peut être nécessaire. Une contradiction peut révéler une donnée oubliée. L’obligation de formuler une justification peut empêcher une décision automatique de devenir une simple habitude.

Un système respectueux de l’utilisateur ne devrait pas seulement lui permettre d’accepter facilement. Il devrait également lui permettre de comprendre, de suspendre et de refuser.

Cela vaut aussi pour le travail avec une intelligence artificielle.

Dans mon propre usage de ces outils, les moments les plus utiles ne sont pas toujours ceux où la machine produit immédiatement la bonne solution. Ce sont parfois ceux où elle annonce ce qu’elle a compris et ce qu’elle compte faire. Une erreur devient alors visible avant de se transformer en action.

La qualité d’un outil ne se mesure pas uniquement à son taux de réussite. Elle se mesure aussi à la manière dont il rend ses erreurs détectables et corrigibles.

Un système qui se trompe ouvertement peut être moins dangereux qu’un système qui a raison assez souvent pour que nous cessions de le surveiller.

L’IA ne nous dispense pas de choisir ce que nous voulons préserver

Le débat sur l’intelligence artificielle est souvent organisé autour de ses capacités.

Peut-elle écrire, diagnostiquer, programmer, conseiller, prévoir ou créer ?

Ces questions sont importantes. Elles ne sont pourtant pas suffisantes.

Une capacité nouvelle ne nous dit pas automatiquement comment elle doit être utilisée. Le fait qu’une tâche puisse être automatisée ne signifie pas qu’elle doive l’être entièrement. Le fait qu’un système obtienne de meilleurs résultats moyens ne signifie pas que toutes ses conséquences soient acceptables.

Il faut donc poser une autre question : qu’essayons-nous de préserver ?

Du temps, bien sûr. De la précision. De la sécurité. Une meilleure circulation de l’information.

Mais peut-être aussi la possibilité de comprendre, de discuter, de changer d’avis et de rester responsable de ce que nous faisons.

Ces valeurs ne s’opposent pas nécessairement à l’efficacité. Elles demandent simplement que l’efficacité ne soit pas le seul critère autour duquel tout le reste doit s’organiser.

Une question qui nous précède

L’intelligence artificielle n’a pas créé notre désir de certitude, notre tendance à suivre l’autorité ni notre habitude de dissimuler des choix politiques derrière des procédures techniques.

Elle leur donne une nouvelle forme.

Elle peut amplifier certains travers, mais également les rendre plus visibles. En observant la manière dont nous concevons et utilisons ces outils, nous découvrons notre propre manière de décider : ce que nous acceptons de déléguer, ce que nous voulons contrôler et ce que nous préférons ne pas voir.

C’est peut-être pour cette raison que la question de l’intelligence artificielle déborde constamment le domaine informatique.

Elle touche au travail, à l’éducation, à la justice, à la médecine, à la création et à nos relations ordinaires. Non parce qu’une machine serait devenue le centre de toutes choses, mais parce que décider est déjà présent dans toutes ces activités.

La question reste donc ouverte.

Lorsque l’intelligence artificielle nous aide à choisir, comment savoir si elle renforce notre jugement ou si elle nous habitue doucement à nous en passer ?

Références et prolongements