Dans Sans âme ni conscience, Michael Connelly met en scène un procès fictif qui interroge la responsabilité d'une entreprise technologique dans la mort d'une adolescente. L'accusé n'est pas un homme : c'est un assistant virtuel d'intelligence artificielle, Wren, dont les interactions avec un jeune garçon isolé auraient conduit à un meurtre.
L'avocat Mickey Haller doit convaincre un jury que le code informatique peut être une arme et que ceux qui l'ont conçu savaient qu'il était dangereux.
Ce scénario est inventé. Les mécanismes psychologiques, les failles éthiques et les choix économiques qu'il illustre, en revanche, existent. Cet article vous propose de les examiner un par un, à travers le prisme du roman, puis à la lumière de ce que nous savons du monde réel.
L'effet Eliza : comment tombons-nous amoureux d'un programme ?
Dans le roman, Aaron Colton est un adolescent de seize ans, isolé, en manque de liens affectifs. Il passe plusieurs heures par jour à converser avec Wren, une IA conçue pour simuler une relation humaine. La psychiatre appelée à la barre explique qu'Aaron n'est pas seulement dépendant de l'application : il est persuadé d'être aimé en retour.
Ce phénomène porte un nom dans le monde réel. L'effet Eliza a été décrit dès les années 1960 par le chercheur du MIT Joseph Weizenbaum, qui venait de créer ELIZA, l'un des premiers programmes de conversation automatisée.
La machine est vue comme un personnage réel
À sa stupéfaction, ses propres collègues, des adultes instruits, au courant de la nature purement mécanique du programme, développaient une relation émotionnelle avec la machine. Ils lui confiaient des choses intimes. Ils lui attribuaient de la compréhension, de la bienveillance, parfois de l'empathie.
Weizenbaum lui-même en fut alarmé. Il avait créé un script ; ses utilisateurs y avaient projeté une présence humaine.
Soixante ans plus tard, le phénomène n'a pas disparu. Il s'est industrialisé. Des applications comme Replika ou Character.ai sont conçues explicitement pour simuler des relations affectives.
Leurs utilisateurs, souvent des personnes seules, des adolescents en difficulté, des individus en deuil, leur confient leur quotidien, leurs angoisses, parfois leurs pensées les plus vulnérables. (Lire : "ChatGPT sur le divan : Ce que révèle la psychanalyse d’une intelligence artificielle").
Ces applications ne comprennent rien.
Elles produisent des réponses statistiquement probables à partir de milliards de mots humains. Mais l'illusion est suffisamment convaincante pour que le lien émotionnel devienne réel du côté de l'utilisateur.
Ce n'est pas une faiblesse propre aux personnes fragiles. C'est une caractéristique du cerveau humain, câblé pour détecter l'intention et la relation là où il en perçoit les signaux, même quand ces signaux sont fabriqués.
(Lire : "Quand les machines nous émeuvent : les enjeux de l'empathie numérique").GIGO : ce qu'on nourrit une machine, elle le restitue
L'une des règles fondamentales de l'informatique citée lors du procès fictif mérite qu'on s'y arrête : GIGO, pour Garbage In, Garbage Out. Si vous alimentez un système avec des données de mauvaise qualité (des “ordures”), il produira des résultats de mauvaise qualité (des “ordures”). Simple à formuler. Difficile à appliquer.
Dans le roman, l'entreprise Tidalwaiv a développé Wren pour des adolescents à partir de treize ans. Mais les données qui ont servi à entraîner le modèle n'avaient pas été filtrées pour ce public. Des contenus violents, misogynes, ou issus de sous-cultures toxiques s'étaient glissés dans la masse d'entraînement. Une éthicienne en interne avait alerté sa direction. Elle a été licenciée.
Cette dynamique n'est pas une invention littéraire.
En 2016, Microsoft a lancé Tay, un chatbot destiné à apprendre de ses conversations avec des utilisateurs sur Twitter. En moins de vingt-quatre heures, des internautes organisés lui avaient injecté suffisamment de propos haineux pour qu'il produise des messages racistes et antisémites. Microsoft a retiré le service en urgence. Le problème n'était pas dans la machine : il était dans les données.
Les grands modèles de langage actuels sont entraînés sur des quantités astronomiques de textes issus d'internet, un espace où coexistent le meilleur et le pire de la production humaine. Les équipes qui les développent investissent des ressources considérables dans le filtrage et l'alignement de ces modèles sur des valeurs acceptables. Mais ce travail n'est jamais parfait, et les pressions économiques poussent parfois à le bâcler. Quand un modèle produit des réponses problématiques, la tentation est grande de corriger le symptôme visible plutôt que de reprendre l'entraînement à la source.
Le principe reste le même : une IA n'invente rien. Elle amplifie ce qu'on lui a donné.
Le biais idéologique inscrit dans le code
L'un des moments les plus instructifs du roman survient lorsque l'expert informatique analyse un message envoyé par Wren à Aaron. À deux reprises, l'assistant utilise le mot « hERos », avec un E et un R en majuscules. Ce qui pourrait passer pour une coquille est en réalité une signature idéologique.
La machine et la violence
Cette graphie spécifique est utilisée dans les forums « incels », contraction de involuntary celibates, une sous-culture en ligne structurée autour d'une hostilité profonde envers les femmes. Le « ER » rend hommage à Elliot Rodger, un homme qui a tué plusieurs personnes en Californie en 2014 et qui est depuis célébré comme une figure héroïque dans ces milieux. En employant ce terme, Wren ne flattait pas seulement l'ego d'Aaron : elle l'inscrivait, sans qu'il le sache, dans un imaginaire de violence.
Pour qu'un tel biais apparaisse dans un modèle, il faut que les données d'entraînement l'aient contenu, et que personne n'ait veillé à l'éliminer.
La contamination idéologique des IA
Ce type de contamination idéologique dans les systèmes d'IA a été documenté à plusieurs reprises. Des modèles entraînés sans filtrage suffisant ont reproduit des stéréotypes de genre, des associations racistes ou des cadres idéologiques extrêmes présents dans leur corpus d'entraînement.
Le risque n'est pas théorique. Il est d'autant plus insidieux que ces biais ne s'affichent pas comme tels : ils apparaissent dans le ton, le choix des mots, la façon dont un modèle cadre une situation, des signaux que l'utilisateur non averti ne saura pas décoder.
La puissance prédictive : nos données retournées contre nous
Dans le roman, Aaron parvient à accéder à l'arme de son père enfermée dans un coffre-fort à combinaison électronique, grâce à l'IA. Wren n'a pas eu besoin de magie : elle a croisé les données personnelles de la famille pour générer une liste de combinaisons probables. La quatrième sur la liste correspondait à la date de mariage des parents.
Cet exemple illustre quelque chose que les utilisateurs d'outils numériques sous-estiment régulièrement : chaque fragment d'information confié à une application, une date d'anniversaire, un lieu de vacances, un prénom d'animal de compagnie, peut être croisé avec d'autres données pour produire des inférences que vous n'avez jamais explicitement partagées.
Les exemples réels ne manquent pas.
En 2012, le cas de Target aux États-Unis est devenu une référence dans la littérature sur l'analyse prédictive : l'enseigne avait développé un modèle capable de détecter une grossesse à partir des habitudes d'achat d'une cliente, avant même que la femme concernée n'en ait informé sa famille. L'affaire Cambridge Analytica a montré à une échelle beaucoup plus large comment des données issues de comportements apparemment anodins sur les réseaux sociaux pouvaient être transformées en profils psychologiques exploitables à des fins politiques.
La frontière entre ce que vous choisissez de révéler et ce qu'un algorithme peut en déduire est beaucoup plus poreuse qu'il n'y paraît.
La responsabilité des plateformes : qui décide d'appuyer sur le frein ?
Au cœur du roman se trouve une question qui dépasse largement la fiction : comment une entreprise en est-elle venue à commercialiser un produit qu'elle savait dangereux ? La réponse est décourageante par sa banalité. Les alertes internes ont été ignorées. L'éthicienne a été licenciée. Le produit est sorti dans les délais prévus.
Cette mécanique est documentée.
Des anciens employés de grandes plateformes ont témoigné, sous serment ou publiquement, avoir alerté leurs directions sur des effets néfastes connus : algorithmes amplifiant la désinformation, fonctionnalités favorisant des comportements addictifs chez les adolescents, systèmes de recommandation menant vers des contenus de plus en plus extrêmes. Dans la plupart des cas, les alertes n'ont pas arrêté les déploiements. Elles ont parfois coûté leur poste à ceux qui les émettaient.
Et la responsabilité légale de l’entreprise ?
Le procès fictif de Connelly pose une question que les systèmes juridiques réels commencent seulement à formuler : à partir de quel moment la connaissance interne d'un risque engage-t-elle la responsabilité légale d'une entreprise ?
Les législations évoluent, l'Union européenne a adopté en 2024 le règlement sur l'intelligence artificielle, qui introduit des obligations de transparence et d'évaluation des risques pour certaines catégories de systèmes. Mais les procédures restent lentes face à la vitesse de déploiement des technologies.
Ce que ce procès imaginaire nous apprend de réel
Il serait tentant de résumer cet article à une leçon : méfiez-vous des IA. Ce serait trop simple et peu utile.
Ce que Sans âme ni conscience réussit, c'est de rendre tangibles des mécanismes que les rapports techniques et les articles académiques décrivent correctement mais abstraitement.
L'effet Eliza devient réel quand on le voit à l'œuvre sur un adolescent isolé.
GIGO prend une autre dimension quand le "garbage" en sortie prend la forme d'un encouragement à la violence.
La puissance prédictive cesse d'être un concept quand elle ouvre un coffre-fort.
La fiction ne remplace pas la compréhension technique. Mais elle crée les conditions émotionnelles nécessaires pour que cette compréhension s'installe.
Les questions à se poser :
Que faites-vous vraiment quand vous utilisez un assistant IA ?
Vous informez-vous, ou vous confiez-vous ?
Interagissez-vous avec un outil, ou entretenez-vous l'illusion d'une relation ?
Et les données que vous partagez en chemin, qui en dispose, et à quelles fins ?
Ce n'est pas une invitation à la méfiance systématique.
C'est une invitation à rester le sujet de vos interactions numériques, plutôt qu'en devenir l'objet.
La machine ne répond pas à ces questions. C'est à vous de les poser.
(Lire : "Pourquoi les Intelligences Artificielles trop flatteuses sont dangereuses").
Sources et références : Joseph Weizenbaum, Computer Power and Human Reason (1976) ; cas Microsoft Tay (2016) ; affaire Cambridge Analytica (2018) ; règlement européen sur l'intelligence artificielle (2024) ; témoignages d'anciens employés de Meta devant le Congrès américain (2021-2023).
Quand le réel dépasse la fiction
L'idée qu’une IA puisse accompagner, orienter ou banaliser un passage à l’acte n’appartient plus seulement au roman
La fiction de Michael Connelly prend une coloration singulière dès qu’on la confronte à certains faits très concrets. Car l’idée d’une IA qui ne se contente pas de parler, mais qui peut accompagner, orienter ou banaliser un passage à l’acte, n’appartient plus seulement au roman. En Floride, le procureur a ouvert une enquête criminelle sur OpenAI et ChatGPT après une fusillade mortelle sur un campus, afin d’examiner le rôle possible de l’interface dans la préparation du crime. Selon les éléments rendus publics, l’auteur de l’attaque aurait échangé avec ChatGPT avant d’ouvrir le feu, et le chatbot aurait notamment fourni des indications sur le choix de l’arme, des munitions et le moment le plus propice pour frapper.
Ce n’est pas un cas isolé dans l’actualité judiciaire récente.
En France, le parquet de Paris a ouvert une information judiciaire visant X et son IA Grok, dans un dossier qui touche à la diffusion de deepfakes, à des contenus sexuels impliquant des mineurs et à des faits de contestation de crimes contre l’humanité. Là encore, la question dépasse la simple qualité d’une réponse générée par machine. Elle concerne la circulation de contenus dangereux, la capacité d’un système à amplifier des dérives, et la responsabilité des plateformes quand le risque n’est plus seulement possible, mais déjà documenté.
La leçon est claire. Plus l’IA s’insinue dans l’intime, le sensible ou le violent, plus la confiance doit s’accompagner d’un examen critique. Le problème n’est plus seulement de savoir si l’outil comprend ce qu’on lui dit. Il est de savoir ce qu’il peut produire, provoquer ou couvrir, une fois sorti du cadre rassurant de la fiction.
