Les trois lois de la robotique

Cet article fait partie de la série

Science-fiction

La SF à l’écran

autre-A-B-C-D-E-F-G

H-I-J-K-L-M

N-O-P-Q-R-S-T

U-V-W-X-Y-Z

Le monde de la SF

Auteurs - BD de SF

Fandom - Prix littéraires

Thèmes et genres

Catégorie

Les Trois lois de la robotique, écrites par l'écrivain de science-fiction Isaac Asimov, sont des règles auxquelles tous les robots positroniques qui apparaissent dans sa fiction doivent obéir. Exposées pour la première fois dans sa nouvelle Cercle vicieux (Runaround, 1942) mais annoncées dans quelques histoires plus anciennes, les lois sont :

1. Un robot ne peut porter atteinte à un être humain, ni, restant passif, permettre qu'un être humain soit exposé au danger.
2. Un robot doit obéir aux ordres que lui donne un être humain, sauf si de tels ordres entrent en conflit avec la première loi.
3. Un robot doit protéger son existence tant que cette protection n'entre pas en conflit avec la première ou la seconde loi.

Au cours du cycle des livres sur les robots, une loi zéro, qui prendra une importance considérable, sera instituée par deux robots, R. Giskard Reventlov et R. Daneel Olivaw, dans la nouvelle Les Robots et l'Empire. Cette Loi zéro placera ou tentera de placer la sécurité de l'humanité avant celle d'un individu. Cependant, cette loi n'est pas codée dans le hardware des cerveaux positroniques, à la différence des trois premières, et elle est une loi de type software, puisque "déduite" par le robot R. Giskard Reventlov. C'est d'ailleurs pour cette raison que le robot R. Giskard Reventlov sera pris d'un dysfonctionnement fatal (« robofreeze ») lorsqu'il tentera de la formuler, ce qui semble une violation de la première loi.

D'après le Oxford English Dictionary, le premier passage dans la nouvelle d'Asimov nommée Menteur ! qui mentionne la première loi est la plus ancienne mention enregistrée du mot « robotique ». Asimov n'en était pas conscient initialement ; il a supposé que le mot existait déjà, par analogie avec « mécanique » (comme positronique avec « électronique »)^[1], et d'autres termes similaires dénotant des branches de science appliquée.

Les trois lois forment un principe d'organisation et un thème unifiant l'œuvre de fiction d'Asimov, apparaissant dans son Cycle des Robots, et d'autres histoires reliées à celui-ci, comme dans son cycle de Lucky Starr, fiction pour jeune adulte orientée scientifiquement. D'autres auteurs travaillant dans l'univers fictif d'Asimov les ont adoptées, et des références (souvent parodiques) apparaissent dans une bonne part de la science fiction, et dans d'autres genres. Asimov considérait que ses lois devaient être universelles pour les robots. Aussi, assistant à la projection de 2001 : L'Odyssée de l'espace, il quitta avec bruit la salle lorsque l'ordinateur HAL 9000 viola sa première loi en s'attaquant à des humains.

Sommaire 1 Histoire des lois 2 Altérations des Lois 2.1 Par Asimov 2.1.1 Imperfection de la Première Loi 2.1.2 Modification de la Première Loi 2.1.3 Ajout de la Loi Zéro 2.1.4 Première Loi dérivée par d'autres cultures 2.1.5 Les Trois Lois retirées 2.2 Définitions alternatives de la notion d'« humain » 3 La Loi Zéro 4 Articles connexes 5 Notes et références

Histoire des lois

Avant Asimov, la majorité des intelligences artificielles dans la fiction suivaient le modèle de « Frankenstein », ce qu'Asimov trouvait pénible^[2], voire insupportable : « Des robots étaient créés et détruisaient leur créateur; des robots étaient créés et détruisaient leur créateur; des robots…etc. »^[3] Ce n'était cependant pas une règle inviolable. En décembre 1938, Lester del Rey publie Helen O'Loy, l'histoire d'un robot si semblable à une personne qu'elle tombe amoureuse de son créateur et devient sa femme idéale. Le mois suivant, Otto Binder publie une nouvelle nommée I, Robot, mettant en scène un robot sympathique nommé Adam Link, une créature incomprise motivée par l'amour et l'honneur. C'était la première d'une série de dix histoires ; l'année d'après, Adam Link's Vengeance (1940) montrait Adam pensant : « Un robot ne doit jamais tuer un être humain selon son propre libre arbitre. »

Le 7 mai 1939, Asimov assistait à un rassemblement de la Queens Science Fiction Society, où il rencontre Binder, dont Asimov avait admiré l'histoire. Trois jours plus tard, Asimov commençait à écrire « ma propre histoire d'un robot sympathique et noble », sa quatorzième histoire. Treize jours après, il propose Robbie à John W. Campbell, éditeur d’Astounding Science-Fiction. Campbell la rejette, disant qu'elle était trop ressemblante à Helen O'Loy de del Rey^[4]. Frederik Pohl, éditeur du magazine Astounding Stories, la publie quant à lui dans son périodique l'année suivante^[5].

Asimov attribue les lois à John W. Campbell, au cours d'une conversation qui se passa le 23 décembre 1940. Cependant, Campbell affirme qu'Asimov avait déjà les lois dans son esprit, et qu'elles avaient simplement besoin d'être formulées explicitement. Plusieurs années plus tard, un ami d'Asimov nommé Randall Garrett attribua les lois à une collaboration symbiotique entre les deux hommes, une suggestion qu'Asimov adopta avec enthousiasme^[6] . D'après ses écrits autobiographiques, Asimov inclut l'inaction de la première loi à cause d'un poème d'Arthur Hugh Clough nommé Le Dernier Décalogue, qui contient les vers satiriques : «  Thou shalt not kill, but needst not strive / officiously to keep alive  ⇔  Tu ne tueras point, mais tu n'as pas le besoin absolu (officieusement) de laisser en vie »

(Des détails sur cette période peuvent être trouvés dans les chapitres 21 à 26 de In Memory Yet Green.)

Même si Asimov colle la création des Lois sur une seule date, leurs interventions dans sa littérature furent présente sur une certaine période. Il écrivit deux histoires de robots sans mention explicite des lois, Robbie et Reason. Il y supposa cependant que les robots avaient des gardes-fous inhérents à leur nature. Menteur !, sa troisième nouvelle sur les robots, fait pour la première fois mention de la première loi, mais pas des deux autres. Toutes les trois apparaissent finalement ensemble dans Runaround. Quand ces histoires et plusieurs autres furent compilées dans l'anthologie Les Robots, Reason et Robbie furent mises à jour pour que les Trois Lois y apparaissent, bien que le matériel ajouté à Reason n'est pas entièrement cohérent avec les lois comme elles sont décrites aux autres endroits. En particulier, l'idée d'un robot protégeant les vies humaines quand il ne croit pas que les humains existent vraiment est en désaccord avec le raisonnement d'Elijah Baley, décrit ci-dessous.

Pendant les années 1950, Asimov écrivit une série de nouvelles de science fiction expressément créée pour un public de jeunes adultes. Originellement, son éditeur attendait des nouvelles qu'elles puissent être adaptées dans une série télévisée long-métrage, quelque chose comme ce qu'avait été Lone Ranger pour la radio. Ayant peur que ses histoires soient adaptées dans le programme « généralement déplorable » qu'il avait vu inonder les canaux télévisés, Asimov décida de publier son cycle de Lucky Starr sous le pseudonyme Paul French. Quand les plans pour la télévision furent abandonnés, il décida d'abandonner ce nom ; il apporta les lois dans Lucky Starr et les Lunes de Jupiter, « ce qui était un suicide pour l'identité de Paul French même pour le lecteur le plus anodin ».

Dans sa nouvelle La Preuve (Evidence), Asimov expose, par son personnage récurrent, le D^r Susan Calvin, une base morale derrière les lois. Calvin précise qu'il est naturel d'attendre des êtres humains qu'ils se restreignent de blesser d'autres humains (excepté dans des temps d'extrême coercition comme la guerre, ou pour sauver un plus grand nombre d'humains). Cela équivaut à la Première Loi pour un robot. De même, d'après Calvin, la société attend des individus qu'ils obéissent aux instructions des autorités reconnues : docteurs, enseignants, et ainsi de suite, ce qui est équivalent à la Seconde Loi de la Robotique. Enfin, les humains sont en général enclins à éviter de se voir blessés eux-mêmes, ce qui est la troisième loi pour un robot. L'intrigue de La Preuve tourne autour de la question de la définition d'un être humain par rapport à un robot conçu spécialement pour sembler humain ; Calvin pense que si un tel individu obéit aux Lois, il serait un robot, ou simplement « un homme très bon ».

Un autre personnage demande alors à Calvin si, après tout, les robots sont si différents des êtres humains. Elle répond : « Ils sont à des mondes de nous. Les robots sont, pour l'essentiel, corrects. »

Dans un essai plus tardif, Asimov précise que les analogies des lois sont implicites dans la création de presque tous les outils :

1. Un outil doit pouvoir être employé de manière sûre. (Les couteaux ont des manches, les épées ont des poignées, et les grenades ont des goupilles.)
2. Un outil doit accomplir sa fonction efficacement sauf si cela peut blesser l'utilisateur.
3. Un outil doit rester intact durant son utilisation, sauf si sa destruction est requise pour son utilisation ou sa sécurité.

Altérations des Lois

Par Asimov

Les histoires d'Asimov testent ses Lois dans une large variété de circonstances, proposant et rejetant des modifications. Un disciple de la Science Fiction, James Gunn, écrit : "Les histoires de robots d'Asimov dans leur entier répondent de la meilleure manière à une analyse sur cette base : l'ambiguïté dans les Trois Lois et les manières par lesquelles Asimov a joué vingt et unes variations sur le thème" (le nombre est précis depuis 1980). Tandis que l'ensemble des Lois procurait de l'inspiration à beaucoup d'histoires, Asimov introduisait de temps en temps des versions modifiées dans son œuvre. Comme l'exemple suivant le démontre, les Lois servent une fonction conceptuelle analogue au test de Turing, replaçant des questions brouillées comme "Qu'est-ce qui est humain ?" par des problèmes permettant une réflexion plus fructueuse.

Imperfection de la Première Loi

Dans Face aux Feux du Soleil, Asimov établit que la première loi était incomplète : il y montre qu'un robot est pleinement capable de blesser un être humain tant qu'il ignore que ses actions entraîneront une telle conséquence. L'exemple suivant est utilisé : un robot met du poison dans un verre de lait, car on lui a dit que le lait sera jeté plus tard ; ensuite, un second robot sert le lait à un homme, ne sachant pas qu'il est empoisonné.

Modification de la Première Loi

Dans Le Petit Robot perdu, plusieurs robot NS-2 ou "Nestor" sont créés avec seulement une partie de la Première Loi. On lit :

« 1. Un robot ne doit pas blesser un être humain. »

Cette modification est motivée par une difficulté pratique : des robots et des êtres humains travaillent au milieu de radiations fatales aux robots, mais supportables pour les hommes. Or les robots s'acharnent à aller "secourir" les humains au cœur des radiations, même en l'absence de danger immédiat ; ce faisant, ils nuisent au travail et se détruisent eux-mêmes.

Enlever la clause d'"inaction" de la Première Loi résout le problème, mais crée la possibilité d'un problème encore plus grand : un robot peut commencer une action dangereuse en sachant qu'il peut l'interrompre, puis décider de ne pas aller jusqu'au bout (lâcher une lourde charge sans la rattraper est l'exemple donné dans le texte).

Ajout de la Loi Zéro

Asimov ajoute une "Loi Zéro" - nommée ainsi pour continuer sur le modèle des lois au nombre plus bas ayant une importance plus grande que les lois au nombre haut - énonçant qu'un robot ne doit pas simplement agir dans l'intérêt des humains individuels, mais dans celui de l'humanité tout entière. Le personnage robotique R. Daneel Olivaw est le premier à donner un nom à cette Loi, dans le roman Les Robots et l'Empire ; cependant, Susan Calvin articule ce concept dans la nouvelle Le Conflit évitable.

Dans les scènes finales du roman Les Robots et l'Empire, R. Giskard Reventlov est le premier robot à agir selon la Loi Zéro, cependant cela s'avère destructeur pour son cerveau positronique, car il n'est pas certain que son acte oriente l'humanité vers son bien absolu ou non. Giskard est télépathe, comme le robot Herbie dans la nouvelle Menteur !, et il en vient à comprendre la Loi Zéro à travers sa compréhension d'un concept plus subtil de la "blessure" que la plupart des robots peuvent saisir. Cependant, à l'inverse de Herbie, Giskard saisit le concept philosophique de la Loi Zéro, ce qui lui permet de blesser des êtres humains si cela peut en quoi que ce soit l'aider dans son service du concept abstrait d'humanité. La Loi Zéro n'est jamais programmée dans le cerveau de Giskard, c'est en fait une règle qu'il tente de rationaliser par pure réflexion métaphysique; il échoue, et donne ses capacités télépathiques à son successeur, R. Daneel Olivaw. Durant des milliers d'années, Daneel s'adapte lui-même pour être capable d'obéir pleinement à la Loi Zéro. Telle qu'il la formule, dans les livres Terre et Fondation et Prélude à Fondation, la Loi Zéro se lit : "Un robot ne peut pas faire de mal à l'humanité, ni, par son inaction, permettre que l'humanité soit blessée."

Une condition énonçant que la Loi Zéro ne doit pas être brisée est ajoutée aux Lois originelles.

Un traducteur incorpora le concept de Loi Zéro dans une des nouvelles d'Asimov avant même qu'Asimov lui-même ne l'explicite. Vers l'apogée de Les Cavernes d'acier, Elijah Baley se fait un commentaire amer à lui-même, pensant que la Première Loi interdit un robot de blesser un être humain, sauf si le robot en question est assez intelligent pour réaliser que ses actions sont faites pour le bien, à long terme, de l'homme (ce qui veut dire ici que dans Les Cavernes d'acier, les pensées de Baley émergent dans une voie légèrement différente :

"Un robot ne doit faire aucun tort à un homme, à moins qu'il trouve un moyen de prouver qu'en fin de compte le tort qu'il aura causé profite à l'humanité en général !").

Première Loi dérivée par d'autres cultures

Gaïa, la planète dotée d'une intelligence collective dans les nouvelles de Fondation, adopte une loi similaire à la Première comme leur philosophie : "Gaïa ne doit pas nuire à la vie, ou, par son inaction, permettre à la vie d'être blessée."

Les Trois Lois retirées

Par trois fois dans sa carrière d'écrivain de fiction, Asimov a fait le portrait de robots qui négligeaient complètement le système de valeur des Trois Lois, à l'inverse des robots Daneel et Giskard, qui avaient pour but de l'augmenter. Le premier cas, une histoire courte nommée Première Loi, est souvent considérée comme insignifiant, invraisemblable ou même apocryphe. D'un autre côté, l'histoire courte nommée Cal (intégrée dans Gold), racontée à la première personne par un narrateur robotique, met en scène un robot qui néglige les Lois parce qu'il a trouvé quelque chose de bien plus important : il veut être écrivain. Humoristique, en partie autobiographique, et dans un style expérimental inhabituel, Cal a été vu comme une des histoires les plus fortes de Gold. La troisième est une histoire courte dont le titre est Sally, dans laquelle des voitures équipées de cerveaux positroniques sont apparemment capables de blesser et de tuer des humains, désobéissant à la Première Loi. Cependant, mis à part le concept de cerveau positronique, cette histoire ne se réfère pas aux autres histoires de robots, et ne peut donc pas vraiment être incluse dans la même continuité.

La première histoire de la collection de Le Robot qui rêvait dépeint un robot, LVX-1 ou "Elvex", qui entre dans un état d'inconscience et de rêve, dû à la structure fractale inhabituelle de son cerveau positronique. Dans son rêve, les deux premières Lois sont absentes, et la Troisième Loi dit : "Un robot doit protéger sa propre existence".

La position d'Asimov sur la profondeur de l'empreinte des Lois évolua dans la chronologie de ses histoires : bien que dans ses premiers écrits elles n'aient été que des garde-fous précautionneusement conçus, dans les histoires plus récentes Asimov indiqua qu'elles étaient une partie inaliénable de la fondation mathématique soutenant le cerveau positronique : sans la théorie de base des Trois Lois, les scientifiques fictifs de l'univers d'Asimov seraient incapables de créer une unité cervicale viable. Dans Le Petit Robot perdu, Susan Calvin considère que modifier les Lois est une idée terrible, mais faisable, tandis que, des siècles plus tard, le D^r. Gerrigel, dans Les Cavernes d'acier, croit que c'est impossible.

Le D^r. Gerrigel utilise le terme "Asenion" pour décrire des robots programmés avec les Trois Lois. Dans les histoires d'Asimov, les robots étant des robots Asenion sont incapables de violer consciemment les Trois Lois, mais en principe, un robot dans la science-fiction ou dans le monde réel pourrait être un non-Asenion. ("Asenion" est une faute d'orthographe du nom Asimov, qui fut faite par un éditeur du magazine Planet Stories^{[réf. nécessaire]}. Asimov utilisa cette variation obscure de son nom pour s'insérer lui-même dans Les Cavernes d'acier, d'une manière semblable à celle de Vladimir Nabokov apparaissant dans Lolita déguisé par l'anagramme "Vivian Darkblood".)

Comme les personnages dans les histoires le font souvent remarquer, les Lois telles qu'elles existent dans l'esprit d'un robot ne correspondent pas à la version écrite, verbale, habituellement citée par les humains, mais sont des concepts mathématiques abstraits sur lesquels l'entière conscience développante d'un robot est basée. Ainsi, les Lois sont comparables aux instincts basiques de l'homme sur la famille ou l'accouplement, et sont conséquemment plus proches de former la base d'une conscience propre d'un robot - un sens dont le but est basé sur le service à l'humanité, l'obéissance aux ordres des hommes et l'existence continue dans ce mode - plus que des limitations arbitraires de l'entourage d'un esprit indépendant sans cela. Ce concept est largement brouillé et peu clair dans les histoires les plus anciennes qui décrivent des robots très rudimentaires qui sont seulement programmés pour accomplir des tâches physiques sommaires, avec les Lois implantées comme des protections, mais dans l'ère de Les Cavernes d'acier, où l'on voit des robots avec une intelligence surhumaine, les Trois Lois sont devenues une vue éthique du monde sous-tendant les actions de tous les robots.

Définitions alternatives de la notion d'« humain »

Les Solariens ont, par la suite, créé des robots régis par les trois lois de manière normale, mais pour qui le sens du mot « humain » est déformé. On enseigne aux robots solariens que seuls les personnes parlant avec l'accent solarien sont humaines. De cette manière, les robots n'auront aucun problème à agresser des humains non solariens (et sont même programmés spécifiquement pour cela). Au temps où se déroule Terre et Fondation, l'auteur révèle que les Solariens se sont modifiés génétiquement eux-mêmes et sont devenus comme une espèce distincte de l'humanité - devenant hermaphrodites, capable de télépathie et contenant des organes capables d'actionner et de contrôler d'immenses complexes de robots à eux tous seuls. Les robots de Solaria continuent de respecter les trois lois en considérant les Solariens comme seuls humains, plutôt que les hommes normaux du reste de la galaxie.

Asimov traite le problème des robots humanoïdes (« androïdes », selon le terme plus récent) à plusieurs reprises. Le roman Les Robots et l'Empire et les nouvelles Evidence et L'Incident du tricentenaire décrivent des robots fabriqués pour tromper les hommes en leur faisant croire que les robots sont humains. D'un autre côté, L'Homme bicentenaire et Pour que tu t'y intéresses explorent la manière dont les robots peuvent changer leur interprétation des lois à mesure qu'ils deviennent plus sophistiqués. (Gwendoline Butler écrit dans Un cercueil pour le canari : « Peut-être sommes-nous des robots. Des robots vivant la dernière Loi de la Robotique… Pour tendre à devenir des humains. »)

That Thou art Mindful of Mind, qui devait être pour Asimov l'« ultime » sonde dans les subtilités des lois, utilise finalement les trois lois pour conjurer le scénario à la « Frankenstein » que les hommes devaient résoudre. La nouvelle prend comme concept le développement grandissant des robots qui imitent les êtres vivants non-humains, et sont par conséquent programmés pour agir selon les comportements de simples animaux qui ne nécessitent pas les trois lois. La présence d'une large palette de vie robotique qui sert le même but que la vie organique se finit avec deux robots humanoïdes concluant que la vie organique est une condition non-nécessaire pour une vraie logique et une définition cohérente par elle-même d'« humanité », que comme ils sont les êtres pensants les plus avancés sur leur planète, ils sont les seuls vrais humains en vie, et que les trois lois s'appliquent seulement à eux-mêmes. L'histoire se termine sur une note sinistre comme les robots hibernent et attendent un moment, après quoi ils vont conquérir la Terre et soumettent les humains biologiques s'y trouvant, une conséquence qu'ils considèrent comme le résultat inévitable des « Trois Lois de L'Humanique ».

La Loi Zéro

Dans l’œuvre d’Asimov apparaissent deux robots particuliers, R. Daneel Olivaw et R. Giskard Reventlov. Par leurs réflexions, ils arrivent à la conclusion que les Trois Lois sont incomplètes, et que les robots doivent aussi considérer la protection de l’humanité dans son ensemble. Ces robots formulent la Loi Zéro de la robotique ainsi :

• Loi Zéro : Un robot ne peut nuire à l’humanité ni, en restant passif, permettre que l’humanité souffre d’un mal.

Les Trois Lois sont donc modifiées ainsi :

• Première Loi : Un robot ne peut porter atteinte à un être humain ni, restant passif, laisser cet être humain exposé au danger, sauf en cas de contradiction avec la Loi Zéro.
• Deuxième Loi : Un robot doit obéir aux ordres donnés par les êtres humains, sauf si de tels ordres sont en contradiction avec la Loi Zéro ou la Première Loi.
• Troisième Loi : Un robot doit protéger son existence dans la mesure où cette protection n’est pas en contradiction avec la Loi Zéro, la Première ou la Deuxième Loi.

Les conséquences de la Loi Zéro sont considérables : elle donne le droit aux robots de s’attaquer à des hommes, si ces hommes mettent l’humanité en danger. C'est justement le thème principal dans le film I, Robot, ou l'I.A VIKI (mémoire centrale de la firme robotique) arrive à la conclusion logique que la plus grande menace pour l'homme est l'homme lui-même et décide d'enfreindre la première loi pour protéger l'humanité.

Articles connexes

• Les trois lois de la sexualité robotique : pastiche de ces trois lois écrit par Roland C. Wagner
• Nouvelles Lois de la robotique : dérivées des Trois Lois, elles apparaissent dans La Trilogie de Caliban de Roger MacBride Allen

Notes et références

• Portail de la science-fiction
• Portail de la robotique