Claude Shannon

Claude Shannon
Nom de naissance	Claude Elwood Shannon
Naissance	30 avril 1916 Petoskey, Michigan, États-Unis
Décès	24 février 2001 (à 84 ans) Medford, Massachusetts, États-Unis
Nationalité	États-Unis
Profession	Ingénieur, Chercheur
Compléments
Fondateur de la théorie de l'information

Claude Elwood Shannon (30 avril 1916 à Petoskey^[1], Michigan - 24 février 2001 à Medford, Massachusetts) est un ingénieur électricien et mathématicien américain. Il est l'un des pères, si ce n'est le père fondateur, de la théorie de l'information. Son nom est attaché à un célèbre « schéma de Shannon » très utilisé en sciences humaines, qu'il a constamment désavoué.

Biographie

Il étudie le génie électrique et les mathématiques à l'Université du Michigan en 1932. Il utilise notamment l'algèbre booléenne pour sa maîtrise soutenue en 1938 au Massachusetts Institute of Technology (MIT). Il y explique comment construire des machines à relais en utilisant l'algèbre de Boole pour décrire l'état des relais (1 : fermé, 0 : ouvert).

Shannon travaille vingt ans au MIT, de 1958 à 1978. Parallèlement à ses activités académiques, il travaille aussi aux laboratoires Bell de 1941 à 1972.

Claude Shannon est connu non seulement pour ses travaux dans les télécommunications, mais aussi pour l'étendue et l'originalité de ses hobbies, comme la jonglerie, la pratique du monocycle et l'invention de machines farfelues : une souris mécanique sachant trouver son chemin dans un labyrinthe, un robot jongleur, un joueur d'échecs (roi tour contre roi), etc. L'un de ces "gadgets" présente toutefois un grand intérêt conceptuel, comme le montrent Philippe Boulanger et Alain Cohen dans Le Trésor des paradoxes (Éditions Belin, 2007) : "Claude Shannon voulut élaborer une « machine gratuite », sans finalité : on la met en marche en appuyant, comme sur tout dispositif électromécanique, sur une touche « on » ; mais les choses prennent alors une tournure surprenante, car cette mise sous tension déclenche un mécanisme provoquant aussitôt l’arrêt du gadget en mettant l’interrupteur sur « off ! » Ce type de comportement insolite caractérise les situations ubiquitaires où la communication réside paradoxalement dans l'absence de communication, l'utilité dans l'absence d'utilité. Exemples : "La mode, c'est ce qui se démode" (Jean Cocteau); "Créer cette École (l'École Freudienne) afin de la dissoudre" (Jacques Lacan); "On se rend compte que l'on dort en se réveillant" (John Lennon); "Le bon fonctionnement de tout le système de l’épargne-logement suppose, paradoxalement, que certains ayants droit (les « bons frères ») renoncent précisément à faire valoir leur droit à un prêt au terme d’une période d’épargne" (Pierre Chaillol); "L'idéal révolutionnaire n’a pu que se troubler au moment de s’accomplir : la nécessité dont il se réclamait le condamnait à se perdre pour se réaliser, trahi et déformé moins par ses ennemis que par ceux-là mêmes qui ont voulu en assurer l’application" (Jean Starobinski); "La virginité se perd en se prouvant" (Fernand Crommelynck). Un avatar géostratégique de cet automate paradoxal de Shannon consiste dans le concept de dissuasion nucléaire : les puissances nucléaires amassent des armes atomiques dans le but… d'interdire toute velléité d'emploi de ce type d'armes, en se neutralisant mutuellement : ça sert à ne pas servir !

Souffrant de la maladie d'Alzheimer dans les dernières années de sa vie, Claude Shannon est mort à 84 ans le 24 février 2001 à Medford dans le Massachusetts.

Son œuvre

Pendant la Seconde Guerre mondiale, Shannon travaille pour les services secrets de l'armée, en cryptographie, chargé de localiser de manière automatique dans le code ennemi les parties signifiantes cachées au milieu du brouillage. Son travail est exposé dans un rapport secret (déclassifié dans les années 1980 seulement), qui donne naissance après-guerre à un article, A Mathematical Theory of Communications (1948), qui fut repris en 1949 sous forme de livre publié par l'Université d'Illinois avec les commentaires de Warren Weaver, coordonnateur(Mattelart et Mattelart, 2004) dans les services secrets . Cet ouvrage est centré autour de la problématique de la transmission du signal.

Le schéma de Shannon

Pour décrire la communication entre machines, l'article de 1948 et le livre de 1949 commencent tous deux par un « schéma » qui connut dès lors une postérité étonnante en Sciences de l'information et de la communication, au point que Shannon s'en étonna et s'en dissocia^{[réf. nécessaire]}. Le schéma modélise la communication entre machines :

Ce schéma est la traduction « civile » d'un schéma préalable, utilisé dans le contexte militaire :

• source → encodeur → signal → décodeur → destinataire, dans un contexte de brouillage.

Adéquat à décrire la communication entre machines, ce schéma modélise imparfaitement la communication humaine^{[réf. nécessaire]}. Pourtant, son succès est foudroyant, et il a participé largement à la création d'un champ disciplinaire, les sciences de l'information et de la communication. L'une des explications de ce succès est le fait qu'il se fond parfaitement dans une approche béhavioriste des médias. De plus, ce schéma dit canonique donne une consistance et une apparence de scientificité.

Shannon : l'unité de mesure

Dans l'article comme dans le livre, il popularise l'utilisation du mot bit comme mesure élémentaire de l'information numérique. John Tukey fut néanmoins le premier à utiliser le terme^[2]. Plus précisement, le bit désigne le nombre de chiffres binaires nécessaires pour coder une quantité d'information. Ainsi, il faut au moins un bit (ou 1 Shannon^{[réf. nécessaire]}) pour coder deux états (par exemple « pile » et « face », ou plus généralement 0 et 1) et deux bits permettent de coder quatre états (00, 01, 10, 11). Les 26 lettres de l'alphabet nécessitent au minimum 5 bits car:

Plus généralement, si P est le nombre d'états possibles, le nombre de bits minimum n nécessaire à tous les coder vérifie:

Dans un cas idéal où toute l'information disponible est utilisée, P = 2ⁿ.

La relation de Shannon

Dans le domaine des télécommunications, la relation de Shannon permet de calculer la valence (ou nombre maximal d'états) en milieu perturbé :

Soit S le signal, N le bruit :

On a alors le débit maximal :

Ce résultat est indépendant de la vitesse d'échantillonnage et du nombre de niveau d'un échantillon (la valence).

Entropie au sens de Shannon

Un apport essentiel des travaux de Shannon concerne la notion d'entropie. Si l'on considère N événements de probabilité p₁, p₂… p_N, indépendants les uns des autres, alors leur entropie de Shannon est définie comme :

Entropie =

Il a par ailleurs :

• établi un rapport entre augmentation d'entropie et gain d'information ;
• montré l'équivalence de cette notion avec l’ entropie de Ludwig Boltzmann en thermodynamique.

La découverte du concept ouvrait ainsi la voie aux méthodes dites d'entropie maximale (voir probabilité), donc au scanner médical, à la reconnaissance automatique des caractères et à l'apprentissage automatique.

Théorèmes

Son nom est associé à plusieurs théorèmes, le Théorème d'échantillonnage de Nyquist-Shannon sur l'échantillonnage (aussi appelé critère de Shannon), le premier théorème de Shannon sur la limite théorique de la compression, le deuxième théorème de Shannon sur la capacité d'un canal de transmission.

Anecdotes

• En 1981, Claude Shannon a commencé à écrire un article intitulé Scientific Aspects of Juggling, sur l'art de la jonglerie. Cet article était prévu pour être publié dans Scientific American, mais ce ne fut finalement pas le cas. Néanmoins, cette ébauche a servi de base à la formalisation des mouvements de jonglerie par le siteswap^[3].

Voir aussi

Articles connexes

• Prix Claude Shannon
• Théorème d'échantillonnage de Nyquist-Shannon
• Théorie de l'information
• Communication
• Message (communication)
• Inférence bayésienne
• Cybernétique
• Norbert Wiener
• Nombre de Shannon

Bibliographie

• Mattelart,A. et Mattelart, M. (2004) Histoire des théories de la communication. 3e édition. Paris: Éditions La Découverte
• Claude E. Shannon, A Symbolic Analysis of Relay and Switching Circuits, Thesis (M.S.), Massachusetts Institute of Technology, Dept. of Electrical Engineering, 1940 (lire)
• Claude E. Shannon, A Mathematical Theory of Communication, Bell System Technical Journal, vol. 27, p. 379-423 and 623-656, July and October, 1948 (ISBN 0252725484) (lire [PDF])
• Claude E. Shannon, Communication Theory of Secrecy Systems, Bell System Technical Journal, Vol 28, p. 656-715, Oct 1949. (lire)

Références

• Portail de l’informatique