Réseau de neurones de hopfield

Réseau de neurones de hopfield

Réseau de neurones de Hopfield

Le réseau de neurones d'Hopfield est un modèle de réseau de neurones récurrents à temps discret dont la matrice des connexions est symétrique et nulle sur la diagonale et où la dynamique est asynchrone (un seul neurone est mis à jour à chaque unité de temps). Il a été découvert par le physicien John Hopfield en 1982. Sa découverte a permis de relancer l'intérêt dans les réseaux de neurones qui s'était essoufflé durant les années 1970 suite à un article de Marvin Minsky et Seymour Papert.

Un réseau de Hopfield est une mémoire adressable par son contenu : une forme mémorisée est retrouvée par une stabilisation du réseau, s'il a été stimulé par une partie adéquate de cette forme.

Sommaire

Structure

Un réseau de Hopfield à 4 neurones

Ce modèle de réseau est constitué de N neurones à états binaires (-1, 1 ou 0, 1 suivant les versions) tous interconnectés. L'entrée totale d'un neurone i est donc :

Ii = wijVj
j

où :

  • wij est le poids de la connexion du neurone i à j
  • Vj est l'état du neurone j

L'état du réseau peut être caractérisé par un mot de N bits correspondant à l'état de chaque neurone.

Dynamique

Le fonctionnement du réseau est séquencé par une horloge. On notera :

  • Vi(t) ou Vi l'état du neurone i à l'instant t
  • Vi(t + 1) l'état du neurone i à l'instant t + dt où dt désigne l'intervalle de temps entre 2 tops d'horloge

Il existe plusieurs alternatives assez équivalentes pour la mise à jour de l'état des neurones :

  • Le mode stochastique original de Hopfield où chaque neurone modifie son état à un instant aléatoire selon une fréquence moyenne égale pour tous les neurones. Plus simplement on peut considérer qu'à chaque top d'horloge, on tire au hasard un neurone afin de le mettre à jour.
  • Un mode synchrone où tous les neurones sont mis à jour simultanément.
  • Un mode séquentiel où les neurones sont mis à jour selon un ordre défini.

Le calcul du nouvel état du neurone i se fait ainsi :

V_i(t+1) = \left\{\begin{matrix} 1 & \mathrm{si}\sum_{j}{w_{ij}s_j}>0, \\
-1 & \mathrm{sinon}\end{matrix}\right.

Apprentissage

L'apprentissage dans un réseau d'Hopfield consiste à faire en sorte que chacun des prototypes à mémoriser soit :

  • Un état stable du réseau
  • Un état attracteur permettant de le retrouver à partir d'états légèrement différents

Pour estimer les poids, on se sert d'un apprentissage hebbien, inspiré de la loi de Hebb (théorisée par Hebb en 1949 et observée réellement dans le cerveau par Bliss et Lomo en 1973). Donc l'une des représentation algébrique est:

w_{ij} = \frac{1}{n} \sum_{k=1}^p x_i^k x_j^k\, ,

wij est le poids de la connexion entre le neurone neurone j et le neurone i, n est la dimension du vecteur d'entrée, p le nombre de motif d'entraînement et  x_i^k la kième entrée du neurone i.

L'apprentissage hebbien minimise la fonction d'énergie, c'est à dire que si deux unités sont actives simultanément, le poids de leurs connexions est augmenté ou diminué.

Limites

Le réseau de Hopfield a cependant des limites bien connues : il ne peut stocker qu'environ 0,14 n patterns avec n le nombre de neurones.

Liens Externes

  • Neural Lab - interface graphique en Python et Gtk permettant de manipuler un reseaux de hopfield
  • Portail de l’informatique Portail de l’informatique
Ce document provient de « R%C3%A9seau de neurones de Hopfield ».

Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Réseau de neurones de hopfield de Wikipédia en français (auteurs)

Игры ⚽ Нужен реферат?

Regardez d'autres dictionnaires:

  • Reseau de neurones de Hopfield — Réseau de neurones de Hopfield Le réseau de neurones d Hopfield est un modèle de réseau de neurones récurrents à temps discret dont la matrice des connexions est symétrique et nulle sur la diagonale et où la dynamique est asynchrone (un seul… …   Wikipédia en Français

  • Réseau de neurones de Hopfield — Le réseau de neurones d Hopfield est un modèle de réseau de neurones récurrents à temps discret dont la matrice des connexions est symétrique et nulle sur la diagonale et où la dynamique est asynchrone (un seul neurone est mis à jour à chaque… …   Wikipédia en Français

  • Réseau de neurones artificiels —  Pour l’article homonyme, voir Réseau de neurones (biologie).  Pour les articles homonymes, voir Réseau. Un réseau de neurones artificiels est un modèle de calcul dont la conception est très schématiquement inspirée du fonctionnement… …   Wikipédia en Français

  • Reseau de neurones — Réseau de neurones Pour les articles homonymes, voir Réseau. Neurosciences …   Wikipédia en Français

  • Réseau de neurones — Pour les articles homonymes, voir Réseau. Neurosciences …   Wikipédia en Français

  • Réseau de neurone — Réseau de neurones Pour les articles homonymes, voir Réseau. Neurosciences …   Wikipédia en Français

  • Réseau neuronal — Réseau de neurones Pour les articles homonymes, voir Réseau. Neurosciences …   Wikipédia en Français

  • Réseau neuronique — Réseau de neurones Pour les articles homonymes, voir Réseau. Neurosciences …   Wikipédia en Français

  • Réseaux de neurones — Réseau de neurones Pour les articles homonymes, voir Réseau. Neurosciences …   Wikipédia en Français

  • Carte auto adaptative — ou auto organisatrice est une classe de réseau de neurones artificiels fondée sur des méthodes d apprentissage non supervisées. On la désigne souvent par le terme anglais self organizing map (SOM), on encore carte de Teuvo Kohonen (en) du… …   Wikipédia en Français

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”