Weight decay
- Weight decay
-
La méthode de dégradation des pondérations ou weight decay en anglais est une technique de régularisation utilisée pour limiter le surapprentissage dans un réseau de neurones. Elle consiste à ajouter une pénalité à la fonction d'erreur qui dépend de la magnitude des poids qui relient les neurones entre eux. On utilise en général la pénalité suivante :
où wi est le ie poids dans le réseau et λ est un coefficient positif qui donne plus ou moins d'importance à la pénalité. Le paramètre λ est en général très petit (0.0001 et moins), il tend vers zéro.
Buts
Le but est d'éviter le surapprentissage. Il a été mathématiquement démontré (Geman, Bienenstock & Doursat 1992; Krogh & Hertz 1992) qu'un réseau utilisant des connexions avec des pondérations de forte magnitude avait plus de peine pour généraliser. Techniquement parlant, de grands poids peuvent provoquer une plus grande variance à la sortie. En forçant la diminution des poids, on obtient un réseau moins flexible qui se spécialise moins dans les données utilisées pour l'apprentissage.
Liens externes
Wikimedia Foundation.
2010.
Contenu soumis à la licence CC-BY-SA. Source : Article Weight decay de Wikipédia en français (auteurs)
Regardez d'autres dictionnaires:
Decay energy — Nuclear physics Radioactive decay Nuclear fission Nuclear fusion Classical decays … Wikipedia
Slow Decay — Torchwoodbook title=Slow Decay number=3 featuring=Jack Harkness Gwen Cooper Owen Harper Toshiko Sato Ianto Jones writer=Andy Lane publisher=BBC Books isbn=ISBN 978 0 563 48655 8 set between= Ghost Machine and Cyberwoman pages=357 date=4 January… … Wikipedia
Exponential decay — A quantity undergoing exponential decay. Larger decay constants make the quantity vanish much more rapidly. This plot shows decay for decay constants of 25, 5, 1, 1/5, and 1/25 for x from 0 to 5. A quantity is said to be subject to exponential… … Wikipedia
Alpha decay — 2 less. For example:(The second form is preferred because the first form appears electrically unbalanced. Fundamentally, the recoiling nucleus is very quickly stripped of two electrons to neutralize the ionized helium cation.)An alpha particle is … Wikipedia
Radioactive decay — For particle decay in a more general context, see Particle decay. For more information on hazards of various kinds of radiation from decay, see Ionizing radiation. Radioactive redirects here. For other uses, see Radioactive (disambiguation).… … Wikipedia
proton decay — proton decay, the radioactive transmutation of one chemical element into another by the emission of a proton from an unstable nucleus: »Proton decay…is a process in which a nucleus emits a proton and decreases both atomic number and atomic weight … Useful english dictionary
Artificial Neural Network — Réseau de neurones Pour les articles homonymes, voir Réseau. Vue simplifiée d un réseau artificiel de neurones Un réseau de neurones artificiel est un modèle de c … Wikipédia en Français
Neuronal network — Réseau de neurones Pour les articles homonymes, voir Réseau. Neurosciences … Wikipédia en Français
Overfitting — Surapprentissage Surapprentissage dans un apprentissage supervisé. En rouge, l erreur sur l ensemble de validation. En bleu, l erreur d apprentissage. Si l erreur de validation augmente alors que l erreur d apprentissage continue à diminuer alors … Wikipédia en Français
Reseau de neurones — Réseau de neurones Pour les articles homonymes, voir Réseau. Neurosciences … Wikipédia en Français
