Entropie maximale
- Entropie maximale
-
Principe d'entropie maximale
Le principe d'entropie maximale consiste lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à :
- identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc;)
- choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon.
Ce choix n'a rien d'arbitraire : de toutes ces distributions, c'est - par définition de l'entropie - celle d'entropie maximale qui contient le moins d'information, et elle est donc pour cette raison la moins arbitraire de toutes celles que l'on pourrait utiliser.
La distribution de probabilité obtenue sert ensuite de probabilité a priori dans un processus classique d'inférence bayésienne
Portail des probabilités et des statistiques
Catégories : Statistiques | Apprentissage automatique
Wikimedia Foundation.
2010.
Contenu soumis à la licence CC-BY-SA. Source : Article Entropie maximale de Wikipédia en français (auteurs)
Regardez d'autres dictionnaires:
Principe d'entropie maximale — Le principe d entropie maximale consiste lorsqu on veut représenter une connaissance imparfaite d un phénomène par une loi de probabilité, à : identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc;) choisir de… … Wikipédia en Français
Entropie (thermodynamique) — Entropie Pour les articles homonymes, voir Entropie (homonymie). En thermodynamique, l entropie est une fonction d état introduite en 1865[1] par Rudolf Clausius dans le cadre du deuxième principe, d après les travaux de Sadi Carnot[ … Wikipédia en Français
ENTROPIE — La notion d’entropie, sa définition et le terme lui même furent introduits dans la thermodynamique en 1854, par le physicien allemand Rudolf Clausius (1822 1888). En fait l’événement doit être considéré comme la naissance même de cette discipline … Encyclopédie Universelle
Entropie — Pour les articles homonymes, voir Entropie (homonymie). En thermodynamique, l entropie est une fonction d état introduite en 1865[1] par Rudolf Clausius dans le cadre du deuxième principe de la thermodynamique, d après les travaux de Sadi Carnot[ … Wikipédia en Français
Maximale Entropie — Entropie ist ein Maß für den mittleren Informationsgehalt oder auch Informationsdichte eines Zeichensystems. Der Begriff in der Informationstheorie ist in Analogie zur Entropie in der Thermodynamik und Statistischen Mechanik benannt. Beide… … Deutsch Wikipedia
Entropie (Informationstheorie) — Entropie ist ein Maß für den mittleren Informationsgehalt oder auch Informationsdichte eines Zeichensystems. Der Begriff in der Informationstheorie ist in Analogie zur Entropie in der Thermodynamik und Statistischen Mechanik benannt. Das… … Deutsch Wikipedia
Entropie De Shannon — L entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d information contenue ou délivrée par une source d information. Cette source peut être un texte écrit dans une langue donnée … Wikipédia en Français
Entropie de shannon — L entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d information contenue ou délivrée par une source d information. Cette source peut être un texte écrit dans une langue donnée … Wikipédia en Français
Entropie Des Trous Noirs — Pour les articles homonymes, voir Trou noir (homonymie). Pour consulter un article plus général, voir : Trou noir. L entropie des trous noirs est une notion issue de l étude des trous noirs dans le cadre de la relativité générale et de la… … Wikipédia en Français
Entropie Topologique — En mathématiques et plus précisément, dans la théorie des systèmes dynamiques, l entropie topologique est un réel associé à tout homéomorphisme d un espace topologique séparé et compact. Ce réel caractérise l action induite de l homéomorphisme… … Wikipédia en Français
