Principe d'entropie maximale
- Principe d'entropie maximale
-
Le principe d'entropie maximale consiste lorsqu'on veut représenter une connaissance imparfaite d'un phénomène par une loi de probabilité, à :
- identifier les contraintes auxquelles cette distribution doit répondre (moyenne, etc;)
- choisir de toutes les distributions répondant à ces contraintes celle ayant la plus grande entropie au sens de Shannon.
Ce choix n'a rien d'arbitraire : de toutes ces distributions, c'est - par définition de l'entropie - celle d'entropie maximale qui contient le moins d'information, et elle est donc pour cette raison la moins arbitraire de toutes celles que l'on pourrait utiliser.
La distribution de probabilité obtenue sert ensuite de probabilité a priori dans un processus classique d'inférence bayésienne.
Le principe du maximum d'entropie considère un principe d'équidistribution (principe d'indifférence de Laplace) et d'indépendance entre événements élémentaires ayant donné lieu à la distribution de probabilité. Il s'agit donc d'un a priori extrêmement « neutre », si toutefois l'espace d'hypothèses est bien choisi. Comme la mesure d'entropie de Shannon considère un ensemble de d'états équiprobables, il peut être utile d'adapter l'espace d'hypothèses pour rendre les différents états équiprobables ou alors utiliser l'entropie relative pour normaliser l'expression par rapport à leur probabilités respectives a priori.
- (en) , Information Theory and Statistical Mechanics, 1963 [lire en ligne]
Portail des probabilités et des statistiques
Wikimedia Foundation.
2010.
Contenu soumis à la licence CC-BY-SA. Source : Article Principe d'entropie maximale de Wikipédia en français (auteurs)
Regardez d'autres dictionnaires:
Principe d'entropie — Entropie Pour les articles homonymes, voir Entropie (homonymie). En thermodynamique, l entropie est une fonction d état introduite en 1865[1] par Rudolf Clausius dans le cadre du deuxième principe, d après les travaux de Sadi Carnot[ … Wikipédia en Français
Entropie maximale — Principe d entropie maximale Le principe d entropie maximale consiste lorsqu on veut représenter une connaissance imparfaite d un phénomène par une loi de probabilité, à : identifier les contraintes auxquelles cette distribution doit… … Wikipédia en Français
Entropie (thermodynamique) — Entropie Pour les articles homonymes, voir Entropie (homonymie). En thermodynamique, l entropie est une fonction d état introduite en 1865[1] par Rudolf Clausius dans le cadre du deuxième principe, d après les travaux de Sadi Carnot[ … Wikipédia en Français
Entropie — Pour les articles homonymes, voir Entropie (homonymie). En thermodynamique, l entropie est une fonction d état introduite en 1865[1] par Rudolf Clausius dans le cadre du deuxième principe de la thermodynamique, d après les travaux de Sadi Carnot[ … Wikipédia en Français
ENTROPIE — La notion d’entropie, sa définition et le terme lui même furent introduits dans la thermodynamique en 1854, par le physicien allemand Rudolf Clausius (1822 1888). En fait l’événement doit être considéré comme la naissance même de cette discipline … Encyclopédie Universelle
Histoire de l'entropie — Entropie Pour les articles homonymes, voir Entropie (homonymie). En thermodynamique, l entropie est une fonction d état introduite en 1865[1] par Rudolf Clausius dans le cadre du deuxième principe, d après les travaux de Sadi Carnot[ … Wikipédia en Français
Principe holographique — Le principe holographique en physique est une conjecture spéculative dans le cadre de la théorie de la gravité quantique, proposée par Gerard t Hooft puis améliorée et promue par Leonard Susskind. Cette conjecture propose que toute l information… … Wikipédia en Français
Entropie Des Trous Noirs — Pour les articles homonymes, voir Trou noir (homonymie). Pour consulter un article plus général, voir : Trou noir. L entropie des trous noirs est une notion issue de l étude des trous noirs dans le cadre de la relativité générale et de la… … Wikipédia en Français
Entropie Topologique — En mathématiques et plus précisément, dans la théorie des systèmes dynamiques, l entropie topologique est un réel associé à tout homéomorphisme d un espace topologique séparé et compact. Ce réel caractérise l action induite de l homéomorphisme… … Wikipédia en Français
Principe deuxième de la thermodynamique — Deuxième principe de la thermodynamique Le deuxième principe de la thermodynamique (également connu sous le nom de deuxième loi de la thermodynamique) établit l irréversibilité des phénomènes physiques, en particulier lors des échanges thermiques … Wikipédia en Français
