Entropie conditionnelle

Entropie conditionnelle

L'entropie conditionnelle est une mesure d'entropie utilisée en théorie de l'information. L'entropie conditionnelle mesure l'entropie restante provenant de la variable aléatoire Y, si l'on connait parfaitement la seconde variable aléatoire X. C'est l'entropie de Y conditionnée par X. Cette entropie est notée H(Y | X). Comme les autres entropies, l'entropie conditionnelle se mesure généralement en bits.

Étant données deux variables aléatoires X et Y avec pour entropies respectives H(X) et H(Y), et pour entropie conjointe H(X,Y), l'entropie conditionnelle de Y étant donné X est définie par : H(Y|X) \equiv H(X,Y) - H(X)

Intuitivement, si le système combiné contient H(X,Y) bits d'information, et si nous connaissons parfaitement la variable aléatoire X, pour coder le système on peut économiser H(X) bits, et on n'a plus besoin que de H(Y | X) bits.

H(Y | X) = 0 si et seulement si la variable aléatoire Y est complètement déterminée par la variable aléatoire X. Inversement H(Y | X) = H(Y) si et seulement si Y et X sont des variables aléatoires indépendantes.

Voir aussi


Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Entropie conditionnelle de Wikipédia en français (auteurs)

Игры ⚽ Поможем сделать НИР

Regardez d'autres dictionnaires:

  • Entropie Conditionnelle — L entropie conditionnelle est une mesure d entropie utilisée en théorie de l information. L entropie conditionnelle mesure l entropie restante provenant de la variable aléatoire Y, si l on connait parfaitement la seconde variable aléatoire X. C… …   Wikipédia en Français

  • Entropie conditionnée — Entropie conditionnelle L entropie conditionnelle est une mesure d entropie utilisée en théorie de l information. L entropie conditionnelle mesure l entropie restante provenant de la variable aléatoire Y, si l on connait parfaitement la seconde… …   Wikipédia en Français

  • Entropie (Homonymie) — Cette page d’homonymie répertorie les différents sujets et articles partageant un même nom …   Wikipédia en Français

  • Entropie Conjointe — L Entropie conjointe est une mesure d entropie utilisée en théorie de l information. L entropie conjointe mesure combien d information est contenue dans un système de deux variables aléatoires. Comme les autres entropies, l entropie conjointe… …   Wikipédia en Français

  • Entropie (homonymie) — Cette page d’homonymie répertorie les différents sujets et articles partageant un même nom. Sur les autres projets Wikimedia : « Entropie (homonymie) », sur le Wiktionnaire (dictionnaire universel) Le mot entropie caractérise… …   Wikipédia en Français

  • Entropie croisée — Traduction à relire Cross entropy → Entropie c …   Wikipédia en Français

  • Entropie conjointe — L Entropie conjointe est une mesure d entropie utilisée en théorie de l information. L entropie conjointe mesure combien d information est contenue dans un système de deux variables aléatoires. Comme les autres entropies, l entropie conjointe… …   Wikipédia en Français

  • Entropique — Entropie (homonymie) Cette page d’homonymie répertorie les différents sujets et articles partageant un même nom …   Wikipédia en Français

  • Statistique descriptive — Pour les articles homonymes, voir Interconnexions entre la théorie des probabilités et les statistiques. La statistique descriptive est la branche des statistiques qui regroupe les nombreuses techniques utilisées pour décrire un ensemble… …   Wikipédia en Français

  • Projet:Mathématiques/Liste des articles de mathématiques — Cette page n est plus mise à jour depuis l arrêt de DumZiBoT. Pour demander sa remise en service, faire une requête sur WP:RBOT Cette page recense les articles relatifs aux mathématiques, qui sont liés aux portails de mathématiques, géométrie ou… …   Wikipédia en Français

Share the article and excerpts

Direct link
… Do a right-click on the link above
and select “Copy Link”