Entropie différentielle

Entropie différentielle

L'entropie différentielle est un concept de la théorie de l'information qui étend le concept de l'entropie de Shannon aux distributions de probabilités continue.

Définition

Pour une variable aléatoire X avec une distribution de probabilité f et définie sur un ensemble \mathbb(X) on définit l'entropie différentielle h(x) par:

h(x) = -\int_\mathbb{X} f(x)\ln f(x)\,dx.

Entropie différentielle pour plusieurs distributions

Table d'entropies différentielles.
Distribution Fonction de distribution de probabilités Entropie
Loi uniforme continue f(x) = \frac{1}{b-a} pour a \leq x \leq b \ln(b - a) \,
Loi normale f(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(x-\mu)^2}{2\sigma^2}\right) \ln\left(\sigma\sqrt{2\,\pi\,e}\right)
Loi exponentielle f(x) = \lambda \exp\left(-\lambda x\right) 1 - \ln \lambda \,
Loi de Cauchy f(x) = \frac{\lambda}{\pi} \frac{1}{\lambda^2 + x^2} \ln(4\pi\lambda) \,
Loi du χ² f(x) = \frac{1}{2^{n/2} \sigma^n \Gamma(n/2)} x^{\frac{n}{2} - 1} \exp\left(-\frac{x}{2\sigma^2}\right)

\ln 2\sigma^{2}\Gamma\left(\frac{n}{2}\right) - \left(1 - \frac{n}{2}\right)\psi\left(\frac{n}{2}\right) + \frac{n}{2}
Distribution Gamma f(x) = \frac{x^{\alpha - 1} \exp(-\frac{x}{\beta})}{\beta^\alpha \Gamma(\alpha)} \ln(\beta \Gamma(a)) + (1 - \alpha)\psi(\alpha) + \alpha \,
Loi logistique f(x) = \frac{e^{-x}}{(1 + e^{-x})^2} 2 \,
Statistique de Maxwell-Boltzmann f(x) = 4 \pi^{-\frac{1}{2}} \beta^{\frac{3}{2}} x^{2} \exp(-\beta x^2) \frac{1}{2} \ln \frac{\pi}{\beta} + \gamma - 1/2
Distribution de Pareto f(x) = \frac{a k^a}{x^{a+1}} \ln \frac{k}{a} + 1 + \frac{1}{a}
Loi de Student f(x) = \frac{(1 + x^2/n)^{-\frac{n+1}{2}}}{\sqrt{n}B(\frac{1}{2},\frac{n}{2})} \frac{n+1}{2}\psi\left(\frac{n+1}{2}\right) - \psi\left(\frac{n}{2}\right) + \ln \sqrt{n} B\left(\frac{1}{2},\frac{n}{2}\right)
Distribution de Weibull f(x) = \frac{c}{\alpha} x^{c-1} \exp\left(-\frac{x^c}{\alpha}\right) \frac{(c-1)\gamma}{c} + \ln \frac{\alpha^{1/c}}{c} + 1
Loi normale multidimensionnelle f_X(x_1, \dots, x_N) = \frac{1} {(2\pi)^{N/2} \left|\Sigma\right|^{1/2}} \exp \left( -\frac{1}{2} ( x - \mu)^\top \Sigma^{-1} (x - \mu) \right) \frac{1}{2}\ln\{(2\pi e)^{N} \det(\Sigma)\}

Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Entropie différentielle de Wikipédia en français (auteurs)

Игры ⚽ Поможем решить контрольную работу

Regardez d'autres dictionnaires:

  • Entropie De Shannon — L entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d information contenue ou délivrée par une source d information. Cette source peut être un texte écrit dans une langue donnée …   Wikipédia en Français

  • Entropie de shannon — L entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d information contenue ou délivrée par une source d information. Cette source peut être un texte écrit dans une langue donnée …   Wikipédia en Français

  • Entropie de Shannon — L entropie de Shannon, due à Claude Shannon, est une fonction mathématique qui, intuitivement, correspond à la quantité d information contenue ou délivrée par une source d information. Cette source peut être un texte écrit dans une langue donnée …   Wikipédia en Français

  • Entropie (thermodynamique) — Entropie Pour les articles homonymes, voir Entropie (homonymie). En thermodynamique, l entropie est une fonction d état introduite en 1865[1] par Rudolf Clausius dans le cadre du deuxième principe, d après les travaux de Sadi Carnot[ …   Wikipédia en Français

  • ENTROPIE — La notion d’entropie, sa définition et le terme lui même furent introduits dans la thermodynamique en 1854, par le physicien allemand Rudolf Clausius (1822 1888). En fait l’événement doit être considéré comme la naissance même de cette discipline …   Encyclopédie Universelle

  • Entropie d'un corps pur — Le troisième principe de la thermodynamique stipule que l entropie d un corps pur est nulle à la température de 0 K. Donc on peut calculer l entropie molaire d un corps pur de façon absolue. Ce calcul permet de dresser des tables thermodynamiques …   Wikipédia en Français

  • Entropie — Pour les articles homonymes, voir Entropie (homonymie). En thermodynamique, l entropie est une fonction d état introduite en 1865[1] par Rudolf Clausius dans le cadre du deuxième principe de la thermodynamique, d après les travaux de Sadi Carnot[ …   Wikipédia en Français

  • Calculs De L'entropie D'un Corps Pur — Entropie d un corps pur Le troisième principe de la thermodynamique stipule que l entropie d un corps pur est nulle à la température de 0 K. Donc on peut calculer l entropie molaire d un corps pur de façon absolue. Ce calcul permet de dresser des …   Wikipédia en Français

  • Calculs de l'entropie d'un corps pur — Entropie d un corps pur Le troisième principe de la thermodynamique stipule que l entropie d un corps pur est nulle à la température de 0 K. Donc on peut calculer l entropie molaire d un corps pur de façon absolue. Ce calcul permet de dresser des …   Wikipédia en Français

  • Histoire de l'entropie — Entropie Pour les articles homonymes, voir Entropie (homonymie). En thermodynamique, l entropie est une fonction d état introduite en 1865[1] par Rudolf Clausius dans le cadre du deuxième principe, d après les travaux de Sadi Carnot[ …   Wikipédia en Français

Share the article and excerpts

Direct link
… Do a right-click on the link above
and select “Copy Link”