Processus autorégressif

Processus autorégressif

Un processus autorégressif est un modèle de régression pour séries temporelles dans lequel la série est expliquée par ses valeurs passées plutôt que par d'autres variables.

Sommaire

Définition

Un processus autorégressif d'ordre p, noté AR(p) est donné par:

Définition — AR(p):  X_t = c + \varphi_1 X_{t-1}+\varphi_2 X_{t-2}+\ldots+\varphi_p X_{t-p} + \varepsilon_t .\,

\varphi_1, \ldots, \varphi_p sont les paramètres du modèle, c est une constante et εt un bruit blanc.

En utilisant L l'opérateur des retards, on peut l'écrire:  (1- \varphi_1 L-\varphi_2 L^2-\ldots-\varphi_p L^p)X_t=c+ \varepsilon_t .\,

Processus AR(1)

Un processus autorégressif d'ordre 1 s'écrit:

 X_t = c + \varphi X_{t-1}+ \varepsilon_t .\,


Représentation en moyenne mobile

On peut formuler le processus AR(1) de manière récursive par rapport aux conditions précédentes:

X_t=c\sum_{k=0}^{N-1}\varphi^k+\varphi^NX_{t-N}+\sum_{k=0}^{N-1}\varphi^k\varepsilon_{t-k}.

En remontant aux valeurs initiales, on aboutit à:

Propriété — X_t=c\sum_{i=0}^{\infty}\varphi^i+\sum_{i=0}^{\infty}\varphi^i\varepsilon_{t-i}

Il est à noter que les sommes vont ici jusqu'à l'infini. Cela est dû au fait que les séries temporelles sont souvent supposées commencer depuis t_0=-\infty et non pas t0 = 0. Certains auteurs considèrent cependant que la série commence en t0 = 0 et ajoutent alors la valeur initiale X0 dans la formule.

On peut voir que Xt est le bruit blanc convolé avec le noyau φk plus une moyenne constante. Si le bruit blanc est gaussien, alors Xt est aussi un processus normal.

Représentation dans le domaine de la fréquence

La Densité spectrale de puissance est la Transformée de Fourier de la fonction d'autocovariance. Dans le cas discret, cela s'écrit:

\Phi(\omega)=
\frac{1}{\sqrt{2\pi}}\,\sum_{n=-\infty}^\infty B_n e^{-i\omega n}
=\frac{1}{\sqrt{2\pi}}\,\left(\frac{\sigma^2}{1+\varphi^2-2\varphi\cos(\omega)}\right).

Ce développement est périodique dû à la présence du terme en cosinus au dénominateur. En supposant que le temps d'échantillonnage (Δt = 1) est plus petit que le decay time (τ), alors on peut utiliser une approximation continue de Bn:

B(t)\approx \frac{\sigma^2}{1-\varphi^2}\,\,\varphi^{|t|}

qui présente une forme lorentzienne pour la densité spectrale:

\Phi(\omega)=
\frac{1}{\sqrt{2\pi}}\,\frac{\sigma^2}{1-\varphi^2}\,\frac{\gamma}{\pi(\gamma^2+\omega^2)}

γ = 1 / τ est la fréquence angulaire associée à τ.

Moments d'un processus AR(1)

Pour calculer les différents moments d'un processus AR(1), soit son espérance, sa variance, son autocovariance et son autocorrélation, on va supposer que les bruits blancs sont indépendamment et identiquement distribués, d'espérance nulle et de variance σ2 (que l'on note εiiid(0,σ2)).

Espérance

\operatorname{E}[X_t]=\varphi^t X_0 + c\sum_{i=0}^{t-1}\varphi^i\,

Démonstration par raisonnement par récurrence

  • P(0) (initialisation): \operatorname{E}[X_0] = X_0\,, parce que X0 est deterministique. L'expression est:
\varphi^0 X_0 + c \sum_{i=0}^{-1}\varphi^i = 1 X_0 + 0 = X_0\,
  • P(t+1) (hérédité ):
\operatorname{E}[X_{t+1}]= \operatorname{E}[c + \varphi X_t + \epsilon_t]\,

Comme E est un opérateur linéaire:

\operatorname{E}[X_{t+1}]= c + \varphi \operatorname{E}[X_t]\,

Avec l'hypothèse d'induction:

\operatorname{E}[X_{t+1}]=c + \varphi (\varphi^t X_0 + c \sum_{i=0}^{t-1}\varphi^i)\,
\operatorname{E}[X_{t+1}]=c + \varphi^{t+1} X_0 + c \sum_{i=0}^{t-1}\varphi^{i+1}\,

Par un changement de variables dans la somme, i → i-1:

\operatorname{E}[X_{t+1}]= \varphi^{t+1} X_0 + c + c \sum_{i=1}^{t}\varphi^i\,

Et, avec c = c \sum_{i=0}^{0} \varphi^i\,:

\operatorname{E}[X_{t+1}]= \varphi^{t+1} X_0 + c \sum_{i=0}^{t}\varphi^i\,

Variance

\operatorname{Var}[X_t]= \sum_{i=0}^{\infty}\varphi^{2i}\sigma^2

Autocovariance

\operatorname{Cov}[X_t,X_{t-j}]= \varphi^{j}\sum_{i=0}^{\infty}\varphi^{2i}\sigma^2


Autocorrélation

\operatorname{Corr}[X_t,X_{t-j}]\equiv \frac{\operatorname{Cov}[X_t,X_{t-j}]}{\operatorname{Var}(X_t)}=\varphi^j

Conditions de stationnarité

Le paramètre φ détermine si le processus AR(1) est stationnaire ou non:  |\varphi| = \begin{cases} 
<1 & \textrm{Le \ processus \ est \ stationnaire}\\

=1 &  \textrm{Marche \ aleatoire: 
 \ le \ processus \ est \ donc \ non \ stationnaire}\\

>1 & \textrm{Le \ processus \ est \ explosif}\end{cases}

ϕ<1

Sous la condition, X_0 = \frac{c}{1-\varphi}, les résultats suivant viennent du fait que si | q | < 1 alors la série géométrique \sum_{n=0}^{\infty} aq^n=\frac{a}{1-q} .

si | φ | < 1:

\operatorname{E}[X_t]=\frac{c}{1-\varphi}
\operatorname{Var}[X_t]= \frac{\sigma^2}{1-\varphi^2}
\operatorname{Cov}[X_t,X_{t-j}]= \frac{\varphi^j}{1-\varphi^2} \sigma^2
\operatorname{Corr}[X_t,X_{t-j}]=\varphi^j

On peut voir que la fonction d'autocovariance décroît avec un taux de τ = − 1 / ln(φ). On voit ici que l'espérance et la variance sont constantes et que l'autocovariance ne dépend pas du temps: le processus est donc stationnaire.

ϕ=1

Lorsque φ = 1, le processus s'écrit: Xt = c + Xt − 1 + εt et donc, en considérant contrairement à avant que t0 = 0, X_t=ct+X_0+\sum_{i=0}^{t-1}\varepsilon_{t-i}

si | φ | = 1:

\operatorname{E}[X_t]=ct+X_0\,
\operatorname{Var}[X_t]= t\sigma^2\,
\operatorname{Cov}[X_t,X_{t-j}]= (t-j)\sigma^2\,

Processus AR(p)

Un processus AR(p) s'écrit:

 X_t = c + \varphi_1 X_{t-1}+\varphi_2 X_{t-2}+\ldots+\varphi_p X_{t-p} + \varepsilon_t .\,

Moments

Les différents moments d'un processus stationnaire (voir section suivante) sont[1]:

\operatorname{E}(X_t)=\frac{c}{1-\varphi_1-\varphi_2-\ldots-\varphi_p}

\operatorname{Var}(X_t)=\varphi_1\gamma_1+\varphi_2\gamma_2+\ldots+\varphi_p\gamma_p+\sigma^2

\operatorname{Cov}(X_t, X_{t-j})=\varphi_1\gamma_{j-1}+\varphi_2\gamma_{j-2}+\ldots+\varphi_p\gamma_{j-p}

Les formules de la variance et de la covariance correspondent aux équations dites de Yule et walker (voir plus bas).

Condition de stationarité

Théorème — Un processus AR(p) est stationnaire si le module des solutions (les racines) de son équation caractéristique est à chaque fois strictement supérieur à 1 en valeur absolue.

La condition est souvent formulée différemment, selon laquelle les racines doivent être en dehors du cercle complexe unitaire.

Exemple: AR(1)

Le polynôme des retards d'un processus AR(1) Xt = φXt − 1 + εt s'écrit: (1 − φL)Xt = εt. Sa résolution (en remplaçant l'opérateur retard L par la simple valeur x) donne 1-\varphi x=0 \Rightarrow   x= \frac{1}{\varphi}. La condition que la solution soit plus grande que 1 revient à |\frac{1}{\varphi}|>1 \Rightarrow |\varphi|<1

Exemple: AR(2)

Le polynôme des retards d'un processus AR(2) Xt = φ1Xt − 1 + φ2Xt − 2 + εt s'écrit: (1 − φ1L − φ2L2)Xt = εt. La résolution de l'équation du second degré (1 − φ1x − φ2x2) amène aux conditions suivantes[2]:

  • φ1 + φ2 < 1
  • φ2 − φ1 < 1
  • | φ2 | < 1

Équations de Yule-Walker

Les équations de Yule-Walker établissent une correspondance directe entre les paramètres du modèle (les φ et c) et ses autocovariances. Elles sont utiles pour déterminer la fonction d'autocorrélation ou estimer les paramètres. Elles établissent que:

équation YW — \gamma_j = \sum_{k=1}^p \varphi_k \gamma_{j-k} \qquad \forall j=1, \ldots, p

Les coefficients γj représentent la fonction d'autocovariance de X d'ordre j.

Lorsque l'on inclut également l'autocovariance d'ordre 0 (en fait la variance), il faut également rajouter la variance des résidus pour la première équation. Ce terme supplémentaire ne se retrouve que dans la première équation car on a fait l'hypothèse d'indépendance des résidus (et donc \operatorname{Cov}(\varepsilon)=0).

équation YW — \gamma_j = \sum_{k=1}^p \varphi_k \gamma_{j-k} + \sigma_\varepsilon^2\delta_j \qquad \forall j=0,\ldots, p

σε est la déviation (écart-type) du bruit blanc et δj le Symbole de Kronecker, qui vaut 1 si j=0 et 0 autrement.

Il est aussi possible d'exprimer ces équations en fonctions de l'autocorrélation:

équation YW — \rho_j = \sum_{k=1}^p \varphi_k \rho_{j-k} + \sigma_\varepsilon^2\delta_j \qquad \forall j=0,\ldots, p

Exemples

AR(1)

Pour un processus AR(1), on a :

\gamma_j=\varphi \gamma_{j-1} \qquad \forall j=1,\ldots,p

On remarque que l'on retrouve rapidement, avec j=1, le résultat obtenu plus haut :

 \rho_1=\frac{\gamma_1}{\gamma_0}=\varphi
\operatorname{Var}[X_t]= \frac{\sigma^2}{1-\varphi^2} en prenant l'équation supplémentaire pour \gamma_0=\varphi\gamma_1 +\sigma^2_{\varepsilon}, qui devient alors \gamma_0=\varphi\gamma_0\varphi +\sigma^2_{\varepsilon}=\varphi^2\gamma_0 +\sigma^2_{\varepsilon}\Rightarrow(1-\varphi^2)\gamma_0=\sigma^2\Rightarrow \gamma_0=\frac{\sigma^2}{1-\varphi^2}
AR(p)
\begin{cases}
\gamma_1 =\varphi_1\gamma_0+\varphi_2\gamma_1+\ldots +\varphi_p\gamma_{p-1}\\
\gamma_2 =\varphi_1\gamma_1+\varphi_2\gamma_2+\ldots +\varphi_p\gamma_{p-2}\\
\vdots \\
\gamma_p =\varphi_{1}\gamma_{p-1}+\varphi_2\gamma_{p-2}+\ldots +\varphi_p\gamma_{0}
\end{cases}

Que l'on peut écrire sous forme matricielle:

\begin{bmatrix}
\gamma_1 \\
\gamma_2 \\
\gamma_3 \\
\vdots \\
\end{bmatrix} 

=

\begin{bmatrix}
\gamma_0 & \gamma_{-1} & \gamma_{-2} & \dots \\
\gamma_1 & \gamma_0 & \gamma_{-1} & \dots \\
\gamma_2 & \gamma_{1} & \gamma_{0} & \dots \\
\vdots      & \vdots         & \vdots       & \ddots \\
\end{bmatrix} 

\begin{bmatrix}
\varphi_{1} \\
\varphi_{2} \\
\varphi_{3} \\
 \vdots \\
\end{bmatrix}

Preuve

L'équation définissante du processus AR est

 X_t = \sum_{i=1}^p \varphi_i\,X_{t-i}+ \varepsilon_t.\,

En multipliant les deux membres par Xt − m et en prenant l'espérance, on obtient

E[X_t X_{t-j}] = E\left[\sum_{i=1}^p \varphi_i\,X_{t-i} X_{t-j}\right]+ E[\varepsilon_t X_{t-j}].

Or, il se trouve que E[XtXt − j] = γj par définition de la fonction d'autocovariance. Les termes du bruit blancs sont indépendants les uns des autres et, de plus, Xt − j est indépendant de εtj est plus grand que zéro. Pour j > 0, E[εtXt − j] = 0. Pour j = 0,

E[\varepsilon_t X_{t}] 
= E\left[\varepsilon_t \left(\sum_{i=1}^p \varphi_i\,X_{t-i}+ \varepsilon_t\right)\right]
= \sum_{i=1}^p \varphi_i\, E[\varepsilon_t\,X_{t-i}] + E[\varepsilon_t^2]
= 0 + \sigma_\varepsilon^2,

Maintenant, on a pour j ≥ 0,

\gamma_j = E\left[\sum_{i=1}^p \varphi_i\,X_{t-i} X_{t-j}\right] + \sigma_\varepsilon^2 \delta_j.

Par ailleurs,

E\left[\sum_{i=1}^p \varphi_i\,X_{t-i} X_{t-j}\right]
= \sum_{i=1}^p \varphi_i\,E[X_{t} X_{t-j+i}]
= \sum_{i=1}^p \varphi_i\,\gamma_{j-i},

qui donne les équations de Yule-Walker:

\gamma_m = \sum_{i=1}^p \varphi_i \gamma_{j-i} + \sigma_\varepsilon^2 \delta_j.

pour j ≥ 0. Pour j < 0,

\gamma_j = \gamma_{-j} = \sum_{i=1}^p \varphi_i \gamma_{|j|-i} + \sigma_\varepsilon^2 \delta_j.

Estimation

En partant du modèle AR(p) sans constante donné par:

 X_t = \sum_{i=1}^p \varphi_i X_{t-i}+ \varepsilon_t.\,

Les paramètres à estimer sont les \varphi_i \quad i=1,\ldots,p et \sigma^2_\varepsilon.

Méthode de Yule-Walker

La méthode consiste à reprendre les équations de Yule-Walker en inversant les relations: on exprime les coefficients en fonction des autocovariances. On applique alors le raisonnement de la Méthode des moments: on trouve les paramètres estimés d'après les autocovariances estimées.

En prenant l'équation sous sa forme matricielle:

\begin{bmatrix}
\gamma_0 \\
\gamma_1 \\
\gamma_2 \\
\gamma_3 \\
\vdots \\
\end{bmatrix} 

=

\begin{bmatrix}
\gamma_{-1} & \gamma_{-2} & \gamma_{-3} & \dots &1\\
\gamma_0 & \gamma_{-1} & \gamma_{-2} & \dots &0\\
\gamma_1 & \gamma_0 & \gamma_{-1} & \dots &0\\
\gamma_2 & \gamma_{1} & \gamma_{0} & \dots &0\\
\vdots      & \vdots         & \vdots       & \ddots &0\\
\end{bmatrix} 

\begin{bmatrix}
\varphi_{1} \\
\varphi_{2} \\
\varphi_{3} \\
 \vdots \\
\sigma^2_\varepsilon
\end{bmatrix}

Le vecteur des paramètres \hat\theta=\begin{pmatrix}
\hat\varphi_{1} \\
 \vdots \\
\hat\sigma^2_\varepsilon
\end{pmatrix} peut alors être obtenu.

Maximum de vraisemblance inconditionnel

L'estimation d'un modèle AR(P) par la méthode du maximum de vraisemblance est délicate car la fonction de vraisemblance est très complexe et n'a pas de dérivée analytique. Cette difficutlé provient de l'interdépendance des valeurs, ainsi que du fait que les observations antérieures ne sont pas toutes disponibles pour les p premières valeurs.

Maximum de vraisemblance conditionnel

Une manière de simplifier la complexité de la fonction de vraisemblance est de conditionner cette fonction aux p premières observations. La fonction de log-vraisemblance devient:  \begin{align}L(x_1, x_2,\ldots, x_T)&=-\frac{(T-P)}{2}\log(2 \pi) -\frac{(T-P)}{2}\log(\sigma^2)\\
&-\sum_{t=p+1}^{T}\frac{(y_t-c-\varphi_1y_{t-1}-\varphi_2y_{t-2}-\ldots-\varphi_py_{t-p})^2}{2\sigma^2}
\end{align}

La maximisation de cette fonction par rapport aux paramètres φ correspond à la minimisation des erreurs du modèle. L'estimateur du maximum de vraisembance conditionnel correspond ainsi à celui des moindres carrés.

L'estimateur obtenu sera équivalent à l'estimateur inconditionnel dans de grands échantillons et tous deux ont la même distribution asymptotique (Hamilton 1994, p. 126). Il peut être biaisé[3]

Propriétés des estimateurs

Davidson et McKinnon (1993) rapportent que l'estimateur des moindres carrés conditionnel est biaisé, mais néanmoins convergent. Cryer et Chan (2008) proposent une simulation Monte-Carlo pour tester les différents estimateurs.

Annexes

Bibliographie

  • (en) William H Greene, Econométrie, Paris, Pearson Education, 2005, 5e éde éd. (ISBN 978-2-7440-7097-6), p. 2 

Notes et références

  1. selon Hamilton (1994, p. 59)
  2. voir Cryer (2008, p. 84)
  3. voir Greene (2005, p. 256)

Articles connexes

  • Portail des probabilités et des statistiques Portail des probabilités et des statistiques

Wikimedia Foundation. 2010.

Contenu soumis à la licence CC-BY-SA. Source : Article Processus autorégressif de Wikipédia en français (auteurs)

Игры ⚽ Поможем написать реферат

Regardez d'autres dictionnaires:

  • ARMA —  Pour l’article homophone, voir Arma. En statistiques, les modèles ARMA (modèles autorégressifs et moyenne mobile), ou aussi modèle de Box Jenkins, sont les principaux modèles de séries temporelles. Étant donné une série temporelle Xt, le… …   Wikipédia en Français

  • Projet:Mathématiques/Liste des articles de mathématiques — Cette page n est plus mise à jour depuis l arrêt de DumZiBoT. Pour demander sa remise en service, faire une requête sur WP:RBOT Cette page recense les articles relatifs aux mathématiques, qui sont liés aux portails de mathématiques, géométrie ou… …   Wikipédia en Français

  • Marche aléatoire — Trois marches aléatoires (indépendantes) isotropes sur le réseau  ; 10 000 pas. En mathématiques, en économie, et en physique théorique, une marche au hasard est un modèle mathématique d un système possédant une dynamique discrète… …   Wikipédia en Français

  • Marche Au Hasard — Marche aléatoire Trois marches aléatoires (indépendantes) isotropes sur le réseau  ; 10 000 pas. En mathématiques et en physique théorique, une marche au hasard est un modèle mathématique d un système possédant une dynamique… …   Wikipédia en Français

  • Marche au hasard — Marche aléatoire Trois marches aléatoires (indépendantes) isotropes sur le réseau  ; 10 000 pas. En mathématiques et en physique théorique, une marche au hasard est un modèle mathématique d un système possédant une dynamique… …   Wikipédia en Français

  • Liste des articles de mathematiques — Projet:Mathématiques/Liste des articles de mathématiques Cette page recense les articles relatifs aux mathématiques, qui sont liés aux portails de mathématiques, géométrie ou probabilités et statistiques via l un des trois bandeaux suivants  …   Wikipédia en Français

  • AR — Cette page d’homonymie répertorie les différents sujets et articles partageant un même nom.   Sigles d’une seule lettre > Sigles de deux lettres   Sigles de trois lettres   Sigles de quatre lettres …   Wikipédia en Français

  • Ar — Cette page d’homonymie répertorie les différents sujets et articles partageant un même nom. {{{image}}}   Sigles d une seule lettre > Sigles de deux lettres   Sigles de trois lettres …   Wikipédia en Français

  • Opérateur retard — Dans l analyse des Séries temporelles, l opérateur retard, noté L (ou B quelquefois), est l opérateur qui, à tout élément d une série temporelle, associe l observation précédente. Définition    pour tout Sommaire …   Wikipédia en Français

  • Approche multimodèle — L approche multimodèle est une approche mathématique visant à représenter du mieux possible le fonctionnement dynamique d un processus, en utilisant des modèles Linéaires Invariants dans le Temps (LTI). Sommaire 1 Origine de l approche… …   Wikipédia en Français

Share the article and excerpts

Direct link
Do a right-click on the link above
and select “Copy Link”