4. Martingales à temps discret

Transcription

1 Martingales à temps discret Martingales à temps discret 4.1. Généralités. On fixe un espace de probabilités filtré (Ω, (F n ) n, F, IP ). On pose que F contient ses ensembles négligeables mais les tribus F n ne sont pas nécessairement posées complètes. On sait que la famille d ensembles F n n est pas une tribu. On définit donc F = σ( F n). F est une tribu, en général plus petite que F, laquelle jouera un rôle important dans la suite. Définition 4.1. Un processus réel adapté (X n ) est appelé une martingale (resp. une surmartingale, une sous-martingale) s il est intégrable et si, pour tout n N), IE(X n+1 F n ) = X n p.s. (resp., ). Donc (X n ) est une martingale (resp. une surmartingale, une sous-martingale) si et seulement si pour tout F n on a X n+1 dip = X n dip (resp., ) Notons que (X n ) est une surmartingale si et seulement si ( X n ) est une sous-martingale (et réciproquement) et que (X n ) est une martingale si et seulement si (X n ) est à la fois une surmartingale et une sous-martingale. Les définitions ci-dessus sont encore valables si on remplace X n intégrable par X n positif. On parlera alors de martingale (resp. surmartingale, sous-martingale) positive. Il reste entendu qu une martingale (resp. surmartingale, sous-martingale) sans adjectif est nécessairement intégrable. Exemple 4.2. Soit X L 1 ou 0. X n = IE(X F n ) est une martingale. Enfin un processus X = (Ω, F, (X n ), IP ) sera dit une martingale (resp. une surmartingale, une sous-martingale) si c est une martingale (resp. une surmartingale, une sous-martingale) par rapport à la filtration F 0 n = σ(x 0,..., X n ). Il est clair que le processus (X n ) est une martingale (resp. une surmartingale, une sous-martingale) si et seulement si IE(X n+1 X n F n ) = 0, (resp., ). Donc si (Y n ) est un processus adapté)(intégrable ou positif), alors X n = Y 0 + Y Y n définit une martingale (resp. une surmartingale, une sous-martingale) si et seulement si IE(Y n+1 F n ) = 0, (resp. 0, 0). En particulier si (Y n ) est une suite de v.a. indépendantes intégrables ou positives et si on pose S 0 = 0, S n = Y 0 + Y Y n pour n 1, alors (S n ) est une martingale (resp. une surmartingale, une sous-martingale) pour la filtration σ(y 0, Y 1,..., Y n ) si, pour tout n 1, IE(Y n ) = 0, (resp. 0, 0) Premières propriétés. Proposition 4.3. (i) Si (X n ) est une martingale (resp. une surmartingale, une sous-martingale), la suite (IE(X n )) est constante (resp. décroissante, croissante). (ii) Si (X n ) est une martingale (resp. une surmartingale, une sous-martingale), on a, pour m < n, IE(X n F m ) = X m p.s. (resp., ). (iii) Si (X n ) et (Y n ) sont des surmartingales, il en est de même de X n + Y n et de X n Y n. (iv) Si (X n ) est une martingale (resp. une surmartingale) et f est une fonction concave (resp. concave croissante) telle que f(x n ) est intégrable ou positive pour tout n 0, alors Y n = f(x n ) est une surmartingale En particulier si (X n ) est une martingale, X n et X 2 n sont des sous-martingales. (v) Si (X n ) est une martingale (resp. une surmartingale, une sous-martingale), il en est de même du processus stoppé X ν n = X n ν, où ν est un temps d arrêt de la filtration {F n } n.

2 Martingales à temps discret 26 Preuve: (i), (ii) et (iii) résultent directement des propriétés de l espérance conditionnelle. (iv) résulte de l inégalité de Jensen. Pour (v), on note que d après la définition d un temps d arrêt, on a {ν n + 1} = {ν n} c F n et donc IE(X ν n+1 X ν n F n ) = IE((X n+1 X n )1 {ν n+1} F n ) = = 1 {ν n+1} IE(X n+1 X n F n ). (4.1) Introduisons une notion importante. Définition 4.4. On dit qu un processus adapté ( n ) est un processus croissant prévisible si 0 = 0, n n+1 et si n+1 est F n mesurable. On a alors l important résultat suivant. Proposition 4.5. (Décomposition de Doob).Toute sous-martingale intégrable X n s écrit, de façon unique, sous la forme X n = M n + n avec (M n ) martingale intégrable et ( n ) processus croissant prévisible intégrable. Le processus croissant ( n ) s appelle le compensateur de la sousmartingale (X n ). Preuve: Soit (X n ) une sous-martingale intégrable. On définit 0 = 0, n+1 = n + IE(X n+1 X n F n ). Par construction, ( n ) n est un processus croissant prévisible intégrable et M n = X n n vérifie IE(M n+1 M n F n ) = 0 (puisque n+1 est F n mesurable!). La décomposition est de plus unique car si X n = M n + n = M n + n, on a 0 = 0 = 0 et n+1 n = X n+1 X n (M n+1 M n ) d où, en conditionnant par F n, n+1 n = IE(X n+1 F n )) X n = n+1 n d où n = n puis M n+1 = M n Théorème d arrêt. Soit (X n ) une surmartingale. On a donc, pour m < n, IE(X n F m ) X m p.s. On va s intéresser à cette propriété si l on remplace m et n par des temps d arrêt. Théorème 4.6. Soient (X n ) une martingale (resp. une surmartingale, une sous-martingale) intégrable ou positive et ν 1 et ν 2 deux temps d arrêt bornés avec ν 1 ν 2 ; alors on a IE(X ν2 F ν1 ) = X ν1, (resp., ). Preuve: Supposons d abord que ν 1 ν 2 = k N. Soit F ν1. Vu que {ν 1 = j} F j, on a, pour j k, {ν 1 =j} X j dip = {ν=j} X k dip. Sommant en j, on obtient, X ν1 dip = k j=0 {ν 1 =j} X j dip = k j=0 {ν 1 =j} X k dip = X ν2 dip Supposons maintenant que ν 1 ν 2 k N. lors, pour F ν1, comme X ν 2 est une martingale, X ν1 dip = X ν 2 ν 1 dip = dip = X ν2 dip. Prenant l espérance, on obtient le résultat suivant. Corollaire 4.7. Soient (X n ) une martingale (resp. une surmartingale, une sous-martingale) intégrable ou positive et ν un temps d arrêt borné, alors IE(X ν ) = IE(X 0 ), (resp., ). Dans ces énoncés, la condition ν borné est essentielle et ne peut être levée sans hypothèses plémentaires. X ν 2 k

3 Martingales à temps discret 27 Exemple 4.8. Considérons par exemple la marche aléatoire S 0 = 0, S n = X 1 + X X n où les (X n ) sont des v.a. indépendantes telles que IP (X k = 1) = IP (X k = 1) = 1 2. On montrera plus loin (voir Exercice 4.30)que ν = inf(n; S n = 1) vérifie IP (ν < + ) = 1. Par ailleurs (S n ) est une martingale. On a d une part IE(S 0 ) = IE(S n ) = 0 et d autre part S ν = 1 p.s. et donc IE(S ν ) = 1. La conclusion du Corollaire 4.7 n est donc pas satisfaite; ν n est pas borné car IP (ν > n) ( 1 2 )n > Inégalités maximales. Ce sont des inégalités concernant les v.a. max X k, 0 k n Théorème 4.9. On a, pour a > 0, max X k, 0 k n X n, n X n. n (i) si (X n ) est une surmartingale positive, IP ( k X k > a) 1 a IE(X 0); (ii) si (X n ) est une sous-martingale positive, IP ( max X k > a) 1 0 k n a {max 0 k n X k >a} X n dip 1 a IE(X n). Preuve: (i) Posons, pour a > 0, ν = inf(x n > a). Rappelons que ν = + si ( ) =. On a alors { k X k > a} = {ν < + } et X ν > a sur {ν < + } et donc X n ν a1 {ν n}. On en déduit IE(X 0 ) IE(X n ν ) aip (ν n) et, faisant tendre n vers +, aip (ν < + ) IE(X 0 ). (ii) Si (X n ) est une sous-martingale positive, on a (avec le même ν), {max 0 k n X k > a} = {ν n}. Pour k n, X k dip X n dip, d où On a alors, {ν=k} aip (ν n) n k=0 X ν dip = {ν n} X n dip = {ν=k} {ν=k} n k=0 X k dip {ν=k} X n dip IE(X n ). {ν n} Corollaire (Inégalité de Doob) Soient p > 1 et X n une martingale telle que n IE X n p < +. lors n X n p est intégrable et, X n p p n p 1 X n p. n Preuve: Supposons que X n soit une sous-martingale positive (cas auquel on se ramène en prenant X n si X n est une martingale). Posons Y n = max k n X k. D après la proposition précédente, P (Y n > a) 1 a E(X n1 Yn>a) d où l on déduit pa p 1 P (Y n > a) pa p 2 E(X n 1 Yn>a) et en intégrant et utilisant Fubini (tout est positif) E( pa p 1 1 Yn>ada) E(X n pa p 2 1 Yn>ada) i.e. E(Yn p ) p p 1 E(X nyn p 1 ) p p 1 E(Xp n) 1 p E(Yn p ) p 1 p en appliquant l inégalité de Hölder. De ce fait, E(Yn p ) 1 p p p 1 E(Xp n) 1 p p p 1 E(X p k ) 1 p d où le résultat en faisant tendre n vers l infini. Le cas le plus important est p = 2 pour lequel on a E[ n X 2 n] 4 n IE(X 2 n). 0 k 0 (4.2)

4 Martingales à temps discret Martingales de carré intégrable. L importance de la notion de martingale se justifie par un certain nombre de résultats de convergence. Dans ce paragraphe, nous commençons par regarder le cas le plus fort. Théorème Soit M n une martingale telle que n IE(M 2 n) < +. lors M n converge p.s. et dans L 2. Preuve: Remarquons que (M 2 n) est une sous-martingale et donc IE(M 2 n) est croissante. Puisque IE(M n+p M n ) = IE(M n IE(M n+p F n )) = IE(M 2 n), on a IE((M n+p M n ) 2 ) = IE(M 2 n+p) IE(M 2 n) (4.3) Supposons que la martingale (M n ) n soit bornée dans L 2 i.e. que n IE(M n) 2 < +. En fait, vu que IE(M n) 2 est croissante, IE(M n) 2 m. On a alors, d après (4.3), IE(M n+p M n ) 2 m IE(M n) 2 d où p IE(M n+p M n ) 2 n 0, ce qui montre que (M n ) est une suite de Cauchy dans L 2 et donc converge dans L 2. Montrons que (M n ) converge p.s.. Soit V n = i,j n M i M j. Evidemment V n V et il suffit de montrer que V = 0 p.s. car, alors, M n est p.s une suite de Cauchy et donc converge p.s.. Utilisant le Théorème 4.9, on a, pour tout ρ > 0, IP (V > ρ) IP (V n > ρ) = IP ( IP i n M i M n 2 > ρ2 ) 4 Ceci implique IP (V > 0) = 0. ( M i M j > ρ i,j n ) ( IP 4 ρ 2 E( (M i M n ) 2 ) 16 i n i n M i M n > ρ ) 2 ρ 2 IE(M i M n ) Théorèmes de convergence. Le Théorème 4.11 fournit un premier résultat de convergence. En particulier, il implique la convergence p.s. de toute martingale bornée. Le lemme suivant étend ce résultat aux sous-martingales bornées. Lemme Soit (X n ) une sous-martingale bornée par un réel K. lors (X n ) converge p.s. Preuve: Ecrivons X n = M n + n la décomposition de Doob de la sous-martingale X n. On a alors E( n ) = E(X n ) E(M n ) = E(X n ) E(M 0 ) 2K puisque 0 = 0 et donc (limite monotone) E( ) 2K d où < + p.s. Posons τ p = inf{n > 0, n+1 > p}. τ p est un temps d arrêt et M τp n = X τp n τp n K + p. De ce fait, (M τp n) est une martingale bornée qui converge donc p.s. Comme τp n converge naturellement p.s., on en déduit la convergence p.s. de X τp n, et donc celle de (X n ) sur l événement (τ p = + ). Comme ( < + ) p.s., on a P ( p 1 (τ p = + )) = 1 d où le résultat cherché. On a alors un premier théorème très agréable à utiliser car ses hypothèses sont très simples à vérifier. vant de l énoncer, rappelons qu on s autorise un abus de langage en cela qu une v.a positive peut prendre pour valeur + avec une probabilité non nulle. Théorème Soit (X n ) une surmartingale positive. lors elle converge p.s. vers une v.a. X et l on a X n IE(X F n ). De plus, si IP (X 0 < + ) = 1, IP (X < + ) = 1. Preuve: Remarquons que puisque x e x est une fonction convexe décroissante, Y n = e Xn est une sous-martingale telle que 0 Y n 1. De ce fait, d après le Lemme 4.12, Y n converge p.s. vers une variable positive Y. On pose X = ln Y. Par ailleurs, pour p n, on a E(X p /F n ) X n, et donc, appliquant le lemme de Fatou, E(X /F n ) X n. En particulier, E(X /F 0 ) X 0. Prenant M > 0, on obtient E(X 1 X0 M/F 0 ) X 0 1 X0 M M d où X < + p.s. sur l événement (X 0 < M). D où le résultat cherché puique M>0 (X 0 < M) = Ω. Bien entendu, une martingale positive est une surmartingale positive et le théorème précédent donne également la convergence dans ce cas. i n

5 Martingales à temps discret 29 Le théorème suivant traite le cas des sous-martingales bornées dans L 1. Théorème Soit (X n ) une sous-martingale telle que n IE X n < +. converge p.s. lors (X n ) Preuve: Notons que (X n + ) est une sous-martingale. Considérons X n + = M n + n sa décomposition de Doob. lors E( ) = E( n ) E( M 0 ) + E( X n ) < +. Posons Y n = M n + E( /F n ). On a Y n X n + X n et donc Y n est une martingale positive et Z n = Y n X n est une surmartingale positive, qui de ce fait convergent p.s. toutes les deux. Comme Y 0 et Z 0 sont clairement finies p.s., le Théorème 4.13 donne X < + et Z < + p.s. et donc la convergence p.s. de X n = Y n Z n. Il faut noter que, contrairement au cas L 2, la condition n IE X n < + n implique pas la convergence dans L 1 comme le montre l exemple suivant. Ceci est naturellement à rapprocher de l équiintégrabilité (voir Exercice 2.5). Exemple On choisit Ω = [0, 1], F = B(R), P = mesure de Lebesgue, F n = σ([k2 n, (k + 1)2 n [, k = 0,..., 2 n 1), X n = 2 n 1 [0,2 n [. On vérifie facilement que X n est une F n martingale, que X n converge vers 0, que IE X n = IE(X n ) = 1 et donc que X n ne converge pas vers 0 dans L Martingales régulières. Notre premier exemple de martingale mérite d être étudié spécifiquement. Définition Une martingale de la forme X n = IE(X F n ), X L 1, est dite régulière. On a le résultat de convergence suivant. Théorème Soit X L 1. La martingale régulière X n = IE(X F n ) converge p.s. et dans L 1 vers IE(X F ). Preuve: IE X n = IE IE(X F n ) IE(IE( X F n ) = IE(IE( X ) = IE X. Donc (Th. 4.14) X n X p.s. Etudions la convergence dans L 1. Ecrivant X = X + X, on peut poser X 0. Soit a > 0. D après le théorème de convergence dominée X X a 1 0 lorsque a +. On vient de voir que IE(X a F n ) converge p.s. mais, étant borné, IE(X a F n ) converge aussi dans L 1. Il suffit alors d écrire que IE(X F n ) IE(X F m ) 1 IE(X F n ) IE(X a F n ) 1 + IE(X a F n ) IE(X a F m ) IE(X a F m ) IE(X F m ) 1 2 X X a 1 + IE(X a F n ) IE(X a F m ) 1 pour en déduire que IE(X F n ) est une suite de Cauchy dans L 1 et donc converge dans L 1. Par définition de X n, pour tout F n, X n dip = X dip, d où, puisque X n converge dans L 1, pour tout F n, X dip = X dip. (4.4) Il est facile de voir par un argument classique que (4.3) est valable pour tout F = σ( F n). Ce qui montre que X = IE(X F ). En fait, la réciproque du Théorème 4.17 est aussi valable, et on a donc: Théorème Une martingale est régulière si et seulement si elle converge dans L 1.

6 Martingales à temps discret 30 Preuve: Soit X n une martingale convergeant dans L 1 vers une v.a. X. Puisque X n X + X X n, on a n IE X n < +. Donc (Th. 4.14), X n converge p.s. vers X. On a alors, pour tout p, pour tout F n, X n+p dip = X n dip, et, faisant tendre p vers +, vu que X n+p converge dans L 1, pour tout F n, X dip = ce qui signifie que X n = IE(X F n ). X n dip, Un intérêt majeur des martingales régulières est que pour elles le théorème d arrêt prend une forme particulièrement agréable. Notons d abord que si X n est une martingale régulière de limite X, la martingale est fermée en ce sens que (X n, n N) est une martingale i.e. vérifie la définition pour tout m n +. lors, si ν est un temps d arrêt à valeurs N, X ν est parfaitement définie par X ν = X sur {ν = + }. Proposition Soit X n = IE(X F n ), X L 1, une martingale régulière. lors, (i) si ν est un temps d arrêt, X ν est intégrable et X ν = IE(X F ν ), (ii) si ν 1 ν 2 sont deux temps d arrêt, IE(X ν2 F ν1 ) = X ν1. Preuve: On sait que IE(X F ν ) = IE(X F n ) = X n sur {ν = n}, n N et donc X ν = IE(X F ν ) L 1. Quant à (ii), vu que F ν1 F ν2, on a IE(X ν2 F ν1 ) = IE(IE(X F ν2 ) F ν1 ) = IE(X F ν1 ) = X ν1. Ci-après sont reproduits les exercices et problèmes concernant les martingales à temps discret dont la correction peut être trouvée dans le livre Martingales et Chaines de Markov de P.Baldi,L.Mazliak et P.Priouret, Editions Hermann, vademecum indispensable et économique de l étudiant de DE (!). Exercice a) Soit X = (X n ) une surmartingale telle que IE(X n ) soit constante. Montrer que (X n ) est une martingale. b ) Soit (X n ) un processus intégrable adapté à la filtration (F n ). Montrer que (X n ) est une (F n ) -martingale si et seulement si, pour tout temps d arrêt borné τ de (F n ), on a IE(X τ ) = IE(X 0 ). Exercice Soit (Ω, F, (F n ), IP ) un espace de probabilité filtré sur lequel on considère deux martingales (X n ) et (Y n ) de carré intégrable. a ) Montrer que, pour m n, on a IE(X m Y n F m ) = X m Y m p.s. b ) Montrer que IE(X n Y n ) IE(X 0 Y 0 ) = n k=1 IE((X k X k 1 )(Y k Y k 1 )). Exercice Soit (Ω, F, (F n ), IP ) un espace de probabilité filtré sur lequel on considère une martingale réelle (M n ) telle que, pour tout n 0, M n K. On pose n 1 X n = k (M k M k 1 ). Montrer que (X n ) n 1 est une (F n ) -martingale qui converge p.s. et dans L 2. k=1 Exercice Soit (Y n ) n 1 une suite de v.a. indépendantes de même loi normale N(0, σ 2 ), où σ > 0. On pose F n = σ(y 1,..., Y n ) et X n = Y Y n. On rappelle que IE(e uy 1 ) = e u2 σ 2 /2. (4.5) 1 ) Soit Z u n = exp(ux n nu 2 σ 2 /2). Montrer que, pour tout u R, (Z u n) n 1 est une (F n ) n 1 -martingale. 2 ) Montrer que, pour tout u R, (Z u n) n 1 converge p.s. vers une v.a. Z u finie. Que vaut cette limite? Pour quelles valeurs de u R, (Z u n) n 1 est-elle une martingale régulière?

7 Martingales à temps discret 31 Exercice On dit qu un processus (M n ) est à accroissements indépendants si, pour tout n, la v.a. M n+1 M n est indépendante de la tribu F n = σ(m 0,..., M n ). 1 ) Soit (M n ) une martingale de carré intégrable et à accroissements indépendants. On pose σ 2 0 = Var(M 0) et, pour n 1, σ k = Var(M k M k 1 ). 1a ) Montrer que Var(M n ) = n k=0 σ2 k. 1b ) Soit ( M n ) le processus croissant associé à (M n ). Calculer M n. 2 ) Soit (M n ) une martingale gaussienne (on rappelle que le processus (M n ) est gaussien si, pour tout n, le vecteur (M 0,..., M n ) est gaussien). 2a ) Montrer que (M n ) est à accroissements indépendants. 2b ) Montrer que, pour tout θ R fixé, le processus est une martingale. Cette martingale converge-t-elle p.s.? Z θ n = e θmn θ2 2 M n (4.6) Exercice Soit (X n ) une suite de v.a. à valeurs [0, 1]. On pose F n = σ(x 0,..., X n ). On pose que X 0 = a [0, 1] et que ( IP X n+1 = X ) ( n F n = 1 X n, IP X n+1 = 1 + X ) n F n = X n ) Montrer que (X n ) est une martingale qui converge p.s. et dans L 2 vers une v.a. Z. 2 ) Montrer que IE((X n+1 X n ) 2 ) = 1 4 IE(X n(1 X n )). 3 ) Calculer IE(Z(1 Z)). Quelle est la loi de Z? Exercice l instant 1 une urne contient une boule blanche et une boule rouge. On tire une boule et on la remplace par deux boules de la même couleur que celle tirée, ce qui donne la nouvelle composition de l urne à l instant 2, et ainsi de suite suivant le même procédé. On note Y n et X n = Y n /(n + 1) le nombre et la proportion de boules blanches dans l urne à l instant n. On pose F n = σ(y 1,..., Y n ). 1 ) Montrer que (X n ) n 1 est une martingale qui converge p.s. vers une v.a. U et que l on a, pour tout k 1, lim n + IE(Xk n) = IE(U k ). 2 ) On fixe k 1. On pose, pour n 1, Z n = Y n(y n + 1)...(Y n + k 1) (n + 1)(n + 2)...(n + k) Montrer que (Z n ) n 1 est une martingale. Quelle est sa limite? En déduire la valeur de IE(U k ). 3 ) Soit X une v.a. réelle telle que X M < + p.s. Montrer que sa fonction caractéristique se développe en série entière φ (k) (0) φ(t) = t k (4.7) k! pour tout t R. 4 ) Quelle est la loi de U? k=0 Exercice (Une preuve de la loi 0-1 de Kolmogorov par les martingales) Soit (Y n ) n 1 une suite de v.a. indépendantes. On définit ( ) F n = σ(y 1,..., Y n ), F = σ F n n 1 F n = σ(y n, Y n+1,... ), F = n 1 F n.

8 1 ) Soit F. Montrer que IP () = 0 ou 1. (Suggestion: Z n = IE Fn (1 ) est une martingale... ). 2 ) Montrer que, si X est une v.a.r. F -mesurable, X = a p.s. Martingales à temps discret 32 Exercice (Une preuve par les martingales inverses de la loi forte des grands nombres) Soit (Y n ) n 1 une suite de v.a. réelles, indépendantes, de même loi et intégrables. On pose S 0 = 0, S n = Y Y n et G n = σ(y Y n, Y n+1, Y n+2,... ). 1 ) Montrer que, pour 1 m n, IE Gn (Y m ) = IE Gn (Y 1 ) p.s. et en déduire que IE Gn (Y 1 ) = S n /n p.s. 2 ) Que peut-on dire de la convergence de Z n = IE Gn (Y 1 )? 3 ) Montrer que X = IE(Y 1 ) p.s. Exercice Soit (Ω, F, (F n ), (M n ), IP ) une martingale de carré intégrable. On note n = M n le processus croissant associé et = lim n n. On a vu que cette martingale converge p.s. sur l événement { < + }. Dans cet exercice, on précise ce qui se passe sur { = + }. On pose n M k M k 1 X 0 = 0, X n =, n k 1 ) Montrer que (X n ) est une martingale de carré intégrable et que k=1 IE F n 1 [(X n X n 1 ) 2 ] n n En déduire que X n 1 pour tout n et que (X n ) converge p.s. 2a ) Soient (a n ) une suite de nombres strictement positifs telle que une suite de nombres réels convergeant vers u. Montrer que 1 n (a k a k 1 )u k a n k=1 n u. lim n + a n = + et (u n ) 2b ) (Lemme de Kronecker). Soient (a n ) une suite de nombres strictement positifs telle que lim a n = + et (x n ) une suite de nombres réels. On pose s n = x x n. Montrer que n + si la série de terme général x n /s n converge, alors lim n + s n a n = 0. 3 ) Montrer que, sur { = }, M n / n n 0 p.s. Exercice Soit (Z n ) n 1 une suite de v.a. indépendantes telles que IP (Z i = 1) = IP (Z i = 1) = 1 2 pour i = 1, 2,... On pose S 0 = 0, S n = Z Z n, F 0 = {Ω, } et F n = σ(z 1,..., Z n ). Soient a un entier > 0 et τ = inf{n 0, S n = a} le premier temps de passage par a. a ) Montrer que X θ n = eθsn (cosh θ) n est une (F n ) -martingale. Montrer que, si θ 0, (X θ n τ ) est une (F n ) -martingale bornée. b1 ) Montrer que, pour tout θ > 0, (X θ n τ ) converge p.s. et dans L 2 vers la v.a. W θ = b2 ) Montrer que IP {τ < + } = 1 et que, pour tout θ 0, e θa (cosh θ) τ 1 {τ<+ } (4.8) IE[(cosh θ) τ ] = e θa.

9 Martingales à temps discret 33 Exercice Soit, comme dans l Exercice 4.30, (Z n ) n 1 une suite de v.a. indépendantes telles que IP (Z i = 1) = IP (Z i = 1) = 1 2 pour i = 1, 2,... On pose S 0 = 0, S n = Z Z n, F 0 = {Ω, } et F n = σ(z 1,..., Z n ). Soient a un entier > 0 et λ un réel tel que 0 < λ < π/(2a). Soit τ = inf{n 0, S n = a} le temps de sortie de ] a, a[. a ) Montrer que X n = (cos λ) n cos(λs n ) est une (F n ) -martingale. b ) Montrer que 1 = IE(X n τ ) cos(λa)ie((cos λ) n τ ). c ) En déduire que IE((cos λ) τ ) (cos(λa)) 1 puis que τ est p.s. fini et que la martingale (X n τ ) est régulière. d ) Que vaut IE((cos λ) τ )? -t-on τ L p, p 1? Exercice Soit (S n ) une marche aléatoire simple sur Z: S 0 = 0, S n = U 1 + +U n, où les v.a. U i sont indépendantes et de même loi et telles que 0 < IP {U i = 1} = p < 1, IP {U i = 1} = 1 p := q. a ) Soit Z n = ( q p )Sn. Montrer que (Z n ) est une martingale positive. b ) Déduire d une inégalité maximale appliquée à la martingale (Z n ) que { } ( p ) k IP S n k q et que, lorsque q > p, ( IE ) S n p q p Exercice On considère une suite (X n ) n 1 de v.a. réelles indépendantes de même loi normale N(m, σ 2 ) avec m < 0 et on pose S 0 = 0, S n = X X n et B n = σ(s 0,..., S n ) W = S n. Le but de cet exercice est de montrer certaines propriétés de la v.a. W. 1 ) Montrer que IP (W < + ) = 1. 2 ) On rappelle que, pour λ réel, IE(e λx 1 ) = e λ2 σ 2 /2 e λm. Que vaut IE(e λs n+1 B n )? 3 ) Montrer qu il existe un λ 0 > 0 unique tel que (e λ 0S n ) soit une martingale. 4 ) Montrer que, pour tout a > 1, on a et que, pour t > 0, IP (W > t) e λ 0t. 5 ) Montrer que IE(e λw ) = 1 + λ IP (e λ 0W > a) 1 a + 0 e λt IP(W > t) dt (4.9) et en déduire que, pour tout λ < λ 0, IE(e λw ) < +. En particulier la v.a. W a des moments de tous les ordres. Exercice Soit (Ω, F, (F n ), (X n ), IP ) une sous-martingale telle que IE X n < +. 1 ) Montrer que, n étant fixé, la suite (IE Fn (X + p )) p n est croissante en p. 2 ) On pose M n = lim p IE Fn (X + p ). Montrer que (M n ) est une martingale positive intégrable. 3 ) On pose Y n = M n X n. Montrer que (Y n ) est une surmartingale positive intégrable.

10 Martingales à temps discret 34 Remarque: On conclut donc que toute sous-martingale bornée dans L 1 s écrit comme la différence d une martingale et d une surmartingale positives intégrables (décomposition de Krickeberg). Exercice Soit (Y n ) une suite de v.a. indépendantes et de même loi telles que IP (Y k = 1) = IP (Y k = 1) = 1 2. On pose B 0 = {, Ω}, B n = σ(y 1,..., Y n ) et S 0 = 0, S n = Y Y n, n 1. On considère le processus défini par n M 0 = 0, M n = sign(s k 1 )Y k, n = 1, 2,... k=1 1 ) Quel est le compensateur de la sous-martingale (S 2 n)? 2 ) Montrer que (M n ) est une martingale et calculer le compensateur de (M 2 n). 3 ) Quelle est la décomposition de Doob de ( S n )? En déduire que M n est mesurable par rapport à la tribu σ( S 1,..., S n ). Exercice Soient p et q deux probabilités sur un espace discret E telles que p q et q(x) > 0 pour tout x E. Soit (X n ) n 1 une suite de v.a. indépendantes à valeurs E et de même loi q. Montrer que la suite n p(x k ) Y n = q(x k ) k=1 est une martingale positive dont la limite p.s. est 0. La martingale est-elle régulière? (Suggestion: calculer la moyenne de Y n.) Exercice Soit (Y n ) n 1 une suite de v.a. positives indépendantes d esperance 1 et F 0 = {, Ω}, F n = σ(y k ; k n). On pose X 0 = 1 et X n = n k=1 Y k. 1 ) Montrer que (X n ) est une martingale pour la filtration (F n ) et en déduire que ( X n ) est une surmartingale. 2 ) On pose que k=1 IE( Y k ) = 0. Étudier la convergence et la limite de ( X n ) et puis de (X n ). La martingale (X n ) est-elle régulière? 3 ) On pose que k=1 IE( Y k ) > 0. Montrer que ( X n ) est une suite de Cauchy dans L 2 et en déduire que la martingale (X n ) est régulière. Exercice Le but de cet exercice est de fournir une version du Lemme de Borel-Cantelli pour une famille de v.a. non nécessairement indépendantes, ce qui est souvent utile. On rappelle que, pour une martingale (M n ), les trois conditions sont équivalentes. IE( M n ) < +, IE(M n + ) < +, IE(M n ) < + Soient (Ω, F, (F n ), IP ) un espace de probabilités filtré et (Y n ) n 1 une suite de v.a. positives, intégrables, adaptées (pas nécessairement indépendantes). 1a ) On pose X 0 = 0, X n = Y 1 + +Y n. Montrer que (X n ) est une sous-martingale et déterminer le processus croissant associé ( n ) n 1. 1b ) Montrer que, pour tout a > 0, τ a = inf{n, n+1 > a} est un temps d arrêt. 1c ) On pose Z n = X n n. Montrer que, pour tout n, Z n τ a a. En déduire que (Z n τa ) converge p.s. 1d ) Montrer que {lim n n < + } {lim n X n < + } p.s. (suggestion: se placer sur {τ a = + }). 2 ) On pose, de plus, que n 1 Y n L 1. Montrer que { lim n X n < + } = { lim n n < + } p.s.

11 Martingales à temps discret 35 (on pourra introduire le temps d arrêt σ a = inf( n, X n > a) et considérer Z + n σ a ). 3 ) Soit (B n ) n 1 une suite d événements adaptés. Montrer que { } { } IP F n 1 (B n ) < + = 1 Bn < + n 1 Exercice Soit (X n ) n 1 une suite de v.a. réelles, de carré intégrable, adaptées, définies sur (Ω, F, (F n ), IP ), et (σ 2 n) une suite de nombres positifs. On pose que p.s., pour tout n 1, n 1 IE F n 1 (X n ) = 0, IE F n 1 (X 2 n) = σ 2 n p.s. (cette condition est satisfaite, par exemple, si les v.a. (X n ) n 1 sont indépendantes centrées et de variance finie). On pose S 0 = 0, 0 = 0 et, pour n 1, S n = X X n, n = σ σ2 n, V n = Sn 2 n. 1 ) Montrer que (S n ) et (V n ) sont des martingales intégrables. 2 ) Montrer que, si k=1 σ2 k < +, (S n) converge p.s. et dans L 2. 3 ) On pose que (S n ) converge p.s. et qu il existe une constante M telle que, pour tout n 1, X n M p.s. Pour a > 0, on pose τ a = inf{n 0; S n > a}. 3a ) Montrer que, pour tout n, IE(S 2 n τ a ) = IE( n τa ). 3b ) Montrer qu il existe a > 0 tel que IP (τ a = + ) > 0. 3c ) En déduire que k=1 σ2 k < +. Remarque: Soit (X n ) n 1 une suite de v.a. réelles, centrées, indépendantes, de carré intégrable. Il est clair qu une telle suite vérifie les hypothèses de cet exercice. On a donc retrouvé les résultats classiques: (i ) si k=1 Var(X k) < +, alors k=1 X k converge p.s., (ii ) si les v.a. X k sont uniformément bornées, alors k=1 X k converge p.s. si et seulement si k=1 Var(X k) < +. Exercice Soit (Ω, F, (F n ), (M n ), IP ) une martingale de carré intégrable et notons n = M n le processus croissant associé. On pose τ a = inf{n 0; n+1 > a 2 }. 1 ) Montrer que τ a est un temps d arrêt. 2 ) Montrer que IP ( M n τa > a) a 2 IE( a 2 ). 3 ) Montrer que ( IP ) ( M n > a IP ( > a 2 ) + IP p.s.. ) M n τa > a. (4.10) 4 ) Soit X une v.a. positive. Montrer, en appliquant le théorème de Fubini, les deux relations λ 0 0 IP (X > t) dt = IE(X λ) pour tout λ [0, + ], a 2 IE(X a 2 ) da = 2IE( X). 5 ) Montrer que IE( M n ) 3IE( ), (on pourra intégrer (4.10) par rapport à a de 0 à +... ). 6 ) Soit (Y n ) n 1 une suite v.a. centrées, indépendantes, de même loi et de carré intégrable. On pose S 0 = 0, F 0 = {Ω, } et, pour n 1, S n = Y Y n, F n = σ(y 1,..., Y n ). Montrer que si τ est un temps d arrêt tel que IE( τ) < +, alors IE(S τ ) = 0. Remarque: Il est interessant de comparer le résultat de la question 6) avec celui de la partie de l Exercice 4.42 pour m = 0. On en déduit que le temps de passage τ de la partie 4) de l Exercice 4.42 est de plus tel que IE( τ) = +.

12 Martingales à temps discret 36 Exercice Sur un espace de probabilité (Ω, F, IP ) on considère des v.a. Xn, i n = 1, 2,..., i = 1, 2, indépendantes et de Bernoulli B(1, 1 2 ). On pose Si n = n k=1 Xi k, ν i = inf{n; Sn i = a} où a est un entier 1. On pose ν = ν 1 ν 2. 1 ) Montrer que IP (ν i < + ) = 1, i = 1, 2. 2 ) On pose, pour i = 1, 2 et tout n 0, M i n = 2S i n n, M i,j n = (2S i n n)(2s j n n) nδ i,j où δ i,j = 1 si i = j et = 0 sinon. Montrer que (Mn) i n et (Mn i,j ) n sont des martingales par rapport à la filtration F n = σ(xk i, i = 1, 2, k n). 3 ) Montrer que IE(ν) 2a. 4 ) Montrer que IE(M i,j ν ) = 0. 5 ) Montrer que IE( S 1 ν S 2 ν ) a (suggestion: considérer la martingale M 1,1 n 2M 1,2 n + M 2,2 n ). Exercice (Identités de Wald) Soit (Y n ) n 1 une suite de v.a.r. indépendantes, intégrables, de même loi. On pose m = IE(Y 1 ), S 0 = 0, F 0 = {Ω, } et, pour n 1, S n = Y Y n, F n = σ(y 1,..., Y n ). Soit ν un temps d arrêt intégrable. 1 ) On pose X n = S n nm. Montrer que (X n ) est une martingale. 2 ) Montrer que, pour tout n, IE(S n ν ) = mie(n ν). 3 ) Montrer que S ν est intégrable et que IE(S ν ) = mie(ν) (considérer d abord le cas Y n 0). 4 ) Supposons IP (Y n = 1) = IP (Y n = 1) = 1 2, pour tout n et τ = inf{n; S n a}, où a est un entier 1. Dans l Exercice 4.30, on a montré que τ < + p.s. Montrer que τ n est pas intégrable. B ) On pose de plus que IE(Y 2 1 ) < + et on note σ2 = Var(Y 1 ). On pose d abord que m = 0 et on pose Z n = S 2 n nσ 2. B1 ) Montrer que (Z n ) est une F n -martingale. B2 ) Montrer que, pour tout j < k, IE[Y j 1 {j ν} Y k 1 {k ν} ] = 0 puis que IE[ (suggestion: on utilise )). k=1 Y 2 k 1 {k ν}] < + B3 ) Montrer que (S n ν ) est une suite de Cauchy dans L 2. En déduire que S n ν n S ν dans L 2. B4 ) Montrer que IE(S 2 ν) = σ 2 IE(ν). B5 ) On ne pose plus m = 0. Montrer que IE((S ν mν) 2 ) = σ 2 IE(ν). Exercice Soit (Ω, F, (F n ), IP ) un espace de probabilité filtré et ν une mesure finie sur F = F. On pose que, pour tout n 0, IP domine ν sur F n et on note X n la densité de Radon-Nikodym: X n est donc F n -mesurable et ν() = X n dip pour tout F n (en particulier X n 0). a ) Montrer que (X n ) est une martingale. b ) Montrer que (X n ) converge p.s. vers une variable intégrable X. c ) Montrer que si IP domine ν sur F, X est la densité de Radon-Nikodym correspondante. d ) On pose que les deux mesures ν et IP sont étrangères sur F, c est à dire qu il existe S F tel que IP (S) = 1 et ν(s) = 0. Montrer qu alors X = 0 p.s.

13 Martingales à temps discret 37 Exercice Soit (X n ) une martingale intégrable définie sur un espace (Ω, F, (F n ), IP ) et soit ν un temps d arrêt vérifiant IP (ν < + ) = 1, IE( X ν ) < +, X n dip 0. n 1 ) Montrer que X ν dip {ν>n} n 0 2 ) Montrer que IE( X ν n X ν ) 0. 3 ) En déduire que IE(X ν ) = IE(X 0 ). {ν>n} Exercice (Un résultat d arrêt pour un temps d arrêt non borné) On considère une surmartingale intégrable (Ω, F, (F n ), (X n ), IP ). On pose qu il existe une constante M telle que, pour tout n 1, IE F n 1 ( X n X n 1 ) M p.s. 1 ) Montrer que, si (V n ) n 1 est un processus positif tel que, pour tout n 0, V n soit F n 1 -mesurable, on a ( ) ( IE V n X n X n 1 MIE V n ). n=1 2 ) Soit ν un temps d arrêt intégrable. On rappelle que IE(ν) = n 1 IP {ν n}. 2a ) Déduire de 1) que IE( n 1 1 {ν n} X n X n 1 ) < +. 2b ) Que vaut n 1 1 {ν n}(x n X n 1 )? En déduire que X ν est intégrable. 3 ) Montrer que (X ν p ) p 0 tend vers X ν dans L 1 lorsque p 4 ) En déduire que, si ν 1 ν 2 sont deux temps d arrêt avec ν 2 intégrable, on a IE(X ν2 F ν1 ) X ν1 (on peut se servir du fait suivant: si F ν1, alors {ν 1 k} F ν1 k, après l avoir prouvé... ). Exercice ) Montrer qu une martingale est régulière si et seulement si elle est équiintégrable (Voir Exercice 2.5). 2 ) Soit (X n ) une martingale verifiant Montrer que (X n ) est une martingale régulière. n=1 IE[ X n log + X n ] < +. (4.11) Remarque:Le résultat le plus important de cet exercice est le suivant: une martingale est régulière si et seulement si elle elle est équi-intégrable, c est-à-dire vérifie la condition X n dip 0. a + { X n >a} Exercice Soit (Ω, F, IP ) un espace de probabilité. On pose que la tribu F est séparable i.e. qu il existe une famille dénombrable (F n ) n 1 d événements tels que F = σ(f n, n 1). Soit Q une probabilité sur (Ω, F) absolument continue par rapport à IP, i.e. vérifiant Q() = 0 si IP () = 0. 1a ) Soit ( n ) n 1 une suite d événements tels que n=1 IP ( n) < + et vérifiant, pour tout n, Q( n ) α > 0. Soit = lim n n. Montrer que IP () = 0 et Q() α. 1b ) En déduire que, pour tout ε > 0, il existe η > 0 tel que IP () < η implique Q() < ε. 2 ) Montrer qu il existe une famille dénombrable P n = (G n,k ) 1 k r(n) de partitions finies de Ω telle que F n = σ(f 1,..., F n ) = σ(p n ).

14 3 ) Soit I n = {k {1,..., r(n)}, IP (G n,k ) > 0}. On pose Martingales à temps discret 38 X n = k I n Q(G n,k ) IP (G n,k ) 1 G n,k. Montrer que (X n ) n 1 est une (F n ) -martingale qui converge p.s. 4 ) Montrer que la martingale (X n ) n 1 est équi-intégrable (utiliser 1b)) et en conclure qu elle converge dans L 1. 5 ) Montrer que, pour tout F, Q() = X dip, où X = lim n + X n. Remarque: Cet exercice présente une démonstration du théorème de Radon-Nikodym pour une tribu séparable. On peut, mais c est assez technique, étendre cette démonstration aux tribus quelconques. Exercice Sur l espace de probabilité filtré (Ω, F, (F n ), IP ) on considère une sous-martingale (X n ) telle que X 0 = 0. Soit ( n ) son compensateur. On a déjà vu comment déduire des informations sur la convergence d une martingale, à partir du comportement du processus croissant associé. Dans ce problème on va plus à fond sur cette question. 1 ) On pose que X n 0 pour tout n et on pose, pour a > 0, σ a = inf(n 1, n+1 > a). 1a ) Montrer que σ a est un temps d arrêt. 1b ) Montrer que IE[X n σa ] a. 1c ) En déduire que (X n ) converge p.s. sur {σ a = + }. 1d ) Montrer que, p.s., { { < + } {X n converge} } X n < +. On pose, pour a > 0, τ a = inf(n 1, X n > a). On dit que (X n ) est de classe C + si, pour tout a > 0, IE[( τa ) + 1 {τa<+ }] = C a < + où n = X n X n 1, n 1 (en particulier (X n ) est de classe C + si IE( X n X n 1 ) M < + pour tout n 0). 2 ) On pose que (X n ) est de classe C + (on ne pose plus X n 0). 2a ) Montrer que IE[X + τ a 1 {τa<+ }] a + C a, puis que IE[X + n τ a ] 2a + C a. 2b ) En déduire que IE X n τa < +, puis que (X n ) converge p.s. sur {τ a = + } (utiliser l égalité x = 2x + x). 2c ) En déduire que p.s. {X n converge} = { X n < + }. 2d ) Montrer que IE[ n τa ] = IE[X n τa ] 2a + C a. En déduire que IE[ τa ] < + et que, p.s., {τ a = + } { < + }. 2e ) Montrer que p.s. { X n < + } { < + }. 2f ) On pose de plus que X n 0 pour tout n; montrer que { } {X n converge} = X n < + = { < + } p.s.. 3 ) On pose que (X n ) est une martingale satisfaisant à la relation IE( n ) < +. Montrer que p.s. { } Ω = {X n converge} lim X n = +, lim inf X n =. n n 4 ) Soit (B n ) n 1 une suite d événements adaptés. Montrer que p.s. { } { } IP F n 1 (B n ) < + = 1 Bn < +. n=1 n=1

15 Martingales à temps discret 39 5 ) Soit (M n ) une martingale de carré intégrable, nulle en 0, et ( M n ) le processus croissant associé. On pose n = M n. 5a ) Montrer que la sous-martingale X n = (M n + 1) 2 a pour compensateur ( n ). 5b ) En déduire (utiliser 1)) que p.s. { < + } {M n converge}. 5c ) On pose de plus que IE( M n+1 M n 2 ) < +. Montrer que p.s. { < + } = {M n converge} } { = + } = {lim n + M n = +, lim n + M n =. (une inégalité utile: y 2 x 2 y x x y x ). Exercice Dans ce problème on montre, avec une méthode probabiliste, que toute fonction Lipschitzienne est primitive d une fonction mesurable bornée. Soient f : [0, 1] R, une fonction Lipschitzienne de constante de Lipschitz L > 0 et X une v.a. à valeurs [0, 1], de loi uniforme. On pose X n = [2n X] 2 n et Z n = 2 n (f(x n ) f(x n n )) où [x] désigne la partie entière du réel x. a ) Etudier la convergence de (X n ). b ) Montrer l égalité de tribus σ(x n, X n+1,... ) = σ(x). c ) Déterminer la loi conditionnelle de X n+1 sachant (X k ) k n. En déduire que (Z n ) est une martingale bornée. On note Z sa limite p.s. et dans L 1. d ) Montrer qu il existe une fonction g borélienne telle que Z = g(x). e ) Calculer la loi conditionnelle de X sachant X n et montrer que p.s., Z n = 2 n Xn+ 1 2 n f ) Déduire que pour tout k, n, 0 k 2 n 1, et conclure que pour tout x [0, 1], X n f( k 2 n n ) f( k 2 n ) = f(x) f(0) = x 0 g(u)du. k+1 2 n g(u)du k 2 n g(u)du. (4.12) Exercice Soit (Y n ) n 1 une suite de v.a. à valeurs dans Z, indépendantes et de même loi µ. On pose que IE(Y i ) = m < 0 et IP (Y i = 1) > 0, IP (Y i 2) = 0. On pose X 0 = 0, X n = Y Y n et Le but de ce problème est de trouver la loi de W. a ) Montrer que W < + p.s. W = X n. b1 ) Soit X une v.a. réelle. On note M(λ) = IE(e λx ) sa transformée de Laplace (éventuellement M(λ) = + ) et ψ(λ) = log M(λ). Montrer que ψ est une fonction convexe (suggestion: on utilise l inégalite de Hölder).

16 Martingales à temps discret 40 b2 ) On pose M(λ) = IE(e λy 1 ) et ψ(λ) = log M(λ). Montrer que ψ(λ) < + pour tout λ 0. Que vaut ψ (0+)? Montrer que ψ(λ) + pour λ + et qu il existe un λ 0 > 0 unique tel que ψ(λ 0 ) = 0 et que de plus ψ (λ 0 ) > 0. c ) On considère la mesure sur Z ν(k) = e λ 0k µ(k). Montrer que ν est une probabilité. Soit (Ỹn) n 1 une suite de v.a. indépendantes et de même loi ν et X0 = 0, X n = Ỹ1 + + Ỹn. Montrer que IE(Ỹn) > 0. Montrer que, si Y n = (Y 1,..., Y n ) et Ỹ n = (Ỹ1,..., Ỹn), on a, pour tout borélien R n, IP (Y n ) = IE(1 { Ỹ } e λ 0 X n ). (4.13) d ) Montrer que (e λ 0X n ) (resp. (e λ 0 X n ) ) sont des martingales par rapport à la filtration F n = σ(y 1,..., Y n ) (resp. Fn = σ(ỹ1,..., Ỹn)). e ) On pose τ k = inf{n; X n k}, τ k = inf{n; X n k}. Montrer que IP (τ k n) = IE(1 { τk n}e λ 0 X n ) = IE(1 { τk n}e λ 0 X τk ) = = e λ 0k IP( τ k n). (4.14) f ) Montrer que IP ( τ k < + ) = 1 et que W a une loi géométrique de paramètre 1 e λ 0. Déterminer λ 0 dans le cas IP (Y i = 1) = q, IP (Y i = 1) = p, avec 0 < p < q < 1. Exercice Sur (Ω, F, (F n ), IP ), on considère une probabilité Q dominée localement par IP : pour tout n 0, il existe une variable aléatoire ξ n 0, F n -mesurable telle que pour tout F n, Q() = IE(ξ n 1 ). On a vu dans l Exercice 4.43 que (ξ n ) est une martingale, d espérance 1. Le but de cet exercice est de déterminer certaines transformations qui changent les martingales par rapport à IP en des martingales par rapport à Q. On notera IE I P et IE Q les espérances par rapport à IP et Q respectivement. On pose α n = ξ n ξn {ξ n 1 >0}. On pose que pour tout n, les variables ξ n et α n sont bornées IP -p.s. Ceci implique en particulier que toute variables aléatoire Y F n -mesurable et IP -intégrable est également Q-intégrable. Soit (M n ) une IP -martingale. On pose M n = M n n IE I P F p 1 (α p (M p M p 1 )) (cette expression a un sens en vertu des hypothèses précédentes). a ) Montrer que, pour tout n N, {ξ n = 0} {ξ n+1 = 0} IP -p.s. p=1 b ) Soit Y une v.a. positive F n -mesurable. Calculer IE F n 1 Q (Y ). En déduire IE F n 1 Q (Y ) si Y est IP -intégrable et F n -mesurable. c ) Montrer que (M n) est une Q-martingale. d ) On reprend la martingale de l Exercice 4.30, ξ θ n = eθsn (cosh θ) n, où (S n ) est la marche aléatoire symétrique simple (S n = n i=1 U i, où les (U i ) i 1 forment une suite de variables indépendantes à valeurs +1 ou 1 avec probabilité 1 2 ). Soit Q une probabilité sur Ω telle que sa restriction à F n, notée Q Fn, satisfait à Q Fn = ξ θ n.ip Fn. Expliciter la Q-martingale (S n) associée à (S n ).

17 Martingales à temps discret 41 Exercice Dans ce problème on applique un résultat de convergence de surmartingales positives à l étude d un algorithme stochastique. Soit (Ω, F, (F n ), IP ) un espace de probabilité filtré. ) (lemme de Robbins-Siegmund) On considère (Z n, β n, ξ n, η n ), des v.a. positives, adaptées, finies p.s. On pose que, pour tout n 0, IE Fn (Z n+1 ) (1 + β n )Z n + ξ n η n On va établir un critère de convergence p.s. pour la suite (Z n ). 1 ) On pose α 1 = 1, α n = n (1 + β k ) 1, k=0 p.s. Z n = α n 1 Z n, ξ n = α n ξ n, η n = α n η n. Montrer que IE Fn (Z n+1) Z n + ξ n η n et que U n = Z n n 1 k=1 (ξ k η k ) est une surmartingale. 2 ) Soit a > 0. On considère le temps d arrêt n 1 τ a = inf{n 1, (ξ k η k ) > a}. Montrer que, sur {τ a = + }, (U n ) converge p.s. vers une v.a. finie. k=0 3 ) Soit Γ = { n=1 β n < +, n=1 ξ n < +, }. i ) Montrer que, sur Γ, α n converge vers α > 0 et que n=1 ξ n < +. ii ) Montrer que, sur Γ, (Z n ) converge p.s. vers une v.a. Z finie et que n=1 η n < + p.s. B ) (lgorithmes de Robbins-Monro) On considère maintenant une suite adaptée de vecteurs aléatoires (X n, Y n ) à valeurs R d R d et une suite (γ n ) de v.a. positives, adaptées telles que X n+1 = X n + γ n Y n+1. On pose qu il existent une fonction borélienne f : R d R d, une constante K < + et x 0 R d tels que IE Fn (Y n+1 ) = f(x n ), IE Fn ( Y n+1 2 ) K(1 + X n 2 ), et que, (i ) n=1 γ n = +, n=1 γ2 n < +. (ii ) f est continue, f(x 0 ) = 0 et x x 0, f(x) < 0 pour x x 0. B1 ) On pose Z n = X n x 0 2. Montrer qu il existe une constante K telle que IE Fn (Z n+1 ) (1 + Kγ 2 n)z n + Kγ 2 n + 2γ n X n x 0, f(x n ). B2 ) Déduire de ) que (Z n ) converge p.s. vers une v.a. Z et que la série n=1 γ n X n x 0, f(x n ) converge p.s. B3 ) Montrer que Z = 0 p.s. i.e. que X n n + x 0 p.s.