Chapitre 3 : INFERENCE

Transcription

1 Chapitre 3 : INFERENCE 3.1 L ÉCHANTILLONNAGE Introduction L échantillonnage aléatoire Estimation ponctuelle Distributions d échantillonnage Intervalles de probabilité L échantillonnage 1 / 41

2 Chapitre 3 : INFERENCE 3.1 L ÉCHANTILLONNAGE Introduction L échantillonnage aléatoire Estimation ponctuelle Distributions d échantillonnage Intervalles de probabilité L échantillonnage 2 / 41

3 Définitions En général, l inférence est définie comme une opération mentale qui consiste à tirer une conclusion d une série de propositions reconnues pour vraies. Ces conclusions sont tirées à partir de règles de base. L inférence statistique est définie comme le processus d utilisation des données d un échantillon pour estimer ou tester des hypothèses sur les caractéristiques numériques («paramètres») d une population. Une population (ou «population mère») est définie comme l ensemble de tous les éléments d intérêt dans une étude particulière. Un échantillon est défini comme un sous-ensemble de la population. L échantillonnage 3 / 41

4 Pourquoi prendre un échantillon? Le coût : recenser toute la population coûte trop cher et/ou prend trop de temps Recensement de la population 2010 : recensement traditionnel (questionnaire à tous les ménages) coûterait 200 millions ; proposition du Conseil fédéral (échantillonnage + recensement fondé sur les registres coûtera 124 millions [estimations faites en 2006]) Etant donné l impossibilité d examiner chaque être humain, toute étude empirique d hypothèses générales en sciences sociales doit être basée sur des échantillons, soit d individus soit de groupes d individus (ménages, firmes, industries, pays,...) L échantillonnage 4 / 41

5 Un exemple fictif : Statville Commune Statville : 2500 habitants adultes (= population) Syndic s intéresse à la distribution des revenus parmi ces habitants et à la participation des habitants à la dernière assemblée communale (ils étaient trop nombreux pour être comptés) Interroger tous les 2500 habitants serait trop cher Budget permet d interroger un échantillon de 30 habitants Paramètres de la population (inconnus par le syndic!) : o Revenu moyen (): francs o Ecart-type du revenu (): 4000 francs o Taux de participation à la dernière assemblée (p) : 60% Que devrait faire le syndic? L échantillonnage 5 / 41

6 Chapitre 3 : INFERENCE 3.1 L ÉCHANTILLONNAGE Introduction L échantillonnage aléatoire Estimation ponctuelle Distributions d échantillonnage Intervalles de probabilité L échantillonnage 6 / 41

7 L échantillonnage aléatoire simple Population de N éléments ; échantillon de n éléments Définition pour une population finie (N connu): tous les éléments de la population ont la même probabilité de faire partie de l échantillon Probabilité qu un élément de la population soit contenu dans l échantillon est n/n. Définition pour une population infinie (N inconnu): les éléments de l échantillon sont sélectionnés indépendamment de la même population Echantillonnage sans remise (chaque élément ne peut être sélectionné qu une fois) : o Nombre d échantillons possibles = C = N!/(n!(N-n)!) o Probabilité qu un échantillon particulier soit tiré = 1/C o Exemple Statville : C 2.75 * L échantillonnage 7 / 41

8 Comment obtenir un échantillon aléatoire simple? Critère : probabilité de sélection indépendante de toute caractéristique des éléments de la population Population finie : Tirage au sort Choix avec nombres aléatoires à partir d une liste des éléments [Excel :=ALEA() génère des nombres aléatoires entre 0 et 1] Population infinie (processus continu dans le temps) : Sélectionner selon une loi de Bernoulli [Excel : =SI(ALEA()>=P; oui ; non ) répond «oui» dans (1 P) pourcent de cas] Trouver astuce (exemple contrôle douanier : examiner chaque voiture arrivant après une voiture orange) L échantillonnage 8 / 41

9 Autres types d échantillon Echantillon aléatoire stratifié Critère : strates homogènes Difficulté de la pondération représentative des strates Statville : sélectionner aléatoirement des individus selon le niveau d éducation Échantillon aléatoire par grappes o Critère : grappes composées de façon hétérogène et donc représentative o Statville : sélectionner aléatoirement des ménages/quartiers Échantillonnage subjectif Critère : échantillon qui semble représentatif Statville : syndic choisit 30 individus qui lui semblent représentatifs de la population municipale Évidemment problématique (danger de biais de sélection)! L échantillonnage 9 / 41

10 Chapitre 3 : INFERENCE 3.1 L ÉCHANTILLONNAGE Introduction L échantillonnage aléatoire Estimation ponctuelle Distributions d échantillonnage Intervalles de probabilité L échantillonnage 10 / 41

11 Bases But : estimer la valeur d un paramètre de la population («estimation ponctuelle») Méthode : calculer la statistique d échantillon correspondante «Méthode des moments» : prendre moment de l échantillon comme estimateur du moment de la population Statistiques d échantillon : toute mesure de tendance centrale, de dispersion, etc. L échantillonnage 11 / 41

12 Exemple Statville (1) Échantillon aléatoire de 30 individus ind. revenu participation revenu participation Somme Moyenne Ecart type L échantillonnage 12 / 41

13 Exemple Statville (2) Revenu : moyenne de l échantillon revenu x i n 30 Revenu : écart type de l échantillon 2 ( revenui - x) s n-1 29 Participation : moyenne de l échantillon participation 19 p i 0.63 p 0.60 n 30 Les estimations ponctuelles ne correspondent pas exactement aux paramètres de la population que faire? L échantillonnage 13 / 41

14 Chapitre 3 : INFERENCE 3.1 L ÉCHANTILLONNAGE Introduction L échantillonnage aléatoire Estimation ponctuelle Distributions d échantillonnage Intervalles de probabilité L échantillonnage 14 / 41

15 Bases Idée de départ : répéter la sélection d un échantillon multiples fois et étudier comment se comportent les statistiques de l échantillon par rapport aux paramètres correspondants de la population En moyenne, la statistique de l échantillon a-t-elle tendance à être proche du paramètre «vrai» correspondant, ou y a-til une divergence systématique (c.à.d. un «biais»)? Distribution d échantillonnage = distribution de probabilité de toutes les valeurs possibles d une statistique de l échantillon Puisque la sélection d échantillons suit un processus aléatoire, les statistiques de l échantillon sont elles-aussi des variables aléatoires et suivent donc un distribution de probabilité L échantillonnage 15 / 41

16 Exemple Statville (1) Supposons (pour fixer les idées, pas parce-que ce serait réaliste ou intelligent) que le syndic ait les moyens de répéter l expérience initiale multiples fois, c.à.d. de resélectionner des échantillons aléatoires de taille 30 parmi les habitants de Statville. Pour chacun de ces échantillons, il calcule x, s et p. Ensuite il résume les valeurs de chacune de ces trois statistiques d échantillon p.ex. sous forme d un histogramme approximation empirique de la distribution d échantillonnage Excel : un histogramme peut être dessiné via les menusoutils Utilitaire d analyse (installer viamacro complémentaire) Histogramme (Représentation graphique) voir aussiutilitaire d analyse Génération de nombres aléatoires et Échantillonnage L échantillonnage 16 / 41

17 Exemple Statville (2) Valeurs de x, s et p obtenues à partir de 500 échantillons aléatoires simples de 30 habitants échantillon revenu: moyenne ( x ) revenu: écart type (s ) participation: moyenne ( ) moyenne écart type ( s x x,, s pp) p L échantillonnage 17 / 41

18 Exemple Statville (3) Distribution de fréquence de x obtenue à partir des 500 échantillons revenu: fréquence fréquence moyenne relative Total L échantillonnage 18 / 41

19 Exemple Statville (4) Histogramme de la fréquence relative des valeurs de x obtenues à partir des 500 échantillons Approximation empirique de la distribution d échantillonnage fréquence relative de x! L échantillonnage 19 / 41

20 L espérance La moyenne de la variable aléatoire x si le nombre d échantillons tend vers l infini («moyenne des moyennes») correspond à l espérance mathématique de x, E(x). Rappel : = moyenne de la population (le paramètre «vrai») On peut montrer que E(x) =. La moyenne d un échantillon aléatoire est un estimateur non-biaisé de la moyenne de la population. L échantillonnage 20 / 41

21 L erreur type Soit x l écart type de la distribution d échantillonnage de x, désormais dénommé «erreur type». On peut montrer que x n N n N 1 Pour une population infinie (N ), on a = ( n). N n N 1 L échantillonnage 21 / 41 = «facteur de correction pour une population finie» Règle pratique : ( n) est une approximation satisfaisante si la population est finie et nn N n Statville : nn = = N 1. x

22 La distribution d échantillonnage toute entière (1) Nous avons défini la moyenne et l écart type de la distribution d échantillonnage de la moyenne. Pouvons nous définir la distribution d échantillonnage toute entière? Oui! Résultat 1 : Si les données de la population suivent une distribution normale, la distribution d échantillonnage de x est normale elle aussi, quelle que soit la taille de l échantillon n. o Cas plutôt rare o Inspecter histogramme o On peut tester formellement l hypothèse selon laquelle un certain échantillon est tiré d une population qui suit une distribution normale (p.ex. test du Khi-deux, ch ) L échantillonnage 22 / 41

23 La distribution d échantillonnage toute entière (2) Résultat 2 : Si les données de la population ne sont pas distribuées selon une loi normale, on peut appliquer le théorème centrale limite : Pour des échantillons aléatoires simples, la distribution d échantillonnage de x peut être approchée par une distribution de probabilité normale, lorsque la taille de l échantillon devient importante. L échantillonnage 23 / 41

24 La distribution d échantillonnage toute entière (3) Formellement, avec un échantillon aléatoire simple : x x N (, x ), z (0,1) x N, où (, ) et x 0.5 x 1 x N x f x e, z z N (0,1) f z e 2. 2 x 2 Règle pratique approximative : le théorème centrale limite peut être invoqué pour des échantillons de taille n 30. L échantillonnage 24 / 41

25 Illustration du théorème centrale limite (1) L échantillonnage 25 / 41

26 Illustration du théorème centrale limite (2) L échantillonnage 26 / 41

27 Illustration du théorème centrale limite (3) L échantillonnage 27 / 41

28 Illustration du théorème centrale limite (4) L échantillonnage 28 / 41

29 Illustration du théorème centrale limite (5) L échantillonnage 29 / 41

30 Illustration du théorème centrale limite (6) L échantillonnage 30 / 41

31 Le cas de p Continuons à supposer qu on ait un échantillon aléatoire simple. L espérance mathématique de la variable aléatoire p (moyenne dans l échantillon de la mesure de proportion p) est donnée par : E(p) = p p est un estimateur non-biaisé de p L erreur type de p est donné par : p et, pour une population infinie, par : p p(1 p) N n n N 1 p(1 p). n ; La distribution d échantillonnage toute entière peut être approchée par une distribution de probabilité normale lorsque np 5 et n(1 p) 5 (règle pratique approximative ; basée sur la convergenence de la loi binomiale avec la loi normale). L échantillonnage 31 / 41

32 Exemple Statville : distribution d échantillonnage de la moyenne L échantillonnage 32 / 41

33 Exemple Statville : distribution d échantillonnage d une proportion L échantillonnage 33 / 41

34 Statistique 1e année bachelor, Exemple Statville : erreur type et taille de l échantillon L échantillonnage 34 / 41

35 Statistique 1e année bachelor, Chapitre 3 : INFERENCE 3.1 L ÉCHANTILLONNAGE Introduction L échantillonnage aléatoire Estimation ponctuelle Distributions d échantillonnage Intervalles de probabilité L échantillonnage 35 / 41

36 Statistique 1e année bachelor, Base Lorsqu on a un échantillon, il est hautement improbable que les statistiques de l échantillon ( x, p ) correspondent exactement aux paramètres de la population (, p) Que peut-on dire sur la probabilité que la valeur d une statistique particulière soit «proche» du paramètre de la population, ou «proche» signifie un écart maximum de M? Les distributions d échantillonnage contiennent la réponse! Statville : o Quelle est la probabilité que le revenu moyen de l échantillon, x, soit à 500 francs près du revenu moyen de la commune,? (M = 500) o Quelle est la probabilité que la proportion des participants de l échantillon, p, soit à 5 points de pourcentage près de la proportion totale, p? (M = 0.05) L échantillonnage 36 / 41

37 Statistique 1e année bachelor, Exemple Statville (1) Probabilité que le revenu moyen d un échantillon de taille 30 soit à 500 francs près du revenu moyen de la population? x Rappel : N (0,1) x x M n 30 : x n 30 (inconnu par le syndic!) P ( 500 x 500 n 30) P Z P Z L échantillonnage 37 / 41

38 Statistique 1e année bachelor, Exemple Statville (2) Moyenne : M 500, n 30 P ( 500 x 500 n 30) P ( 0.68 Z 0.68) 0.50 * * * voir la Table 1, p. 730, du manuel de Anderson et al., où F(z) P(0 < Z < z) L échantillonnage 38 / 41

39 Statistique 1e année bachelor, Exemple Statville (3) Moyenne : M 500, n 100 P ( 500 x 500 n 100) P ( 1.25 Z 1.25) 0.79 * * * voir la Table 1, p. 730, du manuel de Anderson et al., où F(z) P(0 < Z < z) L échantillonnage 39 / 41

40 Statistique 1e année bachelor, Exemple Statville (4) Proportion : M 0.05, n 30 P ( p 0.05 p p 0.05 n 30) ( 0.56 Z 0.56) 0.42 * * * voir la Table 1, p. 730, du manuel de Anderson et al., où F(z) P(0 < Z < z) L échantillonnage 40 / 41

41 Statistique 1e année bachelor, Exemple Statville (4) Grand problème : le syndic ne connaît pas Que faire pour juger de la fiabilité des estimations basées sur son échantillon? Attendre le chapitre prochain... L échantillonnage 41 / 41