Skip to navigation – Site map
Articles

« Statistics for Specific Purposes » : utiliser l’outil statistique dans la recherche et l’enseignement en langue étrangère

Statistics for Specific Purposes”: using statistics in foreign language research and teaching
Gail Taillefer
p. 55-67

Abstracts

In the French context, statistics are little used by teachers and researchers of foreign languages who, as a professional group, are generally from literary backgrounds. Nevertheless, they are a useful tool to analyse and explore teaching and learning situations in a logical manner. This logic can guide the teacher and the researcher in clarifying research questions and in choosing appropriate research designs and analyses. Our aim is to demystify this tool and to facilitate its use by showing the kind of help that statistics may bring and in what cases its use is judicious. To that end, the epistemological basis and the fundamental principles, key notions and the most useful analyses are presented, along with some practical concerns and references to further explore the question.

Top of page

Full text

Introduction

  • 1 « There are three kinds of lies: lies, damned lies... and statistics », traduction G. Taillefer.

1On attribue à Benjamin Disraeli, premier ministre britannique au XIXe siècle, la remarque qu’il y a trois sortes de mensonges : les mensonges, les gros mensonges... et les statistiques1. Cette citation pourrait conforter ceux des enseignants et des chercheurs en langues étrangères, souvent peu à l’aise avec les mathématiques et qu’effraie la vue de chiffres et de symboles « barbares » dans des écrits professionnels. Mais, tout comme l’acquisition de la compétence interculturelle exige un certain dépassement de soi pour pouvoir s’ouvrir à l’autre, l’utilisation de la statistique comme outil de recherche et d’enseignement par les spécialistes d’autres disciplines (i.e., linguistiques) demande une réflexion appropriée. Pour nous, elle mérite cette réflexion : comme le professionnel qui apprécie ou non l’utilisation d’une langue étrangère, mais qui ne peut nier son utilité, l’enseignant ou le chercheur en langues qui comprend les fondements de la statistique est outillé pour mieux analyser sa situation d’enseignement / apprentissage. En tant que lecteur professionnel, il peut distinguer entre « mensonges » et vérité ; en tant que chercheur, il peut mettre en œuvre ses propres expérimentations selon les règles de l’art. Car, à la base, la statistique repose sur la logique. S’il n’est pas nécessaire que l’enseignant / chercheur en langues sache comment se font, mathématiquement, les différentes analyses, en revanche, il doit savoir ce que peut apporter la statistique et quand son utilisation est judicieuse pour faciliter la recherche de solutions. Enfin, comme le remarquent Brown & Rodgers (2002 : xiii), l’outil statistique peut même aider l’enseignant / chercheur à ressentir la stimulation et le plaisir de la recherche.

  • 2 La majorité de ceux-ci sont en langue anglaise, mais leur orientation résolument pratique devrait f (...)

2Le but de cet article est donc de démystifier cet outil dans la recherche et l’enseignement en langues étrangères et de constituer une entrée en matière pour les non initiés ou les hésitants. Il ne peut remplacer un travail plus approfondi à partir d’ouvrages tels que ceux cités dans la Bibliographie2. L’APLIUT s’est déjà penchée, lors d’un congrès annuel et dans deux numéros des Cahiers (XXI/2, 2001 ; XXI/3, 2002), sur la recherche-action, approche de la recherche où la statistique joue un rôle. Mais la gamme des moyens à mettre en œuvre est plus large. À travers la présentation de quelques principes fondamentaux de l’outil statistique, de notions clés, d’analyses clés et de suggestions pratiques, l’objectif est de faciliter pour les enseignants / chercheurs en langues étrangères l’élargissement de leur champ d’exploration et de leur action professionnelle. La discussion s’adresse donc aussi bien aux enseignants utilisateurs de statistiques dans le cadre de leur pratique pédagogique, qu’aux enseignants lecteurs d’études statistiques, et/ou engagés dans tout type de recherche en langue étrangère.

1. Les principes fondamentaux

1.1. La logique

  • 3 « hopefully to help re-shape [the] world in some small measure as a result of your study ».

3Si le but de toute recherche est, comme le suggèrent Brown & Rodgers (2002 : 32), de contribuer par la diffusion de ses résultats à faire avancer l’enseignement / apprentissage des langues étrangères3, le recours à une logique universellement reconnue est essentiel. La logique statistique implique une rigueur qui non seulement aide le chercheur à bien cadrer ses travaux, mais aussi favorise la compréhension par la communauté des lecteurs.

4Quelle est cette logique ? Elle repose sur la nature cyclique de toute recherche, impliquant questions-réponses-questions, etc. Seliger & Shohamy (1989 : 17-20) proposent trois grandes catégories de recherche en langue étrangère dont les frontières ne sont pas strictes et dont l’influence est réciproque : théorique, appliquée (la mise en œuvre des théories), pratique (l’utilisation sur le terrain des recherches théoriques et appliquées). Si les travaux théoriques influent sur l’application et l’utilisation dans des classes, les résultats – espérés ou non – sur le terrain renvoient à la conception de base. De manière plus générale, tous les auteurs mettent en valeur la normalisation de la logique de recherche (Brown 1988 : 108-123 ; Seliger & Shohamy 1989 : 46 ; Nunan 1992 : 225 ; Brown & Rodgers 2002 : 240). Les grandes lignes se résument ainsi : partant d’une question générale et se fondant sur l’expérience et / ou sur des recherches préalables, le chercheur doit d’abord, dans l’introduction, contextualiser son étude. Le rappel de la bibliographie sur le sujet doit présenter ce qui a – et n’a pas – été fait sur la question, et montrer pourquoi son étude est importante. Suit l’explicitation claire du but de l’étude, avec la question de recherche spécifique et l’hypothèse de travail.

5La deuxième partie présente l’opérationnalisation, ou le protocole expérimental mis en place pour répondre à la question de recherche. Cette partie comprend l’explicitation du choix et des caractéristiques des participants, le choix ou le développement des matériels (tests, questionnaires, etc.) et la justification de leur validité et de leur fiabilité (notions décrites ci-dessous), les procédures employées (organisation et administration de tests, entretiens ou autres, critères d’évaluation, etc.), et enfin, les analyses (quel traitement statistique – ou autre –, éventuellement avec quel logiciel). Toutes ces informations doivent être suffisamment claires pour permettre la réplication de l’étude par un autre chercheur.

6Les résultats, souvent rapportés à l’aide de tableaux et de graphiques, forment la troisième partie. Ils sont suivis par la discussion, représentant traditionnellement la quatrième partie, qui commente les résultats et répond directement à la question de recherche et à l’hypothèse (confirmée, infirmée, complètement ou en partie). La cinquième partie consiste dans la conclusion qui, après avoir précisé les limites de l’étude, s’ouvre sur les implications théoriques et pratiques de la recherche et suggère des pistes pour de futurs travaux. Les notes, si elles ne sont pas en bas de page, les références et d’éventuelles annexes constituent la dernière étape.

1.2. La question de recherche et le choix du protocole expérimental

7La nature spécifique de la question de recherche détermine la nature de son opérationnalisation. L’importance de la réflexion préalable à toute expérimentation ne doit pas être sous-estimée, au risque de gaspiller de précieuses ressources en temps, énergie et financement, et d’avoir à traiter des données difficiles à exploiter, voire inutilisables. Tous les auteurs cités insistent sur ce principe. Seliger & Shohamy, en particulier, définissent quatre paramètres à la base de tout protocole expérimental, chacun en continuum et tous interdépendants (1989 : 24-25). Le positionnement de la recherche sur ces continuums dépendra des traditions disciplinaires, culturelles, institutionnelles, motivationnelles et personnelles.

8Les deux premiers paramètres traitent de la conceptualisation de la recherche, les deux derniers de son opérationnalisation, ou mise en œuvre. Le premier paramètre est l’approche souhaitée. Dans un domaine aussi complexe que l’acquisition d’une langue étrangère, le chercheur doit choisir entre une perspective synthétique, mettant l’accent sur l’interdépendance de différents aspects de la question (par exemple, dans le cas des difficultés de prononciation des francophones en anglais, la phonologie, l’âge des apprenants, le contexte sociolinguistique, la motivation, etc.), et une perspective analytique, concernant un seul des facteurs constituants (par exemple, la question de l’accent syllabique en anglais dans un groupe de participants d’âge donné).

9Le deuxième paramètre relatif à la conception de la question de recherche est l’objectif de l’étude. Est-il de nature heuristique (ou inductive) – visant à décrire une réalité, à découvrir une explication ou à susciter une hypothèse à partir de données –, ou de nature déductive – visant à tester une hypothèse en fonction de données recueillies ? Enfin, comme ces paramètres sont interdépendants, la recherche peut être « mixte », de nature synthétique-heuristique, analytique-heuristique, synthétique-déductive ou analytique-déductive.

10En fonction des deux premiers paramètres, quel degré de contrôle ou de manipulation sera exercé sur les aspects expérimentaux de la recherche ? Par exemple, dans l’étude de la compréhension de texte en langue étrangère, combien de facteurs seront considérés – et combien neutralisés : la compétence en lecture en langue maternelle et / ou le niveau de compétence dans la langue cible et/ou la motivation et / ou la connaissance du genre textuel et/ou la familiarité avec le domaine traité, etc. ?

11Le quatrième paramètre dépend étroitement des trois autres, et les concrétise clairement : quelles données sont importantes ? comment seront-elles recueillies et analysées ? La diversité des protocoles expérimentaux et les types de données et d’analyses qui leur sont pertinents sont décrits ci-après.

1.3. Les divers types de recherche

12Brown & Rodgers (2002 : 10) distinguent la recherche « secondaire », basée sur les travaux d’autres chercheurs (library research), de la recherche « primaire », effectuée à partir de données originales (laboratory research). Pour celle-ci, différentes catégories existent, mais les auteurs insistent sur le continuum reliant la recherche qualitative, à travers la recherche descriptive, à la recherche expérimentale. Ces variations sur un thème sont le reflet de différentes visions épistémologiques, allant de la mise en doute de l’existence même d’une possible vérité objective, à la « foi » dans une telle réalité qui reste à découvrir. Pour le chercheur, cette distinction philosophique, consciente ou non, sous-tend la réflexion préalable à toute expérimentation, et donc la formulation de la question de recherche et le choix du protocole expérimental (Nunan 1992 : 20). Les différents types de recherche sont brièvement indiqués ci-dessous, ainsi que les formes où l’outil statistique joue un rôle plus important.

13La recherche qualitative vise à décrire le monde tel qu’il est, sans intervention ou manipulation du chercheur. Elle repose sur des données non chiffrées, telles qu’observations, entretiens, réunions, questions ouvertes, journaux de bord, correspondance, etc. Elle est utilisée pour des études de cas, des études ethnographiques, des études introspectives (basées sur des modèles de processus mentaux), des études interactives (enseignants-apprenants, apprenants-apprenants, etc., y compris la recherche-action). Selon les paramètres définis par Seliger & Shohamy (1989), c’est une recherche de nature synthétique (holistique) et heuristique (inductive). Bien que l’organisation expérimentale et l’analyse de données soient moins normalisées qu’en recherche expérimentale – ce qui peut attirer le chercheur novice –, les principales difficultés dans la recherche qualitative sont la définition d’un protocole expérimental garantissant la validité et la fiabilité (voir ces notions ci-dessous) des résultats, la gestion (sélection) de la masse des données recueillies, leur interprétation cohérente et la portée (caractère généralisable) des conclusions. Seliger & Shohamy (1989 : ch. 6), Nunan (1992 : ch. 3-6) et Brown & Rodgers (2002 : ch. 2-4) précisent les précautions à prendre.

14La recherche descriptive occupe une place médiane entre les approches qualitative et quantitative. Pour Seliger & Shohamy (1989 : 117-118), elle peut être synthétique (holistique) ou analytique (focalisée sur une partie constituante), inductive ou déductive, et le chercheur « manipule » uniquement dans la mesure où il contrôle les instruments de mesure et choisit une population donnée. Amenée généralement au moyen de questionnaires et d’entretiens, la recherche descriptive cerne les caractéristiques, attitudes, opinons, etc. d’échantillons de populations. C’est le moyen privilégié de conduire une analyse des besoins ou l’évaluation d’un enseignement ou d’un programme. Son interprétation repose donc sur certaines données chiffrées – pourcentages, moyennes (et écart type, voir ci-dessous) – et peut comprendre des analyses statistiques (comparaison de fréquences, χ2, voir ci-dessous). Un certain nombre de précautions méthodologiques sont essentielles à respecter (échantillonnage et administration, nature des questions et types de réponses, formulation des questions) ; Brown (2001), Richards (2001 : ch. 3-4) et Brown & Rodgers (2002 : 143-145) soulignent des écueils et proposent les solutions appropriées.

15Enfin, la recherche quantitative exige un maximum de respect des règles de l’art de la part du chercheur ; en contrepartie, ses résultats sont valides et fiables, et ses conclusions généralisables. Elle permet, grâce à la probabilité, d’expliquer et de prédire certains phénomènes, et ainsi d’influer dans une certaine mesure sur le monde – comme nous l’ont dit plus haut Brown & Rodgers (2002 : 32). De nature analytique et déductive, la recherche quantitative nécessite le contrôle de tous les aspects du protocole – participants, instruments, procédures –, de même que la rigueur statistique dans la mesure où les données sont surtout chiffrées. La gamme quantitative comprend des types d’étude variés. L’étude corrélationnelle explore le degré de rapport – et non de causalité – entre deux variables (voir ci-dessous). Une étude multivariée examine les rapports entre plusieurs variables. L’étude expérimentale compare un groupe de participants dit « expérimental » à un groupe « contrôle », tous les deux choisis de manière aléatoire mais équivalents, bénéficiant chacun d’un traitement distinct et subissant chacun un test préalable et postérieur à l’expérimentation. Enfin, l’étude quasi-expérimentale est une variation de la précédente, comparant des groupes non randomisés (par exemple, un seul groupe avec pré-test et post-test ou deux groups de nature différente recevant le même traitement, etc.). À l’exception des études expérimentales, difficiles à mettre en œuvre en dehors des conditions artificielles du laboratoire, l’approche quantitative est très largement employée et se révèle particulièrement utile pour l’enseignant praticien comme pour l’enseignant chercheur. Encore une fois, Brown (1988 : ch. 10-12), Seliger & Shohamy (1989 : ch. 7-9), Brown & Rodgers (2002 : ch. 5-7) et Lazar (2004) exposent la marche à suivre.

2. Les notions clés

16Plusieurs notions ont déjà été évoquées, qu’il faut préciser avant d’explorer les analyses clés où elles interviennent. Mais, à la base, demeure le principe que la nature de la question de recherche détermine son opérationnalisation, autrement dit le choix de la nature des données, de la manière de les recueillir et de les analyser.

2.1. Variable, construction, opérationnalisation

17Une variable est la représentation observable ou quantifiable d’une caractéristique ou d’une compétence humaine qui diffère selon les individus. La nationalité ou le score à un test en sont des exemples. Une construction est la caractéristique ou la compétence elle-même, non matérielle car inhérente à la personne, par exemple le processus mental de la compréhension de texte. L’opérationnalisation est la traduction concrète de la construction en variable qualifiable ou mesurable, par exemple la catégorisation par nationalité ou la compétence en lecture telle qu’elle est mesurée par un test donné.

18Toute variable joue un rôle différent selon le protocole expérimental. Prenons pour exemple l’étude de l’influence de la compétence en lecture en langue maternelle (LireL1) et du niveau de compétence linguistique en langue étrangère (LangL2) sur la compétence en lecture en langue cible (LireL2). LireL2 est la variable dépendante par rapport aux variables indépendantes LireL1 et LangL2. Une covariable est une variable indépendante qui n’est pas intéressante en soi pour l’étude en question, mais qui permet d’éliminer d’éventuels facteurs influents : dans l’exemple retenu ici, une covariable serait le nombre d’années d’études de la langue cible. Enfin, une variable de contrôle est une variable neutralisée dans l’étude. Utiliser le même genre textuel et le même thème pour LireL1 et LireL2, par exemple, élimine l’influence étrangère au niveau du support.

19Enfin, une variable mesure une construction sous forme nominale, ou de catégorie (par exemple, Français, Anglais, Espagnol), ordinale (rang ou classement) ou continue (numérique). Il est toujours possible de transformer une variable continue en classement ordinal ou en catégorie, ou une variable ordinale en nominale, mais pas inversement. Sur l’ensemble de ces notions autour de la variable, Brown (1988 : ch. 2-4) traite les questions de manière claire, et même avec humour.

2.2. La validité

20Jusqu’à quel point une étude et ses résultats mènent-ils à, ou soutiennent-ils, la conclusion tirée ? La notion de la validité interne, ou crédibilité, demande que les résultats découlent uniquement des variables prises en compte, autrement dit que le rapport entre les variables indépendante(s) et dépendante(s) ne soit pas ambigu. De nombreuses influences passées inaperçues peuvent invalider les conclusions, telles la variabilité entre participants, la taille de l’échantillon, le temps alloué pour le recueil des données, le rapport affectif entre enseignant (chercheur) et étudiants (participants), etc. La validité externe, ou transférabilité, exige que les résultats aient une certaine portée générale, plus large que le contexte spécifique de l’étude. Un facteur mettant en jeu la validité externe est, par exemple, l’extrapolation non justifiée des résultats d’une population à une autre, d’un type de test à un autre, d’une situation matérielle à une autre. Brown (1988 : ch. 4) et Seliger & Shohamy (1989 : 95-110) constituent des références sérieuses sur cette question.

2.3. La fiabilité

  • 4 Une certaine « bande » de variation autour de tout score, l’écart type d’estimation, est normale lo (...)

21Jusqu’à quel point peut-on faire confiance à la manière dans laquelle les données ont été recueillies ? La fiabilité interne concerne, par exemple, l’équivalence de deux tests, si tous les items d’un test mesurent effectivement la même construction, ou si un seul groupe testé deux fois avec le même instrument obtient un score similaire chaque fois4. La fiabilité externe compare un test « maison » à un test calibré et étalonné, reconnu comme valide. La fiabilité intra -et inter-correcteur évalue si un test est corrigé de la même manière par la même personne à différents moments, ou par différentes personnes. Des essais pilotes sont essentiels pour tester la fiabilité de toute épreuve expérimentale (outil qualitatif comme quantitatif). Le calcul d’un coefficient de fiabilité (de 0 à 1,00) évalue ces différents rapports et permet au chercheur (et au lecteur) de juger de la solidité des résultats. Encore une fois, pour davantage de précisions sur la question de la fiabilité, consulter Brown (1988 : 98-101), Seliger & Shohamy (1989 : 185-187), et http://www.swan.ac.uk/​cals/​calsres/​encyclopedia/​Cronbach’s_Alpha.

2.4. Signification, sens, hypothèse, probabilité

22Une dernière notion clé relève de la langue de spécialité. « Signification » statistique n’est pas synonyme de « sens ». Nous verrons plus bas que, dans toute étude statistique, le résultat (chiffré) sert à confirmer ou à infirmer l’hypothèse de travail. Celle-ci suggère que tout rapport entre variable(s) dépendante(s) et indépendante(s) est soit nul – ou, s’il n’est pas nul, dû au hasard –, soit prévisible et non le fait du hasard. Le chercheur détermine un seuil de probabilité « p », correspondant généralement à 5 % ou à 1 % de risque d’erreur, pour confirmer ou infirmer son hypothèse.

23Le résultat statistique est ensuite vérifié grâce aux tables publiées pour chaque type d’analyse, à tel pourcentage d’erreur et pour tel nombre de participants. Si le résultat du test statistique dépasse la valeur critique (à 5 % d’erreur, à 1 %, etc.), le chercheur peut rejeter l’hypothèse nulle : il sait que le résultat n’est pas dû au hasard. Il est donc en droit d’affirmer, par exemple, que deux groupes d’étudiants, venant de deux filières différentes, ayant passé le même test diagnostique et ayant obtenu des moyennes différentes, représentent réellement deux populations distinctes.

24Ainsi, malgré une « bande » de variance de 4 points sur le Oxford Quick Placement Test (cf. note 2), la comparaison statistique des moyennes indiquées dans le Tableau 1 montre que, malgré une différence de seulement 1,2 point, le niveau de compétence de ces deux groupes de primo-entrants à l’université diffère réellement, autrement dit de manière significative. Le test dit de « Student », exprimé en termes de la valeur du « t » (voir analyses clés, ci-dessous) = 2,33, avec un risque d’erreur de 2 % (= 0,0202).

Tableau 1. Comparaison de moyennes à l’Oxford Quick Placement Test

Nombre de participants

Filière

Origine (Baccalauréat)

Moyenne/60

Écart type

Médiane

421

Administration économique et sociale

66 % E
33 % STT

27,31

7,5

26

430

Sciences économiques

62 % ES
38 % S

28,53

7,8

27

Deux filières de primo-entrants à l’université

25En revanche, entre deux autres groupes d’étudiants en Gestion, mais d’années d’études différentes, alors que l’écart entre les moyennes est du même ordre, la différence n’est pas significative (t = 2,41 p = .1219, soit 12 % de risque d’erreur). Statistiquement parlant, le niveau de compétence de tous ces étudiants est identique.

Tableau 2. Comparaison de moyennes à l’Oxford Quick Placement Test

Nombre de participants

Année d’études

Moyenne/60

Écart type

Médiane

135

3e

31,01

7,0

31

430

4e

29,90

6,5

30

Étudiants en 3e et 4e année de Gestion

26Pour terminer, revenons au terme « signification ». Son sens statistique se rapporte à la confirmation ou à l’infirmation d’une hypothèse. Mais au sens banal, une différence significative n’a pas forcément de « sens ». La différence entre étudiants en AES et en Sciences économiques est intéressante au vu du Baccalauréat de ces primo-entrants ; le résultat a une valeur prédictive. Mais si, à la place de la moyenne, la variable testée avait été la longueur des cheveux, et qu’il s’était avéré que les étudiants en AES sont significativement plus chevelus que ceux en Sciences économiques, quel intérêt pour l’enseignant ou le chercheur en langues ? Brown (1988) illustre plusieurs cas où l’interprétation de la signification statistique est à manier avec intelligence.

3. Les analyses clés : pour quoi faire ? Dans quelles conditions ?

27En dernière étape, nous allons brièvement présenter les analyses les plus fréquentes et les plus utiles dont tout enseignant ou chercheur peut se servir soit, comme il a été montré, pour mieux cerner la portée de tests ou d’autres résultats, soit pour apprécier des travaux de recherche de manière (plus) critique, soit pour tester ses propres hypothèses. Si les premiers calculs peuvent se faire à la main (Brown 1989, et Brown & Rodgers 2002, notamment, expliquent les formules et offrent des exemples concrets), un logiciel de type SPSS, SAS ou même Excel facilite le travail. SPHYNX est un logiciel très utile, et convivial, dans le traitement des enquêtes.

3.1. Statistiques descriptives

28Les résultats des étudiants varient-ils d’une année sur l’autre ? Sont-ils comparables aux autres groupes d’étudiants ? À travail égal, le niveau des étudiants baisse-t-il réellement d’année en année ?

  • 5 En cas de distribution non normale, une autre famille statistique, dite « non paramétrique », peut (...)

29Les statistiques répondant à ces préoccupations reflètent le degré de normalité de la distribution (la courbe des scores). La normalité de la distribution est capitale ; les analyses statistiques les plus courantes (dites « paramétriques ») ne peuvent se faire que sous cette condition, d’où l’importance de fournir les statistiques descriptives5. La moyenne arithmétique est la plus connue, mais elle peut masquer de grandes variations (une étendue large ou réduite). La médiane divise la distribution en deux parties égales, au-dessus et au-dessous. Le mode est le score le plus fréquemment obtenu. Dans une distribution normale, ces trois indices sont proches. Si le mode et la médiane sont nettement plus grands que la moyenne, cela pourrait indiquer que le test (par exemple) était trop difficile. Si la moyenne et la médiane sont plus fortes que le mode, peut-être le test était-il trop facile.

30Ces trois statistiques sont faciles à établir. L’écart type l’est moins (certaines calculatrices le font), mais il complète le tableau. Cette statistique reflète la dispersion des scores autour de la moyenne et s’exprime dans la même unité de mesure (des points, par exemple) que la variable étudiée. Plus l’écart type ( ou S.D. – standard deviation – en anglais) est faible, moins étendue est la dispersion. Sur 100 points, avec une moyenne de 50-55, l’écart type normal est de 12-15. Les écarts types des tableaux 1 et 2 (avec l’indication de la médiane) suggèrent que la distribution était normale (sur 60 points) pour chaque groupe d’étudiants.

31Combien de participants faut-il avoir pour espérer obtenir une distribution normale ? Il n’y a pas de consensus sur la question : 28, 30, 50, 100..., selon le contexte et les analyses statistiques employées. Mais plus grand est l’échantillon, plus probable est la normalité. Le principe de base reste la représentativité de l’échantillon pour qu’on puisse généraliser les conclusions.

3.2. Comparaison de moyennes

32À partir de données chiffrées (le score d’un test, les notes finales, etc.), qui constituent la variable dépendante, et d’une variable nominale (le groupe ou « facteur »), le test t de « Student » permet de comparer les moyennes de deux échantillons, soit les scores de deux groupes différents (a, b), soit deux séries de scores différents pour un seul groupe (a1, a2). Un exemple en est donné par les tableaux 1 et 2. Pour comparer trois moyennes ou plus, le F du test dit de « Fisher » est le résultat de l’analyse de la variance (ANOVA). Cette analyse montre d’abord s’il y a une différence générale entre l’ensemble des moyennes, et ensuite s’il y a des différences entre paires de groupes (a-b, b-c, a-c). Des formes d’ANOVA (ANCOVA, MANCOVA) peuvent également prendre en compte des situations multivariées avec plusieurs variables dépendantes, covariables, et facteurs. Pour l’ensemble de cette famille d’analyses, voir Brown (1989 : ch. 11), Brown & Rodgers (2002 : ch. 7) et, en dernier lieu, Seliger & Shohamy (1989 : ch. 9).

3.3. Corrélation et régression

33La corrélation, comme il a été signalé plus haut, traite du degré de rapport entre deux variables. Même si elle permet d’établir une relation d’inférence, la corrélation n’est jamais un test de causalité. Les données sont numériques, et le résultat (r de Pearson) s’exprime par une valeur positive ou négative, de -1,0 à +1,0. À p<.0,05 ou 1,01 (moins de 5 % ou de 1 % de risque d’erreur), plus la valeur est proche de 1 (négative ou positive), plus la corrélation est forte. Si r est voisin de +1, par exemple, plus le nombre d’années d’étude d’une langue étrangère augmente, plus élevée est la compétence ; si r est voisin de -1, on pourrait déduire que plus le nombre d’années d’étude d’une langue étrangère augmente, moins élevée est la compétence.

34La régression comprend la corrélation, mais permet d’aller plus loin en élucidant la nature du rapport entre plusieurs variables. Elle peut expliquer ou prédire la valeur d’une variable dépendante en fonction d’une seule variable indépendante (régression simple) ou de plusieurs variables indépendantes (régression multiple). Comme pour la comparaison de moyennes, le résultat s’exprime par la statistique F (« Fisher ») et le t (« Student »). Dans l’exemple de la compétence en lecture en langue étrangère proposé plus haut, il était possible de montrer que, dans un groupe d’étudiants donné, pour balayer un texte en L2 (variable dépendante), la compétence en lecture en langue maternelle (LireL1, première variable indépendante) était significative alors que le niveau de compétence linguistique dans la langue étrangère (LangL2, deuxième variable indépendante) ne l’était pas. Mais quand il s’agissait de lire un texte pour en comprendre le sens, LangL2 était significative et non LireL1 (Taillefer 1996 : 470-471). La conclusion pédagogique à en tirer va de soi : selon le style de lecture visé en L2, la compétence à privilégier est soit le même procédé de lecture en L1, soit le niveau linguistique en L2.

35Pour mieux connaître cette famille d’analyses, voir Brown (1989 : ch. 10), Brown & Rodgers (2002 : ch. 6) et enfin, Seliger & Shohamy (1989 : ch. 9).

3.4. Fréquence

36La dernière famille statistique couramment rencontrée est la comparaison de fréquences. Les données sont nominales (catégories), et le résultat se reflète dans la valeur du χ2 (« Khi deux », ou « Khi carré »), toujours avec 5 % ou 1 % de risque d’erreur. Ce test permet de savoir, par exemple, si le comportement de certaines personnes diffère réellement (significativement) de celui d’autres individus. Dans le cas d’une enquête internationale sur le rôle de la lecture à l’université (Taillefer : à paraître), il a été possible de voir qu’une différence d’environ 15 % entre fréquences « brutes » (pourcentages) pouvait distinguer – ou non – des étudiants de cultures universitaires différentes. Si les étudiants en Droit en Grande-Bretagne, France et Espagne se comportaient de la même manière par rapport à leurs lectures universitaires après avoir suivi un cours χ2non significatif), quand il s’agissait de lectures avant de suivre un cours, leurs camarades en Sciences économiques – à une différence de pourcentage moindre – différaient significativement entre eux.

Tableau 3. Lecture avant / après un cours

Droit

GB

FR

ESP

χ2

p

Avant un cours

84,6 %

35,9 %

11,5 %

31,4

<0,0001

Après un cours

64,3 %

66,4 %

81,0 %

2,28

ns

Sciences économiques

Avant un cours

20,7 %

20,8 %

9,0 %

10,87

0,0044

Après un cours

66,7 %

51,0 %

37,4 %

26,5

<0,0001

37Contrairement aux comparaisons de moyennes et de corrélations, le χ2n’est pas difficile à calculer à la main. Brown (1989 : ch. 12) l’illustre avec des exemples concrets. Seliger & Shohamy peuvent également être consultées (1989 : ch. 9).

Conclusion : quelques suggestions pratiques

  • 6 Deux ressources intéressantes : le « troc » de conseils statistiques auprès d’enseignants de cette (...)

38Comme la recherche elle-même est cyclique, revenons pour conclure cette présentation de l’outil statistique au point de départ, la logique. La réflexion préalable nécessaire au projet de recherche ou d’enseignement est aussi indispensable pour l’utilisation d’un logiciel de statistique. D’abord, faut-il en acquérir un ? Dans tous les cas, il faut en prendre connaissance avant de préparer les instruments (tests, questionnaires, etc.), pour prévoir le traitement des données et intégrer leur codage aux instruments dès le départ. Si un conseil en statistique est nécessaire, c’est à ce moment-là qu’il faut le prévoir6. Ensuite, qui fera la saisie ? Combien de temps faudra-t-il prévoir ? Une fois les données entrées, y a-t-il une personne ressource en cas de problème au moment d’exécuter les analyses ? Enfin, lorsque les résultats sortent, sont-ils logiques ? Une faute de frappe dans les données, une catégorie de variable erronée, la foi aveugle dans un résultat significatif, etc., sont responsables de « mensonges statistiques ». Nous avons voulu présenter les statistics for specific purposes dans la recherche et l’enseignement en langues étrangères ; le concept de fonction langagière est également pertinent : la réponse (statistique) appropriée dépend de la situation. D’où l’importance capitale, pour l’utilisateur de cet outil, de comprendre non les formules, mais le fondement de la démarche.

Top of page

Bibliography

Brown, J.D. 1988. Understanding Research in Second Language Learning: A teacher’s guide to statistics and research design. Cambridge : Cambridge University Press.

Brown, J.D. 2001. Using Surveys in Language Programs. Cambridge : Cambridge University Press.

Brown, J.D. & T.S. Rodgers. 2002. Doing Second Language Research. Oxford : Oxford University Press.

Lazar, N. 2004. « A short survey on causal inference, with implications for context of learning studies of second language acquisition ». Studies in Second Language Acquisition vol. 26 : 329-347.

Nunan, D. 1992. Research Methods in Language Learning. Cambridge : Cambridge University Press.

Richards, J.C. 2001. Curriculum Development in Language Teaching. Cambridge : Cambridge University Press.

Seliger, H.W. & E. Shohamy. 1989. Second Language Research Methods. Oxford : Oxford University Press.

Taillefer, G. 1996. « L2 reading ability: further insight into the short-circuit hypothesis. » Modern Language Journal vol. 80 n° 4 : 461-477.

Taillefer, G. (à paraître). « Reading for academic purposes: the literacy practices of British, French and Spanish Law and Economics students as background for study abroad ». Journal of Research in Reading, vol. 28 n° 4.

Références bibliographiques complémentaires

Droesbeke, J.J. 1997. Eléments de statistique (3e éd.). Bruxelles : Éditions de l’Université de Bruxelles.

Howell. D.C. 2004. Méthodes statistiques en sciences humaines. Bruxelles : De Boeck & Duculot.

Wannacott, T.H. & R.J. Wannacott. 1991. Statistique (4e éd.). Paris : Economica.

Top of page

Notes

1 « There are three kinds of lies: lies, damned lies... and statistics », traduction G. Taillefer.

2 La majorité de ceux-ci sont en langue anglaise, mais leur orientation résolument pratique devrait faciliter leur lecture par les spécialistes d’autres langues. Toutefois, certaines références en français sont mentionnées.

3 « hopefully to help re-shape [the] world in some small measure as a result of your study ».

4 Une certaine « bande » de variation autour de tout score, l’écart type d’estimation, est normale lors d’un test / re-test. Un score de 20 ou de 24 / 60, par exemple, peut ne pas constituer une différence réelle. Cette variance est indiquée pour tout test statistiquement étalonné.

5 En cas de distribution non normale, une autre famille statistique, dite « non paramétrique », peut toutefois répondre aux questions de recherche, quoiqu’avec un moindre degré de conviction. (D’autres conditions sont également requises pour les divers tests statistiques ; elles sont répertoriées en détail dans les références données).

6 Deux ressources intéressantes : le « troc » de conseils statistiques auprès d’enseignants de cette discipline contre un soutien linguistique pour la rédaction d’articles ; l’utilisation de votre projet statistique comme étude de cas pour des étudiants de cette discipline.

Top of page

References

Bibliographical reference

Gail Taillefer, « « Statistics for Specific Purposes » : utiliser l’outil statistique dans la recherche et l’enseignement en langue étrangère », Cahiers de l’APLIUT, Vol. XXIV N° 1 | 2005, 55-67.

Electronic reference

Gail Taillefer, « « Statistics for Specific Purposes » : utiliser l’outil statistique dans la recherche et l’enseignement en langue étrangère », Cahiers de l’APLIUT [Online], Vol. XXIV N° 1 | 2005, Online since 11 October 2012, connection on 20 November 2017. URL : http://apliut.revues.org/3010 ; DOI : 10.4000/apliut.3010

Top of page

About the author

Gail Taillefer

Gail Taillefer est maître de conférences en anglais dans le Département des Langues et Civilisations de l’Université des Sciences Sociales Toulouse I. Ses travaux et son enseignement portent sur le transfert des compétences de la L1 vers la L2 dans la compréhension de texte, la compréhension auditive et l’expression orale, ainsi que dans le domaine interculturel. L’aspect stratégique de ces questions est au cœur de sa démarche, comme l’est la place « stratégique » des langues sur le plan institutionnel.
Gail.Taillefer@univ-tlse1.fr

By this author

Top of page

Copyright

Association des Professeurs de Langues des Instituts Universitaires de Technologie

Top of page