FR2888742A1 - Methode et systeme d'investigation en temps reel des processus cognitifs - Google Patents

Abstract

L'invention concerne une méthode ainsi qu'un système d'investigation des processus cognitifs. La méthode selon l'invention se caractérise en ce qu'elle comporte les étapes suivantes selon lesquelles : on présente un ou une pluralité d'éléments visuels à un individu ; on enregistre les mouvements oculaires (EM) de l'individu auquel on a présenté le ou lesdits éléments visuels ; de manière concomitante à l'enregistrement desdits mouvements oculaires, on enregistre les potentiels électriques cérébraux (EEG) de cet individu ; on détecte les fixations oculaires dans les enregistrements des mouvements oculaires ; on échantillonne les enregistrements des potentiels électriques cérébraux en fonction des fixations oculaires détectées ; et on déduit desdites fixations oculaires et desdits potentiels échantillonnés, une information sur le processus cognitif de l'individu auquel on a présenté le ou lesdits éléments visuels. L'invention s'applique à l'investigation de tous processus cognitifs impliquant une activité visuelle.

Description

METHODE ET SYSTEME D'INVESTIGATION

EN TEMPS REEL DES PROCESSUS COGNITIFS

L'invention concerne une méthode d'investigation de processus fonctionnels cérébraux et, en particulier, de tous processus cognitifs impliquant une présentation d'éléments visuels.

ART ANTERIEUR

Lorsqu'on présente des éléments visuels à un individu, les mouvements des yeux de cet individu parcourent le plus souvent ces éléments en saccades. Ces saccades sont entrecoupées de différentes périodes de fixation durant lesquelles les yeux ne bougent pas, le regard restant fixé sur un élément visuel.

Il est cependant difficile de déterminer comment et quand exactement s'effectue le traitement de l'information contenue dans les éléments visuels par le cerveau, notamment, lorsque lesdits éléments sont des mots ou des images.

Afin de tester la pertinence de cette technique pour décrire finement les différentes étapes de traitement de l'information, la question du traitement parafovéal sémantique (question controversée dans la littérature) a été mise à l'épreuve.

Les objectifs du test de la technique (traitement 25 parafovéal sémantique) sont tels que suit.

Il est connu que la durée moyenne nécessaire pour la programmation d'une saccade oculaire, d'environ 150 ms, est du même ordre d'amplitude que la durée du traitement lexical d'un mot unique, entre 150 et 300 ms. Le traitement lexical est effectué dans les premiers 100 à ms et fait place graduellement au déplacement d'attention et à la programmation d'une autre saccade.

Par ailleurs, la durée moyenne de fixation d'un mot est de l'ordre de 250 ms. En conséquence, le temps disponible pour le traitement lexical et à la programmation des opérations oculomotrices est contraint et l'idée d'un traitement parallèle des mots a été émise.

Pour déterminer si le traitement des mots est effectué séquentiellement ou en parallèle, on a étudié la présence d'un effet parafovéal qui affecterait le traitement fovéal. Cet effet intervient lorsque le traitement du mot suivant affecte le traitement du mot fixé. Toutes les études menées sur de tels effets ont été obtenues en utilisant uniquement le suivi des mouvements des yeux. Néanmoins, ce suivi ne permet pas de séparer le traitement attentionnel du traitement lexical. En particulier, la durée de fixation d'un mot au cours de la lecture constitue une approximation grossière qui reflète non seulement le traitement lexical du mot fixé mais aussi des effets du mot suivant et des effets de débordement dus au traitement tardif du mot précédent.

Aussi, de manière générale, il n'a pas été possible, dans l'état de l'art, de déterminer, d'une part, comment s'effectue avec exactitude le traitement d'éléments visuels et notamment le temps nécessaire au traitement des informations contenues dans ces éléments et de déterminer, d'autre part, la manière avec laquelle se porte l'attention de l'individu sur les éléments visuels ainsi que les différentes étapes du processus cognitif qui suit la vision de ces éléments.

RESUME DE L'INVENTION Compte tenu de ce qui précède, un problème que se propose de résoudre l'invention est de réaliser une méthode d'investigation d'un processus cognitif (i.e, existe-t-il un traitement sémantique parafovéal ?), qui permette d'apporter une réponse claire aux questions précédentes de l'art antérieur.

La solution de l'invention à ce problème précis (traitement parafovéal) a pour premier objet une méthode d'investigation des processus cognitifs, caractérisée en ce qu'elle comporte les étapes suivantes selon lesquelles: on présente un ou une pluralité d'éléments visuels à un individu; on enregistre les mouvements oculaires de l'individu auquel on a présenté le ou lesdits éléments visuels; de manière concomitante à l'enregistrement desdits mouvements oculaires, on enregistre les potentiels électriques cérébraux de cet individu; on détecte les fixations oculaires dans les enregistrements des mouvements oculaires; on échantillonne les enregistrements des potentiels électriques cérébraux en fonction des fixations oculaires détectées; et on déduit desdites fixations oculaires et desdits potentiels échantillonnés, une information sur le processus cognitif de l'individu auquel on a présenté le ou lesdits éléments visuels.

Elle a pour second objet un système d'investigation d'un processus cognitif, caractérisé en ce qu'il comprend: un ou une pluralité d'éléments visuels destinés à être présentés à un individu; des moyens pour enregistrer les mouvements oculaires de cet individu; des moyens pour enregistrer, de manière concomitante à l'enregistrement des mouvements oculaires, les potentiels électriques cérébraux de cet individu; des moyens pour détecter les fixations oculaires dans les enregistrements des mouvements oculaires; et des moyens pour échantillonner les enregistrements des potentiels électriques cérébraux en fonction des fixations oculaires détectées, pour déduire desdites fixations oculaires et desdits potentiels échantillonnés une information sur le processus cognitif de l'individu auquel on a présenté le ou lesdits éléments visuels.

Aussi, le principe de l'invention est de coupler la technique d'enregistrement oculométrique à l'enregistrement des ondes électroencéphalographiques (EEGs) de manière à obtenir un degré de description temporelle et spatiale précis des processus perceptifs/attentionnels/cognitifs survenant au cours de l'activité visuelle. Les principales avancées de cette technique sont: - permettre le recours aux mouvements oculaires lors de l'enregistrement EEG et donc permettre l'étude des EEG en contexte naturel; - permettre l'étude des composants précoces (ERP) dans une activité cognitive contextualisée; et distinguer les phases d'activation/inhibition qui surviennent lors des fixations oculaires.

De manière avantageuse - les éléments visuels sont des ensembles d'au moins deux mots associés ou non sémantiquement, ou comprenant un ou plusieurs non-mots; - les éléments visuels sont des paires de mots, comprenant un premier mot et un second mot, ledit second mot étant associé ou non audit premier mot, ou étant un non-mot; - les éléments visuels sont des éléments d'un habitacle d'un véhicule; les éléments visuels sont des éléments graphiques et des mots destinés à être présentés sur une page notamment Internet; - les mouvements oculaires (EM) sont recueillis par un oculomètre; - les potentiels électriques cérébraux sont recueillis par un système encéphalographique; et - on utilise un marqueur de début de fixation et en ce que ce marqueur provient d'un signal entre un premier ordinateur et un second ordinateur dédié à l'enregistrement des potentiels électriques cérébraux (ECG).

BREVE DESCRIPTION DES DESSINS

L'invention sera mieux comprise à la lecture de la description non limitative suivante d'exemples de mise en uvre. Cette description doit être lue au regard des dessins annexés, dans lesquels: - la figure 1 montre, de manière schématique, un système selon l'invention; la figure 2 illustre la position des électrodes appliquées sur le cuir chevelu des individus selon le procédé de l'invention; - la figure 3 illustre les fixations et saccades successives qui ont lieu lors de la présentation d'une paire de mots à un individu selon l'invention (test de la technique) ; la figure 4 présente les différents signaux obtenus par l'électrode occipitale gauche 01 ainsi que les fenêtres temporelles correspondant aux pics P2 et N2 déterminés par la méthode selon l'invention; et la figure 5 localise, sur une échelle de temps, les différentes étapes d'un processus cognitif.

EXPOSE DETAILLE DE L'INVENTION Dispositif technique Ainsi que cela est montré à la figure 1, le système selon l'invention comprend deux ordinateurs 1 et 2, ces ordinateurs étant reliés par leur port parallèle. Chaque ordinateur est du type personnel, muni notamment d'un microprocesseur, de mémoire RAM, d'un disque dur, d'une carte graphique et d'un système d'exploitation. L'ordinateur 1 est muni de deux écrans, un premier écran 3 étant dédié à la présentation des stimuli ou éléments visuels ST à l'individu et le second 4, au suivi des enregistrements de signaux représentatifs des mouvements des yeux EM. Le second ordinateur 2 est utilisé pour la collecte, l'enregistrement, le suivi et l'analyse des signaux électriques produits par le cerveau. A cet effet, il comporte des logiciels tels que les logiciels Brain Vision RecorderTM et Brain Vision AnalyzerTM Par ailleurs, le système selon l'invention comprend un oculomètre 5. Cet oculomètre est par exemple un dispositif du type du dispositif photoélectrique à infrarouges développé par le Dr. Bouis à Karlsruhe en Allemagne pour suivre les mouvements des yeux en déterminant le centre de gravité de la lumière infrarouge reflétée par la pupille. En particulier, ce dispositif fournit un signal de sortie proche du linéaire pour un angle visuel horizontal de plus ou moins 6 , avec un niveau de précision supérieur à 2 min d'arc. Ce signal est numérisé chaque ms en utilisant le convertisseur PC 1200 A/D de National InstrumentsTM, puis enregistré par l'ordinateur 1 pour une analyse différée.

Le système selon l'invention comprend de plus un casque 6 munie d'électrodes non polarisables, par exemple d'étain, destinées à être disposées sur le cuir chevelu de l'individu. Ainsi que cela est plus particulièrement montré à la figure 2, ces électrodes sont avantageusement disposées dans les positions définies dans le système international 10/20 selon lequel le cuir chevelu est séparé en 4 zones le long des hémisphères gauche et droite. La zone frontale porte les électrodes FC1, F3, FC3, FC2, F4, FC4, la zone centrale porte les électrodes C3, Cl, CP1, C4, C2 et CP2, la zone postérieure porte les électrodes P3, P4, 01, 02, CP3 et CP4, et la zone de ligne médiane porte les électrodes Oz, Pz, Cz et Fz. En outre, des électrodes, disposées sur les lobes droits et gauches des oreilles, sont utilisées en tant que référence. Enfin, deux électrodes sont disposées latéralement et sous l'oeil gauche de chaque individu en vue de suivre les mouvements horizontaux et verticaux de cet il. A noter que l'impédance est conservée en dessous de 5 kOhms sur chaque électrode.

De surcroît, le système selon l'invention comprend un amplificateur 7. Cet amplificateur est par exemple l'amplificateur commercialisé par BrainProductsTM sous l'appellation BrainAmp MR 32. Il amplifie les signaux électro-encéphalographiques EEG analogiques reçus du casque 6 liés aux évènements dans la bande passante 0,01-100 Hz, convertit ces signaux sous une forme digitale, les filtre dans la bande passante 0,1- 40Hz et les échantillonne de manière continue à 1 kHz. Les signaux échantillonnés sont ensuite transmis à l'ordinateur 2, pour une analyse différée.

Selon l'invention, un signal de synchronisation 8 (TTL pulse) est envoyé de l'ordinateur 1 à l'ordinateur 2, à chaque fois qu'un élément visuel est présenté à l'individu sur le premier écran 3. Ce signal 8 déclenche l'enregistrement des signaux EEG simultanément avec l'enregistrement des signaux EM. Les enregistrements de ces signaux sont effectués en continu par exemple dans une fenêtre de temps de 2600 ms.

Les éléments visuels selon l'invention, qui sont présentés aux individus, sont des éléments visuels quelconques. Il peut s'agir de voyants ou de cadrans tels que des voyants ou des cadrans gradués que l'on trouve dans des habitacles de pilotage de véhicules terrestres ou aériens, notamment des avions. Il peut s'agir d'éléments visuels présentés dans des pages dites électroniques de sites Internet. Il peut s'agir de textes, de bandes dessinées, de séquences vidéo ou de films.

Dans l'exemple ci-après, le système selon 35 l'invention tel que décrit au regard des figures 1 et 2 est mis en oeuvre pour l'investigation de processus cognitifs précoces déclenchés par la présentation de paires de mots à des individus.

Dispositif expérimental applicable au test Chaque paire de mots comporte un premier mot et un second mot. Le second mot est placé immédiatement à la suite du premier mot. Il est associé sémantiquement au premier mot, non associé sémantiquement, ou alors, il constitue un mot n'ayant pas de sens, c'est-à-dire un non-mot. A l'exception des non-mots, les mots utilisés sont des mots du langage courant. Le nombre de lettres du second mot est voisin du nombre de lettres du premier mot. A titre d'exemple, une paire de mots associés sémantiquement peut être constituée des mots cheval jument , une paire de mots non associés sémantiquement peut être constituée des mots cheval chaise et une paire de mots comportant un non-mot peut être constituée des mots cheval tvsqrd .

La mesure des mouvements des yeux est réalisée sur l'oeil droit, bien que la vue soit binoculaire. Les paires de mots sont présentées sur l'écran 3 de l'ordinateur 1, en noir, sur fond blanc. Pour le calibrage du système, on présente, à chaque individu, une croix positionnée successivement en différents endroits le long d'une ligne médiane horizontale de l'écran. A l'issue du calibrage, la croix apparaît au centre de l'écran. Puis, un ensemble constitué par la paire de mots et une croix est présenté pendant 2600 ms, le premier mot étant disposé à la place de la croix localisée précédemment au centre de l'écran.

On a demandé à chaque individu de lire chacun des mots puis de fixer la croix de manière à ce que l'individu réalise une éventuelle association sémantique entre les mots le plus rapidement possible.

La figure 3 montre les différentes étapes qui se déroulent dans le temps lorsque la paire de mots cheval jument associés sémantiquement est présentée. Tout d'abord, l'individu fixe le mot cheval puis une saccade est programmée et le regard de l'individu se déplace sur le mot jument . Enfin, le regard se déplace sur la croix qui suit le mot jument .

L'individu doit alors dire si il y a association sémantique entre les mots cheval et jument ou non en cliquant sur l'un ou l'autre des boutons de la souris.

Analyse du test L'analyse en différé des signaux EM a été effectuée de la manière suivante. Tout d'abord, on a repéré, dans ces signaux EM, le début et la fin de chacune des saccades. Une fois ces saccades repérées, les fixations ont été isolées. Certaines fixations ont été éliminées, notamment si les signaux montrent des perturbations dues à des battements de paupières, des dérives, ou des glissements, ou quelles que soient les fixations, si leur durée est supérieure à 100 ms. Les fixations éliminées ont été remplacées par des valeurs moyennes obtenues dans des conditions correspondantes.

Les signaux EEG, enregistrés en continu par l'ordinateur 2 font l'objet d'une conversion, d'une filtration et d'une amplification par l'amplificateur 7. Ils sont ensuite divisés en fenêtres temporelles de durées égales par rapport à un marqueur de référence, ce marqueur étant donné par le signal TTL 8 transmis à l'ordinateur 2 au début de la présentation de chaque paire de mots. Ainsi, un premier marqueur de référence correspond au début de la première fixation sur le premier mot.

Les fixations isolées dans les signaux EM sont 35 ensuite utilisées selon l'invention en vue de segmenter les signaux EEG. On a donc obtenu des potentiels relatifs aux fixations de l' il(EFRPs).

Ces EFRPs sont alors quantifiés en calculant l'amplitude moyenne relativement aux deux fenêtres temporelles suivantes: 0-200 ms et 0-300 ms après le début de la première fixation. La première fenêtre temporelle a été sélectionnée sur la base des composants ERP suivants: P1 (pic entre 60 et 90 ms) et Ni (pic entre 110 et 140 ms). Ces composants ERP ont montré les plus larges amplitudes autour l'aire occipitale gauche, sous l'électrode 01. Une ANOVA a été réalisée sur cette électrode avec l'association sémantique comme facteur de différenciation (associé, nonmot, non-associé). Dans la seconde fenêtre temporelle, deux composants additionnels ont pu être observés. Il s'agit des composants P2 (pic entre 200 et 230 ms) et N2 (pic entre 240 et 280 ms) sur les sites central et frontal des deux hémisphères. Ces pics sont montrés à la figure 4, pour l'électrode 01. L'amplitude et les temps de latence de ces pics sont mesurés pour les électrodes de la zone centrale gauche (Cl, C3, CP1), de la zone frontale gauche (F3, FC1, FC3), de la zone postérieure gauche (01, CP3, P3), de la zone centrale droite (C2, C4, CP2), de la zone frontale droite (F4, FC2, FC4), et de la zone postérieure droite (02, CP4, P4). Des ANOVAs répétées avec correction de Greenhouse-Geisser ont été réalisées en utilisant les hémisphères gauche vs. droite, les sites (frontal vs. Central vs. Postérieur), les électrodes (3 par site), et l'association sémantique (mots associés, non-mots, non- associés).

L'ensemble des résultats ont trait au traitement du premier mot lors de la présentation d'une paire de mots, puisque, dans le présent exemple selon l'invention, on s'intéresse aux effets parafovéaux sur fovéaux.

En ce qui concerne les signaux EM, il apparaît que la durée des fixations initiales, c'est-à-dire la durée de fixation jusqu'à ce que le regard quitte le premier mot est à peu près égale que les mots soient associés sémantiquement ou non, ou qu'il comportent un non-mot. Par contre, la durée totale de fixation, incluant une relecture éventuelle, varie considérablement en fonction de l'association sémantique. Elle est plus courte pour les mots associés que pour les mots non-associés.

En ce qui concerne les signaux EFRP dans la première fenêtre temporelle comprise entre 0 et 200 ms, il apparaît que l'amplitude du pic Pl ne dépend pas de la présence d'une association sémantique entre les mots, ni de la présence d'un non-mot. Par contre, la différence est sensible en ce qui concerne le pic N1. En effet, lorsque les mots sont associés sémantiquement, l'amplitude de ce pic est plus importante. Dans les deux cas, il existe les pics sont présents essentiellement dans les zones postérieures et non pas centrales ou frontales. Il existe en outre une certaine latéralité, les pics étant plus marqués sur la occipitale gauche.

En ce qui concerne les signaux EFRP dans la seconde fenêtre temporelle comprise entre 0 et 300 ms, il apparaît que seule l'amplitude du pic P2 dépend de la présence d'une association sémantique entre les mots. En effet, l'amplitude de ce pic est plus importante dans le cas d'une association sémantique qu'en l'absence d'une telle association. A noter par ailleurs qu'il n'y a pas de dominance d'une hémisphère cérébrale par rapport à une autre dans le cas des pics P2 et N2.

Aussi, et ainsi que cela est illustré à la figure 5, l'invention a permis, dans l'exemple ci-dessus, de mettre en évidence la dynamique des processus cognitifs précoces liés à la lecture. Si l'on se concentre sur la première fixation, le pic N1, à 119 ms du début de la fixation, serait la manifestation électrique de la reconnaissance de la forme des mots: associés ou non sémantiquement vs. non-mot alors que le pic P2, à 215 ms, serait la manifestation électrique de la prise en compte du sens des mots: associé ou non sémantiquement. En conséquence, le traitement lexical débute très en amont, dès 100 ms après la présentation d'un élément visuel, ce qui montrerait un traitement en parallèle des mots.

Bien entendu, il existe de multiples applications de l'invention. Toute activité visuelle qui mobilise fortement les processus cognitifs est potentiellement et avantageusement analysable par cette technique. Notamment les travaux en ergonomie et en neuropsychologie peuvent être les principaux bénéficiaires de cette technique.

Dans le cas précité où les éléments visuels sont des éléments d'un habitacle d'un véhicule, le système selon l'invention peut par exemple être mis en oeuvre en vue de déterminer comment disposer ou présenter (couleur, forme, contenu) les éléments visuels de manière à ce que ceuxci soient pris en compte de manière précoce par un conducteur et éviter les situations de stress ou de charge attentionnelle. Dans le cas précité où les éléments visuels sont des éléments visuels présents dans des pages électroniques de sites Internet, le système selon l'invention peut par exemple être mis en oeuvre de manière à déterminer comment disposer ou présenter les différents éléments visuels afin d'améliorer la lisibilité de ces pages et éviter la surcharge cognitive.

En outre, il est bien entendu que le système selon l'invention peut être appliqué au diagnostic de pathologies que présentent des individus dans les processus cognitifs associés à la lecture tels que la dyslexie, associés à la reconnaissance des formes ou des visages ou de déficits attentionnels. Par le repérage d'ondes cérébrales corrélées à chaque processus, il est possible de distinguer les déficits liés à une activité exécuter en contexte.

A notera l'importance de la distinction des processus cognitifs selon l'invention en contexte. La littérature neurophysiologique de l'art antérieur a identifié tout un ensemble d'ondes cérébrales corrélées à une activité précise. Toutefois, ces ondes ne sont recueillies que dans des conditions strictement expérimentales. La technique EFRP selon l'invention permet de revisiter ces corrélats neurophysiologiques par une analyse de l'activité en contexte. Elle permet de distinguer tout processus cognitif survenant dans une activité visuelle telle que la lecture, la navigation sur les pages Internet, etc..., en contexte.

Claims (10)

REVENDICATIONS

1. Méthode d'investigation des processus cognitifs, caractérisée en ce qu'elle comporte les étapes suivantes selon lesquelles: on présente un ou une pluralité d'éléments visuels à 5 un individu; on enregistre les mouvements oculaires (EM) de l'individu auquel on a présenté le ou lesdits éléments visuels; de manière concomitante à l'enregistrement desdits 10 mouvements oculaires, on enregistre les potentiels électriques cérébraux (EEG) de cet individu; on détecte les fixations oculaires dans les enregistrements des mouvements oculaires; on échantillonne les enregistrements des potentiels 15 électriques cérébraux en fonction des fixations oculaires détectées; et on déduit desdites fixations oculaires et desdits potentiels échantillonnés, une information sur les processus cognitifs de l'individu auquel on a présenté le ou lesdits éléments visuels.

2. Méthode selon la revendication 1, dans laquelle les éléments visuels sont des ensembles d'au moins deux mots associés ou non sémantiquement, ou comprenant un ou plusieurs non-mots.

3. Méthode selon la revendication 2, dans laquelle les éléments visuels sont des paires de mots, comprenant un premier mot et un second mot, ledit second mot étant associé ou non audit premier mot, ou étant un non- mot.

4. Méthode selon la revendication 1, dans laquelle les éléments visuels sont des éléments d'un habitacle d'un véhicule.

5. Méthode selon la revendication 1, dans laquelle les éléments visuels sont des éléments graphiques et des mots destinés à être présentés sur une page notamment Internet.

6. Méthode selon l'une des revendications précédentes, dans laquelle les mouvements oculaires (EM) sont recueillis par un oculomètre (5).

7. Méthode selon l'une des revendications

précédentes, dans laquelle les potentiels électriques cérébraux sont recueillis par un système encéphalographique (6).

8. Méthode selon l'une des revendications

précédentes, caractérisée en ce qu'on utilise un marqueur de début de fixation et en ce que ce marqueur provient d'un signal entre un premier ordinateur (1) et un second ordinateur (2) dédié à l'enregistrement des potentiels électriques cérébraux (EEG).

9. Système d'investigation des processus cognitifs, caractérisé en ce qu'il comprend: un ou une pluralité d'éléments visuels destinés à être présentés à un individu; des moyens pour enregistrer les mouvements oculaires (EM) de cet individu; des moyens pour enregistrer, de manière concomitante à l'enregistrement des mouvements oculaires, les potentiels électriques cérébraux (EEG) de cet individu; des moyens pour détecter les fixations oculaires dans les enregistrements des mouvements oculaires; et des moyens pour échantillonner les enregistrements des potentiels électriques cérébraux en fonction des fixations oculaires détectées, pour déduire desdites fixations oculaires et desdits potentiels échantillonnés une information sur le processus cognitifs de l'individu auquel on a présenté le ou lesdits éléments visuels.

10. Système selon la revendication 9, caractérisé en ce que les moyens pour enregistrer les mouvements oculaires sont un oculomètre (5) et en ce que les moyens pour enregistrer les potentiels électriques cérébraux sont un casque muni d'électrodes (6).