EP3036733A1 - Method for assisting visual exploration for an individual suffering from a retinal condition resulting in a scotoma - Google Patents

Method for assisting visual exploration for an individual suffering from a retinal condition resulting in a scotoma

Info

Publication number
EP3036733A1
EP3036733A1 EP14750203.3A EP14750203A EP3036733A1 EP 3036733 A1 EP3036733 A1 EP 3036733A1 EP 14750203 A EP14750203 A EP 14750203A EP 3036733 A1 EP3036733 A1 EP 3036733A1
Authority
EP
European Patent Office
Prior art keywords
zone
area
interest
display device
blind
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
EP14750203.3A
Other languages
German (de)
French (fr)
Inventor
Carlos Aguilar
Eric CASTET
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aix Marseille Universite
Centre National de la Recherche Scientifique CNRS
EssilorLuxottica SA
Original Assignee
Aix Marseille Universite
Centre National de la Recherche Scientifique CNRS
Essilor International Compagnie Generale dOptique SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aix Marseille Universite, Centre National de la Recherche Scientifique CNRS, Essilor International Compagnie Generale dOptique SA filed Critical Aix Marseille Universite
Priority to EP14750203.3A priority Critical patent/EP3036733A1/en
Publication of EP3036733A1 publication Critical patent/EP3036733A1/en
Ceased legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G09B21/008—Teaching or communicating with blind persons using visual presentation of the information for the partially sighted
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0091—Fixation targets for viewing direction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation

Definitions

  • the invention relates to the field of visual exploration assisting methods for individuals with retinal pathology manifested by scotoma, such as age-related macular degeneration (AMD), Stargardt's disease. or maculopathies.
  • AMD age-related macular degeneration
  • Stargardt's disease Stargardt's disease. or maculopathies.
  • the invention relates more particularly to a method of assisting the visual exploration of a digital image on a display device by an individual suffering from a retinal pathology resulting in a scotoma.
  • AMD Stargardt's disease or maculopathies can lead to visual impairment resulting in the progressive destruction of central vision and the development of a blind spot called "scotoma" that suppresses information that reaches the foveal region.
  • This information is essential for performing certain daily tasks such as reading or more generally the recognition of objects in an image.
  • the absence of therapies capable of definitively eliminating this attack obliges the individual to opt for assistance procedures that are often of an optical nature.
  • the system consists of informative glasses with an eye tracker. If the user is an individual with AMD, the system takes into account the area of the visual field of the individual who is masked by his macular scotoma. First, the glasses capture the image of a scene and project it onto ophthalmic lenses. Then, the oculometer implanted on these glasses makes it possible to measure the position of the look on the projected image. The user can activate the enrichment of the image area which is masked by his scotome. The enrichment of this image zone can be either the increase of its size, the increase and the offset of its lines, or a displacement and a deformation of its lines around the scotome.
  • the position of the gaze and the size of the scotoma are used to define the enriched information near the scotoma. He is thus able to adapt to the characteristics of the scotome of each individual.
  • the image processing proposed by this system takes into account the retinal pathology of the individual, the enrichment performed does not take into account fundamental aspects of reading in the presence of a macular scotoma. Indeed, this system only acts on the pixels of the image area, to move the information masked by the scotome. Consequently, it does not allow to optimize the interaction between the position of the gaze, the size of the scotome and the entities "words" and "letters" of the text.
  • this system does not offer a control system that takes into account oculomotor events in the absence of central vision, which is however necessary to optimize the eye movements of individuals with retinal pathology. From these facts, this system may lack efficiency in terms of comfort and in particular in terms of reading performance.
  • the present invention aims to overcome one or more of the disadvantages mentioned above by proposing a method of assisting the visual exploration of a digital image on a display device by an individual suffering from a retinal pathology. translating with a scotome, the digital image being composed of a dot matrix segmentable in zones.
  • the method of the invention is essentially such that it comprises the steps of:
  • the method thus advantageously makes it possible not only to use the position of the gaze and the size of the scotome in order to define the information to be reproduced in an enriched manner, but also to detect different objects of the image, to specifically identify those that the individual explores or wishes to explore visually and to optimize the enriched display of this object so as to compensate for the factors limiting its vision.
  • the method further comprises the steps of: determining a zone of interest comprising at least one object zone, according to a criterion for positioning the blind zone on the digital image, the blind zone being positionable on the display device by slaving to a pointing device,
  • the highlighting of the object zone consists in enriching the determined zone of interest by modifying it and reproducing it in a vision zone according to at least one predetermined treatment.
  • the method thus advantageously makes it possible to visually inform the individual that he can enrich an object recognized by its automatic marking.
  • the criterion for positioning the blind zone on the digital image according to which the area of interest is determined is chosen from:
  • a criterion for recovering the zone of interest by the blind zone and a criterion for recovering the zone of interest by a preferred fixing zone determined for each individual, the positioning of this preferential fixing zone on the device. display being relative to the positioning of the blind area on the same device.
  • said recovery criterion consists of determining:
  • the enrichment of the area of interest further comprises moving the viewing area so that it is fully reproduced on the display and has a substantially maximum overlap with the area of vision which would be only partially reproduced on the display device according to said predetermined processing.
  • the highlighting of the object area is controlled by the individual by actuating, and optionally maintaining actuated, an actuator, and the method further comprises a step of returning to the digital image before enrichment, this return being controlled by the individual by actuation, and possibly by loosening, of the actuator, respectively.
  • the method according to this feature thus advantageously allows the individual to control the duration of the enrichment.
  • At least one zone among the blind zone and the zone of vision comprises a visible marking on the display device.
  • the method according to this feature thus advantageously makes it possible to help the individual to be aware of the extent of his scotome to enable him to optimize his eye movements.
  • the method according to this feature also advantageously allows to help the individual to stabilize vertically on the line he is reading.
  • the pattern recognition software comprises an algorithm for segmenting objects with respect to the background which is based on the principle of the segregation figure-background used in automatic image processing.
  • the method according to this first embodiment is thus advantageously adapted to the local or semi-local recognition of objects, faces or geometric shapes.
  • the predetermined treatment of the area of interest consists of the gradual enlargement of its size and possibly its gradual shift from its initial position in the digital image to occupy the device the viewing area and the method further comprises a step of returning to the digital image before enrichment consisting of a progressive decrease in the size of the enriched area of interest and possibly a progressive shift of its position to his return to his size and his position before enrichment.
  • the method according to this feature of the first embodiment thus advantageously allows the individual to keep a memory of the initial position of the area of interest in the digital image, in particular to facilitate the subsequent visual exploration of the rest of the image. digital image.
  • the shift of the position of the enriched area of interest also makes it possible advantageously to coincide as well as possible the zone of vision with a preferential fixing zone determined for each individual.
  • the visual exploration assistance method is a reading assistance method;
  • the digital image includes a text to be read;
  • the pattern recognition software includes character recognition software, for recognizing at least a portion of text by segmenting into line areas, and then segmenting each line area into word areas;
  • the object area is a word box;
  • the vision zone is located on the periphery of the blind zone.
  • the method according to its second embodiment thus advantageously makes it possible not only to use the position of the gaze and the size of the scotome in order to define the information to be reproduced in an enriched manner near the scotome, but also to detect different words of the image, to specifically identify a group of words that the individual wishes to read, visually inform the individual that he can enrich this group of words by the automatic marking of the latter and optimize the enriched display of this group of words from to compensate for the factors limiting his reading ability. It should also be noted that segmenting the image into word areas makes it possible to reproduce whole words in the viewing area.
  • the method further comprises, prior to the determination of the area of interest, a step of modifying the image of the text by resizing it and / or by changing the spacing of the image. line spacing according to the size of the characters, the length and / or number of lines, the size of the display device and / or the size of the blind area.
  • the recognition of said at least one text portion further comprises the segmentation of each word area into letter areas.
  • the method according to its second embodiment thus advantageously allows a modification and a more finely controlled reproduction of the words located in the area of interest.
  • the zone of interest comprises, in addition to said at least one word zone, at least two other word zones belonging to the same line zone, each word zone of the area of interest being juxtaposed with another word zone of the area of interest.
  • said at least one predetermined treatment of the area of interest consists of:
  • the method according to its second embodiment thus advantageously makes it possible to modify each of the words of the area of interest differently.
  • the size of the characters and / or the spacing between the characters are further increased as the characters are intended to be reproduced on a line of the viewing zone farther from the blind zone.
  • the method thus advantageously makes it possible to limit or eliminate the phenomenon of visual bulk.
  • the method according to its second embodiment thus advantageously makes it possible to avoid that one and the same group of words is enriched several times and / or that successive areas of interest have zones of words in common, or at least allows to signal to the individual these occurrences.
  • the method can thus advantageously make it possible to signal to the individual the next group of words to be enriched.
  • the method further comprises a step of displaying on the display device a marker to the left of the line zone located directly below the line zone comprising the zone d 'interest.
  • the method comprises, prior to reproduction in the viewing zone of the zone of interest treated or prior to determining the zone of interest according to a choice of said positioning criterion, a step of determining the peripheral position of the viewing zone with respect to the blind zone as corresponding to the position of a preferred binding area determined for each individual.
  • the method thus advantageously makes it possible to optimize, in a manner adapted to each individual, the effectiveness of servo control in the absence of macular vision.
  • the determination of the peripheral position of the viewing zone with respect to the blind zone comprises the calibration steps consisting of:
  • the zone of vision is located juxtaposed and centered below or above the blind zone.
  • the method according to its first and second embodiments thus advantageously allows the individual to identify the largest number of visual characteristics, such as letters, in a single attachment and thus to increase its visual span.
  • the method according to this other feature allows the individual to retain, even during the display of the viewing zone, its perceptive span intact.
  • the pointing device slaving the positioning of the blind zone is selected from a computer keyboard, a mouse and an eye tracker.
  • the invention relates to a computer program comprising instructions for implementing the method according to any one of the preceding claims, when this program is executed by a processor.
  • the advantages provided by the computer program as succinctly set forth above are at least the same as those mentioned above in connection with the method according to the first aspect of the invention.
  • FIG. 1 illustrates the evolution of maximum reading speeds in central vision and in peripheral vision as a function of the size of the characters read
  • FIG. 2 illustrates the visual span (on the left) and the effect of the size of the visual span on the reading speed (on the right),
  • FIGS. 3a and 3b illustrates the phenomenon of visual congestion and a mode of suppression of this phenomenon according to the invention
  • FIGS. 4a, 4b, 4c and 4d illustrate several variants of the second embodiment of the method according to the invention
  • FIG. 5 illustrates a feature of the second embodiment of the method according to the invention
  • FIG. 6 illustrates another feature of the second embodiment of the method according to the invention
  • FIGS. 7a and 7b illustrate an embodiment of the determination of the peripheral position of the zone of vision with respect to the blind zone
  • FIG. 8 represents a flow chart of the steps of the method according to its first and second embodiments.
  • FIGS. 9a and 9b illustrate a feature of the method according to the invention in its second embodiment
  • FIG. 10 illustrates the first embodiment of the method according to the invention.
  • the invention relates to a method S of assisting the visual exploration of a digital image I on a display device D by an individual suffering from a retinal pathology resulting in a scotoma.
  • the digital image I is composed of a dot matrix segmentable in zones.
  • Process S comprises the steps of:
  • the method S thus advantageously makes it possible not only to use the position of the gaze and the size of the scotome in order to define the information to be reproduced in an enriched manner, but also to detect different objects of the image I, to identify specifically those that the individual explores or wishes to visually explore and optimize the enriched display of that object so as to compensate for the factors limiting his vision.
  • the method S further comprises the steps of:
  • highlighting S70, S90 of the object area is to enrich the area of interest Z2 determined by modifying S70 and reproducing S90 in a viewing zone Z3 according to at least one predetermined treatment.
  • the blind zone Z1 must be freely positionable by the reader on the display device D and more particularly on the digital image I. This is achieved by slaving the positioning of the blind zone Z1 to a pointing device, such as a computer keyboard, a mouse or preferably an eye tracker.
  • a pointing device such as a computer keyboard, a mouse or preferably an eye tracker.
  • the method thus advantageously makes it possible to visually inform the individual that he can enrich an object recognized by its automatic marking.
  • the marking MZ2 of the zone of interest Z2 allows the individual to be aware of the recognized object that he can enrich.
  • the marking of any zone, and of the zone of interest Z2 in particular, consists of the action of bringing out the graphical element (or more particularly the part of text according to the second embodiment described lower) constituting this zone by modifying its visual attributes.
  • the marking may consist of an outline and / or a highlighting of the zone.
  • the positioning criterion of the blind zone Z1 on the digital image I according to which the zone of interest Z2 is determined is chosen from: a criterion for recovering the zone of interest Z2 by the blind area Z1, and
  • said recovery criterion consists of determining: the positioning of a specific point of the blind zone Z1 or of the preferential fixing zone PRL on the zone of interest Z2, said specific point being for example the center or the lower right corner of the zone considered, or - a greater area of overlap of the zone of interest Z2 by the blind zone Z1 or by the preferred zone of attachment PRL.
  • the recovery criterion by determining a larger overlap surface probably requires some simple geometric calculations, for example based on the coordinates of each recognized object. These calculations are supposed to be within the skill of the skilled person.
  • the zone of interest Z2 may be located close to an edge of the display device D so that the viewing area Z3 would only be partially reproduced on the display device D according to said predetermined processing.
  • the enrichment of the zone of interest Z2 consists, in addition to the modification S70 and the reproduction S90 of the zone of interest Z2, in displacing the zone of vision Z3 so as to it is entirely reproduced on the display device D.
  • This displacement is preferably made so that the vision zone Z3 thus displaced has a substantially maximum overlap with the zone of vision Z3 which would only be partially reproduced.
  • This preference is all the more marked as the position of the zone of vision Z3 with respect to the blind zone Z1 is chosen as corresponding to the position of a preferred fixation zone determined for each individual, for example according to the test described below. .
  • the highlighting of the object zone or the enrichment of the area of interest Z2 determined is controlled by the individual by actuating an actuator and the method may further comprise a step of return to the digital image I before enrichment, this feedback being controlled by the individual also by actuation of the actuator.
  • actuation of the actuator can be maintained by the individual, and possibly the step of returning to the digital image I before enrichment is controlled by releasing the actuator.
  • the method S according to this feature thus advantageously allows the individual to control the trigger and the duration of the enrichment.
  • at least one zone among the blind zone Z1 and the vision zone Z3 comprises a visible marking on the display device.
  • the method thus advantageously makes it possible to help the individual, not only to stabilize on the recognized object that he wishes to enrich, but also to be aware of the extent of his scotome to enable him to optimize his eye movements.
  • the method according to its first embodiment illustrated in FIG. 10 is essentially such that the pattern recognition software comprises an algorithm for segmenting objects with respect to the background which is based on the principle of the segregation figure-background employed in treatment. automatic image.
  • the method according to this first embodiment is thus advantageously adapted to the local or semi-local recognition of objects, faces or geometric shapes.
  • Figure 10 shows drawings showing the same picture of three characters together with the blind zone Z1 representing the scotoma of the individual. At least one face of one of the three characters has been recognized as an object to be enriched. As illustrated in the photo in the center of FIG. 10, the inducing individual, according to the positioning criterion described above, the blind zone on this face sees a (black) outline around it so that it is informed of the possibility offered to enrich the recognized face for example in the manner illustrated in the drawing on the right of Figure 10.
  • the predetermined processing of the zone of interest Z2 consists, as shown in the right-hand picture of FIG. 10, in enlarging the size of the zone of interest Z2, or equivalent to the object area ZO, including the recognized object.
  • this enlargement is progressive in size until occupy on the display device D the viewing zone Z3. This enlargement can also be directly controlled by the individual for example via the wheel of his mouse.
  • a progressive shift of the object area ZO from its initial position in the digital image I can be advantageously achieved so that the enriched object is in the center of the viewing area, especially when the position of the area of Z3 vision with respect to the blind zone Z1 is chosen as corresponding to the position of the preferred area PRL fixation.
  • the method S may further comprise a step of returning to the digital image I before enrichment consisting of an inverse progressive decrease in the size of the enriched zone of interest Z2, and possibly in an inverse progressive shift of its position until its return to its size and its position before enrichment.
  • the method S relates more particularly to a method of assisting reading on a display device of a text intended to be read by an individual suffering from a retinal pathology resulting in a scotoma is described below with reference to Figures 1 to 9.
  • the text is part of a digital image I composed of a matrix of points. Like any matrix of points, that composing the image of the text is segmentable into zones. Each zone is preferably made of a single piece.
  • the method comprises a step of modifying the image of the text.
  • This modification may consist of a resizing of the digital image I.
  • the image of the text is resized so that the lines of the text begin at an edge of the display device D on which the image of the text is displayed. and terminate before an opposite edge of the display device, so that it is not necessary for the reader to move the image, during its reading, with a corresponding scroll bar at the end and at the beginning of each line of text.
  • Such resizing may automatically induce a change in interline spacing, but it is also suggested that this latter modification may be operated independently.
  • This step of modifying the image is preferably carried out taking into account at least one parameter among: the size of the characters, the length and / or the number of lines, the size of the display device and / or the size of the a so-called blind zone Z1 representing the scotoma of the individual on the display device.
  • the text image is resized so that the blind area does not overlap more than two successive line portions.
  • the method according to the invention comprises a step of recognizing S10, using a character recognition software, at least a portion of text by segmenting it into line zones ZL, then by segmenting each line zone into ZM word zones.
  • the recognition software designates a computer process for the translation of images of printed or typed texts into text files, such as Optical Character Recognition (OCR) software.
  • OCR Optical Character Recognition
  • the method according to the invention further comprises a step of determining S30 the blind zone Z1.
  • This blind zone represents the scotoma of the individual on the display device D.
  • this blind zone contains entirely the scotoma.
  • the shape of this zone may for example be adapted to the shape of the scotoma of an individual, generally approximately the shape of a disk, or be defined by default, for example in a rectangular form.
  • the method according to its second embodiment further comprises a step of determining S50 an area of interest Z2 comprising at least one ZM word area.
  • the positioning and overlapping criteria are as described above.
  • the words included in the zone of interest Z2 may for example be located under or near the edges of the blind zone Z1.
  • the few simple geometric calculations necessary for the determination of a larger surface area are based on the detection of the coordinates of each word zone and possibly each letter zone.
  • the line zones and the successive word zones are not necessarily juxtaposed, for example so that the sum of all the zones completely covers the area. image of the text, but may instead be slightly spaced apart by empty text areas.
  • the zone of interest Z2 determined according to one of the previously described positioning or overlapping criteria is displayed S60 on the display device via a marking MZ2 allowing its visualization.
  • the method according to the invention further comprises a step of modifying S70 the zone of interest Z2 according to at least one predetermined treatment and a step of reproducing S90 the zone of interest Z2 treated in a vision zone Z3 located on the periphery of the blind zone Z1.
  • the modification S70 and the reproduction S90, or the single reproduction S90 are for example controlled by the individual by pressing a mouse button or a key on the keyboard.
  • the recognition S10 of said at least one text portion further comprises the segmentation of each word area into letter areas.
  • the method thus advantageously allows an S70 modification and a more finely controlled S90 reproduction of the words situated in the area of interest, for example by winding deformation of the letters of the group of words to be enriched or by an increase in the size of the letters furthest from the center of the scotome greater than that of the letters closest to the center of the scotoma.
  • segmentation of the letter area image is performed, the coordinates of each letter area are detected for use.
  • the enrichment performed according to the second embodiment of the method advantageously takes account of fundamental aspects of a reading exercise in the presence of a macular scotoma. Indeed, this enrichment is not content to move the information masked by the scotome (by resizing or distorting the image of the text), but recognizes the words of the image, specifically identifies those that the individual wish to read and optimize the display of these words so as to compensate for the factors limiting the reading in the presence of a scotome.
  • Figure 1 therefore illustrates the reading performance as a function of the size of the characters for individuals using their normal vision (a) and individuals using their peripheral vision (b).
  • the visual span is defined as an essential notion in reading studies. It corresponds to the extent of the visual field in which the letters can be identified apart from any linguistic information. It quantifies the number of letters that can be identified from a fixation without resorting to the context.
  • the image on the left of Figure 2 illustrates the notion of visual span (EV). If the gaze of the individual fixes the center of the circle containing the words, his visual span then corresponds to the words "this must”.
  • visual clutter is the product of spatial interaction between adjacent letters of a word, or between the words themselves. If the letter (or word) to be identified has a sufficiently large isolation area, congestion does not act on its identification. On the contrary, when other letters (or words) are present within this zone, the identification of the letter in question is disturbed.
  • the size of the spatial area (called the isolation zone) necessary to avoid the phenomenon of visual congestion grows proportionally to the eccentricity. Figure 3a demonstrates this.
  • the preferential area of PRL fixation is defined as the area of vision towards which attention is deployed, in the presence of a scotoma. Indeed, when a central scotoma is present, the center of the retina can not be used to identify a target and the individual is forced to focus his attention outside of the affected area thus dissociating his eyes from the area of attention deployment.
  • the preferential fixation zone is thus spontaneously displaced, in the presence of a scotoma, towards one or more zones of healthy Z3 vision of the extrafoveal retina.
  • these preferred attachment areas are detectable and positionable, for example using an eye tracker.
  • the step of modifying the image of the text makes it possible to put the characters of the text to a size which allows the individual to read each words by placing themselves at the threshold of word acuity according to the size of the scotoma.
  • This font size of the text is large enough to allow the individual to have a correct reading with his scotome, but not too large to avoid the loss of global information on the text.
  • the line spacing of the text can be increased, depending on the size of the scotome, so that the individual can better position his scotome on the line being played. Referring to FIG.
  • said at least one predetermined processing of the zone of interest Z2 consists of a segmentation of each word zone into character (or letter) zones and in an increase of the spacing between the characters, to allow to limit, even to avoid, the phenomenon of visual congestion.
  • Figure 3b illustrates this by showing, on the left, a word whose spacing between the letters is normal, which makes difficult its identification in eccentric vision (by fixing the cross on the left), and on the right, a word whose spacing between the letters is increased, which makes it easier to identify in eccentric vision (by fixing the cross on the right).
  • the zone of interest Z2 may comprise, in addition to said at least one word zone covered, at least two other word zones belonging to the same line zone, each zone the word of the zone of interest Z2 preferably being juxtaposed with another word zone of the zone of interest Z2.
  • a feature already introduced above with reference to the first embodiment of the method at least one zone among the blind zone Z1 and the vision zone Z3 comprises a visible marking. on the display device.
  • the method according to this feature thus advantageously makes it possible to further help the individual to stabilize vertically on the line he is reading.
  • the blind area Z1 is delimited by an outline and the presence of this outline helps the individual to be aware of the boundaries of his blind spot and allows him to optimize his eye movements.
  • the blind zone Z1 is brought by the individual by means of the pointing device to the group of words that he wishes to enrich.
  • Zone of interest Z2 is displayed to help the individual to position himself on his target.
  • the predetermined treatment or enrichment of the area of interest Z2 is according to this example an increase in size, an increase whose amplitude may for example depend on the size of the blind zone Z1.
  • the blind zone Z1 is put in transparency so as to see the words it covers, whereas, in real situation, the words covered by the blind zone are masked to the individual by his scotome and are therefore invisible as illustrated in Figures 4c and 4d.
  • the method S according to its second embodiment is implemented identically to the example discussed above with reference to FIG. 4a, except that the enrichment of the zone d
  • the interest Z2 consists not only in an increase in its size, but also in a distribution of the words it comprises on several lines, in this case two lines, of the zone of vision Z3.
  • the method S is implemented identically to the example discussed above with reference to FIG. 4b, except that the enrichment of the zone of interest Z2 furthermore comprises in that the character size and / or the spacing between the characters are further increased as the characters are reproduced S90 on a line of the viewing zone Z3 further from the blind zone Z1.
  • the method S is implemented identically to the example discussed above with reference to FIG. 4c, except that the zone of interest Z2 comprises a long word zone ZM. and the enrichment of this area of interest further comprises a break of the long word.
  • a preceding zone of interest Z20 and / or a next zone of interest Z22 respectively situated on either side of a zone of current interest Z21 (determined at step S50) are further determined.
  • each zone Z20, Z21 and Z22 comprises a visible contour on the display device.
  • the method further comprises a step of displaying on the display device a Z4 mark to the left of the line zone located directly below the line zone comprising the area of interest Z2. Wrapping is an important problem when reading text in eccentric vision.
  • Figure 6 shows how a Z4 marker, here a black rectangle, to the left of the text can help locate the beginning of a next ZL line zone.
  • the method S makes it possible to choose the words situated under the lower edge of the scotome.
  • the black rectangle is displayed when the individual places the edge of his scotome on an area of interest Z2 of a line zone ZL which is just above it and remains for example displayed for a few seconds, for example during 3 seconds.
  • the zone of interest Z2 is right next to the black rectangle Z4. If the individual misses the line, the black rectangle Z4 is not on the same line as the zone of interest Z2 and the individual thus perceives that he is not on the subsequent line.
  • a test for selecting the preferential area of attachment PRL, possibly vertical, of the individual is performed to display the enriched words in an optimal position of the visual field of the individual.
  • the method S comprises, prior to the reproduction S90 in the viewing zone Z3 of the zone of interest Z2 treated, a step of determining the peripheral position of the viewing zone Z3 with respect to the blind zone Z1 as corresponding to the position of a preferred fixation zone determined for each individual, for example by taking into account the position and the size of his scotoma.
  • the determination of the peripheral position of the zone of vision Z3 with respect to the blind zone Z1 comprises the calibration steps consisting of: displaying on the display device a plurality of targets F,
  • the determination of the peripheral position of the viewing zone Z3 with respect to the blind zone Z1 comprises the calibration steps of: displaying on the display device a plurality of targets F,
  • the zone of vision Z3 or RVA (for Region of Augmented Vision) is then preferentially displayed on the preferential zone of attachment PRL of the individual.
  • the preferential area of attachment PRL of the individual is supposed to have been determined according to the test described above as being vertical and located under the scotoma, so that that, as shown, the viewing zone Z3 is located vertically above the blind zone Z1 and beneath it.
  • the center of the zone of vision Z3 is preferably aligned with the center of the blind zone Z1, which allows the individual to identify the largest number of letters in a single fixing and thereby increase its visual span. It should be noted that, according to the second embodiment of the method, the zone of interest Z2 remains preferably visible while the viewing zone Z3 is displayed.
  • the zone of interest Z2 is located near an edge of the display device D so that the viewing zone Z3 is only partially reproduced on the display device D according to said predetermined processing may also induce a limitation of the area of interest to the word area located closest to the edge of the display device.
  • the method advantageously provides that other word areas located in the same line area, on a side opposite to the edge of the display device is also selected as being included in the area of interest to continue take full advantage of the visual span of the individual, including in this situation.
  • the text of the image can be fully recognized S10 in one go by the character recognition software.
  • some only text can be recognized which would be for example selected by the reader on the image by a mouse movement together with a pressure on its left button. Another part of the text could then be selected in the same way.
  • the recognition S10 and the other steps S30 to S90 of the method can be triggered by the individual by pressing a mouse button or a key on the keyboard.
  • the method according to the invention is implemented on a computer comprising at least one processor capable of executing a computer program comprising instructions for implementing the method.
  • any reference to a line of text is to be considered with regard to writing and reading a given language. Therefore, depending on the language considered, it may be considered a column instead of a line, without departing from the invention as claimed.
  • the preceding areas of interest Z20, current Z21 and following Z22 as illustrated in FIG. 5 illustrate a direction of reading going from left to right, while certain other languages, such as Arabic, use a sense of writing and reading opposite.
  • the present invention is also directed to a computer program comprising instructions for implementing the above method, when this program is executed by a processor. It also aims at a support (non transitory in particular) storing such a program.
  • the computer program can be written in different programming languages, such as for example the Python TM language.
  • this program may be based on applications and / or programming interfaces to facilitate their development; an application of this type is for example known under the trade name PsychoPy TM and a programming interface of this type is for example the OpenGL TM interface.
  • the method according to the invention can be implemented using different hardware to facilitate the visual exploration of different digital contents.
  • the display device may consist of a computer screen or tablet and the content in question may consist of a digital book or a virtual tour.
  • the content can then be processed according to the method simultaneously with its visual exploration or upstream of one or all visual exploration.
  • the digital content of the virtual tour such as an art gallery, can be pre-processed by recognizing the works of art exhibited there as objects in object areas, so that said zones can be enriched according to the method of the invention during any future visual explorations to facilitate to any user the visual exploration of the exposed works of art.
  • the display device may consist of glasses of video or multimedia glasses connected or not to a communication network, such as the Internet, and the digital image I displayed on them.
  • spectacle lenses may then consist wholly or partly of a shooting of the visual field of the wearer of the spectacles. This shooting can be performed by a camera arranged on the glasses and refreshed continuously to be representative of what is seen at every moment, the wearer through his glasses.
  • the recognition of objects in this shooting can then be carried out continuously, for example the faces of people in the visual field of the wearer can be recognized as objects included in object areas, so that said Zones may be enriched according to the method of the invention, at least to facilitate the bearer identification of said persons.
  • the enriched object area can also be refreshed continuously to be representative of the movements, and more generally of any evolution in time, of the recognized objects.

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

The invention concerns assisting visual exploration for individuals suffering from a retinal condition resulting in a scotoma and, more particularly, a method S for assisting visual exploration by such an individual of a digital image on a display device, the method comprising: - recognising S10, using shape recognition software, at least one object contained in an object area ZO of the digital image, - determining S30 a blind area Z1 in the image, corresponding to a position of the scotoma in the field of vision of the user looking at the image, - if the blind area and the object area are detected to be in close proximity to each other, applying image processing to the image consisting in highlighting S70, S90 the object area for the user.

Description

Procédé d'assistance à l'exploration visuelle pour un individu atteint d'une pathologie rétinienne se traduisant par un scotome  A method for assisting visual exploration for an individual suffering from a retinal pathology resulting in a scotoma
L'invention concerne le domaine des procédés d'assistance à l'exploration visuelle pour les individus atteints d'une pathologie rétinienne se traduisant par un scotome, telle qu'une dégénérescence maculaire liée à l'âge (DMLA), la maladie de Stargardt ou les maculopathies. The invention relates to the field of visual exploration assisting methods for individuals with retinal pathology manifested by scotoma, such as age-related macular degeneration (AMD), Stargardt's disease. or maculopathies.
L'invention concerne plus particulièrement un procédé d'assistance à l'exploration visuelle d'une image numérique sur un dispositif d'affichage par un individu atteint d'une pathologie rétinienne se traduisant par un scotome. La DMLA, la maladie de Stargardt ou les maculopathies peuvent entraîner des déficiences visuelles se traduisant par la destruction progressive de la vision centrale et par le développement d'une tache aveugle appelée "scotome" qui supprime l'information qui arrive à la région fovéale. Cette information est essentielle pour la réalisation de certaines tâches quotidiennes telles que la lecture ou plus généralement la reconnaissance d'objets dans une image. L'absence de thérapies capables d'éliminer définitivement cette atteinte oblige l'individu à opter pour des procédés d'assistance souvent de nature optique. The invention relates more particularly to a method of assisting the visual exploration of a digital image on a display device by an individual suffering from a retinal pathology resulting in a scotoma. AMD, Stargardt's disease or maculopathies can lead to visual impairment resulting in the progressive destruction of central vision and the development of a blind spot called "scotoma" that suppresses information that reaches the foveal region. This information is essential for performing certain daily tasks such as reading or more generally the recognition of objects in an image. The absence of therapies capable of definitively eliminating this attack obliges the individual to opt for assistance procedures that are often of an optical nature.
Il existe donc un besoin de fournir un procédé qui facilite l'exploration visuelle d'une image, telle que par exemple la navigation dans un texte, qui soit en mesure de s'adapter à la pathologie de l'individu et qui utilise des principes de neurosciences visuelles pour assister au mieux l'individu, voire augmenter ses performances de lecture. There is therefore a need to provide a method that facilitates the visual exploration of an image, such as for example the navigation in a text, that is able to adapt to the pathology of the individual and that uses principles Visual neuroscience to better assist the individual and even increase his reading performance.
Une solution connue est décrite dans le document US 2012/0200595. Le système consiste en des lunettes informatives dotées d'un oculomètre. Si l'utilisateur est un individu atteint de DMLA, le système tient compte de la zone du champ visuel de l'individu qui est masquée par son scotome maculaire. D'abord, les lunettes captent l'image d'une scène et la projettent sur des verres ophtalmiques. Ensuite, l'oculomètre implanté sur ces lunettes permet de mesurer la position du regard sur l'image projetée. L'utilisateur peut activer l'enrichissement de la zone image qui est masquée par son scotome. L'enrichissement de cette zone image peut être soit l'augmentation de sa taille, soit l'augmentation et le décalage de ses lignes, soit un déplacement et une déformation de ses lignes autour du scotome. Selon ce système, la position du regard et la taille du scotome sont utilisées afin de définir l'information enrichie à proximité du scotome. Il est ainsi capable de s'adapter aux caractéristiques du scotome de chaque individu. Cependant, bien que le traitement d'image proposé par ce système tienne compte de la pathologie rétinienne de l'individu, l'enrichissement effectué ne tient pas compte d'aspects fondamentaux de la lecture en présence d'un scotome maculaire. En effet, ce système n'agit que sur les pixels de la zone image, pour déplacer l'information masquée par le scotome. Par conséquent, il ne permet pas d'optimiser l'interaction entre la position du regard, la taille du scotome et les entités « mots » et « lettres » du texte. En outre, ce système ne propose pas un asservissement au regard qui tienne compte des événements oculomoteurs en absence de vision centrale, ce qui est pourtant nécessaire afin d'optimiser les mouvements oculaires des individus atteints de pathologie rétinienne. De ces faits, ce système risque de manquer d'efficacité en termes de confort et notamment en termes de performances de lecture. A known solution is described in document US 2012/0200595. The system consists of informative glasses with an eye tracker. If the user is an individual with AMD, the system takes into account the area of the visual field of the individual who is masked by his macular scotoma. First, the glasses capture the image of a scene and project it onto ophthalmic lenses. Then, the oculometer implanted on these glasses makes it possible to measure the position of the look on the projected image. The user can activate the enrichment of the image area which is masked by his scotome. The enrichment of this image zone can be either the increase of its size, the increase and the offset of its lines, or a displacement and a deformation of its lines around the scotome. According to this system, the position of the gaze and the size of the scotoma are used to define the enriched information near the scotoma. He is thus able to adapt to the characteristics of the scotome of each individual. However, although the image processing proposed by this system takes into account the retinal pathology of the individual, the enrichment performed does not take into account fundamental aspects of reading in the presence of a macular scotoma. Indeed, this system only acts on the pixels of the image area, to move the information masked by the scotome. Consequently, it does not allow to optimize the interaction between the position of the gaze, the size of the scotome and the entities "words" and "letters" of the text. In addition, this system does not offer a control system that takes into account oculomotor events in the absence of central vision, which is however necessary to optimize the eye movements of individuals with retinal pathology. From these facts, this system may lack efficiency in terms of comfort and in particular in terms of reading performance.
Dans ce contexte, la présente invention vise à pallier un ou plusieurs des inconvénients précédemment évoqués en proposant un procédé d'assistance à l'exploration visuelle d'une image numérique sur un dispositif d'affichage par un individu atteint d'une pathologie rétinienne se traduisant par un scotome, l'image numérique étant composée d'une matrice de points segmentable en zones. In this context, the present invention aims to overcome one or more of the disadvantages mentioned above by proposing a method of assisting the visual exploration of a digital image on a display device by an individual suffering from a retinal pathology. translating with a scotome, the digital image being composed of a dot matrix segmentable in zones.
A cette fin, le procédé de l'invention est essentiellement tel qu'il comprend les étapes consistant à : For this purpose, the method of the invention is essentially such that it comprises the steps of:
- reconnaître, à l'aide d'un logiciel de reconnaissance de formes, au moins un objet contenu dans une zone d'objet de l'image numérique,  recognizing, using a shape recognition software, at least one object contained in an object zone of the digital image,
- déterminer une zone aveugle dans l'image, correspondant à une position du scotome dans le champ de vision de l'utilisateur regardant l'image,  determining a blind zone in the image, corresponding to a position of the scotome in the field of view of the user looking at the image,
- en cas de détection d'une proximité de la zone aveugle et de la zone d'objet, appliquer un traitement de l'image, de mise en évidence de la zone d'objet pour l'utilisateur. Le procédé permet ainsi avantageusement non seulement d'utiliser la position du regard et la taille du scotome afin de définir l'information à reproduire de façon enrichie, mais également de détecter différents objets de l'image, d'identifier spécifiquement ceux que l'individu explore ou souhaite explorer visuellement et d'optimiser l'affichage enrichi de cet objet de façon à compenser les facteurs limitant sa vision. - In case of detection of a proximity of the blind zone and the object zone, apply a treatment of the image, highlighting the object area for the user. The method thus advantageously makes it possible not only to use the position of the gaze and the size of the scotome in order to define the information to be reproduced in an enriched manner, but also to detect different objects of the image, to specifically identify those that the individual explores or wishes to explore visually and to optimize the enriched display of this object so as to compensate for the factors limiting its vision.
Les mots « formes » et « objet » tels qu'utilisés ci-dessus sont à considérer en un sens très général. Il ne s'agit pas que de forme géométrique, mais de tout type de caractéristiques visuelles extractibles, globales, locales ou semi-locales, de l'image numérique. Les formes ou motifs à reconnaître peuvent être de natures très variées. Elles peuvent consister tout à la fois en des objets, des visages, des lignes de mot, des mots, des lettres, etc.  The words "forms" and "object" as used above are to be considered in a very general sense. It is not a matter of geometric form, but of all types of extractible, global, local or semi-local visual characteristics, of the digital image. The shapes or patterns to be recognized can be of very varied natures. They can consist of objects, faces, lines of words, words, letters, and so on.
Selon une particularité du procédé, il comprend en outre les étapes consistant à : - déterminer une zone d'intérêt comprenant au moins une zone d'objet, selon un critère de positionnement de la zone aveugle sur l'image numérique, la zone aveugle étant positionnable sur le dispositif d'affichage par asservissement à un dispositif de pointage,  According to a feature of the method, it further comprises the steps of: determining a zone of interest comprising at least one object zone, according to a criterion for positioning the blind zone on the digital image, the blind zone being positionable on the display device by slaving to a pointing device,
- afficher sur le dispositif d'affichage un marquage permettant la visualisation de la zone d'intérêt déterminée, et  displaying on the display device a marking allowing the visualization of the determined zone of interest, and
la mise en évidence de la zone d'objet consiste à enrichir la zone d'intérêt déterminée en la modifiant et en la reproduisant dans une zone de vision selon au moins un traitement prédéterminé. the highlighting of the object zone consists in enriching the determined zone of interest by modifying it and reproducing it in a vision zone according to at least one predetermined treatment.
Le procédé permet ainsi avantageusement d'informer visuellement l'individu de ce qu'il peut enrichir un objet reconnu par son marquage automatique. The method thus advantageously makes it possible to visually inform the individual that he can enrich an object recognized by its automatic marking.
Selon une autre particularité du procédé, le critère de positionnement de la zone aveugle sur l'image numérique selon lequel est déterminée la zone d'intérêt est choisi parmi : According to another particularity of the method, the criterion for positioning the blind zone on the digital image according to which the area of interest is determined is chosen from:
- un critère de recouvrement de la zone d'intérêt par la zone aveugle, et - un critère de recouvrement de la zone d'intérêt par une zone préférentielle de fixation déterminée pour chaque individu, le positionnement de cette zone préférentielle de fixation sur le dispositif d'affichage étant relatif au positionnement de la zone aveugle sur ce même dispositif. a criterion for recovering the zone of interest by the blind zone, and a criterion for recovering the zone of interest by a preferred fixing zone determined for each individual, the positioning of this preferential fixing zone on the device. display being relative to the positioning of the blind area on the same device.
Selon la particularité précédente, ledit critère de recouvrement consiste à déterminer : According to the preceding feature, said recovery criterion consists of determining:
- le positionnement d'un point spécifique de la zone aveugle ou de la zone préférentielle de fixation sur la zone d'intérêt, ou - une plus grande surface de recouvrement de la zone d'intérêt par la zone aveugle ou par la zone préférentielle de fixation. the positioning of a specific point of the blind zone or of the preferential fixation zone on the zone of interest, or - A greater area of recovery of the area of interest by the blind area or by the preferred area of attachment.
Selon une autre particularité du procédé, lorsque la zone d'intérêt est située à proximité d'un bord du dispositif d'affichage de sorte que la zone de vision ne serait que partiellement reproduite sur le dispositif d'affichage selon ledit traitement prédéterminé, l'enrichissement de la zone d'intérêt consiste en outre à déplacer la zone de vision de façon à ce qu'elle soit entièrement reproduite sur le dispositif d'affichage et présente un recouvrement sensiblement maximal avec la zone de vision qui ne serait que partiellement reproduite sur le dispositif d'affichage selon ledit traitement prédéterminé. According to another particularity of the method, when the area of interest is located near an edge of the display device so that the viewing area would only be partially reproduced on the display device according to said predetermined treatment, the enrichment of the area of interest further comprises moving the viewing area so that it is fully reproduced on the display and has a substantially maximum overlap with the area of vision which would be only partially reproduced on the display device according to said predetermined processing.
Selon une autre particularité du procédé, la mise en évidence de la zone d'objet est commandée par l'individu en actionnant, et éventuellement en maintenant actionné, un actionneur, et le procédé comprend en outre une étape de retour à l'image numérique avant enrichissement, ce retour étant commandé par l'individu par actionnement, et éventuellement par relâchement, de l'actionneur, respectivement. According to another feature of the method, the highlighting of the object area is controlled by the individual by actuating, and optionally maintaining actuated, an actuator, and the method further comprises a step of returning to the digital image before enrichment, this return being controlled by the individual by actuation, and possibly by loosening, of the actuator, respectively.
Le procédé selon cette particularité permet ainsi avantageusement à l'individu de contrôler la durée de l'enrichissement. The method according to this feature thus advantageously allows the individual to control the duration of the enrichment.
Selon une autre particularité du procédé, au moins une zone parmi la zone aveugle et la zone de vision comprend un marquage visible sur le dispositif d'affichage. According to another particularity of the method, at least one zone among the blind zone and the zone of vision comprises a visible marking on the display device.
Le procédé selon cette particularité permet ainsi avantageusement d'aider l'individu à avoir conscience de l'étendue de son scotome pour lui permettre d'optimiser ses mouvements oculaires. En outre, dans le cas où le procédé est davantage un procédé d'assistance à la lecture sur un dispositif d'affichage d'un texte, le procédé selon cette particularité permet en outre avantageusement d'aider l'individu à se stabiliser verticalement sur la ligne qu'il est en train de lire. The method according to this feature thus advantageously makes it possible to help the individual to be aware of the extent of his scotome to enable him to optimize his eye movements. In addition, in the case where the method is more a reading assistance method on a display device of a text, the method according to this feature also advantageously allows to help the individual to stabilize vertically on the line he is reading.
Selon un premier mode de réalisation du procédé, le logiciel de reconnaissance de formes comprend un algorithme de segmentation d'objets par rapport au fond qui est basé sur le principe de la ségrégation figure-fond employé en traitement automatique d'image. Le procédé selon ce premier mode de réalisation est ainsi avantageusement adapté à la reconnaissance locale ou semi-locale d'objets, de visages ou de formes géométriques. According to a first embodiment of the method, the pattern recognition software comprises an algorithm for segmenting objects with respect to the background which is based on the principle of the segregation figure-background used in automatic image processing. The method according to this first embodiment is thus advantageously adapted to the local or semi-local recognition of objects, faces or geometric shapes.
Selon une particularité du premier mode de réalisation du procédé, le traitement prédéterminé de la zone d'intérêt consiste en l'agrandissement progressif de sa taille et éventuellement son décalage progressif depuis sa position initiale dans l'image numérique jusqu'à occuper sur le dispositif d'affichage la zone de vision et le procédé comprend en outre une étape de retour à l'image numérique avant enrichissement consistant en une diminution progressive de la taille de la zone d'intérêt enrichie et éventuellement un décalage progressif de sa position jusqu'à son retour à sa taille et sa position avant enrichissement. According to a feature of the first embodiment of the method, the predetermined treatment of the area of interest consists of the gradual enlargement of its size and possibly its gradual shift from its initial position in the digital image to occupy the device the viewing area and the method further comprises a step of returning to the digital image before enrichment consisting of a progressive decrease in the size of the enriched area of interest and possibly a progressive shift of its position to his return to his size and his position before enrichment.
Le procédé selon cette particularité du premier mode de réalisation permet ainsi avantageusement à l'individu de conserver une mémoire de la position initiale de la zone d'intérêt dans l'image numérique, notamment pour faciliter l'exploration visuelle subséquente du reste de l'image numérique. Le décalage de la position de la zone d'intérêt enrichie permet en outre de faire avantageusement coïncider au mieux la zone de vision avec une zone préférentielle de fixation déterminée pour chaque individu. The method according to this feature of the first embodiment thus advantageously allows the individual to keep a memory of the initial position of the area of interest in the digital image, in particular to facilitate the subsequent visual exploration of the rest of the image. digital image. The shift of the position of the enriched area of interest also makes it possible advantageously to coincide as well as possible the zone of vision with a preferential fixing zone determined for each individual.
Selon un deuxième mode de réalisation du procédé, le procédé d'assistance à l'exploration visuelle est un procédé d'assistance à la lecture ; l'image numérique comprend un texte destiné à être lu ; le logiciel de reconnaissance de formes comprend un logiciel de reconnaissance de caractères, permettant de reconnaître au moins une partie de texte par sa segmentation en zones de ligne, puis par la segmentation de chaque zone de ligne en zones de mot ; la zone d'objet est une zone de mot ; la zone de vision est située en périphérie de la zone aveugle. According to a second embodiment of the method, the visual exploration assistance method is a reading assistance method; the digital image includes a text to be read; the pattern recognition software includes character recognition software, for recognizing at least a portion of text by segmenting into line areas, and then segmenting each line area into word areas; the object area is a word box; the vision zone is located on the periphery of the blind zone.
Le procédé selon son deuxième mode de réalisation permet ainsi avantageusement non seulement d'utiliser la position du regard et la taille du scotome afin de définir l'information à reproduire de façon enrichie à proximité du scotome, mais également de détecter différents mots de l'image, d'identifier spécifiquement un groupe de mots que l'individu souhaite lire, d'informer visuellement l'individu de ce qu'il peut enrichir ce groupe de mots par le marquage automatique de ce dernier et d'optimiser l'affichage enrichi de ce groupe de mots de façon à compenser les facteurs limitant sa capacité de lecture. Il est à noter en outre que le fait de segmenter l'image en zones de mot permet de reproduire des mots entiers dans la zone de vision. The method according to its second embodiment thus advantageously makes it possible not only to use the position of the gaze and the size of the scotome in order to define the information to be reproduced in an enriched manner near the scotome, but also to detect different words of the image, to specifically identify a group of words that the individual wishes to read, visually inform the individual that he can enrich this group of words by the automatic marking of the latter and optimize the enriched display of this group of words from to compensate for the factors limiting his reading ability. It should also be noted that segmenting the image into word areas makes it possible to reproduce whole words in the viewing area.
Selon une particularité de son deuxième mode de réalisation, le procédé comprend en outre, préalablement à la détermination de la zone d'intérêt, une étape consistant à modifier l'image du texte par son redimensionnement et/ou par modification de l'espacement d'interligne en fonction de la taille des caractères, de la longueur et/ou du nombre des lignes, de la taille du dispositif d'affichage et/ou de la taille de la zone aveugle. Le procédé permet ainsi avantageusement de conserver à l'affichage le maximum d'information globale sur le texte pour que l'individu puisse s'y repérer facilement sans être dans l'obligation de déplacer l'image en permanence. According to a feature of its second embodiment, the method further comprises, prior to the determination of the area of interest, a step of modifying the image of the text by resizing it and / or by changing the spacing of the image. line spacing according to the size of the characters, the length and / or number of lines, the size of the display device and / or the size of the blind area. The method thus advantageously makes it possible to keep the display of the maximum amount of global information on the text so that the individual can easily find their way there without having to move the image permanently.
Selon une autre particularité de son deuxième mode de réalisation, la reconnaissance de ladite au moins une partie de texte comprend en outre la segmentation de chaque zone de mot en zones de lettre. According to another feature of its second embodiment, the recognition of said at least one text portion further comprises the segmentation of each word area into letter areas.
Le procédé selon son deuxième mode de réalisation permet ainsi avantageusement une modification et une reproduction plus finement contrôlée des mots situés dans la zone d'intérêt. The method according to its second embodiment thus advantageously allows a modification and a more finely controlled reproduction of the words located in the area of interest.
Selon une autre particularité du deuxième mode de réalisation du procédé, la zone d'intérêt comprend, en plus de ladite au moins une zone de mot, au moins deux autres zones de mots appartenant à la même zone de ligne, chaque zone de mot de la zone d'intérêt étant juxtaposée à une autre zone de mot de la zone d'intérêt. According to another particularity of the second embodiment of the method, the zone of interest comprises, in addition to said at least one word zone, at least two other word zones belonging to the same line zone, each word zone of the area of interest being juxtaposed with another word zone of the area of interest.
Le procédé permet ainsi avantageusement d'adapter l'assistance apportée à l'individu à son empan visuel. Selon une autre particularité du deuxième mode de réalisation du procédé, ledit au moins un traitement prédéterminé de la zone d'intérêt consiste en : The method thus advantageously makes it possible to adapt the assistance provided to the individual to his or her visual span. According to another feature of the second embodiment of the method, said at least one predetermined treatment of the area of interest consists of:
- une segmentation de chaque zone de mot en zones de caractères, et/ou a segmentation of each word zone into character zones, and / or
- un accroissement de la taille des caractères en fonction de la taille de la zone aveugle, et/ou - an increase in the size of the characters according to the size of the blind zone, and / or
- un changement de police de caractères, et/ou  - a font change, and / or
- une disposition des mots sur plusieurs lignes, et/ou  - a word arrangement on several lines, and / or
- une césure d'un mot, et/ou - un accroissement de l'espacement entre les caractères, et/ou - a break of a word, and / or - an increase in the spacing between the characters, and / or
- une modification du contraste, et/ou  - a modification of the contrast, and / or
- une inversion de polarité, et/ou  - a reversal of polarity, and / or
- une synthèse vocale des mots contenus dans la zone d'intérêt. Le procédé selon son deuxième mode de réalisation permet ainsi avantageusement de modifier différemment chacun des mots de la zone d'intérêt.  - a vocal synthesis of the words contained in the area of interest. The method according to its second embodiment thus advantageously makes it possible to modify each of the words of the area of interest differently.
Selon une variante de la particularité précédente, la taille des caractères et/ou l'espacement entre les caractères sont davantage accrus à mesure que les caractères sont destinés à être reproduit sur une ligne de la zone de vision plus éloignée de la zone aveugle. According to a variant of the preceding feature, the size of the characters and / or the spacing between the characters are further increased as the characters are intended to be reproduced on a line of the viewing zone farther from the blind zone.
Le procédé permet ainsi avantageusement de limiter, voire d'éliminer, le phénomène d'encombrement visuel. The method thus advantageously makes it possible to limit or eliminate the phenomenon of visual bulk.
Selon une autre particularité du deuxième mode de réalisation du procédé, sont en outre déterminées une zone d'intérêt précédente et/ou une zone d'intérêt suivante situées respectivement de part et d'autre d'une zone d'intérêt courante, au moins une de ces zones comprenant un marquage visible sur le dispositif d'affichage. According to another particularity of the second embodiment of the method, there is furthermore determined a preceding zone of interest and / or a zone of interest situated respectively on either side of a zone of current interest, at least one of these zones comprising a visible marking on the display device.
Le procédé selon son deuxième mode de réalisation permet ainsi avantageusement d'éviter qu'un même groupe de mots soit enrichi plusieurs fois et/ou que des zones d'intérêt successives présentent des zones de mots en commun, ou permet du moins de signaler à l'individu ces occurrences. En outre, le procédé peut ainsi avantageusement permettre de signaler à l'individu le prochain groupe de mots à enrichir. The method according to its second embodiment thus advantageously makes it possible to avoid that one and the same group of words is enriched several times and / or that successive areas of interest have zones of words in common, or at least allows to signal to the individual these occurrences. In addition, the method can thus advantageously make it possible to signal to the individual the next group of words to be enriched.
Selon une autre particularité de son deuxième mode de réalisation, le procédé comprend en outre une étape consistant à afficher sur le dispositif d'affichage un repère à gauche de la zone de ligne située directement au-dessous de la zone de ligne comprenant la zone d'intérêt. According to another feature of its second embodiment, the method further comprises a step of displaying on the display device a marker to the left of the line zone located directly below the line zone comprising the zone d 'interest.
Le procédé selon son deuxième mode de réalisation permet ainsi avantageusement d'assister le lecteur lors d'un passage à la ligne suivante, ce passage étant particulièrement difficile lors d'une lecture en vision excentrée. Selon une particularité de ses premier et deuxième modes de réalisation, le procédé comprend, préalablement à la reproduction dans la zone de vision de la zone d'intérêt traitée ou préalablement à la détermination de la zone d'intérêt selon un choix dudit critère de positionnement, une étape consistant à déterminer la position périphérique de la zone de vision par rapport à la zone aveugle comme correspondant à la position d'une zone préférentielle de fixation déterminée pour chaque individu. The method according to the second embodiment thus advantageously makes it possible to assist the reader during a passage to the next line, this passage being particularly difficult during an eccentric vision reading. According to a feature of its first and second embodiments, the method comprises, prior to reproduction in the viewing zone of the zone of interest treated or prior to determining the zone of interest according to a choice of said positioning criterion, a step of determining the peripheral position of the viewing zone with respect to the blind zone as corresponding to the position of a preferred binding area determined for each individual.
Le procédé permet ainsi avantageusement d'optimiser, de façon adaptée à chaque individu, l'efficacité de l'asservissement au regard en absence de vision maculaire. The method thus advantageously makes it possible to optimize, in a manner adapted to each individual, the effectiveness of servo control in the absence of macular vision.
Selon la particularité précédente, la détermination de la position périphérique de la zone de vision par rapport à la zone aveugle comprend les étapes d'étalonnage consistant à : According to the preceding feature, the determination of the peripheral position of the viewing zone with respect to the blind zone comprises the calibration steps consisting of:
- afficher sur le dispositif d'affichage une pluralité de cibles, display on the display device a plurality of targets,
- pour chaque cible, détecter, par un oculomètre, la position relative du scotome de l'individu par rapport à la cible lorsque l'individu fixe la cible, et - étalonner la position de la zone préférentielle de fixation comme étant la position relative de la cible par rapport à la position du scotome, et for each target, detecting, by an oculometer, the relative position of the scotome of the individual with respect to the target when the individual fixes the target, and calibrating the position of the preferential fixation zone as being the relative position of the target the target with respect to the position of the scotome, and
- si, la position relative du scotome par rapport à la position de la cible varie en fonction de la cible, if, the relative position of the scotome with respect to the position of the target varies according to the target,
- asservir, en fonction de l'étalonnage réalisé selon les précédentes détections, le positionnement d'un contour de forme affiché sur le dispositif d'affichage au positionnement du scotome détecté par l'oculomètre, according to the calibration carried out according to the previous detections, slaving the positioning of a shape contour displayed on the display device to the positioning of the scotome detected by the oculometer,
- afficher un symbole cible fixe sur le dispositif d'affichage, - display a fixed target symbol on the display device,
- mesurer le décalage entre le contour de forme asservi et le symbole cible, lorsque l'individu à positionner le contour de forme asservi de sorte d'y inclure le symbole cible, et measuring the offset between the slave shape contour and the target symbol, when the individual positioning the slave shaped contour so as to include the target symbol, and
- corriger, en fonction de cette mesure, l'étalonnage réalisé selon les précédentes détections. - correct, according to this measurement, the calibration performed according to the previous detections.
Selon une autre particularité des premier et deuxième modes de réalisation du procédé, la zone de vision est située de façon juxtaposée et centrée au-dessous ou au-dessus de la zone aveugle. According to another particularity of the first and second embodiments of the method, the zone of vision is located juxtaposed and centered below or above the blind zone.
Le procédé selon ses premier et deuxième modes de réalisation permet ainsi avantageusement à l'individu d'identifier le plus grand nombre de caractéristiques visuelles, telles que des lettres, en une seule fixation et ainsi d'augmenter son empan visuel. En outre, le procédé selon cette autre particularité permet à l'individu de conserver, même pendant l'affichage de la zone de vision, son empan perceptif intact. The method according to its first and second embodiments thus advantageously allows the individual to identify the largest number of visual characteristics, such as letters, in a single attachment and thus to increase its visual span. In addition, the method according to this other feature allows the individual to retain, even during the display of the viewing zone, its perceptive span intact.
Selon une autre particularité des premier et deuxième modes de réalisation du procédé, le dispositif de pointage asservissant le positionnement de la zone aveugle est choisi parmi un clavier d'ordinateur, une souris et un oculomètre. According to another particularity of the first and second embodiments of the method, the pointing device slaving the positioning of the blind zone is selected from a computer keyboard, a mouse and an eye tracker.
L'invention concerne, selon un autre aspect, un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé selon l'une quelconque des revendications précédentes, lorsque ce programme est exécuté par un processeur. Les avantages procurés par le programme d'ordinateur tel que succinctement exposé ci-dessus, sont au moins identiques à ceux mentionnés plus haut en liaison avec le procédé selon le premier aspect de l'invention. According to another aspect, the invention relates to a computer program comprising instructions for implementing the method according to any one of the preceding claims, when this program is executed by a processor. The advantages provided by the computer program as succinctly set forth above are at least the same as those mentioned above in connection with the method according to the first aspect of the invention.
D'autres caractéristiques et avantages de l'invention ressortiront clairement de la description qui en est faite ci-après, à titre indicatif et nullement limitatif, en référence aux dessins annexés, dans lesquels : Other characteristics and advantages of the invention will emerge clearly from the description which is given hereinafter, by way of indication and in no way limitative, with reference to the appended drawings, in which:
- la figure 1 illustre l'évolution de vitesses maximales de lecture en vision centrale et en vision périphérique en fonction de la taille des caractères lus, FIG. 1 illustrates the evolution of maximum reading speeds in central vision and in peripheral vision as a function of the size of the characters read,
- la figure 2 illustre l'empan visuel (à gauche) et l'effet de la taille de l'empan visuel sur la vitesse de lecture (à droite), FIG. 2 illustrates the visual span (on the left) and the effect of the size of the visual span on the reading speed (on the right),
- chacune des figures 3a et 3b illustre le phénomène d'encombrement visuel et un mode de suppression de ce phénomène selon l'invention,  each of FIGS. 3a and 3b illustrates the phenomenon of visual congestion and a mode of suppression of this phenomenon according to the invention,
- les figures 4a, 4b, 4c et 4d illustrent plusieurs variantes du deuxième mode de réalisation du procédé selon l'invention,  FIGS. 4a, 4b, 4c and 4d illustrate several variants of the second embodiment of the method according to the invention,
- la figure 5 illustre une particularité du deuxième mode de réalisation du procédé selon l'invention,  FIG. 5 illustrates a feature of the second embodiment of the method according to the invention,
- la figure 6 illustre une autre particularité du deuxième mode de réalisation du procédé selon l'invention, - les figures 7a et 7b illustrent un mode de réalisation de la détermination de la position périphérique de la zone de vision par rapport à la zone aveugle,FIG. 6 illustrates another feature of the second embodiment of the method according to the invention, FIGS. 7a and 7b illustrate an embodiment of the determination of the peripheral position of the zone of vision with respect to the blind zone,
- la figure 8 représente un ordinogramme des étapes du procédé selon ses premier et deuxième modes de réalisation, et FIG. 8 represents a flow chart of the steps of the method according to its first and second embodiments, and
- les figures 9a et 9b illustrent une particularité du procédé selon l'invention dans son deuxième mode de réalisation, et  FIGS. 9a and 9b illustrate a feature of the method according to the invention in its second embodiment, and
- la figure 10 illustre le premier mode de réalisation du procédé selon l'invention.  FIG. 10 illustrates the first embodiment of the method according to the invention.
Dans son acceptation la plus large, l'invention concerne un procédé S d'assistance à l'exploration visuelle d'une image numérique I sur un dispositif d'affichage D par un individu atteint d'une pathologie rétinienne se traduisant par un scotome. L'image numérique I est composée d'une matrice de points segmentable en zones. In its broadest acceptance, the invention relates to a method S of assisting the visual exploration of a digital image I on a display device D by an individual suffering from a retinal pathology resulting in a scotoma. The digital image I is composed of a dot matrix segmentable in zones.
Le procédé S comprend les étapes consistant à :  Process S comprises the steps of:
- reconnaître S10, à l'aide d'un logiciel de reconnaissance de formes, au moins un objet contenu dans une zone d'objet ZO de l'image numérique,  recognizing S10, using shape recognition software, at least one object contained in a ZO object zone of the digital image,
- déterminer S30 une zone aveugle Z1 dans l'image, correspondant à une position du scotome dans le champ de vision de l'utilisateur regardant l'image, determining S30 a blind zone Z1 in the image, corresponding to a position of the scotome in the field of view of the user looking at the image,
- en cas de détection d'une proximité de la zone aveugle et de la zone d'objet, appliquer un traitement de l'image, de mise en évidence S70, S90 de la zone d'objet pour l'utilisateur. - if detection of a proximity of the blind area and the object area, apply image processing, highlighting S70, S90 of the object area for the user.
Le procédé S permet ainsi avantageusement non seulement d'utiliser la position du regard et la taille du scotome afin de définir l'information à reproduire de façon enrichie, mais également de détecter différents objets de l'image I, d'identifier spécifiquement ceux que l'individu explore ou souhaite explorer visuellement et d'optimiser l'affichage enrichi de cet objet de façon à compenser les facteurs limitant sa vision. The method S thus advantageously makes it possible not only to use the position of the gaze and the size of the scotome in order to define the information to be reproduced in an enriched manner, but also to detect different objects of the image I, to identify specifically those that the individual explores or wishes to visually explore and optimize the enriched display of that object so as to compensate for the factors limiting his vision.
Le procédé S comprend en outre les étapes consistant à : The method S further comprises the steps of:
- déterminer S50 une zone d'intérêt Z2 comprenant au moins une zone d'objet ZO, selon un critère de positionnement de la zone aveugle Z1 sur l'image numérique, - afficher S60 sur le dispositif d'affichage un marquage MZ2 permettant la visualisation de la zone d'intérêt Z2 déterminée. determining S50 a zone of interest Z2 comprising at least one object zone ZO, according to a criterion for positioning the blind zone Z1 on the digital image, - Display S60 on the display device MZ2 marking for viewing the area of interest Z2 determined.
En outre, la mise en évidence S70, S90 de la zone d'objet consiste à enrichir la zone d'intérêt Z2 déterminée en la modifiant S70 et en la reproduisant S90 dans une zone de vision Z3 selon au moins un traitement prédéterminé.  In addition, highlighting S70, S90 of the object area is to enrich the area of interest Z2 determined by modifying S70 and reproducing S90 in a viewing zone Z3 according to at least one predetermined treatment.
De la même façon que le regard de l'individu parcours l'image numérique I, la zone aveugle Z1 doit pouvoir être librement positionnable par le lecteur sur le dispositif d'affichage D et plus particulièrement sur l'image numérique I. Ceci est réalisé par asservissement du positionnement de la zone aveugle Z1 à un dispositif de pointage, tel qu'un clavier d'ordinateur, une souris ou de préférence un oculomètre. In the same way that the look of the individual travels the digital image I, the blind zone Z1 must be freely positionable by the reader on the display device D and more particularly on the digital image I. This is achieved by slaving the positioning of the blind zone Z1 to a pointing device, such as a computer keyboard, a mouse or preferably an eye tracker.
Le procédé permet ainsi avantageusement d'informer visuellement l'individu de ce qu'il peut enrichir un objet reconnu par son marquage automatique. En effet, le marquage MZ2 de la zone d'intérêt Z2 permet à l'individu d'avoir conscience de l'objet reconnu qu'il peut enrichir. The method thus advantageously makes it possible to visually inform the individual that he can enrich an object recognized by its automatic marking. Indeed, the marking MZ2 of the zone of interest Z2 allows the individual to be aware of the recognized object that he can enrich.
Le marquage d'une zone quelle qu'elle soit, et de la zone d'intérêt Z2 en particulier, consiste en l'action de faire ressortir l'élément graphique (ou plus particulièrement la partie de texte selon le deuxième mode de réalisation décrit plus bas) constituant cette zone par modification de ses attributs visuels. A titre d'exemples, le marquage peut consister en un contour et/ou en un surlignage de la zone. The marking of any zone, and of the zone of interest Z2 in particular, consists of the action of bringing out the graphical element (or more particularly the part of text according to the second embodiment described lower) constituting this zone by modifying its visual attributes. By way of examples, the marking may consist of an outline and / or a highlighting of the zone.
Selon une particularité du procédé S, le critère de positionnement de la zone aveugle Z1 sur l'image numérique I selon lequel est déterminée la zone d'intérêt Z2 est choisi parmi : - un critère de recouvrement de la zone d'intérêt Z2 par la zone aveugle Z1 , et According to a feature of the method S, the positioning criterion of the blind zone Z1 on the digital image I according to which the zone of interest Z2 is determined is chosen from: a criterion for recovering the zone of interest Z2 by the blind area Z1, and
- un critère de recouvrement de la zone d'intérêt Z2 par une zone préférentielle de fixation PRL déterminée pour chaque individu, le positionnement de cette zone préférentielle de fixation PRL sur le dispositif d'affichage D étant relatif au positionnement de la zone aveugle Z1 sur ce même dispositif. Selon la particularité précédente, ledit critère de recouvrement consiste à déterminer : - le positionnement d'un point spécifique de la zone aveugle Z1 ou de la zone préférentielle de fixation PRL sur la zone d'intérêt Z2, ledit point spécifique étant par exemples le centre ou le coin inférieur droit de la zone considérée, ou - une plus grande surface de recouvrement de la zone d'intérêt Z2 par la zone aveugle Z1 ou par la zone préférentielle de fixation PRL. a criterion for recovering the zone of interest Z2 by a preferential fixing area PRL determined for each individual, the positioning of this preferential fixing zone PRL on the display device D being relative to the positioning of the blind zone Z1 on this same device. According to the preceding feature, said recovery criterion consists of determining: the positioning of a specific point of the blind zone Z1 or of the preferential fixing zone PRL on the zone of interest Z2, said specific point being for example the center or the lower right corner of the zone considered, or - a greater area of overlap of the zone of interest Z2 by the blind zone Z1 or by the preferred zone of attachment PRL.
Le critère de recouvrement par détermination d'une plus grande surface de recouvrement nécessite vraisemblablement quelques calculs géométriques simples, par exemples basés sur les coordonnées de chaque objet reconnu. Ces calculs sont supposés être du domaine de compétence de l'homme du métier. The recovery criterion by determining a larger overlap surface probably requires some simple geometric calculations, for example based on the coordinates of each recognized object. These calculations are supposed to be within the skill of the skilled person.
Comme illustré sur les figures 9A et 9B relativement au deuxième mode de réalisation du procédé, mais la particularité illustrée par cette figure n'étant pas limitée à ce mode de réalisation, il peut subvenir que la zone d'intérêt Z2 soit située à proximité d'un bord du dispositif d'affichage D de sorte que la zone de vision Z3 ne serait que partiellement reproduite sur le dispositif d'affichage D selon ledit traitement prédéterminé. Alors, selon une particularité du procédé S, l'enrichissement de la zone d'intérêt Z2 consiste, en sus de la modification S70 et de la reproduction S90 de la zone d'intérêt Z2, à déplacer la zone de vision Z3 de façon à ce qu'elle soit entièrement reproduite sur le dispositif d'affichage D. Ce déplacement est de préférence réalisé de façon à ce que la zone de vision Z3 ainsi déplacée présente un recouvrement sensiblement maximal avec la zone de vision Z3 qui ne serait que partiellement reproduite sur le dispositif d'affichage D selon ledit traitement prédéterminé. Cette préférence est d'autant plus marquée que la position de la zone de vision Z3 par rapport à la zone aveugle Z1 est choisie comme correspondant à la position d'une zone préférentielle de fixation déterminée pour chaque individu par exemple selon le test décrit plus bas. As illustrated in FIGS. 9A and 9B relative to the second embodiment of the method, but the particularity illustrated by this figure is not limited to this embodiment, it may be necessary for the zone of interest Z2 to be located close to an edge of the display device D so that the viewing area Z3 would only be partially reproduced on the display device D according to said predetermined processing. Then, according to a particularity of the method S, the enrichment of the zone of interest Z2 consists, in addition to the modification S70 and the reproduction S90 of the zone of interest Z2, in displacing the zone of vision Z3 so as to it is entirely reproduced on the display device D. This displacement is preferably made so that the vision zone Z3 thus displaced has a substantially maximum overlap with the zone of vision Z3 which would only be partially reproduced. on the display device D according to said predetermined processing. This preference is all the more marked as the position of the zone of vision Z3 with respect to the blind zone Z1 is chosen as corresponding to the position of a preferred fixation zone determined for each individual, for example according to the test described below. .
Selon une autre particularité du procédé S, la mise en évidence de la zone d'objet ou l'enrichissement de la zone d'intérêt Z2 déterminée est commandé par l'individu en actionnant un actionneur et le procédé peut comprendre en outre une étape de retour à l'image numérique I avant enrichissement, ce retour étant commandé par l'individu également par actionnement de l'actionneur. Eventuellement, l'actionnement de l'actionneur peut être maintenu par l'individu, et éventuellement l'étape de retour à l'image numérique I avant enrichissement est commandé par relâchement de l'actionneur. According to another particularity of the method S, the highlighting of the object zone or the enrichment of the area of interest Z2 determined is controlled by the individual by actuating an actuator and the method may further comprise a step of return to the digital image I before enrichment, this feedback being controlled by the individual also by actuation of the actuator. Optionally, actuation of the actuator can be maintained by the individual, and possibly the step of returning to the digital image I before enrichment is controlled by releasing the actuator.
Le procédé S selon cette particularité permet ainsi avantageusement à l'individu de contrôler le déclenchement et la durée de l'enrichissement. Selon une autre particularité du procédé S, en sus du marquage MZ2 requis de la zone d'intérêt Z2, au moins une zone parmi la zone aveugle Z1 et la zone de vision Z3 comprend un marquage visible sur le dispositif d'affichage. The method S according to this feature thus advantageously allows the individual to control the trigger and the duration of the enrichment. According to another particularity of the method S, in addition to the marking MZ2 required of the zone of interest Z2, at least one zone among the blind zone Z1 and the vision zone Z3 comprises a visible marking on the display device.
Le procédé permet ainsi avantageusement d'aider l'individu, non seulement à se stabiliser sur l'objet reconnu qu'il souhaite enrichir, mais également à avoir conscience de l'étendue de son scotome pour lui permettre d'optimiser ses mouvements oculaires. The method thus advantageously makes it possible to help the individual, not only to stabilize on the recognized object that he wishes to enrich, but also to be aware of the extent of his scotome to enable him to optimize his eye movements.
Le procédé selon son premier mode de réalisation illustré sur la figure 10 est essentiellement tel que le logiciel de reconnaissance de formes comprend un algorithme de segmentation d'objets par rapport au fond qui est basé sur le principe de la ségrégation figure-fond employé en traitement automatique d'image. The method according to its first embodiment illustrated in FIG. 10 is essentially such that the pattern recognition software comprises an algorithm for segmenting objects with respect to the background which is based on the principle of the segregation figure-background employed in treatment. automatic image.
Le procédé selon ce premier mode de réalisation est ainsi avantageusement adapté à la reconnaissance locale ou semi-locale d'objets, de visages ou de formes géométriques. The method according to this first embodiment is thus advantageously adapted to the local or semi-local recognition of objects, faces or geometric shapes.
La figure 10 montre des dessins représentant une même photo de trois personnages conjointement avec la zone aveugle Z1 représentant le scotome de l'individu. Au moins un visage d'un personnage sur les trois a été reconnu comme objet à enrichir. Comme illustré sur la photo au centre de la figure 10, l'individu amenant, selon le critère de positionnement décrit plus haut, la zone aveugle sur ce visage voit apparaître un contour (noir) autour de celui-ci de sorte qu'il est informé de la possibilité qui lui est offerte d'enrichir le visage reconnu par exemple de la façon illustré sur le dessin de droite de la figure 10. Figure 10 shows drawings showing the same picture of three characters together with the blind zone Z1 representing the scotoma of the individual. At least one face of one of the three characters has been recognized as an object to be enriched. As illustrated in the photo in the center of FIG. 10, the inducing individual, according to the positioning criterion described above, the blind zone on this face sees a (black) outline around it so that it is informed of the possibility offered to enrich the recognized face for example in the manner illustrated in the drawing on the right of Figure 10.
Selon une particularité du premier mode de réalisation du procédé S, le traitement prédéterminé de la zone d'intérêt Z2 consiste comme représenté sur la photo de droite de la figure 10 en l'agrandissement de la taille de la zone d'intérêt Z2, ou équivalemment de la zone d'objet ZO, comprenant l'objet reconnu. En outre, il est proposé selon ce mode de réalisation que cet agrandissement soit progressif en taille jusqu'à occuper sur le dispositif d'affichage D la zone de vision Z3. Cet agrandissement peut par ailleurs être directement piloté par l'individu par exemple via la molette de sa souris. According to a feature of the first embodiment of the method S, the predetermined processing of the zone of interest Z2 consists, as shown in the right-hand picture of FIG. 10, in enlarging the size of the zone of interest Z2, or equivalent to the object area ZO, including the recognized object. In addition, it is proposed according to this embodiment that this enlargement is progressive in size until occupy on the display device D the viewing zone Z3. This enlargement can also be directly controlled by the individual for example via the wheel of his mouse.
Eventuellement un décalage progressif de la zone d'objet ZO depuis sa position initiale dans l'image numérique I peut être avantageusement réalisé de sorte que l'objet enrichi se situe au centre de la zone de vision, surtout lorsque la position de la zone de vision Z3 par rapport à la zone aveugle Z1 est choisie comme correspondant à la position de la zone préférentielle de fixation PRL. Possibly a progressive shift of the object area ZO from its initial position in the digital image I can be advantageously achieved so that the enriched object is in the center of the viewing area, especially when the position of the area of Z3 vision with respect to the blind zone Z1 is chosen as corresponding to the position of the preferred area PRL fixation.
Selon cette particularité de son premier mode de réalisation, le procédé S peut comprendre en outre une étape de retour à l'image numérique I avant enrichissement consistant en une diminution progressive inverse de la taille de la zone d'intérêt Z2 enrichie, et éventuellement en un décalage progressif inverse de sa position, jusqu'à son retour à sa taille et sa position avant enrichissement. According to this feature of its first embodiment, the method S may further comprise a step of returning to the digital image I before enrichment consisting of an inverse progressive decrease in the size of the enriched zone of interest Z2, and possibly in an inverse progressive shift of its position until its return to its size and its position before enrichment.
Le procédé selon cette particularité du premier mode de réalisation permet ainsi avantageusement à l'individu de conserver une mémoire de la position initiale de la zone d'intérêt dans l'image numérique, notamment pour faciliter l'exploration visuelle subséquente du reste de l'image numérique. Le décalage de la position de la zone d'intérêt Z2 enrichie permet en outre de faire avantageusement coïncider au mieux la zone de vision Z3 avec la zone préférentielle de fixation PRL déterminée pour chaque individu. Selon son deuxième mode de réalisation, le procédé S concerne plus particulièrement un procédé d'assistance à la lecture sur un dispositif d'affichage d'un texte destiné à être lu par un individu atteint d'une pathologie rétinienne se traduisant par un scotome est décrit ci-dessous en référence aux figures 1 à 9. The method according to this feature of the first embodiment thus advantageously allows the individual to keep a memory of the initial position of the area of interest in the digital image, in particular to facilitate the subsequent visual exploration of the rest of the image. digital image. The shift of the position of the zone of interest Z2 enriched furthermore makes it possible advantageously to coincide as well as possible the zone of vision Z3 with the preferred zone of fixation PRL determined for each individual. According to its second embodiment, the method S relates more particularly to a method of assisting reading on a display device of a text intended to be read by an individual suffering from a retinal pathology resulting in a scotoma is described below with reference to Figures 1 to 9.
Le texte fait partie d'une image numérique I composée d'une matrice de points. Comme toute matrice de points, celle composant l'image du texte est segmentable en zones. Chaque zone est préférentiellement constituée d'un seul tenant. The text is part of a digital image I composed of a matrix of points. Like any matrix of points, that composing the image of the text is segmentable into zones. Each zone is preferably made of a single piece.
Il peut tout d'abord être proposé, afin que le procédé selon l'invention permette d'assister au mieux le lecteur, de conserver, sur le dispositif d'affichage D, le maximum d'information globale sur le texte, notamment pour que l'individu puisse s'y repérer facilement sans être dans l'obligation de déplacer l'image en permanence, par exemple à l'aide de barres de défilement. A cette fin, le procédé comprend une étape consistant à modifier l'image du texte. Cette modification peut consister en un redimensionnement de l'image numérique I. Par exemple, l'image du texte est redimensionnée de sorte que les lignes du texte commencent à un bord du dispositif d'affichage D sur lequel l'image du texte est affichée et se terminent avant un bord opposé du dispositif d'affichage, de sorte qu'il ne soit pas nécessaire au lecteur de déplacer l'image, au cours de sa lecture, avec une barre de défilement correspondante en fin et en début de chaque ligne du texte. It may first be proposed, so that the method according to the invention allows to better assist the reader, to keep, on the display device D, the maximum of global information on the text, especially for that the individual can easily find their way there without having to move the image permanently, for example using scroll bars. For this purpose, the method comprises a step of modifying the image of the text. This modification may consist of a resizing of the digital image I. For example, the image of the text is resized so that the lines of the text begin at an edge of the display device D on which the image of the text is displayed. and terminate before an opposite edge of the display device, so that it is not necessary for the reader to move the image, during its reading, with a corresponding scroll bar at the end and at the beginning of each line of text.
Un tel redimensionnement peut induire automatiquement une modification de l'espacement d'interligne, mais il est également suggéré que cette dernière modification puisse être opérée indépendamment. Such resizing may automatically induce a change in interline spacing, but it is also suggested that this latter modification may be operated independently.
Cette étape de modification de l'image est préférentiellement réalisée en prenant en compte au moins un paramètre parmi : la taille des caractères, la longueur et/ou le nombre de lignes, la taille du dispositif d'affichage et/ou la taille d'une zone dite aveugle Z1 représentant le scotome de l'individu sur le dispositif d'affichage. Par exemple, l'image du texte est redimensionnée de sorte que la zone aveugle ne recouvre pas plus de deux portions de lignes successives. This step of modifying the image is preferably carried out taking into account at least one parameter among: the size of the characters, the length and / or the number of lines, the size of the display device and / or the size of the a so-called blind zone Z1 representing the scotoma of the individual on the display device. For example, the text image is resized so that the blind area does not overlap more than two successive line portions.
En référence à la figure 8, le procédé selon l'invention comprend une étape consistant à reconnaître S10, à l'aide d'un logiciel de reconnaissance de caractères, au moins une partie de texte par sa segmentation en zones de ligne ZL, puis par la segmentation de chaque zone de ligne en zones de mot ZM. Le logiciel de reconnaissance désigne un procédé informatique pour la traduction d'images de textes imprimés ou dactylographiés en fichiers de texte, tel qu'un logiciel de reconnaissance optique de caractères (ROC, en anglais optical character récognition : OCR). Lorsque la segmentation de l'image en zone de mots est effectuée, les coordonnées de chaque mot sont détectées pour pouvoir être utilisées. With reference to FIG. 8, the method according to the invention comprises a step of recognizing S10, using a character recognition software, at least a portion of text by segmenting it into line zones ZL, then by segmenting each line zone into ZM word zones. The recognition software designates a computer process for the translation of images of printed or typed texts into text files, such as Optical Character Recognition (OCR) software. When the segmentation of the image in the word zone is performed, the coordinates of each word are detected in order to be used.
En référence à la figure 8, le procédé selon l'invention comprend en outre une étape consistant à déterminer S30 la zone aveugle Z1 . Cette zone aveugle représente le scotome de l'individu sur le dispositif d'affichage D. De préférence, cette zone aveugle contient entièrement le scotome. La forme de cette zone peut par exemple être adaptée à la forme du scotome d'un individu, généralement approximativement de la forme d'un disque, ou être définie par défaut, par exemple sous une forme rectangulaire. Le procédé selon son deuxième mode de réalisation comprend en outre une étape consistant à déterminer S50 une zone d'intérêt Z2 comprenant au moins une zone de mot ZM. Referring to Figure 8, the method according to the invention further comprises a step of determining S30 the blind zone Z1. This blind zone represents the scotoma of the individual on the display device D. Preferably, this blind zone contains entirely the scotoma. The shape of this zone may for example be adapted to the shape of the scotoma of an individual, generally approximately the shape of a disk, or be defined by default, for example in a rectangular form. The method according to its second embodiment further comprises a step of determining S50 an area of interest Z2 comprising at least one ZM word area.
Selon le deuxième mode de réalisation du procédé, les critères de positionnement et de recouvrement sont tels que décrit ci-dessus. Ainsi, en fonction de la stratégie adoptée par l'individu, les mots compris dans la zone d'intérêt Z2 peuvent par exemple être situés sous ou à proximité des bords de la zone aveugle Z1 . According to the second embodiment of the method, the positioning and overlapping criteria are as described above. Thus, depending on the strategy adopted by the individual, the words included in the zone of interest Z2 may for example be located under or near the edges of the blind zone Z1.
Selon le deuxième mode de réalisation du procédé, les quelques calculs géométriques simples nécessaires à la détermination d'une plus grande surface de recouvrement sont basés sur la détection des coordonnées de chaque zone de mot et éventuellement de chaque zone de lettre. Il est à noter que, comme illustrée par une analyse comparative des figures 4c et 4d, les zones de lignes et les zones de mot successives ne sont pas nécessairement juxtaposées, par exemple de façon à ce que la somme de toutes les zones couvre entièrement l'image du texte, mais peuvent au contraire être légèrement espacées entre elles par des zones vides de texte. According to the second embodiment of the method, the few simple geometric calculations necessary for the determination of a larger surface area are based on the detection of the coordinates of each word zone and possibly each letter zone. It should be noted that, as illustrated by a comparative analysis of FIGS. 4c and 4d, the line zones and the successive word zones are not necessarily juxtaposed, for example so that the sum of all the zones completely covers the area. image of the text, but may instead be slightly spaced apart by empty text areas.
Comme selon le premier mode de réalisation du procédé, la zone d'intérêt Z2 déterminée selon un des critères de positionnement ou de recouvrement précédemment décrits est affichée S60 sur le dispositif d'affichage via un marquage MZ2 permettant sa visualisation. As in the first embodiment of the method, the zone of interest Z2 determined according to one of the previously described positioning or overlapping criteria is displayed S60 on the display device via a marking MZ2 allowing its visualization.
En référence à la figure 8, le procédé selon l'invention comprend en outre une étape consistant à modifier S70 la zone d'intérêt Z2 selon au moins un traitement prédéterminé et une étape consistant à reproduire S90 la zone d'intérêt Z2 traitée dans une zone de vision Z3 située en périphérie de la zone aveugle Z1 . La modification S70 et la reproduction S90, ou la seule reproduction S90, sont par exemple commandées par l'individu en appuyant sur un bouton de la souris ou une touche du clavier. With reference to FIG. 8, the method according to the invention further comprises a step of modifying S70 the zone of interest Z2 according to at least one predetermined treatment and a step of reproducing S90 the zone of interest Z2 treated in a vision zone Z3 located on the periphery of the blind zone Z1. The modification S70 and the reproduction S90, or the single reproduction S90, are for example controlled by the individual by pressing a mouse button or a key on the keyboard.
Selon le deuxième mode de réalisation du procédé, la reconnaissance S10 de ladite au moins une partie de texte comprend en outre la segmentation de chaque zone de mot en zones de lettre. Le procédé permet ainsi avantageusement une modification S70 et une reproduction S90 plus finement contrôlée des mots situés dans la zone d'intérêt, par exemple par une déformation par enroulement des lettres du groupe de mots à enrichir ou par un accroissement de la taille des lettres les plus éloignées du centre du scotome plus important que celui des lettres les plus proches du centre du scotome. Lorsque la segmentation de l'image en zones de lettre est effectuée, les coordonnées de chaque zone de lettre sont détectées pour pouvoir être utilisées. According to the second embodiment of the method, the recognition S10 of said at least one text portion further comprises the segmentation of each word area into letter areas. The method thus advantageously allows an S70 modification and a more finely controlled S90 reproduction of the words situated in the area of interest, for example by winding deformation of the letters of the group of words to be enriched or by an increase in the size of the letters furthest from the center of the scotome greater than that of the letters closest to the center of the scotoma. When segmentation of the letter area image is performed, the coordinates of each letter area are detected for use.
L'enrichissement effectué selon le deuxième mode de réalisation du procédé tient avantageusement compte d'aspects fondamentaux que revêt un exercice de lecture en présence d'un scotome maculaire. En effet, cet enrichissement ne se contente pas de déplacer l'information masquée par le scotome (par redimensionnement ou déformation de l'image du texte), mais reconnaît les mots de l'image, permet d'identifier spécifiquement ceux que l'individu souhaite lire et optimise l'affichage de ces mots de façon à compenser les facteurs limitant la lecture en présence d'un scotome. Ces avantages bien que demeurant inaccessibles, sans segmentation de l'image en mots, ne peuvent toutefois pas être atteints via cette seule caractéristique qui doit être combinée aux étapes S50, S70 et S90 du procédé selon le deuxième mode de réalisation du procédé pour assister intelligemment et efficacement le lecteur. The enrichment performed according to the second embodiment of the method advantageously takes account of fundamental aspects of a reading exercise in the presence of a macular scotoma. Indeed, this enrichment is not content to move the information masked by the scotome (by resizing or distorting the image of the text), but recognizes the words of the image, specifically identifies those that the individual wish to read and optimize the display of these words so as to compensate for the factors limiting the reading in the presence of a scotome. These advantages, while remaining inaccessible, without segmentation of the image into words, can not however be achieved via this single characteristic which must be combined with the steps S50, S70 and S90 of the method according to the second embodiment of the method to assist intelligently. and effectively the reader.
Pour mieux appréhender ceci, il est nécessaire d'expliciter certaines notions de neurosciences visuelles telles que la zone préférentielle de fixation (PRL), l'encombrement visuel, l'acuité et l'empan visuel. Ces notions permettent d'agir aussi bien sur le plan perceptif que sur le plan oculomoteur. To better understand this, it is necessary to clarify some concepts of visual neuroscience such as the preferred area of fixation (PRL), visual clutter, sharpness and visual span. These notions make it possible to act as well on the perceptual plane as on the oculomotor plane.
En référence à la figure 1 , il a été établi que l'acuité en vision excentrée bénéficie d'un gain en termes de vitesse de lecture, lorsque l'on augmente la taille des caractères du texte. Cependant, la simple augmentation de la taille des caractères en vision périphérique (b), chez des individus sains en condition de présentation d'objets visuels successifs à une vitesse élevée ou RSVP (pour Rapid Sériai Visual Présentation), ne permet pas d'atteindre les seuils de vitesse obtenus en vision fovéale (a). Le graphique de la figure 1 (Legge et al. 1985a; Legge et al. 1985b) montre des mesures de vitesse de lecture, reportées en ordonnée, en fonction de la taille des caractères lus, reportée en abscisse. La figure 1 illustre donc les performances de lecture en fonction de la taille des caractères pour des individus utilisant leur vision normale (a) et des individus utilisant leur vision périphérique (b). En référence à la figure 2, l'empan visuel est défini comme une notion essentielle dans le cadre des études sur la lecture. Il correspond à l'étendue du champ visuel dans lequel les lettres peuvent être identifiées en dehors de toute information linguistique. Il quantifie le nombre de lettres qui peut être identifié à partir d'une fixation sans avoir recours au contexte. L'image à gauche de la figure 2 illustre la notion d'empan visuel (EV). Si le regard de l'individu fixe le centre du cercle contenant les mots, son empan visuel correspond alors aux mots "this must". Le graphique à droite de la figure 2 ( O'Regan 1979 et O'Regan et al. 1983) présente l'effet de la taille de l'empan visuel (en abscisse) sur la vitesse de lecture (en ordonnée). Cette image montre le phénomène suivant : la vitesse de lecture augmente avec la taille de l'empan visuel. With reference to FIG. 1, it has been established that the sharpness in eccentric vision benefits from a gain in terms of reading speed, when the size of the characters of the text is increased. However, the simple increase of the size of the characters in peripheral vision (b), in healthy individuals in condition of presentation of successive visual objects at a high speed or RSVP (for Rapid Serial Visual Presentation), does not allow to reach the speed thresholds obtained in foveal vision (a). The graph of Fig. 1 (Legge et al., 1985a, Legge et al, 1985b) shows reading speed measurements, plotted on the ordinate, as a function of the size of the characters read, plotted on the abscissa. Figure 1 therefore illustrates the reading performance as a function of the size of the characters for individuals using their normal vision (a) and individuals using their peripheral vision (b). With reference to Figure 2, the visual span is defined as an essential notion in reading studies. It corresponds to the extent of the visual field in which the letters can be identified apart from any linguistic information. It quantifies the number of letters that can be identified from a fixation without resorting to the context. The image on the left of Figure 2 illustrates the notion of visual span (EV). If the gaze of the individual fixes the center of the circle containing the words, his visual span then corresponds to the words "this must". The graph to the right of Figure 2 (O'Regan 1979 and O'Regan et al., 1983) shows the effect of the size of the visual span (in the abscissa) on the reading speed (in ordinate). This image shows the following phenomenon: the speed of reading increases with the size of the visual span.
En référence à la figure 3a, l'encombrement visuel est le produit d'une interaction spatiale entre des lettres adjacentes d'un mot, ou entre les mots eux-mêmes. Si la lettre (ou le mot) à identifier possède une zone spatiale d'isolement suffisamment grande, l'encombrement n'agit pas sur son identification. Au contraire, lorsque d'autres lettres (ou mots) sont présentes à l'intérieur de cette zone, l'identification de la lettre en question est perturbée. La taille de la zone spatiale (appelée zone d'isolement) nécessaire pour éviter le phénomène d'encombrement visuel croît proportionnellement à l'excentricité. La figure 3a permet de le démontrer. En fixant la croix du milieu, il est facile d'identifier la lettre "r" à gauche. Cependant, la lettre "r" de droite est impossible à identifier ; pour l'identifier, il faut fixer la petite croix située à gauche de la lettre "a" (Pelli et Tillman, 2007). With reference to Figure 3a, visual clutter is the product of spatial interaction between adjacent letters of a word, or between the words themselves. If the letter (or word) to be identified has a sufficiently large isolation area, congestion does not act on its identification. On the contrary, when other letters (or words) are present within this zone, the identification of the letter in question is disturbed. The size of the spatial area (called the isolation zone) necessary to avoid the phenomenon of visual congestion grows proportionally to the eccentricity. Figure 3a demonstrates this. By fixing the middle cross, it is easy to identify the letter "r" on the left. However, the letter "r" on the right is impossible to identify; to identify it, it is necessary to fix the small cross located to the left of the letter "a" (Pelli and Tillman, 2007).
La zone préférentielle de fixation PRL se définit comme la zone de vision vers laquelle l'attention est déployée, en présence d'un scotome. En effet, lorsqu'un scotome central est présent, le centre de la rétine ne peut pas être utilisé pour identifier une cible et l'individu est obligé de déployer son attention à l'extérieur de la région atteinte en dissociant ainsi son regard de la zone de déploiement de l'attention. La zone préférentielle de fixation est donc spontanément déplacée, en présence d'un scotome, vers une ou plusieurs zones de vision Z3 saine de la rétine extrafovéale. Lors d'une tâche de fixation d'une cible par un individu, ces zones préférentielles de fixation sont détectables et positionnables, par exemple à l'aide d'un oculomètre. Ainsi, il apparaît clairement que, préalablement à la détermination S50 de la zone d'intérêt Z2, l'étape consistant à modifier l'image du texte permet de mettre les caractères du texte à une taille qui permette à l'individu de lire chacun des mots en se plaçant au seuil d'acuité de mot en fonction de la taille du scotome. Cette taille des caractères du texte est suffisamment grande pour permettre à l'individu d'avoir une lecture correcte avec son scotome, mais pas trop grande pour éviter la perte d'information globale sur le texte. L'espacement d'interligne du texte peut être augmenté, en fonction de la taille du scotome, afin que l'individu puisse mieux positionner son scotome sur la ligne en cours de lecture. En référence à la figure 3b, selon une particularité du deuxième mode de réalisation du procédé, ledit au moins un traitement prédéterminé de la zone d'intérêt Z2 consiste en une segmentation de chaque zone de mot en zones de caractères (ou de lettres) et en un accroissement de l'espacement entre les caractères, pour permettre de limiter, voire d'éviter, le phénomène d'encombrement visuel. La figure 3b illustre cela en montrant, à gauche, un mot dont l'espacement entre les lettres est normal, ce qui rend difficile son identification en vision excentrée (en fixant la croix à gauche), et à droite, un mot dont l'espacement entre les lettres est augmenté, ce qui rend plus aisé son identification en vision excentrée (en fixant la croix à droite). The preferential area of PRL fixation is defined as the area of vision towards which attention is deployed, in the presence of a scotoma. Indeed, when a central scotoma is present, the center of the retina can not be used to identify a target and the individual is forced to focus his attention outside of the affected area thus dissociating his eyes from the area of attention deployment. The preferential fixation zone is thus spontaneously displaced, in the presence of a scotoma, towards one or more zones of healthy Z3 vision of the extrafoveal retina. During a task of fixing a target by an individual, these preferred attachment areas are detectable and positionable, for example using an eye tracker. Thus, it clearly appears that, prior to the determination S50 of the zone of interest Z2, the step of modifying the image of the text makes it possible to put the characters of the text to a size which allows the individual to read each words by placing themselves at the threshold of word acuity according to the size of the scotoma. This font size of the text is large enough to allow the individual to have a correct reading with his scotome, but not too large to avoid the loss of global information on the text. The line spacing of the text can be increased, depending on the size of the scotome, so that the individual can better position his scotome on the line being played. Referring to FIG. 3b, according to a feature of the second embodiment of the method, said at least one predetermined processing of the zone of interest Z2 consists of a segmentation of each word zone into character (or letter) zones and in an increase of the spacing between the characters, to allow to limit, even to avoid, the phenomenon of visual congestion. Figure 3b illustrates this by showing, on the left, a word whose spacing between the letters is normal, which makes difficult its identification in eccentric vision (by fixing the cross on the left), and on the right, a word whose spacing between the letters is increased, which makes it easier to identify in eccentric vision (by fixing the cross on the right).
Selon une autre particularité du deuxième mode de réalisation du procédé, la zone d'intérêt Z2 peut comprendre, en plus de ladite au moins une zone de mot recouverte, au moins deux autres zones de mots appartenant à la même zone de ligne, chaque zone de mot de la zone d'intérêt Z2 étant préférentiellement juxtaposée à une autre zone de mot de la zone d'intérêt Z2. Le procédé permet ainsi avantageusement de prendre en compte la taille de chaque zone de mot et d'adapter l'assistance apportée à l'individu à son empan visuel. According to another particularity of the second embodiment of the method, the zone of interest Z2 may comprise, in addition to said at least one word zone covered, at least two other word zones belonging to the same line zone, each zone the word of the zone of interest Z2 preferably being juxtaposed with another word zone of the zone of interest Z2. The method thus advantageously makes it possible to take into account the size of each word zone and to adapt the assistance provided to the individual to his or her visual span.
En outre, selon une autre particularité du deuxième mode de réalisation du procédé, particularité déjà introduite ci-dessus en référence au premier mode de réalisation du procédé, au moins une zone parmi la zone aveugle Z1 et la zone de vision Z3 comprend un marquage visible sur le dispositif d'affichage. Le procédé selon cette particularité permet ainsi avantageusement d'aider encore l'individu à se stabiliser verticalement sur la ligne qu'il est en train de lire. En outre, comme illustrés sur les figures 4a à 4d, la zone aveugle Z1 est délimitée par un contour et la présence de ce contour aide l'individu à avoir conscience des frontières de sa tache aveugle et lui permet d'optimiser ses mouvements oculaires. In addition, according to another particularity of the second embodiment of the method, a feature already introduced above with reference to the first embodiment of the method, at least one zone among the blind zone Z1 and the vision zone Z3 comprises a visible marking. on the display device. The method according to this feature thus advantageously makes it possible to further help the individual to stabilize vertically on the line he is reading. Furthermore, as illustrated in FIGS. 4a to 4d, the blind area Z1 is delimited by an outline and the presence of this outline helps the individual to be aware of the boundaries of his blind spot and allows him to optimize his eye movements.
Dans l'exemple illustré sur la figure 4a, depuis une position haute par rapport à une phrase du texte, la zone aveugle Z1 est amenée par l'individu grâce au dispositif de pointage sur le groupe de mots qu'il souhaite enrichir. La zone d'intérêt Z2 est affichée pour aider l'individu à se positionner sur sa cible. Le traitement prédéterminé ou enrichissement de la zone d'intérêt Z2 consiste selon cet exemple en un accroissement de sa taille, accroissement dont l'amplitude peut par exemple dépendre de la taille de la zone aveugle Z1 . II est à noter que, sur la figure 4a, comme sur la figure 4b, la zone aveugle Z1 est mise en transparence afin de voir les mots qu'elle recouvre, alors que, en situation réelle, les mots recouverts par la zone aveugle sont masqués à l'individu par son scotome et sont donc invisibles comme illustré sur les figures 4c et 4d. In the example illustrated in FIG. 4a, from a position higher than a sentence of the text, the blind zone Z1 is brought by the individual by means of the pointing device to the group of words that he wishes to enrich. Zone of interest Z2 is displayed to help the individual to position himself on his target. The predetermined treatment or enrichment of the area of interest Z2 is according to this example an increase in size, an increase whose amplitude may for example depend on the size of the blind zone Z1. It should be noted that, in FIG. 4a, as in FIG. 4b, the blind zone Z1 is put in transparency so as to see the words it covers, whereas, in real situation, the words covered by the blind zone are masked to the individual by his scotome and are therefore invisible as illustrated in Figures 4c and 4d.
Dans l'exemple illustré sur la figure 4b, le procédé S selon son deuxième mode de réalisation est mis en œuvre de façon identique à l'exemple discuté ci-dessus en référence à la figure 4a, excepté que l'enrichissement de la zone d'intérêt Z2 consiste non seulement en un accroissement de sa taille, mais aussi en une répartition des mots qu'elle comprend sur plusieurs lignes, en l'occurrence deux lignes, de la zone de vision Z3. Dans l'exemple illustré sur la figure 4c, le procédé S est mis en œuvre de façon identique à l'exemple discuté ci-dessus en référence à la figure 4b, excepté que l'enrichissement de la zone d'intérêt Z2 consiste en outre en ce que la taille des caractères et/ou l'espacement entre les caractères sont davantage accrus à mesure que les caractères sont reproduits S90 sur une ligne de la zone de vision Z3 plus éloignée de la zone aveugle Z1 . In the example illustrated in FIG. 4b, the method S according to its second embodiment is implemented identically to the example discussed above with reference to FIG. 4a, except that the enrichment of the zone d The interest Z2 consists not only in an increase in its size, but also in a distribution of the words it comprises on several lines, in this case two lines, of the zone of vision Z3. In the example illustrated in FIG. 4c, the method S is implemented identically to the example discussed above with reference to FIG. 4b, except that the enrichment of the zone of interest Z2 furthermore comprises in that the character size and / or the spacing between the characters are further increased as the characters are reproduced S90 on a line of the viewing zone Z3 further from the blind zone Z1.
Dans l'exemple illustré sur la figure 4d, le procédé S est mis en œuvre de façon identique à l'exemple discuté ci-dessus en référence à la figure 4c, excepté que la zone d'intérêt Z2 comprend une zone de mot ZM long et l'enrichissement de cette zone d'intérêt consiste en outre en une césure du mot long. Selon un mode de réalisation du procédé, et comme illustré sur la figure 5, une zone d'intérêt précédente Z20 et/ou une zone d'intérêt suivante Z22 situées respectivement de part et d'autre d'une zone d'intérêt courante Z21 (déterminée à l'étape S50) sont en outre déterminées. Dans l'exemple illustré sur la figure 5, chaque zone Z20, Z21 et Z22 comprend un contour visible sur le dispositif d'affichage. In the example illustrated in FIG. 4d, the method S is implemented identically to the example discussed above with reference to FIG. 4c, except that the zone of interest Z2 comprises a long word zone ZM. and the enrichment of this area of interest further comprises a break of the long word. According to one embodiment of the method, and as illustrated in FIG. 5, a preceding zone of interest Z20 and / or a next zone of interest Z22 respectively situated on either side of a zone of current interest Z21 (determined at step S50) are further determined. In the example illustrated in FIG. 5, each zone Z20, Z21 and Z22 comprises a visible contour on the display device.
Selon une particularité de son deuxième mode de réalisation, et en référence à la figure 6, le procédé comprend en outre une étape consistant à afficher sur le dispositif d'affichage un repère Z4 à gauche de la zone de ligne située directement au-dessous de la zone de ligne comprenant la zone d'intérêt Z2. Le passage à la ligne est un problème important lors de la lecture d'un texte en vision excentrée. La figure 6 montre comment un repère Z4, ici un rectangle noir, à gauche du texte peut aider à localiser le début d'une zone de ligne ZL suivante. Sur cet exemple, le procédé S permet de choisir les mots situés sous le bord inférieur du scotome. Le rectangle noir s'affiche lorsque l'individu pose le bord de son scotome sur une zone d'intérêt Z2 d'une zone de ligne ZL qui se trouve juste au-dessus et reste par exemple affiché pendant quelques secondes, par exemple pendant 3 secondes. Ainsi, lorsque l'individu passe d'une ligne à une autre (image de droite), la zone d'intérêt Z2 est juste à côté du rectangle noir Z4. Si l'individu manque la ligne, le rectangle noir Z4 n'est pas sur la même ligne que la zone d'intérêt Z2 et l'individu perçoit ainsi qu'il ne se trouve pas sur la ligne subséquente. According to a feature of its second embodiment, and with reference to FIG. 6, the method further comprises a step of displaying on the display device a Z4 mark to the left of the line zone located directly below the line zone comprising the area of interest Z2. Wrapping is an important problem when reading text in eccentric vision. Figure 6 shows how a Z4 marker, here a black rectangle, to the left of the text can help locate the beginning of a next ZL line zone. In this example, the method S makes it possible to choose the words situated under the lower edge of the scotome. The black rectangle is displayed when the individual places the edge of his scotome on an area of interest Z2 of a line zone ZL which is just above it and remains for example displayed for a few seconds, for example during 3 seconds. Thus, when the individual moves from one line to another (right image), the zone of interest Z2 is right next to the black rectangle Z4. If the individual misses the line, the black rectangle Z4 is not on the same line as the zone of interest Z2 and the individual thus perceives that he is not on the subsequent line.
Selon une particularité des premier et deuxième modes de réalisation du procédé S, un test visant à choisir la zone préférentielle de fixation PRL, éventuellement verticale, de l'individu est effectué pour afficher les mots enrichis dans une position optimale du champ visuel de l'individu. According to a feature of the first and second embodiments of the method S, a test for selecting the preferential area of attachment PRL, possibly vertical, of the individual is performed to display the enriched words in an optimal position of the visual field of the individual.
Ainsi, selon ce mode de réalisation, le procédé S comprend, préalablement à la reproduction S90 dans la zone de vision Z3 de la zone d'intérêt Z2 traitée, une étape consistant à déterminer la position périphérique de la zone de vision Z3 par rapport à la zone aveugle Z1 comme correspondant à la position d'une zone préférentielle de fixation déterminée pour chaque individu, par exemple en prenant en compte la position et la taille de son scotome. Thus, according to this embodiment, the method S comprises, prior to the reproduction S90 in the viewing zone Z3 of the zone of interest Z2 treated, a step of determining the peripheral position of the viewing zone Z3 with respect to the blind zone Z1 as corresponding to the position of a preferred fixation zone determined for each individual, for example by taking into account the position and the size of his scotoma.
Plus particulièrement selon ce mode de réalisation, et en référence avec les deux images à gauche de la figure 7a, la détermination de la position périphérique de la zone de vision Z3 par rapport à la zone aveugle Z1 comprend les étapes d'étalonnage consistant à : - afficher sur le dispositif d'affichage une pluralité de cibles F, More particularly according to this embodiment, and with reference to the two images to the left of FIG. 7a, the determination of the peripheral position of the zone of vision Z3 with respect to the blind zone Z1 comprises the calibration steps consisting of: displaying on the display device a plurality of targets F,
- pour chaque cible F, détecter, par un oculomètre, la position relative du scotome S de l'individu par rapport à la cible lorsque l'individu fixe la cible, et for each target F, detecting, by an eye tracker, the relative position of the scotoma S of the individual relative to the target when the individual fixes the target, and
- étalonner la position de la zone préférentielle de fixation PRL comme étant la position relative de la cible F par rapport à la position du scotome S. calibrating the position of the preferential fixing zone PRL as being the relative position of the target F with respect to the position of the scotome S.
Cet étalonnage est suffisant si, pour chaque cible F, la position relative du scotome S par rapport à la cible est la même. Dans le cas contraire, une correction de l'étalonnage est préférentiellement à considérer qui peut être selon la variante suivante. Selon cette variante, et en référence à l'image à droite de la figure 7a et à la figure 7b, si la position relative du scotome S par rapport à la position de la cible F varie en fonction de la cible, la détermination de la position périphérique de la zone de vision Z3 par rapport à la zone aveugle Z1 comprend les étapes d'étalonnage consistant à : - afficher sur le dispositif d'affichage une pluralité de cibles F, This calibration is sufficient if, for each target F, the relative position of the scotome S with respect to the target is the same. In the opposite case, a correction of the calibration is preferentially to be considered which may be according to the following variant. According to this variant, and with reference to the image to the right of FIG. 7a and FIG. 7b, if the relative position of the scotome S with respect to the position of the target F varies according to the target, the determination of the peripheral position of the viewing zone Z3 with respect to the blind zone Z1 comprises the calibration steps of: displaying on the display device a plurality of targets F,
- pour chaque cible F, détecter, par un oculomètre, la position relative du scotome S de l'individu par rapport à la cible lorsque l'individu fixe la cible, for each target F, detecting, by an eye tracker, the relative position of the scotome S of the individual relative to the target when the individual fixes the target,
- étalonner la position de la zone préférentielle de fixation PRL comme étant la position relative de la cible par rapport à la position du scotome, - asservir, en fonction de l'étalonnage réalisé selon les précédentes détections, le positionnement d'un contour de forme CF affiché sur le dispositif d'affichage au positionnement du scotome S détecté par l'oculomètre, calibrating the position of the preferential fixing zone PRL as being the relative position of the target with respect to the position of the scotome, slaving, according to the calibration performed according to the previous detections, the positioning of a shape contour CF displayed on the display device at the positioning of the scotoma S detected by the eye tracker,
- afficher un symbole cible C fixe sur le dispositif d'affichage, display a fixed target symbol C on the display device,
- mesurer le décalage d entre le contour de forme asservi et le symbole cible, lorsque l'individu à positionner le contour de forme CF asservi de sorte d'y inclure le symbole cible C, et measuring the offset d between the slave shape contour and the target symbol, when the individual positioning the shape contour CF servo so as to include the target symbol C, and
- corriger, en fonction de cette mesure, l'étalonnage réalisé selon les précédentes détections, de sorte d'étalonner la position relative de la zone préférentielle de fixation par rapport à la position du scotome. Selon une autre variante du test visant à choisir la zone préférentielle de fixation de l'individu, l'individu lui-même peut ajuster manuellement la zone de vision Z3 pour optimiser son confort d'utilisation. - Correcting, according to this measurement, the calibration performed according to the previous detections, so as to calibrate the relative position of the preferred area of attachment relative to the position of the scotoma. According to another variant of the test to choose the preferred area of attachment of the individual, the individual himself can manually adjust the Z3 vision zone to optimize its comfort of use.
La zone de vision Z3 ou RVA (pour Région de Vision Augmentée) est alors préférentiellement affichée sur la zone préférentielle de fixation PRL de l'individu. The zone of vision Z3 or RVA (for Region of Augmented Vision) is then preferentially displayed on the preferential zone of attachment PRL of the individual.
Dans tous les exemples exposés ci-dessus relatifs au deuxième mode de réalisation du procédé, la zone préférentielle de fixation PRL de l'individu est supposée avoir été déterminée selon le test décrit ci-dessus comme étant verticale et située sous le scotome, de sorte que comme représenté la zone de vision Z3 soit située à la verticale de la zone aveugle Z1 et sous celle-ci. In all the examples set out above relating to the second embodiment of the method, the preferential area of attachment PRL of the individual is supposed to have been determined according to the test described above as being vertical and located under the scotoma, so that that, as shown, the viewing zone Z3 is located vertically above the blind zone Z1 and beneath it.
Selon une particularité du deuxième mode de réalisation du procédé, le centre de la zone de vision Z3 est préférentiellement aligné avec le centre de la zone aveugle Z1 , ce qui permet à l'individu d'identifier le plus grand nombre de lettres en une seule fixation et d'augmenter ainsi son empan visuel. II est à noter que, selon le deuxième mode de réalisation du procédé, la zone d'intérêt Z2 reste préférentiellement visible pendant que la zone de vision Z3 est affichée. According to a feature of the second embodiment of the method, the center of the zone of vision Z3 is preferably aligned with the center of the blind zone Z1, which allows the individual to identify the largest number of letters in a single fixing and thereby increase its visual span. It should be noted that, according to the second embodiment of the method, the zone of interest Z2 remains preferably visible while the viewing zone Z3 is displayed.
Selon le deuxième mode de réalisation du procédé, que la zone d'intérêt Z2 soit située à proximité d'un bord du dispositif d'affichage D de sorte que la zone de vision Z3 ne serait que partiellement reproduite sur le dispositif d'affichage D selon ledit traitement prédéterminé peut également induire une limitation de la zone d'intérêt à la zone de mot se trouvant au plus près du bord du dispositif d'affichage. Auquel cas, le procédé prévoit avantageusement que d'autres zones de mots situées, dans la même zone de ligne, d'un côté opposé au bord du dispositif d'affichage soit également sélectionné comme étant compris dans la zone d'intérêt pour continuer de profiter pleinement de l'empan visuel de l'individu, y compris dans cette situation. According to the second embodiment of the method, the zone of interest Z2 is located near an edge of the display device D so that the viewing zone Z3 is only partially reproduced on the display device D according to said predetermined processing may also induce a limitation of the area of interest to the word area located closest to the edge of the display device. In which case, the method advantageously provides that other word areas located in the same line area, on a side opposite to the edge of the display device is also selected as being included in the area of interest to continue take full advantage of the visual span of the individual, including in this situation.
Il est à noter aussi que, selon le deuxième mode de réalisation du procédé, le fait de segmenter le texte de l'image en zones de mot permet de reproduire S90 des mots entiers dans la zone de vision Z3. II est à noter encore que, selon le deuxième mode de réalisation du procédé, le texte de l'image peut être entièrement reconnu S10 en une fois par le logiciel de reconnaissance de caractères. Toutefois, de façon non limitative, une partie seulement du texte peut être reconnue qui serait par exemple sélectionnée par le lecteur sur l'image par un mouvement de souris conjointement à une pression sur son bouton de gauche. Une autre partie du texte pourrait ensuite être sélectionnée de la même façon. Par un autre exemple, seule une partie de la ligne du texte recouverte par la zone aveugle ou une partie du texte située autour de la zone aveugle est reconnue S10. En outre, la reconnaissance S10 et les autres étapes S30 à S90 du procédé peuvent être déclenchées par l'individu en appuyant sur un bouton de la souris ou une touche du clavier. It should also be noted that, according to the second embodiment of the method, segmenting the text of the image into word zones makes it possible to reproduce S90 of whole words in the viewing zone Z3. It should also be noted that, according to the second embodiment of the method, the text of the image can be fully recognized S10 in one go by the character recognition software. However, in a non-limiting way, some only text can be recognized which would be for example selected by the reader on the image by a mouse movement together with a pressure on its left button. Another part of the text could then be selected in the same way. By another example, only part of the line of text covered by the blind zone or part of the text around the blind zone is recognized S10. In addition, the recognition S10 and the other steps S30 to S90 of the method can be triggered by the individual by pressing a mouse button or a key on the keyboard.
Le procédé selon l'invention est mis en œuvre sur un ordinateur comprenant au moins un processeur propre à exécuter un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé. The method according to the invention is implemented on a computer comprising at least one processor capable of executing a computer program comprising instructions for implementing the method.
Il doit être évident pour les personnes versées dans l'art que toute référence à une ligne de texte est à considérer en regard de l'écriture et la lecture d'une langue donnée. Dès lors, selon la langue considérée, il pourra être considéré une colonne en lieu et place d'une ligne, sans s'éloigner de l'invention telle que revendiquée. De même, les zones d'intérêt précédente Z20, courante Z21 et suivante Z22 telles qu'illustrées sur la figure 5 illustrent un sens de lecture allant de la gauche vers la droite, tandis que certaines autres langues, telles que l'arabe, utilisent un sens d'écriture et de lecture opposé. La présente invention vise aussi un programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé ci-avant, lorsque ce programme est exécuté par un processeur. Elle vise aussi un support (non transitoire notamment) stockant un tel programme. Le programme d'ordinateur peut être écrit dans différents langages de programmation, tel que par exemple le langage Python™. En outre, ce programme peut être basé sur des applications et/ou des interfaces de programmation destinées à en faciliter le développement ; une application de ce type est par exemple connue sous l'appellation commerciale PsychoPy™ et une interface de programmation de ce type est par exemple l'interface OpenGL™. It should be obvious to those versed in the art that any reference to a line of text is to be considered with regard to writing and reading a given language. Therefore, depending on the language considered, it may be considered a column instead of a line, without departing from the invention as claimed. Likewise, the preceding areas of interest Z20, current Z21 and following Z22 as illustrated in FIG. 5 illustrate a direction of reading going from left to right, while certain other languages, such as Arabic, use a sense of writing and reading opposite. The present invention is also directed to a computer program comprising instructions for implementing the above method, when this program is executed by a processor. It also aims at a support (non transitory in particular) storing such a program. The computer program can be written in different programming languages, such as for example the Python ™ language. In addition, this program may be based on applications and / or programming interfaces to facilitate their development; an application of this type is for example known under the trade name PsychoPy ™ and a programming interface of this type is for example the OpenGL ™ interface.
Comme décrit plus haut, le procédé selon l'invention peut être implémenté en utilisant différents matériels pour faciliter l'exploration visuelle de différents contenus numériques. Par un premier exemple donné à titre illustratif et non limitatif, le dispositif d'affichage peut consister en un écran d'ordinateur ou de tablette et le contenu considéré peut consister en un livre numérique ou en une visite virtuelle. Le contenu peut alors être traité selon le procédé de façon simultanée à son exploration visuelle ou en amont d'une ou de toute exploration visuelle. Plus particulièrement, le contenu numérique de la visite virtuelle, d'une galerie d'art par exemple, peut être prétraité en y reconnaissant les œuvres d'art qui y sont exposées comme des objets compris dans des zones d'objet, de sorte que lesdites zones puissent être enrichies selon le procédé de l'invention lors de toutes explorations visuelles à venir pour faciliter à tout utilisateur l'exploration visuelle des œuvres d'art exposées. As described above, the method according to the invention can be implemented using different hardware to facilitate the visual exploration of different digital contents. By a first example given for illustrative and non-limiting, the display device may consist of a computer screen or tablet and the content in question may consist of a digital book or a virtual tour. The content can then be processed according to the method simultaneously with its visual exploration or upstream of one or all visual exploration. In particular, the digital content of the virtual tour, such as an art gallery, can be pre-processed by recognizing the works of art exhibited there as objects in object areas, so that said zones can be enriched according to the method of the invention during any future visual explorations to facilitate to any user the visual exploration of the exposed works of art.
Par un deuxième exemple donné à titre illustratif et non limitatif, le dispositif d'affichage peut consister en des verres de lunettes vidéo ou multimédias connectées ou non à un réseau de communication, tel qu'Internet, et l'image numérique I affichée sur les verres de lunettes peut consister alors en tout ou partie d'une prise de vue du champ visuel du porteur des lunettes. Cette prise de vue peut être réalisée par une caméra agencée sur les lunettes et rafraîchie en continu pour être représentative de ce que voit, à chaque instant, le porteur à travers ses lunettes. La reconnaissance d'objets dans cette prise de vue peut alors être également réalisée en continu, par exemple les visages des personnes se trouvant dans le champ visuel du porteur peuvent être reconnus comme des objets compris dans des zones d'objet, de sorte que lesdites zones puissent être enrichies selon le procédé de l'invention, au moins pour faciliter au porteur l'identification desdites personnes. En ce sens, la zone d'objet enrichie peut également être rafraîchie en continu pour être représentative des mouvements, et plus généralement de toute évolution dans le temps, des objets reconnus. Des premiers résultats ont été obtenus pour la reconnaissance d'objets et plus particulièrement, de visages de personnes se trouvant dans le champ visuel d'un porteur. By a second example given by way of illustration and without limitation, the display device may consist of glasses of video or multimedia glasses connected or not to a communication network, such as the Internet, and the digital image I displayed on them. spectacle lenses may then consist wholly or partly of a shooting of the visual field of the wearer of the spectacles. This shooting can be performed by a camera arranged on the glasses and refreshed continuously to be representative of what is seen at every moment, the wearer through his glasses. The recognition of objects in this shooting can then be carried out continuously, for example the faces of people in the visual field of the wearer can be recognized as objects included in object areas, so that said Zones may be enriched according to the method of the invention, at least to facilitate the bearer identification of said persons. In this sense, the enriched object area can also be refreshed continuously to be representative of the movements, and more generally of any evolution in time, of the recognized objects. First results were obtained for the recognition of objects and more particularly, faces of people in the field of view of a wearer.
Une vingtaine de porteurs atteints de la DMLA ont été soumis au test d'identification de visages suivant. Neuf visages sont affichés sur une image présentée aux porteurs : un visage au centre et huit visages autour. La tâche consiste à trouver, parmi les visages qui sont autour, le visage qui correspond à celui du milieu et lire le chiffre qui est inscrit sur le visage sélectionné. Les 8 visages présents sur l'image sont les mêmes tout le long du test, seul change l'orientation et l'expression de leur visage et le visage situé au centre varie d'un test à l'autre. Cette reconnaissance de visage a été effectuée sans aide visuelle et avec le procédé d'assistance à l'exploration visuelle selon l'invention. About 20 carriers with AMD were subjected to the following face identification test. Nine faces are displayed on an image presented to porters: a face in the center and eight faces around. The task is to find, among the faces that are around, the face that corresponds to that in the middle and read the number that is written on the selected face. The 8 faces present on the image are the same all along the test, only changes the orientation and the expression of their face and their central face varies from test to test. This face recognition was performed without visual aid and with the visual exploration assistance method according to the invention.
Il a été constaté par un test paramétrique (test de Student) une différence significative de l'ordre de 31 % entre la reconnaissance sans aide visuelle et la reconnaissance avec le procédé d'assistance à l'exploration visuelle selon l'invention, en faveur de ce dernier. Ce résultat est très encourageant car il montre une augmentation importante des performances des porteurs atteints de DMLA lors de la reconnaissance de visages de personnes dans leur champ visuel, lorsque ces porteurs utilisent le procédé d'assistance à l'exploration visuelle selon l'invention. It was found by a parametric test (Student's test) a significant difference of the order of 31% between the recognition without visual aid and the recognition with the visual exploration assistance method according to the invention, in favor of of the last. This result is very encouraging because it shows a significant increase in the performance of carriers with AMD when recognizing faces of people in their visual field, when these carriers use the visual exploration assistance method according to the invention.

Claims

REVENDICATIONS
1 . Procédé (S) d'assistance à l'exploration visuelle d'une image numérique (I) sur un dispositif d'affichage par un utilisateur atteint d'une pathologie rétinienne se traduisant par un scotome, l'image numérique étant composée d'une matrice de points segmentable en zones, le procédé comprenant les étapes consistant à : 1. Method (S) for assisting the visual exploration of a digital image (I) on a display device by a user suffering from a retinal pathology resulting in a scotoma, the digital image being composed of a segment-segmentable dot matrix, the method comprising the steps of:
- reconnaître (S10), à l'aide d'un logiciel de reconnaissance de formes, au moins un objet contenu dans une zone d'objet (ZO) de l'image numérique, recognizing (S10), using a shape recognition software, at least one object contained in an object zone (ZO) of the digital image,
- déterminer (S30) une zone aveugle (Z1 ) dans l'image, correspondant à une position du scotome dans le champ de vision de l'utilisateur regardant l'image, - en cas de détection d'une proximité de la zone aveugle et de la zone d'objet, appliquer un traitement de l'image, de mise en évidence (S70, S90) de la zone d'objet pour l'utilisateur. determining (S30) a blind zone (Z1) in the image, corresponding to a position of the scotome in the field of view of the user looking at the image, - in the event of detection of a proximity of the blind zone and of the object area, apply image processing, highlighting (S70, S90) of the object area to the user.
2. Procédé selon la revendication 1 , caractérisé en ce qu'il comprend en outre les étapes consistant à : 2. Method according to claim 1, characterized in that it further comprises the steps of:
- déterminer (S50) une zone d'intérêt (Z2) comprenant au moins une zone d'objet (ZO), selon un critère de positionnement de la zone aveugle (Z1 ) sur l'image numérique, la zone aveugle étant positionnable sur le dispositif d'affichage par asservissement à un dispositif de pointage,  determining (S50) a zone of interest (Z2) comprising at least one object zone (ZO), according to a criterion for positioning the blind zone (Z1) on the digital image, the blind zone being positionable on the display device by servo to a pointing device,
- afficher (S60) sur le dispositif d'affichage un marquage (MZ2) permettant la visualisation de la zone d'intérêt (Z2) déterminée, et en ce que  displaying (S60) on the display device a marking (MZ2) allowing the visualization of the zone of interest (Z2) determined, and in that
la mise en évidence (S70, S90) de la zone d'objet consiste à :  highlighting (S70, S90) of the object area consists of:
- enrichir la zone d'intérêt (Z2) déterminée en la modifiant (S70) et en la reproduisant (S90) dans une zone de vision (Z3) selon au moins un traitement prédéterminé.  - enriching the area of interest (Z2) determined by modifying (S70) and reproducing (S90) in a viewing zone (Z3) according to at least one predetermined treatment.
3. Procédé selon la revendication 2, caractérisé en ce que le critère de positionnement de la zone aveugle (Z1 ) sur l'image numérique (I) selon lequel est déterminée la zone d'intérêt (Z2) est choisi parmi : 3. Method according to claim 2, characterized in that the criterion for positioning the blind zone (Z1) on the digital image (I) according to which the area of interest (Z2) is determined is chosen from:
- un critère de recouvrement de la zone d'intérêt (Z2) par la zone aveugle (Z1 ), et  a criterion for recovering the zone of interest (Z2) by the blind zone (Z1), and
- un critère de recouvrement de la zone d'intérêt (Z2) par une zone préférentielle de fixation (PRL) déterminée pour chaque individu, le positionnement de cette zone préférentielle de fixation (PRL) sur le dispositif d'affichage (D) étant relatif au positionnement de la zone aveugle (Z1 ) sur ce même dispositif. a criterion for recovering the zone of interest (Z2) by a preferred zone of fixation (PRL) determined for each individual, the positioning of this preferential fixing zone (PRL) on the device display (D) being relative to the positioning of the blind zone (Z1) on this same device.
4. Procédé selon la revendication 3, caractérisé en ce que ledit critère de recouvrement consiste à déterminer : 4. Method according to claim 3, characterized in that said recovery criterion consists in determining:
- le positionnement d'un point spécifique de la zone aveugle (Z1 ) ou de la zone préférentielle de fixation (PRL) sur la zone d'intérêt (Z2), ou  positioning a specific point of the blind zone (Z1) or the preferential fixing zone (PRL) on the zone of interest (Z2), or
- une plus grande surface de recouvrement de la zone d'intérêt (Z2) par la zone aveugle (Z1 ) ou par la zone préférentielle de fixation (PRL).  - a larger area of overlap of the area of interest (Z2) by the blind zone (Z1) or the preferred area of attachment (PRL).
5. Procédé selon l'une des revendications 2 à 4, caractérisé en ce que, lorsque la zone d'intérêt (Z2) est située à proximité d'un bord du dispositif d'affichage (D) de sorte que la zone de vision (Z3) ne serait que partiellement reproduite sur le dispositif d'affichage (D) selon ledit traitement prédéterminé, l'enrichissement de la zone d'intérêt (Z2) consiste en outre à déplacer la zone de vision (Z3) de façon à ce qu'elle soit entièrement reproduite sur le dispositif d'affichage (D) et présente un recouvrement sensiblement maximal avec la zone de vision (Z3) qui ne serait que partiellement reproduite sur le dispositif d'affichage (D) selon ledit traitement prédéterminé. 5. Method according to one of claims 2 to 4, characterized in that, when the area of interest (Z2) is located near an edge of the display device (D) so that the area of vision (Z3) would only be partially reproduced on the display device (D) according to said predetermined processing, the enrichment of the zone of interest (Z2) further consists in moving the zone of vision (Z3) so as to it is entirely reproduced on the display device (D) and has a substantially maximum overlap with the viewing zone (Z3) which would only be partially reproduced on the display device (D) according to said predetermined processing.
6. Procédé selon l'une des revendications 1 à 5, caractérisé en ce que la mise en évidence (S70, S90) de la zone d'objet est commandée par l'individu en actionnant, et éventuellement en maintenant actionné, un actionneur, et le procédé comprend en outre une étape de retour à l'image numérique (I) avant enrichissement, ce retour étant commandé par l'individu par actionnement, et éventuellement par relâchement, de l'actionneur, respectivement. 6. Method according to one of claims 1 to 5, characterized in that the highlighting (S70, S90) of the object area is controlled by the individual by actuating, and optionally maintaining actuated, an actuator, and the method further comprises a step of returning to the digital image (I) before enrichment, this return being controlled by the individual by actuation, and possibly by relaxation, of the actuator, respectively.
7. Procédé selon l'une des revendications 2 à 6, caractérisé en ce qu'au moins une zone parmi la zone aveugle (Z1 ) et la zone de vision (Z3) comprend un marquage visible sur le dispositif d'affichage. 7. Method according to one of claims 2 to 6, characterized in that at least one of the blind zone (Z1) and the viewing zone (Z3) comprises a visible marking on the display device.
8. Procédé selon l'une des revendications 1 à 7, caractérisé en ce que le logiciel de reconnaissance de formes comprend un algorithme de segmentation d'objets par rapport au fond qui est basé sur le principe de la ségrégation figure-fond employé en traitement automatique d'image. 8. Method according to one of claims 1 to 7, characterized in that the pattern recognition software comprises an algorithm for segmenting objects with respect to the background which is based on the principle of the segregation figure-background used in treatment automatic image.
9. Procédé selon l'une des revendications 2 à 8, caractérisé en ce que le traitement prédéterminé de la zone d'intérêt (Z2) consiste en l'agrandissement progressif de sa taille et éventuellement son décalage progressif depuis sa position initiale dans l'image numérique (I) jusqu'à occuper sur le dispositif d'affichage (D) la zone de vision (Z3) et le procédé comprend en outre une étape de retour à l'image numérique (I) avant enrichissement consistant en une diminution progressive de la taille de la zone d'intérêt (Z2) enrichie et éventuellement un décalage progressif de sa position jusqu'à son retour à sa taille et sa position avant enrichissement. 9. Method according to one of claims 2 to 8, characterized in that the predetermined treatment of the area of interest (Z2) consists of the gradual enlargement of its size and possibly its gradual shift from its initial position in the digital image (I) until occupying on the display device (D) the viewing zone (Z3) and the method further comprises a step of returning to the digital image (I) before enrichment consisting of a progressive decrease the size of the area of interest (Z2) enriched and possibly a progressive shift of its position until its return to its size and position before enrichment.
10. Procédé selon l'une des revendications 2 à 7, caractérisé en ce que le procédé (S) d'assistance à l'exploration visuelle est un procédé d'assistance à la lecture ; l'image numérique (I) comprend un texte destiné à être lu ; le logiciel de reconnaissance de formes comprend un logiciel de reconnaissance de caractères, permettant de reconnaître au moins une partie de texte par sa segmentation en zones de ligne (ZL), puis par la segmentation de chaque zone de ligne (ZL) en zones de mot (ZM) ; la zone d'objet (ZO) est une zone de mot (ZM) ; la zone de vision (Z3) est située en périphérie de la zone aveugle (Z1 ). 10. Method according to one of claims 2 to 7, characterized in that the method (S) for assistance in visual exploration is a method of reading assistance; the digital image (I) comprises a text intended to be read; the pattern recognition software includes character recognition software for recognizing at least a portion of text by segmenting it into line areas (ZL) and then segmenting each line area (ZL) into word areas (ZM); the object area (ZO) is a word area (ZM); the zone of vision (Z3) is located at the periphery of the blind zone (Z1).
1 1 . Procédé selon la revendication 10, caractérisé en ce qu'il comprend en outre, préalablement à la détermination (S50) de la zone d'intérêt (Z2), une étape consistant à modifier l'image du texte par son redimensionnement et/ou par modification de l'espacement d'interligne en fonction de la taille des caractères, de la longueur et/ou du nombre des lignes, de la taille du dispositif d'affichage et/ou de la taille de la zone aveugle. 1 1. A method according to claim 10, characterized in that it further comprises, prior to the determination (S50) of the area of interest (Z2), a step of modifying the image of the text by resizing it and / or by changing the line spacing according to the size of the characters, the length and / or number of lines, the size of the display device and / or the size of the blind area.
12. Procédé selon l'une des revendications 10 à 1 1 , caractérisé en ce que la reconnaissance (S10) de ladite au moins une partie de texte comprend en outre la segmentation de chaque zone de mot (ZM) en zones de lettre. 12. Method according to one of claims 10 to 1 1, characterized in that the recognition (S10) of said at least a portion of text further comprises the segmentation of each word area (ZM) in letter areas.
13. Procédé selon l'une des revendications 10 à 12, caractérisé en ce que la zone d'intérêt (Z2) comprend, en plus de ladite au moins une zone de mot (ZM), au moins deux autres zones de mots appartenant à la même zone de ligne (ZL), chaque zone de mot de la zone d'intérêt (Z2) étant juxtaposée à une autre zone de mot de la zone d'intérêt (Z2). 13. Method according to one of claims 10 to 12, characterized in that the zone of interest (Z2) comprises, in addition to said at least one word zone (ZM), at least two other word zones belonging to the same line area (ZL), each word area of the area of interest (Z2) being juxtaposed to another word area of the area of interest (Z2).
14. Procédé selon l'une des revendications 10 à 13, caractérisé en ce que ledit au moins un traitement prédéterminé de la zone d'intérêt (Z2) consiste en : 14. Method according to one of claims 10 to 13, characterized in that said at least one predetermined treatment of the area of interest (Z2) consists of:
- une segmentation de chaque zone de mot (ZM) en zones de caractères, et/ou a segmentation of each word zone (ZM) into character zones, and / or
- un accroissement de la taille des caractères éventuellement en fonction de la taille de la zone aveugle (Z1 ), et/ou - an increase in the size of the characters possibly according to the size of the blind zone (Z1), and / or
- un changement de police de caractères, et/ou  - a font change, and / or
- une disposition des mots sur plusieurs lignes, et/ou  - a word arrangement on several lines, and / or
- une césure d'un mot, et/ou  - a break of a word, and / or
- un accroissement de l'espacement entre les caractères, et/ou  - an increase in the spacing between the characters, and / or
- une modification du contraste, et/ou  - a modification of the contrast, and / or
- une inversion de polarité, et/ou  - a reversal of polarity, and / or
- une synthèse vocale des mots contenus dans la zone d'intérêt (Z2).  a vocal synthesis of the words contained in the area of interest (Z2).
15. Procédé selon la revendication 14, caractérisé en ce que la taille des caractères et/ou l'espacement entre les caractères sont davantage accrus à mesure que les caractères sont destinés à être reproduit (S90) sur une ligne de la zone de vision (Z3) plus éloignée de la zone aveugle (Z1 ). The method according to claim 14, characterized in that the character size and / or the spacing between the characters are further increased as the characters are intended to be reproduced (S90) on a line of the viewing area ( Z3) farther from the blind zone (Z1).
16. Procédé selon l'une des revendications 10 à 15, caractérisé en ce que sont en outre déterminées (S50) une zone d'intérêt précédente (Z20) et/ou une zone d'intérêt suivante (Z22) situées respectivement de part et d'autre d'une zone d'intérêt courante (Z21 ), au moins une de ces zones comprenant un marquage visible sur le dispositif d'affichage. 16. Method according to one of claims 10 to 15, characterized in that are further determined (S50) a previous zone of interest (Z20) and / or a next zone of interest (Z22) located respectively from other than a current area of interest (Z21), at least one of these areas comprising a visible marking on the display device.
17. Procédé selon l'une des revendications 10 à 16, caractérisé en ce qu'il comprend en outre une étape consistant à afficher sur le dispositif d'affichage (D) un repère (Z4) à gauche de la zone de ligne (ZL) située directement au-dessous de la zone de ligne comprenant la zone d'intérêt (Z2). 17. Method according to one of claims 10 to 16, characterized in that it further comprises a step of displaying on the display device (D) a marker (Z4) to the left of the line zone (ZL ) located directly below the line zone comprising the area of interest (Z2).
18. Procédé selon l'une des revendications 2 à 17, caractérisé en ce qu'il comprend, préalablement à la reproduction (S90) dans la zone de vision (Z3) de la zone d'intérêt (Z2) traitée ou préalablement à la détermination (S50) de la zone d'intérêt (Z2) selon un choix de critère de positionnement, une étape consistant à déterminer la position périphérique de la zone de vision (Z3) par rapport à la zone aveugle (Z1 ) comme correspondant à la position d'une zone préférentielle de fixation (PRL) déterminée pour chaque individu. 18. Method according to one of claims 2 to 17, characterized in that it comprises, prior to reproduction (S90) in the zone of vision (Z3) of the zone of interest (Z2) treated or prior to the determining (S50) the area of interest (Z2) according to a choice of positioning criterion, a step of determining the peripheral position of the viewing area (Z3) with respect to the area blind (Z1) as corresponding to the position of a preferred fixation area (PRL) determined for each individual.
19. Procédé selon la revendication 18, caractérisé en ce que la détermination de la position périphérique de la zone de vision (Z3) par rapport à la zone aveugle (Z1 ) comprend les étapes d'étalonnage consistant à : The method according to claim 18, characterized in that determining the peripheral position of the viewing zone (Z3) with respect to the blind area (Z1) comprises the calibration steps of:
- afficher sur le dispositif d'affichage une pluralité de cibles (F), displaying on the display device a plurality of targets (F),
- pour chaque cible, détecter, par un oculomètre, la position relative du scotome (S) de l'individu par rapport à la cible (F) lorsque l'individu fixe la cible, et for each target, detecting, by an eye tracker, the relative position of the scotoma (S) of the individual relative to the target (F) when the individual fixes the target, and
- étalonner la position de la zone préférentielle de fixation (PRL) comme étant la position relative de la cible (F) par rapport à la position du scotome, et calibrating the position of the preferential fixation zone (PRL) as being the relative position of the target (F) with respect to the position of the scotome, and
- si, la position relative du scotome (S) par rapport à la position de la cible (F) varie en fonction de la cible (F) fixée, if, the relative position of the scotoma (S) with respect to the position of the target (F) varies according to the target (F) fixed,
- asservir, en fonction de l'étalonnage réalisé selon les précédentes détections, le positionnement d'un contour de forme (CF) affiché sur le dispositif d'affichage au positionnement du scotome détecté par l'oculomètre, - enslave, according to the calibration performed according to the previous detections, the positioning of a shape contour (CF) displayed on the display device to the positioning of the scotome detected by the oculometer,
- afficher un symbole cible (C) fixe sur le dispositif d'affichage, display a fixed target symbol (C) on the display device,
- mesurer le décalage (d) entre le contour de forme (CF) asservi et le symbole cible, lorsque l'individu à positionner le contour de forme asservi de sorte d'y inclure le symbole cible (C), et measuring the offset (d) between the slave shape contour (CF) and the target symbol, when the individual positioning the slave shape contour so as to include therein the target symbol (C), and
- corriger, en fonction de cette mesure, l'étalonnage réalisé selon les précédentes détections. - correct, according to this measurement, the calibration performed according to the previous detections.
20. Procédé selon l'une des revendications 10 à 19, caractérisé en ce que la zone de vision (Z3) est située de façon juxtaposée et centrée au-dessous ou au-dessus de la zone aveugle. 20. Method according to one of claims 10 to 19, characterized in that the viewing zone (Z3) is located juxtaposed and centered below or above the blind zone.
21 . Procédé selon l'une des revendications 2 à 20, caractérisé en ce que le dispositif de pointage asservissant le positionnement de la zone aveugle (Z1 ) est choisi parmi un clavier d'ordinateur, une souris et un oculomètre. 21. Method according to one of claims 2 to 20, characterized in that the pointing device slaving the positioning of the blind zone (Z1) is selected from a computer keyboard, a mouse and an eye tracker.
22. Programme d'ordinateur comportant des instructions pour la mise en œuvre du procédé selon l'une quelconque des revendications précédentes, lorsque ce programme est exécuté par un processeur. 22. Computer program comprising instructions for implementing the method according to any one of the preceding claims, when this program is executed by a processor.
EP14750203.3A 2013-08-21 2014-08-07 Method for assisting visual exploration for an individual suffering from a retinal condition resulting in a scotoma Ceased EP3036733A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP14750203.3A EP3036733A1 (en) 2013-08-21 2014-08-07 Method for assisting visual exploration for an individual suffering from a retinal condition resulting in a scotoma

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13306159 2013-08-21
EP14750203.3A EP3036733A1 (en) 2013-08-21 2014-08-07 Method for assisting visual exploration for an individual suffering from a retinal condition resulting in a scotoma
PCT/EP2014/067017 WO2015024790A1 (en) 2013-08-21 2014-08-07 Method for assisting visual exploration for an individual suffering from a retinal condition resulting in a scotoma

Publications (1)

Publication Number Publication Date
EP3036733A1 true EP3036733A1 (en) 2016-06-29

Family

ID=49054480

Family Applications (1)

Application Number Title Priority Date Filing Date
EP14750203.3A Ceased EP3036733A1 (en) 2013-08-21 2014-08-07 Method for assisting visual exploration for an individual suffering from a retinal condition resulting in a scotoma

Country Status (8)

Country Link
US (1) US9861274B2 (en)
EP (1) EP3036733A1 (en)
JP (1) JP6502351B2 (en)
KR (1) KR102306768B1 (en)
CN (1) CN105637570B (en)
BR (1) BR112016003520B1 (en)
CA (1) CA2921476C (en)
WO (1) WO2015024790A1 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3039978A1 (en) * 2015-08-14 2017-02-17 Essilor Int METHOD FOR DETERMINING VISUAL AID MEANS IN RELATION TO THE BEHAVIOR OF AN INDIVIDUAL SUBJECT TO A TEST
US10765314B2 (en) * 2016-05-29 2020-09-08 Novasight Ltd. Display system and method
US10347050B1 (en) 2016-09-22 2019-07-09 Apple Inc. Augmented reality device to warp images
JP6805733B2 (en) * 2016-10-31 2020-12-23 オムロン株式会社 Control system, its control method and its computer-readable storage medium
CN106943116B (en) * 2017-03-13 2018-10-12 广东顺德中山大学卡内基梅隆大学国际联合研究院 A kind of infant eyesight automatic testing method
US10650702B2 (en) * 2017-07-10 2020-05-12 Sony Corporation Modifying display region for people with loss of peripheral vision
US10805676B2 (en) * 2017-07-10 2020-10-13 Sony Corporation Modifying display region for people with macular degeneration
US10303427B2 (en) 2017-07-11 2019-05-28 Sony Corporation Moving audio from center speaker to peripheral speaker of display device for macular degeneration accessibility
US10845954B2 (en) 2017-07-11 2020-11-24 Sony Corporation Presenting audio video display options as list or matrix
US11113985B2 (en) * 2017-08-30 2021-09-07 Focus Reading Technology Inc. Visual acuity measurement apparatus
DE102018106125B4 (en) * 2018-03-16 2019-09-26 Carl Zeiss Vision International Gmbh Apparatus and method for detecting a visual field of a person having a scotoma
CN110584587A (en) * 2019-09-03 2019-12-20 北京爱博同心医学科技有限公司 Method and device for compensating visual field defect
CN115457574B (en) * 2022-09-02 2024-04-09 郭列维 Visual information processing method based on preset distance and visual information carrier

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5589897A (en) 1995-05-01 1996-12-31 Stephen H. Sinclair Method and apparatus for central visual field mapping and optimization of image presentation based upon mapped parameters
FR2846120B1 (en) * 2002-10-21 2005-04-15 Inst Sciences De La Vision METHOD FOR DEMASQUISHING VISUAL INFORMATION PRESENTED IN A LITTLE OR NOT FUNCTIONAL VISUAL AREA AND THE DEVICE FOR IMPLEMENTING THE SAME
CN1259635C (en) * 2003-06-18 2006-06-14 摩托罗拉公司 Method for identification of text line
US20100231504A1 (en) * 2006-03-23 2010-09-16 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation
EP2143273A4 (en) 2007-04-02 2012-08-08 Esight Corp An apparatus and method for augmenting sight
US8197065B2 (en) * 2009-08-03 2012-06-12 Nike, Inc. Vision testing and/or training using adaptable visual indicia
CN103065521B (en) * 2011-10-19 2015-03-18 北京奥美达科技有限公司 Visual aid and intelligent marking method

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None *
See also references of WO2015024790A1 *

Also Published As

Publication number Publication date
CN105637570B (en) 2019-07-02
WO2015024790A1 (en) 2015-02-26
KR102306768B1 (en) 2021-09-30
US20160198941A1 (en) 2016-07-14
CA2921476A1 (en) 2015-02-26
CA2921476C (en) 2022-01-04
JP2016530562A (en) 2016-09-29
US9861274B2 (en) 2018-01-09
CN105637570A (en) 2016-06-01
JP6502351B2 (en) 2019-04-17
BR112016003520B1 (en) 2021-04-27
KR20160046802A (en) 2016-04-29
BR112016003520A2 (en) 2017-08-22
BR112016003520A8 (en) 2018-08-14

Similar Documents

Publication Publication Date Title
EP3036733A1 (en) Method for assisting visual exploration for an individual suffering from a retinal condition resulting in a scotoma
EP2582283B1 (en) Method for estimating a reference posture
EP3161723A1 (en) Adaptable eye artifact identification and correction system
EP2462535A2 (en) Image-processing method for correcting a target image in accordance with a reference image, and corresponding image-processing device
JP2008269588A (en) Recognition device, recognition method, and recognition program
WO2009007568A2 (en) Method and system for communication between persons in a telecommunication system
Pan et al. With an eye to low vision: Optic flow enables perception despite image blur
EP1937133A2 (en) Vision correction aid system
EP1825349B1 (en) Method for data search in a database
EP3145387B1 (en) Method of visual testing of an individual
EP2988249B1 (en) Method for determining, in an image, at least one area likely to represent at least one finger of an individual
EP3145405B1 (en) Method of determining at least one behavioural parameter
FR3025044A1 (en) RECOMMENDATION SYSTEM, METHOD, COMPUTER PROGRAM, AND CORRESPONDING MEDIUM
CA3049134C (en) Device and method for determining eye movements by tactile interface
EP3334328A1 (en) Method for determining visual aid means by reference to the behaviour of an individual subjected to a test
FR3119482A3 (en) Method and device for assisting reading and learning thereof.
WO2023148434A1 (en) Method for displaying a comfort-increasing and especially anti-motion-sickness visual reference
BE1028997B1 (en) Method and system for determining a standardized size of a pupil of an eye
FR2875322A1 (en) Person`s face locating method for e.g. identifying person, involves detecting eyes in digital image produced by performing point to point subtraction between reference image taken before or after eye blink and image taken during blink
Martin La pensée juridique et le Tractatus Logico-Philosophicus de Wittgenstein
WO2004038662A1 (en) Method of unmasking visual information present under a barely- or non-functional area in the visual field of the eye of a subject and device for implementing said method
EP2704059A1 (en) Device to release a computer instruction by detecting a head rotation movement
WO2016001576A1 (en) Method for customized assistance with on-line consultation of computer documents by physically disabled persons, means for implementing the method and use thereof

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20160205

AK Designated contracting states

Kind code of ref document: A1

Designated state(s): AL AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HR HU IE IS IT LI LT LU LV MC MK MT NL NO PL PT RO RS SE SI SK SM TR

AX Request for extension of the european patent

Extension state: BA ME

DAX Request for extension of the european patent (deleted)
STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

17Q First examination report despatched

Effective date: 20170711

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: EXAMINATION IS IN PROGRESS

RAP1 Party data changed (applicant data changed or rights of an application transferred)

Owner name: UNIVERSITE D'AIX MARSEILLE

Owner name: CENTRE NATIONAL DE LA RECHERCHE SCIENTIFIQUE (C.N.

Owner name: ESSILOR INTERNATIONAL

APBK Appeal reference recorded

Free format text: ORIGINAL CODE: EPIDOSNREFNE

APBN Date of receipt of notice of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA2E

APBR Date of receipt of statement of grounds of appeal recorded

Free format text: ORIGINAL CODE: EPIDOSNNOA3E

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

APAF Appeal reference modified

Free format text: ORIGINAL CODE: EPIDOSCREFNE

APBT Appeal procedure closed

Free format text: ORIGINAL CODE: EPIDOSNNOA9E

REG Reference to a national code

Ref country code: DE

Ref legal event code: R003

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION HAS BEEN REFUSED

18R Application refused

Effective date: 20240603