WO2003012526A1 - Dispositif d'affichage d'images autostereoscopiques en couleurs - Google Patents

Dispositif d'affichage d'images autostereoscopiques en couleurs Download PDF

Info

Publication number
WO2003012526A1
WO2003012526A1 PCT/FR2002/002759 FR0202759W WO03012526A1 WO 2003012526 A1 WO2003012526 A1 WO 2003012526A1 FR 0202759 W FR0202759 W FR 0202759W WO 03012526 A1 WO03012526 A1 WO 03012526A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixels
screen
triplets
stereoscopic vision
elements
Prior art date
Application number
PCT/FR2002/002759
Other languages
English (en)
Inventor
Patrick Seugnet
Original Assignee
Patrick Seugnet
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Patrick Seugnet filed Critical Patrick Seugnet
Publication of WO2003012526A1 publication Critical patent/WO2003012526A1/fr

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/30—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/373—Image reproducers using viewer tracking for tracking forward-backward translational head movements, i.e. longitudinal movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/376—Image reproducers using viewer tracking for tracking left-right translational head movements, i.e. lateral movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/38—Image reproducers using viewer tracking for tracking vertical translational head movements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/334—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/368—Image reproducers using viewer tracking for two or more viewers

Definitions

  • the present invention relates to a stereoscopic vision system comprising a flat screen composed of pixel triplets and a lenticular network formed of cylindrical lenses placed in front of the screen, a lens being associated each time with one or more columns of pixel triplets, to transmit a left image and a right image intended respectively for the left eye and the right eye of the spectator.
  • the stereoscopic vision or the perception of the relief for the human being results from the superposition of two different images received by the eyes of the spectator.
  • One of the oldest systems consists in making an image in one color and the other image in another color and using glasses with colored glasses, which let pass only the color intended for the eye associated with this color.
  • stereoscopic image vision systems consisting of superimposing the two images and looking at them through a lenticular network made up of a plate formed of vertical cylindrical lenses.
  • This system uses the lenses to allow the viewer who is in a specific position, precise vis-à-vis the image covered by the lenticular network, to see with each eye only the image that is intended for him.
  • the drawback of such a system is the need for the spectator to position himself at a precise location in front of the screen.
  • the search for such a position and the maintenance of the head in such a position is possible for a very short time, for example to see an image through a lenticular network, especially because the effect of curiosity remains lively during this solution is no longer possible for a short stereoscopic vision in front of a screen.
  • this enslavement associates the movement of the screen with the movements of the spectator's head which excludes the multiplicity of spectators watching the same scene, for example two or three spectators who would be placed in front of the screen and whose heads would move with necessarily different movements.
  • the present invention aims to remedy these drawbacks and proposes to develop a system for stereoscopic viewing of images displayed on a flat screen, making it possible to have a stereoscopic vision whatever the position of the head of the spectator in front the screen or the movements that the spectator can make while looking at the screen.
  • the invention relates to a system of the type defined above, characterized in that
  • the pixels of the triplets are oriented horizontally
  • a mask made up of groups of occultation elements is placed in front of the screen, * each group being associated with a column of triplets to occult the triplets and display only a slice thereof by commanding the element d 'corresponding occultation, - an oculometer locating the position of the spectator's eyes relative to the screen and providing the position information,
  • control circuit receiving the position information from the oculometer and generating control signals for controlling the occultation elements of the triplet slices to be released as a function of the instantaneous position of the spectator.
  • the stereoscopic vision system according to the invention makes it possible to associate in a precise and almost instantaneous manner, the two stereoscopic images exactly in both eyes of the spectator, whatever the movements that the latter makes with the head.
  • This system can also be generalized and makes it possible to associate the two stereoscopic images with the position of the head of several spectators placed in front of the screen.
  • the position of the spectator's head (s) can be detected with an oculometer detecting the position of the head with a certain periodicity.
  • the same eye tracker can operate in a multiplexed manner.
  • the signals generated by the control circuit are signals for triggering or controlling the occultation elements associated with each column of pixels in the form of optical switching devices, for example liquid crystals.
  • an occultation element is associated with each column of the pixels of the left image or of the right image.
  • the masking elements associated with each spectator eye are in principle different since the angular arrangements of the spectator eyes do not coincide.
  • the width of the blackout elements it may be that, in certain cases, the same blackout element is common in the eyes of two spectators.
  • the masking elements of the mask groups are easily controlled by the edges of the screen since the occulting elements occupy the entire height of the screen. This makes it possible to apply the control techniques already used for flat screens.
  • the mask formed by the groups of occulting elements has been presented as being distinct from the flat screen.
  • the flat screen can be directly combined with the mask by dividing the pixels into slices which are separate from each other. A pixel slice (or a column of pixels) then corresponds to an occultation element.
  • the stereoscopic vision according to the invention is advantageous not only for leisure applications such as the presentation of films or reports but also for professional applications such as mechanical design or air navigation centers, so as to clearly perceive the shape of 'an object or the arrangement or the distribution of objects in space.
  • Embossed vision also improves the human / machine interface in computer science thanks to the facility it offers for viewing the stacking of files or documents on a screen with a three-dimensional vision.
  • FIG. 1 is an overall view of the principle of stereoscopic image vision
  • FIG. 2 is an overall diagram of the stereoscopic vision system according to the invention
  • FIG. 3 is an elementary detail diagram of Figure 2
  • - Figure 4 is a detail view of a screen part of the stereoscopic vision system according to the invention.
  • FIG. 1 the principle of stereoscopic vision of an image will be explained in general.
  • This figure is a "plan" view, that is to say perpendicular to the plane of image I, represented by a line with points or pixels identified by the references PD, PG.
  • a network R of lenses L In front of this image I is a network R of lenses L and finally, in front of the assembly, is placed the spectator S represented by his left eye OG and his right eye OD.
  • Image I is prepared for a stereoscopic vision and for this it is decomposed into two combined images, one formed by image points PD intended to be seen by the right eye OD and the other by image points PG intended for be seen by the left eye OG.
  • image I is covered by a network R of lenses L.
  • These lenses are cylindrical lenses schematized by elliptical sections and whose direction of the generator is perpendicular to the plane of the figure. These lenses are oriented vertically.
  • This general principle of stereoscopic vision of an image therefore requires that the viewer S is in a precise position in front of the screen. Any other position does not allow him to really perceive stereoscopy.
  • the invention aims to free the viewer S from this precise position and allow him to see a stereoscopic image whatever his position in front of the screen, and even if he changes position , which is to be expected.
  • FIG. 2 shows the general principle of the stereoscopic vision system according to the invention.
  • This system is intended to give a stereoscopic vision of an image displayed on a flat screen such as a video screen.
  • This image can be fixed or mobile. It is intended to be viewed by a spectator S placed in front of the screen in a relatively arbitrary position, possibly in the middle of the screen, but not necessarily and at no precise or fixed location. The spectator is represented by his left eye OG and his right eye OD.
  • the stereoscopic vision system consists of a screen 1 such as a flat screen on which the image is displayed. This screen is provided with a mask 2 and in front of it a network of lenses 3.
  • the screen 1 is implemented by a control circuit 4 by means of a pixel command 5 and a command mask 6.
  • the system includes an oculometer 7.
  • the screen 1 is formed by triplets of pixels as shown by way of example in FIG. 4. These triplets are distributed in vertical columns each time three colored pixels, superimposed.
  • FIG. 2 schematically shows two columns of pixels Pi, Pj juxtaposed or not. These pixels or columns of pixels are covered, on their front face, on the side of the spectator S, by a mask 2 formed of groups Gi, Gj of occultation elements Eil, Ei2, Ei3, Ej l, Ej2, Ej3 associated res - pectively to the column of pixels Pi and to the column of pixels Pj.
  • These masking elements are vertical bands, which can be either opaque or transparent.
  • These occulting elements are controlled from the mask command 6. This command has the function of neutralizing one of the occulting elements Eil, 2, 3 or Ej l, 2, 3, that is to say say to make it transparent.
  • the occulting elements are optical switching devices which can be produced by liquid crystals.
  • the assembly formed by the screen and the mask is covered by an array 3 of lenses.
  • the number of columns of pixels associated with the same lens L of the array 3 depends on optical considerations. In general we will use the simplest solution associating a lens with a column of pixels but more complicated optical solutions are possible.
  • the even order pixel columns will for example be reserved for displaying the image points of the image IMD for the right eye OD and the pixel columns d odd order Pj at the image points of the IMG image intended for the left eye OG.
  • This eye tracker 7 determines the coordinates xOG, yOG of the left eye OG and the coordinates xOD, yOD of the right eye OD. This information is transmitted to the control circuit 4.
  • the control circuit 4 processes the position information of the left and right eyes OG, OD to determine the mask control signals for the mask control member 6. These signals are mainly control signals of the occulting elements Eil , 2, 3, Ej l, 2, 3 of the groups Gi, Gj to allow the active pixels to send a light ray to the right eye OD and the left eye OG.
  • the pixel Pi is a point of the image IMD which must be seen by the right eye OD.
  • the control circuit 4 determines the occulting element Eix which must be triggered to allow the passage of a light ray ROD coming from the pixel Pi and which, having passed through the lens L, will reach the right eye OD without also falling on the eye OG.
  • the control circuit 4 taking account of the position of the left eye OG in the coordinate system oxy and of the position of the pixel Pj in this same coordinate system, the control circuit 4 determines that of the occultation elements Ej l, 2, 3 which must be neutralized so that the surface of the pixel Pj covered by this occultation element Ej2 can emit a ROG light beam. This light ray, after passing through the lens L, will fall on the left eye OG.
  • the precision of the concealment that is to say the precision with which the rays ROD, ROG are intended for each of the two eyes OD, OG of the spectator, without risk that the same ray falls on both eyes, largely depends on the number of masking elements used.
  • the movement of the eyes OG, OD will be immediately detected by the oculometer 7 which will supply the new position information (xOG, yOG) and (xOD, yOD) to the control circuit 4.
  • the control circuit 4 will determine the occultation elements of each occultation group Gi, Gj of each image IMD, IMG which must be neutralized in order to send light rays from the pixels of each image IMD, IMG towards the eye OD, OG for which this image is intended. It is obvious that the explanation given above about two columns of pixels Pi, Pj applies to all the pixels and groups of masking elements of mask 2 over the entire width of the screen. . It should also be noted that, since the stereoscopic vision is made with a horizontal horizon line, the pixel occultation phenomena will be the same for the same column of pixel triplets, that is to say for all the triplets of pixels of the same vertical column.
  • Figure 3 shows, in a slightly different way, the screen with its mask and the lens array. This figure highlights the angle of inclination ⁇ j / OG and ⁇ e / OD of the rays intended for the left eye OG and for the eye must OD.
  • FIG. 4 shows a detail of a flat screen of a stereoscopic vision system according to the invention.
  • This figure gives an image of the column of order n and of the column of order n + 1 of the pixel triplets. It shows in column n, two superimposed triples corresponding to the red pixel, the green pixel and the blue pixel.
  • These pixels are crossed out by occulting elements Gnl, Gn2 ... Gn8 shown apart. In fact, these occulting elements are contiguous and when the occulting elements are not neutralized, the pixels cannot appear through them.
  • occultation elements are the same throughout column n.
  • occultation elements Gn + 1, l
  • These occultation elements are vertical, orthogonal to the pixels formed by rectangular surfaces, elongated in the horizontal direction. This direction of the pixels (or triplets of pixels) is rotated 90 ° relative to the direction of the pixels of current flat screens used in computer science. This change of orientation is necessary because the occulting elements must correspond to the neutral direction of the stereoscopic vision, that is to say the vertical direction, perpendicular to the direction of the horizon.
  • the occultation elements are preferably liquid crystals activated or neutralized by a control voltage applied to the two ends of each occultation element concerned, that is to say at the upper vertical end and at the vertical end. bottom of each blackout element beyond the visible part of the screen.
  • These masking elements forming the mask are liquid crystals which can be of the same type as those of the screen. It is also possible to use other optical switches to constitute the mask or the occulting elements, for example the ferroelectric LCD technology (also called FLC) which also allows very fast binary optical switching (transparent state / optical state). These items can be very small.
  • the screen according to the invention has the advantage of being compact and of operating quickly. It is also possible to combine the mask and the pixels by decomposing the pixels into bands corresponding to the bands which would normally be obscured or visible through the masking elements of the mask. In this case, the pixel / occultation element assembly is replaced by the subdivision of the pixels into slices each ordered separately. Under these conditions, instead of neutralizing one of the occulting elements of a column, the operation of the pixel slice which corresponds to this slice of the column will be controlled in order to have an equivalent system of the system described above. It is particularly interesting to carry out the subdivision of the pixels by subdivision, and particularly in column, of the common electrode (against electrode) to the pixels.
  • the method according to the invention, as described above, can be applied to both transmissive type and emissive type screens.
  • the technical problem is easier to solve since the mask or the occulting elements correspond to an entire column and the connections for the application of the control signals are made by the edges, as already indicated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

Système de vision stéréoscopique comprenant un écran plat (1), dont les pixels (Pi)des triplets sont orientés horizontalement, et un masque (2) forme de groupes d'éléments d'occultation (Gi, Gj) est placé devant l'écran (1). Chaque groupe est associé a une colonne de triplets (Pi) pour occulter les triplets et n'en visualiser qu'une tranche par la commande de l'élément d'occultation correspondant. Un oculomètre (7) repère la position des yeux (OG, OD) du spectateur (S) par rapport a l'écran (1) et fournit les informations de position (xOG, yOG, xOD, yOD) et un circuit de commande (4) pour commander les éléments d'occultation des tranches de triplets a libérer en fonction de la position instantanée du spectateur (S).

Description

DISPOSITIF D'AFFICHAGE D'IMAGES AUTOSTEREOSCOPIQUES EN COULEURS.
La présente invention concerne un système de vision sté- réoscopique comprenant un écran plat composé de triplets de pixels et un réseau lenticulaire formé de lentilles cylindriques placé devant l'écran, une lentille étant associée chaque fois à une ou plusieurs colonnes de triplets de pixels, pour transmettre une image gauche et une image droite destinées respectivement à l'oeil gauche et à l'œil droit du spectateur.
La vision stéréoscopique ou la perception du relief pour l'être humain résulte de la superposition de deux images différentes re- çues par les yeux du spectateur.
Pour imiter la perception du relief d'une vision naturelle dans le cas d'une image, c'est-à-dire d'une surface plane, il faut créer deux images du même sujet, prises à partir de deux points de vue éloignés sensiblement de l'écartement des yeux d'un spectateur pour afficher ces deux images et permettre leur vision, séparée, chaque fois par l'œil auquel l'image est destinée car pour obtenir la sensation de relief il est nécessaire que chaque œil ait une perception propre.
En d'autres termes, il y a une image pour l'œil droit et une image pour l'œil gauche. Ces deux images doivent être nettement séparées et ne pas se combiner.
Dans certains systèmes de vision stéréoscopique, les deux images sont nettement séparées et ne peuvent être combinées. L'un des systèmes les plus anciens consiste à faire une image dans une couleur et l'autre image dans une autre couleur et d'utiliser des lunettes à verres colorés, qui ne laissent passer que la couleur destinée à l'œil associé à cette couleur.
Il existe également des systèmes de vision stéréoscopique d'images consistant à superposer les deux images et de les regarder à travers un réseau lenticulaire constitué d'une plaque formée de lentilles cy- lindriques verticales.
Ce système utilise les lentilles pour n'autoriser au spectateur qui se trouve dans une position déterminée, précise face à l'image couverte par le réseau lenticulaire, de ne voir avec chaque œil que l'image qui lui est destinée. L'inconvénient d'un tel système surtout pour la transposition à des écrans plats, par exemple de télévision, est la nécessité qu'il y a pour le spectateur de se positionner à un endroit précis devant l'écran. Or si la recherche d'une telle position et le maintien de la tête dans une telle position est possible pendant une durée très courte, par exemple pour voir une image à travers un réseau lenticulaire, surtout parce que l'effet de curiosité reste vif pendant un laps de temps court, cette solution n'est plus envisageable pour une vision stéréoscopique prolongée devant un écran.
Selon le document « 3-D Displays and video tracker ease computer opération. Dr Siegmund Pastoor de l'institut du Henrich-Hertz de Berlin. Europhotonics, octobre/ novembre 99 » Il existe déjà un système permettant de commander le déplacement de l'écran en fonction des mouvements de la tête. La tête ou plus exactement les yeux du spectateur sont repérés par un oculomètre utilisant une lumière infrarouge, c'est-à-dire non perceptible par le spectateur, pour déterminer la position de la tête du spectateur même lorsque celle-ci bouge et asservir la position de l'écran en fonction de la position instantanée de la tête du spectateur. Cette solution envisageable en théorie est d'une mise en œuvre pratique relativement compliquée, limitant son utilisation à des essais de laboratoire mais ne permettant pas la réalisation de ce système pour une diffusion publique.
De plus, cet asservissement associe le mouvement de l'écran aux mouvements de la tête du spectateur ce qui exclut la multiplicité des spectateurs regardant la même scène, par exemple deux ou trois spectateurs qui seraient placés devant l'écran et dont les têtes se déplaceraient avec des mouvements nécessairement différents.
La présente invention a pour but de remédier à ces incon- vénients et se propose de développer un système de visualisation stéréoscopique d'images affichées sur un écran plat, permettant d'avoir une vision stéréoscopique quelle que soit la position de la tête du spectateur devant l'écran ou les mouvements que peut faire le spectateur pendant qu'il regarde l'écran. A cet effet, l'invention concerne un système du type défini ci-dessus, caractérisé en ce que
- sur l'écran plat, les pixels des triplets sont orientés horizontalement,
- un masque formé de groupes d'éléments d'occultation est placé devant l'écran, * chaque groupe étant associé à une colonne de triplets pour occulter les triplets et n'en visualiser qu'une tranche par la commande de l'élément d'occultation correspondant, - un oculomètre repérant la position des yeux du spectateur par rapport à l'écran et fournissant les informations de position,
- un circuit de commande recevant les informations de position de l'oculomètre et générant des signaux de commande pour commander les éléments d'occultation des tranches de triplets à libérer en fonction de la position instantanée du spectateur.
Le système de vision stéréoscopique selon l'invention permet d'associer de manière précise et quasi instantanée, les deux images stéréoscopiques exactement aux deux yeux du spectateur, quels que soient les mouvements que celui-ci fait avec la tête.
Ce système peut également être généralisé et permet d'associer les deux images stéréoscopiques à la position de la tête de plusieurs spectateurs placés devant l'écran.
La position de la ou les têtes des spectateurs peut se dé- tecter avec un oculomètre détectant la position de la tête avec une certaine périodicité. Dans le cas de plusieurs spectateurs, le même oculomètre peut fonctionner de manière multiplexée.
Les signaux générés par le circuit de commande sont des signaux de déclenchement ou de commande des éléments d'occultation associés à chaque colonne des pixels sous forme de dispositifs de commutation optique, par exemple des cristaux liquides. Dans le cas d'un seul spectateur, un élément d'occultation est associé à chaque colonne des pixels de l'image gauche ou de l'image droite.
Dans le cas de deux ou plusieurs spectateurs, les éléments d'occultation associés à chaque œil de spectateur sont en principe différents puisque les dispositions angulaires des yeux des spectateurs ne coïncident pas.
Suivant la résolution, c'est-à-dire la largeur des éléments d'occultation, il se peut que, dans certains cas, un même élément d'occultation soit commun aux yeux de deux spectateurs. La commande des éléments d'occultation des groupes du masque se fait de manière simple par les bords de l'écran puisque les éléments d'occultation occupent toute la hauteur de l'écran. Cela permet d'appliquer les techniques de commande déjà utilisées pour les écrans plats. Dans le cas le plus simple et à titre didactique, on a présenté le masque formé par les groupes d'éléments d'occultation comme étant distinct de l'écran plat. En pratique, l'écran plat peut être directement combiné au masque en divisant les pixels en tranches qui se com- mandent séparément les unes des autres. Une tranche de pixel (ou d'une colonne de pixels) correspond alors à un élément d'occultation.
La vision stéréoscopique selon l'invention est intéressante non seulement pour les applications de loisirs telles que la présentation de films ou de reportages mais également pour des applications professionnels comme la conception mécanique ou les centres de navigation aérienne, de manière à bien percevoir la forme d'un objet ou la disposition ou encore la répartition d'objets dans l'espace. La vision en relief permet également d'améliorer l'interface homme/ machine en informatique grâce à la facilité qu'elle offre pour la vision de l'empilage de dossiers ou de documents sur un écran avec une vision en trois dimensions.
La présente invention sera décrite ci-après de manière plus détaillée à l'aide d'un exemple de réalisation représenté schématiquement dans les dessins annexés dans lesquels : - la figure 1 est une vue globale du principe de la vision stéréoscopique d'image,
- la figure 2 est un schéma d'ensemble du système de vision stéréoscopique selon l'invention,
- la figure 3 est un schéma de détail élémentaire de la figure 2, - la figure 4 est une vue de détail d'une partie d'écran du système de vision stéréoscopique selon l'invention.
Selon la figure 1, le principe de la vision stéréoscopique d'une image sera expliqué de manière générale.
Cette figure est une vue « en plan », c'est-à-dire perpendi- culaire au plan de l'image I, représenté par un trait avec des points ou pixels identifiés par les références PD, PG. Devant cette image I se trouve un réseau R de lentilles L et enfin, devant l'ensemble, se trouve placé le spectateur S représenté par son œil gauche OG et son œil droit OD.
Le principe de la vision stéréoscopique repose sur la récep- tion d'une image différente par l'œil gauche et par l'œil droit. L'image I est préparée pour une vision stéréoscopique et pour cela elle est décomposée en deux images combinées, l'une formée des points image PD destinés à être vus par l'œil droit OD et l'autre par des points images PG destinés à être vus par l'œil gauche OG. Pour permettre cette séparation et n'envoyer à chaque œil que les points image qui lui sont destinés, l'image I est couverte par un réseau R de lentilles L. Ces lentilles sont des lentilles cylindriques schématisées par des sections elliptiques et dont la direction de la génératrice est perpendiculaire au plan de la figure. Ces lentilles sont orientées verticalement.
Grâce à la disposition géométrique du réseau de lentilles devant l'image I, pour une position précise du spectateur S devant l'écran celui-ci percevra l'image en relief puisque dans cette position son œil gauche ne recevra que l'image gauche et son œil droit, que l'image droite.
Dans toute autre position, il y aura chevauchement et le relief sera moins prononcé ou l'image illisible.
Ce principe général de vision stéréoscopique d'une image nécessite donc que le spectateur S se trouve dans une position précise devant l'écran. Toute autre position ne lui permet pas de percevoir réellement la stéréoscopie.
Comme déjà indiqué ci-dessus, l'invention a pour but d'affranchir le spectateur S de cette position précise et de lui permettre de voir une image stéréoscopique quelle que soit sa position devant l'écran, et même s'il change de position, ce qui est prévisible.
La figure 2 montre le principe général du système de vision stéréoscopique selon l'invention.
Ce système est destiné à donner une vision stéréoscopique d'une image affichée sur un écran plat tel qu'un écran vidéo. Cette image peut être fixe ou mobile. Elle est destinée à être regardée par un spectateur S placé devant l'écran dans une position relativement quelconque, éventuellement au milieu de l'écran, mais non nécessairement et à aucun emplacement précis ou fixe. Le spectateur est représenté par son œil gauche OG et son œil droit OD. Le système de vision stéréoscopique se compose d'un écran 1 tel qu'un écran plat sur lequel est affiché l'image. Cet écran est muni d'un masque 2 et devant celui-ci un réseau de lentilles 3. L'écran 1 est mis en œuvre par un circuit de commande 4 par l'intermédiaire d'une commande de pixels 5 et d'une commande de masque 6. Enfin, le système comporte un oculomètre 7.
L'écran 1 est formé par des triplets de pixels comme cela est représenté à titre d'exemple à la figure 4. Ces triplets sont répartis suivant des colonnes verticales de chaque fois trois pixels de couleur, superposés. La figure 2 montre schématiquement deux colonnes de pixels Pi, Pj juxtaposées ou non. Ces pixels ou colonnes de pixels sont couverts, sur leur face avant, du côté du spectateur S, par un masque 2 formé de groupes Gi, Gj d'éléments d'occultation Eil, Ei2, Ei3, Ej l, Ej2, Ej3 associés res- pectivement à la colonne des pixels Pi et à la colonne des pixels Pj. Ces éléments d'occultation sont des bandes verticales, qui peuvent être soit opaques, soit transparentes. Ces éléments d'occultation sont commandés à partir de la commande de masque 6. Cette commande a pour fonction de neutraliser l'un des éléments d'occultation Eil, 2, 3 ou Ej l, 2, 3, c'est- à-dire de le rendre transparent. Les éléments d'occultation sont des dispositifs de commutation optique qui peuvent être réalisés par des cristaux liquides.
Enfin, l'ensemble formé par l'écran et le masque est couvert par un réseau 3 de lentilles. Dans le cas représenté, il y a une seule lentille Li (Lj) par colonne de pixels Pi (Pj). Le nombre de colonnes de pixels associés à une même lentille L du réseau 3 dépend de considérations optiques. En général on utilisera la solution la plus simple associant une lentille à une colonne de pixels mais des solutions optiques plus compliquées sont envisageables.
Dans la mesure où les colonnes de pixels Pi et Pj sont juxtaposées, elles peuvent être associées chacune à une image IMD, IMG pour l'œil droit et l'œil gauche.
Ainsi, à titre d'exemple, sur l'écran 1, les colonnes de pixels d'ordre pair seront par exemple réservées à l'affichage des points images de l'image IMD pour l'œil droit OD et les colonnes de pixels d'ordre impair Pj aux points image de l'image IMG destinée à l'œil gauche OG.
L'oculomètre 7, associé au système, détermine la position des yeux OG, OD du spectateur S en les localisant par exemple dans un système de coordonnées représenté schématiquement par le système ox, oy. Cet oculomètre 7 détermine les coordonnées xOG, yOG de l'œil gauche OG et les coordonnées xOD, yOD de l'œil droit OD. Ces informations sont transmises au circuit de commande 4.
Le circuit de commande 4 traite les informations de position des yeux gauche et droit OG, OD pour déterminer les signaux de commande de masque pour l'organe de commande de masque 6. Ces signaux sont principalement des signaux de commande des éléments d'occultation Eil, 2, 3, Ej l, 2, 3 des groupes Gi, Gj pour permettre aux pixels actifs l'envoi d'un rayon lumineux vers l'œil droit OD et l'œil gauche OG. De manière plus détaillée, selon la figure 2, on suppose que le pixel Pi est un point de l'image IMD qui doit être vu par l'œil droit OD.
Pour cela, tenant compte des caractéristiques optiques de la lentille L placée devant l'écran, le circuit de commande 4 détermine l'élément d'occultation Eix qu'il faut déclencher pour permettre le passage d'un rayon lumineux ROD issu du pixel Pi et qui, ayant traversé la lentille L, atteindra l'œil droit OD sans tomber également sur l'œil OG.
On suppose que le calcul purement algébrique et trigono- métrique effectué par l'organe de commande en fonction de la position de l'œil droit OD et de la position du pixel Pi dans le plan de coordonnées oxy, a déterminé que la partie du pixel Pi située derrière l'élément d'occultation Gi3 était celle qui devait émettre la lumière pour obtenir le rayon ROD. Le signal de commande transmis par l'organe 6 au masque
2 sera un signal de neutralisation de l'élément d'occultation Gi3. Celui-ci deviendra transparent et laissera passer le rayon lumineux ROD qui, après avoir traversé la lentille L, atteindra l'œil OD. Les autres éléments d'occultation Eil, Ei2 resteront occultés. Ils ne permettront pas à la sur- face du pixel Pi située derrière ces éléments d'occultation, d'émettre des rayons lumineux.
Dans les mêmes conditions, pour le pixel Pj supposé faire partie de l'image IMG destinée à l'œil gauche, le circuit de commande 4, tenant compte de la position de l'œil gauche OG dans le système de coor- données oxy et de la position du pixel Pj dans ce même système de coordonnées, le circuit de commande 4 détermine celui des éléments d'occultation Ej l, 2, 3 qu'il faut neutraliser pour que la surface du pixel Pj couverte par cet élément d'occultation Ej2 puisse émettre un rayon lumineux ROG. Ce rayon lumineux, après avoir traversé la lentille L, tombera sur l'œil gauche OG.
La précision de l'occultation, c'est-à-dire la précision avec laquelle on forme les rayons ROD, ROG destinés à chacun des deux yeux OD, OG du spectateur, sans risque qu'un même rayon tombe sur les deux yeux, dépend en grande partie du nombre d'éléments d'occultation utilisé. Lorsque le spectateur S bouge sa tête, le mouvement des yeux OG, OD sera immédiatement détecté par l'oculomètre 7 qui fournira les nouvelles informations de position (xOG, yOG) et (xOD, yOD) au circuit de commande 4. Partant de ces nouvelles informations, le circuit de commande 4 déterminera les éléments d'occultation de chaque groupe d'occulation Gi, Gj de chaque image IMD, IMG qu'il faut neutraliser pour envoyer des rayons lumineux des pixels de chaque image IMD, IMG vers l'œil OD, OG auquel est destinée cette image. Il est évident que l'explication donnée ci-dessus à propos de deux colonnes de pixels Pi, Pj s'applique à l'ensemble des pixels et des groupes d'éléments d'occultation du masque 2 sur toute la largeur de l'écran. II est également à remarquer que la vision stéréoscopique se faisant avec une ligne d'horizon horizontale, les phénomènes d'occultation des pixels seront les mêmes pour une même colonne de triplets de pixels, c'est-à-dire pour tous les triplets de pixels d'une même colonne verticale.
En d'autres termes, tous les pixels de la colonne représen- tée par le pixel Pi seront visibles pour la partie des pixels située derrière l'élément d'occultation Ei3. De même, pour le pixel Pj, tous les autres pixels (ou triplets de pixels de cette même colonne) seront visibles à l'emplacement de l'élément d'occultation Ej2.
La figure 3 montre, d'une façon légèrement différente, l'écran avec son masque et le réseau de lentilles. Cette figure met en évidence l'angle d'inclinaison αj/OG et αe/OD des rayons destinés à l'œil gauche OG et à l'œil doit OD.
La figure 4 montre un détail d'un écran plat d'un système de vision stéréoscopique selon l'invention. Cette figure donne une image de la colonne d'ordre n et de la colonne d'ordre n+1 des triplets de pixels. Elle montre dans la colonne n, deux triplets superposés correspondant au pixel rouge, au pixel vert et au pixel bleu. Ces pixels sont barrés par des éléments d'occultation Gnl, Gn2...Gn8 représentés écartés. En fait, ces éléments d'occultation sont jointifs et lorsque les éléments d'occultation ne sont pas neutralisés, les pixels ne peuvent apparaître au travers de ceux-ci.
Ces éléments d'occultation sont les mêmes sur toute la colonne n. Dans cet exemple, pour la colonne n+1 on a huit éléments d'occultation (Gn+1, l),...(Gn+l,... 8). Ces éléments d'occultation sont verticaux, orthogonaux aux pixels constitués par des surfaces rectangulaires, allongées dans la direction horizontale. Cette direction des pixels (ou des triplets de pixels) est tournée à 90° par rapport à la direction des pixels des écrans plats actuels utilisés en informatique. Ce changement d'orientation est nécessaire car les éléments d'occultation doivent correspondre à la direction neutre de la vision stéréoscopique, c'est-à-dire la direction verticale, perpendiculaire à la direction d'horizon. Les éléments d'occultation sont de préférence des cristaux liquides activés ou neutralisés par une tension de commande appliquée aux deux extrémités de chaque élément d'occultation concerné, c'est-à- dire à l'extrémité verticale supérieure et à l'extrémité verticale inférieure de chaque élément d'occultation au-delà de la partie visible de l'écran.
Ces éléments d'occultation formant le masque sont des cristaux liquides qui peuvent être de même type que ceux de l'écran. On peut également utiliser d'autres commutateurs optiques pour constituer le masque ou les éléments d'occultation, par exemple la technologique LCD ferroélectrique (encore appelée FLC) qui permet également une commutation optique binaire (état transparent/ état optique) très rapide. Ces éléments peuvent être de très petite taille.
L'écran selon l'invention a l'avantage d'être compact et de fonctionner rapidement. II est également possible de combiner le masque et les pixels en décomposant les pixels en bandes correspondant aux bandes qui seraient normalement occultées ou visibles à travers les éléments d'occultation du masque. Dans ce cas, l'ensemble pixels/ éléments d'occultation est remplacé par la subdivision des pixels en tranches com- mandées chacune séparément. Dans ces conditions, au lieu de neutraliser l'un des éléments d'occultation d'une colonne, on commandera le fonctionnement de la tranche de pixels qui correspond à cette tranche de la colonne pour avoir un système équivalent du système décrit ci-dessus. Il est particulièrement intéressant d'effectuer la subdivision des pixels par subdivision, et particulièrement en colonne, de l'électrode commune (contre électrode) aux pixels. Le procédé selon l'invention, tel que décrit ci- dessus, peut s'appliquer aussi bien à des écrans de type transmissif que de type émissif.
Pour réaliser le masquage tel que défini dans le premier mode de réalisation, il faut respecter une précision importante car la taille d'un pixel d'un écran LCD est actuellement de l'ordre de 300 μm. Une telle résolution est pratiquée actuellement pour les petits écrans.
Selon l'invention, le problème technique est plus facile à résoudre puisque le masque ou les éléments d'occultation correspondent à une colonne entière et les connexions pour l'application des signaux de commande se font par les bords, comme déjà indiqué.

Claims

R E V E N D I C A T I O N S 1°) Système de vision stéréoscopique comprenant un écran plat composé de triplets de pixels et un réseau lenticulaire formé de lentilles cylindriques placé devant l'écran, une lentille étant associée chaque fois à une ou plusieurs colonnes de triplets de pixels, pour transmettre une image gauche et une image droite destinées respectivement à l'œil gauche et à l'œil droit du spectateur, caractérisé en ce que
- sur l'écran plat (1), les pixels (Pi) des triplets sont orientés horizontale- ment,
- un masque (2) formé de groupes d'éléments d'occultation (Gi, Gj) est placé devant l'écran (1),
* chaque groupe étant associé à une colonne de triplets (Pi) pour occulter les triplets et n'en visualiser qu'une tranche par la com- mande de l'élément d'occultation correspondant,
- un oculomètre (7) repérant la position des yeux (OG, OD) du spectateur (S) par rapport à l'écran (1) et fournissant les informations de position (xOG, yOG, xOD, yOD),
- un circuit de commande (4) recevant les informations de position de l'oculomètre (7) et générant des signaux de commande pour commander les éléments d'occultation des tranches de triplets à libérer en fonction de la position instantanée du spectateur (S).
2°) Système de vision stéréoscopique selon la revendication 1, caractérisé en ce que le masque (2) est formé de dispositifs de commutation optique répartis en groupes de surfaces élémentaires constituant les éléments d'occultation (Gil, 2, 3).
3°) Système de vision stéréoscopique selon la revendication 2, caractérisé en ce que les dispositifs de commutation optique sont des cristaux liquides.
4°) Système de vision stéréoscopique selon la revendication 1, caractérisé en ce que le masque (2) est constitué par le découpage des pixels (Pi) en tranches commandées individuellement et constituant les parties d'un pixel à occulter ou à visualiser. 5°) Système de vision stéréoscopique selon la revendication 1, caractérisé en ce que les pixels sont subdivisés par subdivision de l'électrode (contre électrode) commune aux pixels.
6°) Système de vision stéréoscopique selon la revendication 1, caractérisé en ce que la subdivision est fait en colonne.
7°) Système de vision stéréoscopique selon la revendication 1, caractérisé en ce que les éléments d'occultation s'étendent sur toute une colonne de pixels et la commande des éléments d'occultation se fait par l'une ou les deux extrémités.
PCT/FR2002/002759 2001-08-02 2002-07-31 Dispositif d'affichage d'images autostereoscopiques en couleurs WO2003012526A1 (fr)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0110386A FR2828370B1 (fr) 2001-08-02 2001-08-02 Systeme de vision stereoscopique sur un ecran plat
FR01/10386 2001-08-02

Publications (1)

Publication Number Publication Date
WO2003012526A1 true WO2003012526A1 (fr) 2003-02-13

Family

ID=8866233

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/FR2002/002759 WO2003012526A1 (fr) 2001-08-02 2002-07-31 Dispositif d'affichage d'images autostereoscopiques en couleurs

Country Status (2)

Country Link
FR (1) FR2828370B1 (fr)
WO (1) WO2003012526A1 (fr)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006118483A1 (fr) * 2005-04-25 2006-11-09 Svyatoslav Ivanovich Arsenich Systeme de projection stereo
GB2428361A (en) * 2005-05-07 2007-01-24 Richard Benedict Gillon 3D Display using lenticular screen

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0786912A2 (fr) * 1996-01-26 1997-07-30 Sharp Kabushiki Kaisha Dispositif d'affichage autostéréoscopique
EP0836332A2 (fr) * 1996-10-04 1998-04-15 Siegbert Prof. Dr. Hentschke Moniteur autostéréoscopique, adaptant la position d'un observateur (PAM)

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0786912A2 (fr) * 1996-01-26 1997-07-30 Sharp Kabushiki Kaisha Dispositif d'affichage autostéréoscopique
EP0836332A2 (fr) * 1996-10-04 1998-04-15 Siegbert Prof. Dr. Hentschke Moniteur autostéréoscopique, adaptant la position d'un observateur (PAM)

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BOERNER R ET AL: "A FAMILY OF SINGLE-USER AUTOSTEREOSCOPIC DISPLAYS WITH HEAD-TRACKING CAPABILITIES", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE INC. NEW YORK, US, vol. 10, no. 2, March 2000 (2000-03-01), pages 234 - 243, XP000906610, ISSN: 1051-8215 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006118483A1 (fr) * 2005-04-25 2006-11-09 Svyatoslav Ivanovich Arsenich Systeme de projection stereo
CN101461251B (zh) * 2005-04-25 2011-10-19 斯维亚托斯拉夫·伊万诺维奇·阿尔塞尼奇 立体投影***
GB2428361A (en) * 2005-05-07 2007-01-24 Richard Benedict Gillon 3D Display using lenticular screen

Also Published As

Publication number Publication date
FR2828370A1 (fr) 2003-02-07
FR2828370B1 (fr) 2003-12-12

Similar Documents

Publication Publication Date Title
CN100595631C (zh) 实现全视场空间三维显示的屏幕装置
EP4016169B1 (fr) Affichage à réalité augmentée en 3d portable à focale variable et/ou reconnaissance d'objet
US8525829B2 (en) Transparent multi-view mask for 3D display systems
JP6242818B2 (ja) 裸眼立体ディスプレイ装置及び駆動方法
CN101523924B (zh) 3d菜单显示
US8502864B1 (en) Systems, devices, and/or methods for viewing images
JP3269823B2 (ja) 情報の２次元および３次元表示のための光学システム
JPH08501397A (ja) 三次元光学観察装置
JPH04504786A (ja) 三次元ディスプレイ装置
US8836755B2 (en) Two dimensional media combiner for creating three dimensional displays
US11546574B2 (en) High resolution 3D display
CN102654647A (zh) 自动立体显示器及其操作方法
TW200933195A (en) Autostereoscopic display
CN110879478A (zh) 一种基于复合透镜阵列的集成成像3d显示装置
KR20210049594A (ko) 공간 영상 투영 장치
WO2016128157A1 (fr) Système de reproduction stéréoscopique faisant intervenir la transparence
JP2001508553A (ja) 立体ホログラムディスプレイ（ｈｏｌｄｉｓｐ）
WO1999065249A1 (fr) Systeme stereoscopique
JP4284158B2 (ja) 立体的二次元画像表示システム及び画像表示方法
US8717425B2 (en) System for stereoscopically viewing motion pictures
WO2003012526A1 (fr) Dispositif d'affichage d'images autostereoscopiques en couleurs
JP3739348B2 (ja) 三次元表示装置
Soomro et al. Integrated 3D display and imaging using dual purpose passive screen and head-mounted projectors and camera
JP2004258594A (ja) 広角度から鑑賞できる立体画像表示装置
Javidi et al. Enhanced 3D color integral imaging using multiple display devices

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NO NZ OM PH PL PT RO RU SD SE SG SI SK SL TJ TM TN TR TT TZ UA UG US UZ VN YU ZA ZM ZW

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BY BZ CA CH CN CO CR CU CZ DE DM DZ EC EE ES FI GB GD GE GH HR HU ID IL IN IS JP KE KG KP KR LC LK LR LS LT LU LV MA MD MG MN MW MX MZ NO NZ OM PH PL PT RU SD SE SG SI SK SL TJ TM TN TR TZ UA UG US UZ VN YU ZA ZM

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ UG ZM ZW AM AZ BY KG KZ RU TJ TM AT BE BG CH CY CZ DK EE ES FI FR GB GR IE IT LU MC PT SE SK TR BF BJ CF CG CI GA GN GQ GW ML MR NE SN TD TG

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
REG Reference to national code

Ref country code: DE

Ref legal event code: 8642

122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP