CH707346B1 - Method and device for performing a multi-touch surface from one flat surface and for detecting the position of an object on such a surface. - Google Patents

Method and device for performing a multi-touch surface from one flat surface and for detecting the position of an object on such a surface. Download PDF

Info

Publication number
CH707346B1
CH707346B1 CH00521/08A CH5212008A CH707346B1 CH 707346 B1 CH707346 B1 CH 707346B1 CH 00521/08 A CH00521/08 A CH 00521/08A CH 5212008 A CH5212008 A CH 5212008A CH 707346 B1 CH707346 B1 CH 707346B1
Authority
CH
Switzerland
Prior art keywords
points
plane
impact
flat surface
detected
Prior art date
Application number
CH00521/08A
Other languages
French (fr)
Inventor
Alain Crevoisier
Original Assignee
Heig Vd Haute Ecole D Ingénierie Et De Gestion Du Canton De Vaud
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Heig Vd Haute Ecole D Ingénierie Et De Gestion Du Canton De Vaud filed Critical Heig Vd Haute Ecole D Ingénierie Et De Gestion Du Canton De Vaud
Priority to CH00521/08A priority Critical patent/CH707346B1/en
Priority to PCT/CH2009/000112 priority patent/WO2009121199A1/en
Publication of CH707346B1 publication Critical patent/CH707346B1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

L’invention concerne un procédé et un dispositif pour réaliser une surface tactile multipoints à partir d’une surface plane quelconque et pour détecter un objet sur une telle surface, dans lequel on éclaire ladite surface et l’on détecte la position dudit objet au moyen d’un capteur. Le dispositif (10) comporte une surface plane sensiblement rectangulaire (11) associée à deux sources lumineuses (12) sous la forme d’illuminateurs laser intégré placés dans les angles supérieurs de la surface plane (11) et comportant chacun un capteur acoustique. Une caméra vidéo (16) surplombe la surface plane et est agencée pour la filmer pendant au moins l’intervalle de temps où un objet mobile intercepte ce plan lumineux. La détection de la position de l’objet au moment d’un impact avec la surface plane (11) et la détermination de la position des points d’impact se fait par «projection homographique» ou par interpolation par l’intermédiaire d’un ordinateur (14) ou d’un boîtier de contrôle dédié (15).The invention relates to a method and a device for producing a multi-point tactile surface from any flat surface and for detecting an object on such a surface, in which said surface is illuminated and the position of said object is detected by means of of a sensor. The device (10) has a substantially rectangular flat surface (11) associated with two light sources (12) in the form of integrated laser illuminators placed in the upper corners of the flat surface (11) and each having an acoustic sensor. A video camera (16) overhangs the flat surface and is arranged to film it for at least the time interval when a moving object intercepts this light plane. The detection of the position of the object at the moment of an impact with the plane surface (11) and the determination of the position of the points of impact is done by "homographic projection" or by interpolation via a computer (14) or a dedicated control box (15).

Description

[0001] La présente invention concerne un procédé pour réaliser une surface tactile multipoints à partir d’une surface plane quelconque et pour détecter un objet sur une telle surface, dans lequel on éclaire ladite surface et l’on détecte la position dudit objet au moyen d’un capteur. The present invention relates to a method for producing a multi-touch surface from any flat surface and for detecting an object on such a surface, in which said surface is illuminated and the position of said object is detected by means of of a sensor.

[0002] Elle concerne également un dispositif pour réaliser une surface tactile multipoints à partir d’une surface plane quelconque et pour détecter un objet sur une telle surface, dans lequel on éclaire ladite surface et l’on détecte la position dudit objet au moyen d’un capteur. It also relates to a device for producing a multi-touch surface from any flat surface and for detecting an object on such a surface, in which said surface is illuminated and the position of said object is detected by means of 'a captor.

[0003] La détection de la position de contact des doigts ou d’objets allongés tels que des crayons, des baguettes ou similaires avec une surface, notamment une surface plane, est généralement complexe. De surcroît, il est difficile, voire impossible, de détecter simultanément la position de contact de plusieurs objets allongés et de suivre leur déplacement en continu. Enfin, cette détection ne peut habituellement être faite qu’avec des surfaces spécifiques et non en liaison avec n’importe quelle surface plane telle que par exemple, la surface d’une table, d’un mur, d’un écran ou similaire. The detection of the contact position of the fingers or elongate objects such as pencils, rods or the like with a surface, especially a flat surface, is generally complex. Moreover, it is difficult, if not impossible, to simultaneously detect the contact position of several elongated objects and to follow their continuous movement. Finally, this detection can usually be made only with specific surfaces and not in connection with any flat surface such as, for example, the surface of a table, a wall, a screen or the like.

[0004] On connaît par le brevet US 7 268 692 B1 un procédé et un dispositif pour détecter la position de la main d’une personne sur une surface plane, ce dispositif comportant des moyens d’éclairage localisés dans un premier angle de la surface bidimensionnelle et au moins un détecteur disposé en avant de la main et qui détecte la lumière réfléchie par la main de la personne en vue de déterminer sa position par rapport à un réseau imaginaire associé à la surface. US Patent 7,268,692 B1 discloses a method and a device for detecting the position of a person's hand on a flat surface, this device comprising lighting means located in a first angle of the surface. two-dimensional detector and at least one detector disposed in front of the hand and detects the light reflected by the hand of the person to determine its position relative to an imaginary network associated with the surface.

[0005] Cette réalisation est complexe et nécessite l’installation d’une surface spéciale avec la création d’une sorte de rideau imaginaire disposé devant la surface et qui permet de localiser les positions de la main. This achievement is complex and requires the installation of a special surface with the creation of a kind of imaginary curtain disposed in front of the surface and which allows to locate the positions of the hand.

[0006] Un autre dispositif est décrit par la publication européenne EP 0 982 676 A1 qui utilise deux lasers effectuant un balayage de la surface. Lorsque les rayons interceptent un obstacle, l’angle de chacun des faisceaux laser est mesuré et la position est déterminée par triangulation. Ce dispositif nécessite la présence de deux capteurs disposés juste à côté des émetteurs laser pour détecter les rayons réfléchis par les obstacles. Another device is described by the European publication EP 0 982 676 A1 which uses two lasers performing a scan of the surface. When the rays intercept an obstacle, the angle of each of the laser beams is measured and the position is determined by triangulation. This device requires the presence of two sensors placed right next to the laser emitters to detect the rays reflected by the obstacles.

[0007] La publication européenne EP 1 215 621 A2 a pour objet un dispositif comportant un seul laser d’éclairage destiné à éclairer une surface que l’on veut rendre tactile et qui balaie cette surface environ cinquante fois par seconde. La détection de l’impact d’un obstacle, c’est-à-dire la détermination du moment et de la position de l’impact, s’effectue par la mesure de l’angle et du temps de déplacement du rayon réfléchi. Ce dispositif utilise un miroir articulé qui permet au rayon laser d’effectuer le balayage requis. The European publication EP 1 215 621 A2 relates to a device comprising a single lighting laser for illuminating a surface that we want to make touch and that sweeps this surface about fifty times per second. The detection of the impact of an obstacle, that is to say the determination of the moment and the position of the impact, is carried out by measuring the angle and time of movement of the reflected ray. This device uses an articulated mirror that allows the laser beam to perform the required scan.

[0008] Le brevet américain US 7 215 327 B2 concerne un système à deux lasers dont l’un est disposé en hauteur pour dessiner un clavier sur une surface que l’on souhaite rendre tactile, et dont le second est disposé au raz de la surface pour détecter les touches virtuelles pressées. Comme précédemment, le dispositif utilise des miroirs articulés, sous la forme de miroirs rotatifs à facettes multiples, qui permettent aux rayons laser d’effectuer le balayage de la surface. La position des obstacles est calculée selon un procédé de mesure des différences du temps des deux faisceaux. [0008] US Pat. No. 7,215,327 B2 relates to a system with two lasers, one of which is arranged in height to draw a keyboard on a surface that one wishes to make touch, and the second of which is arranged at the edge of the surface to detect pressed virtual keys. As before, the device uses articulated mirrors, in the form of multi-faceted rotary mirrors, which allow the laser beams to scan the surface. The position of the obstacles is calculated according to a method for measuring the differences in the time of the two beams.

[0009] La publication internationale WO 02/054 169 a pour objet un procédé et un dispositif d’entrée de données comportant un illuminateur d’un plan et une caméra et destiné à définir un clavier virtuel dont les dimensions sont bien définies. The international publication WO 02/054 169 relates to a method and a data input device comprising an illuminator of a plane and a camera and intended to define a virtual keyboard whose dimensions are well defined.

[0010] Tous ces dispositifs sont complexes et l’utilisation d’un système de lasers à balayage implique une mécanique compliquée et coûteuse. All these devices are complex and the use of a scanning laser system involves complicated and expensive mechanics.

[0011] La présente invention se propose de pallier les inconvénients des systèmes connus en réalisant un dispositif simple et efficace pouvant être mis en œuvre facilement et qui permet l’utilisation de surfaces quelconques et de grandes dimensions. The present invention proposes to overcome the disadvantages of known systems by providing a simple and effective device that can be implemented easily and allows the use of any large surfaces and dimensions.

[0012] Ce but est atteint par le procédé selon l’invention tel que défini en préambule et caractérisé en ce que l’on éclaire ladite surface plane au moyen d’au moins une source lumineuse fixe agencée pour générer un plan lumineux sensiblement parallèle à la surface, en ce que l’on filme ladite surface plane au moyen d’au moins une caméra vidéo pendant au moins l’intervalle de temps où un objet mobile intercepte ledit plan lumineux, en ce que l’on détecte la position dudit objet au moment d’un impact avec ladite surface plane, en ce que l’on détermine la position des points d’impact, en ce que l’on transforme la position des points d’impact détectés de façon à établir la correspondance entre les points d’un plan image virtuellement représenté par ladite surface plane et les points du plan physique de cette surface, et en ce que l’on associe audit plan image des actions physiques et/ou programmées. This object is achieved by the method according to the invention as defined in the preamble and characterized in that said flat surface is illuminated by means of at least one fixed light source arranged to generate a light plane substantially parallel to the surface, in that said flat surface is filmed by means of at least one video camera during at least the time interval when a moving object intercepts said light plane, in that the position of said object is detected at the moment of impact with said flat surface, in that the position of the points of impact is determined, in that the position of the detected impact points is transformed so as to establish the correspondence between the points an image plane virtually represented by said plane surface and the points of the physical plane of this surface, and in that said image plane is associated with physical and / or programmed actions.

[0013] Selon un mode de réalisation avantageux, la position des points d’impact détectés est transformée selon un procédé géométrique appelé «projection homographique» ou par interpolation de façon à établir la correspondance entre les points du plan image et les points du plan physique. According to an advantageous embodiment, the position of the detected impact points is transformed according to a geometric method called "homographic projection" or by interpolation so as to establish the correspondence between the points of the image plane and the points of the physical plane. .

[0014] L’on peut utiliser comme source lumineuse fixe au moins un illuminateur laser fixe qui génère un faisceau plat recouvrant ladite surface plane, mais de préférence, l’on utilise comme source lumineuse fixe au moins deux illuminateurs laser fixes disposés à deux angles opposés de ladite surface plane. Can be used as fixed light source at least one fixed laser illuminator that generates a flat beam covering said flat surface, but preferably, is used as a fixed light source at least two fixed laser illuminators arranged at two angles opposed to said planar surface.

[0015] L’on utilise également au moins un capteur acoustique agencé pour déterminer le moment d’un impact de l’objet avec ladite surface plane et l’intensité de cet impact. It also uses at least one acoustic sensor arranged to determine the moment of impact of the object with said flat surface and the intensity of this impact.

[0016] Selon la variante du procédé, l’on peut associer audit plan image des actions physiques du type sonore, notamment musicales ou des actions physiques du type visuel. According to the variant of the method, one can associate to said image plane physical actions of the sound type, including musical or physical actions of the visual type.

[0017] De façon avantageuse, on utilise au moins deux caméras vidéo pour effectuer le calcul de la position des points d’impact sur ladite surface plane par triangulation. Advantageously, at least two video cameras are used to perform the calculation of the position of the impact points on said plane surface by triangulation.

[0018] D’une manière préférentielle, pour filmer, on utilise au moins une caméra vidéo disposée devant ladite surface plane et, lorsque la surface plane est transparente, l’on filme au moyen d’au moins une caméra vidéo disposée derrière ladite surface plane. Preferably, for filming, at least one video camera is used arranged in front of said planar surface, and when the flat surface is transparent, it is filmed by means of at least one video camera disposed behind said surface. plane.

[0019] Ce but est également atteint par le dispositif selon l’invention tel que défini en préambule et caractérisé en ce que ledit dispositif comporte au moins une source lumineuse fixe pour éclairer ladite surface plane, ladite source étant agencée pour générer un plan lumineux sensiblement parallèle à la surface plane, au moins une caméra vidéo surplombant ladite surface plane et agencée pour la filmer pendant au moins l’intervalle de temps où un objet mobile intercepte ledit plan lumineux, des moyens agencés pour détecter la position dudit objet au moment d’un impact avec ladite surface plane et pour déterminer la position des points d’impact, des moyens agencés pour transformer la position des points d’impacts détectés de façon à établir la correspondance entre les points d’un plan image virtuellement représenté par ladite surface plane et les points du plan physique de cette surface et des moyens agencés pour associer audit plan image des actions physiques et/ou programmées. This object is also achieved by the device according to the invention as defined in the preamble and characterized in that said device comprises at least one fixed light source for illuminating said planar surface, said source being arranged to generate a light plane substantially. parallel to the flat surface, at least one video camera overhanging said flat surface and arranged to film it for at least the time interval when a moving object intercepts said light plane, means arranged to detect the position of said object at the time of an impact with said plane surface and to determine the position of the impact points, means arranged to transform the position of the detected impact points so as to establish the correspondence between the points of an image plane virtually represented by said plane surface and the points of the physical plane of this surface and means arranged to associate with said image plane of physical and / or programmed actions.

[0020] Dans la forme de réalisation préférée du dispositif, lesdits moyens pour transformer la position des points d’impact détectés de façon à établir la correspondance entre les points du plan image et les points du plan physique comprennent un ordinateur ou un boîtier de contrôle dédié agencé pour appliquer un procédé géométrique appelé «projection homographique» ou pour faire une interpolation, et les moyens agencés pour déterminer le moment d’un impact de l’objet avec ladite surface plane et l’intensité de cet impact comprennent au moins un capteur acoustique. In the preferred embodiment of the device, said means for transforming the position of the detected impact points so as to establish the correspondence between the points of the image plane and the points of the physical plane comprise a computer or a control box. dedicated device for applying a geometric method called "homographic projection" or for interpolation, and the means arranged to determine the moment of impact of the object with said flat surface and the intensity of this impact comprise at least one sensor acoustic.

[0021] De façon avantageuse, ladite source lumineuse fixe du dispositif comporte au moins un illuminateur laser qui génère un faisceau plat recouvrant ladite surface plane. Advantageously, said fixed light source of the device comprises at least one laser illuminator which generates a flat beam covering said flat surface.

[0022] Ledit au moins un illuminateur laser peut comprendre un émetteur d’un faisceau laser, ledit au moins un capteur acoustique, au moins un connecteur agencé pour établir la liaison avec l’ordinateur ou le boîtier de contrôle dédié et un micro-miroir réglable agencé pour réfléchir le faisceau laser en vue de le diriger sur un générateur de ligne agencé pour éclairer toute la surface plane. Said at least one laser illuminator may comprise a transmitter of a laser beam, said at least one acoustic sensor, at least one connector arranged to establish the connection with the computer or the dedicated control box and a micro-mirror adjustable arranged to reflect the laser beam to direct it on a line generator arranged to illuminate the entire flat surface.

[0023] De préférence, ledit au moins un illuminateur laser est fixé sur la surface plane de façon à assurer un bon couplage acoustique. Preferably, said at least one laser illuminator is fixed on the flat surface so as to ensure good acoustic coupling.

[0024] Dans une forme de réalisation préférée, le dispositif comporte au moins deux illuminateurs laser fixes disposés à deux angles opposés de ladite surface plane. In a preferred embodiment, the device comprises at least two fixed laser illuminators arranged at two opposite angles of said planar surface.

[0025] Selon la forme de réalisation du dispositif, lesdits moyens pour associer audit plan image des actions physiques sont agencés pour associer des actions du type sonore, notamment musicales ou pour associer des actions du type visuel. According to the embodiment of the device, said means for associating with said image plane physical actions are arranged to associate actions of the sound type, including musical or to associate actions of the visual type.

[0026] Dans une autre forme de réalisation, le dispositif comporte au moins deux caméras vidéo surplombant ladite surface plane, et chaque illuminateur laser comporte une caméra intégrée agencée pour déterminer la position des points d’impact sur ladite surface plane par triangulation. In another embodiment, the device comprises at least two video cameras overhanging said planar surface, and each laser illuminator comprises an integrated camera arranged to determine the position of the impact points on said plane surface by triangulation.

[0027] De façon avantageuse, ladite caméra vidéo est disposée devant ladite surface plane mais, lorsque cette surface plane est transparente, ladite caméra vidéo peut être disposée derrière ladite surface plane. Advantageously, said video camera is disposed in front of said planar surface, but when this flat surface is transparent, said video camera can be disposed behind said flat surface.

[0028] La présente invention et ses avantages seront mieux comprise à la lecture de la description détaillée d’une forme de réalisation préférée du dispositif de l’invention, en référence aux dessins annexés, donnés à titre indicatif et non limitatif, dans lesquels: <tb>la fig. 1<SEP>est une vue générale en plan illustrant une première forme de réalisation du dispositif selon l’invention, <tb>la fig. 2<SEP>est une vue d’ensemble schématique d’un illuminateur laser et des composants annexes du dispositif de la fig. 1 , <tb>les fig. 3A et 3B<SEP>sont des vues schématiques respectivement en élévation et de dessus du dispositif de la fig. 1 , <tb>les fig. 4A et 4B<SEP>sont des vues partielles respectivement en plan et latérale d’une seconde forme de réalisation du dispositif selon l’invention, et <tb>la fig. 5<SEP>est une vue en coupe verticale d’un illuminateur laser équipant le dispositif des fig. 4A et 4B .The present invention and its advantages will be better understood on reading the detailed description of a preferred embodiment of the device of the invention, with reference to the accompanying drawings, given by way of non-limiting indication, in which: <tb> fig. 1 <SEP> is a general plan view illustrating a first embodiment of the device according to the invention, <tb> fig. 2 <SEP> is a schematic overview of a laser illuminator and ancillary components of the device of FIG. 1, <tb> figs. 3A and 3B <SEP> are diagrammatic views respectively in elevation and from above of the device of FIG. 1, <tb> figs. 4A and 4B <SEP> are partial plan and side views respectively of a second embodiment of the device according to the invention, and <tb> fig. 5 <SEP> is a vertical sectional view of a laser illuminator equipping the device of FIGS. 4A and 4B.

[0029] Le procédé selon l’invention par lequel il est possible de réaliser une surface tactile multipoints à partir d’une surface plane quelconque et de détecter un objet sur une telle surface se déroule de la façon suivante. On éclaire la surface plane que l’on souhaite rendre tactile en créant un plan lumineux de faible épaisseur parallèle à cette surface. Un utilisateur déplace alors un objet, par exemple ses doigts, en contact avec la surface rendue tactile, de sorte qu’ils interceptent le plan lumineux, la lumière étant réfléchie vers l’avant en créant des taches lumineuses sur l’extrémité de l’objet ou des doigts. Une caméra vidéo sensible à la lumière utilisée pour éclairer la surface, par exemple à l’infrarouge, filme la scène qui enregistre la position des taches lumineuses. L’image est ensuite filtrée pour isoler les taches lumineuses, par soustraction du fond, filtrage de la couleur, application d’un seuil de luminosité etc. Lorsque les taches sont isolées, un algorithme de détection des taches calcule leur position dans l’image. La position des points d’impacts détectés est transformée selon un procédé géométrique appelé «homographie» ou «projection homographique» ou par interpolation bilinéaire de façon à établir la correspondance entre les points du plan image et les points du plan physique sur la surface. The method according to the invention by which it is possible to achieve a multi-touch surface from any flat surface and to detect an object on such a surface takes place in the following manner. The flat surface that is to be touched is illuminated by creating a light plane of small thickness parallel to this surface. A user then moves an object, for example his or her fingers, into contact with the touch-touched surface, so that they intercept the light plane, the light being reflected forward by creating light spots on the end of the object or fingers. A light-sensitive video camera used to illuminate the surface, such as infrared, films the scene that records the position of the light spots. The image is then filtered to isolate the light spots, by subtracting the background, filtering the color, applying a brightness threshold, etc. When the spots are isolated, a spot detection algorithm calculates their position in the image. The position of the detected impact points is transformed according to a geometric method called "homography" or "homographic projection" or by bilinear interpolation so as to establish the correspondence between the points of the image plane and the points of the physical plane on the surface.

[0030] La transformation par interpolation bilinéaire consiste en les étapes suivantes: – pour chaque point dans l’image on cherche les trois points de calibration les plus proches, déterminés au préalable avec une grille de calibration, – on effectue ensuite le calcul de l’aire du triangle formé par ces trois points ainsi que l’aire des trois sous-triangles de la pyramide formée par ces trois points et le point courant, – on calcule le rapport entre l’aire totale et celle des sous-triangles, – on cherche les trois points correspondants dans la grille de calibration et le point réel courant est calculé de façon à ce que le rapport des aires des sous-triangles soit respecté. The bilinear interpolation transformation consists of the following steps: For each point in the image, we search for the three closest calibration points determined beforehand with a calibration grid, The area of the triangle formed by these three points is then calculated as well as the area of the three sub-triangles of the pyramid formed by these three points and the current point, - the ratio between the total area and that of the sub-triangles is calculated, The three corresponding points are searched for in the calibration grid and the current real point is calculated so that the ratio of the areas of the sub-triangles is respected.

[0031] La transformation par interpolation bilinéaire a pour avantage non seulement d’établir la conversion des points images mais également de compenser la distorsion de l’image. Un logiciel permet ensuite de configurer la surface en définissant des zones auxquelles sont associées des actions sonores, visuelles et/ou programmées. The bilinear interpolation transformation has the advantage not only of establishing the conversion of the image points but also of compensating the distortion of the image. Software then makes it possible to configure the surface by defining zones with associated sound, visual and / or programmed actions.

[0032] Différentes variantes de ce procédé sont envisageables. La caméra unique peut être remplacée par deux ou plusieurs caméras vidéo pour diminuer le problème de l’occlusion, l’un des doigts pouvant en masquer un autre. Dans ce cas, le calcul de la position sur le plan physique s’effectue de préférence par triangulation mais peut aussi s’effectuer par interpolation. Ce calcul peut être effectué par un ordinateur personnel ou par un système embarqué. Les caméras peuvent être placées sous la surface plane à condition que cette dernière soit transparente, par exemple une plaque en verre. La détermination temporelle du contact avec la surface plane peut être déterminée de façon encore plus précise en complétant la détection par l’interprétation d’un signal sonore qui définit avec précision le moment et l’intensité de l’impact. Different variants of this process are possible. The single camera can be replaced by two or more video cameras to reduce the problem of occlusion, one of the fingers can hide another. In this case, the calculation of the position on the physical plane is preferably done by triangulation but can also be performed by interpolation. This calculation can be done by a personal computer or by an embedded system. The cameras can be placed under the flat surface provided that the latter is transparent, for example a glass plate. The temporal determination of the contact with the plane surface can be determined even more precisely by completing the detection by interpreting a sound signal that accurately defines the moment and the intensity of the impact.

[0033] En vue de diminuer le risque de dommages aux yeux créés par les lasers, ceux-ci peuvent être éteints automatiquement lorsque aucun mouvement des objets n’est constaté dans le champ de la caméra ou s’ils ne sont pas solidarisés convenablement par rapport à la surface. La source lumineuse peut émettre une lumière pulsée synchronisée avec l’image. In order to reduce the risk of damage to the eyes created by lasers, they can be extinguished automatically when no movement of objects is found in the field of the camera or if they are not properly secured by compared to the surface. The light source can emit pulsed light synchronized with the image.

[0034] Le dispositif 10, tel que le montre à titre d’exemple la fig. 1 , et destiné à mettre en œuvre le procédé tel que décrit ci-dessus, comporte une surface plane sensiblement rectangulaire 11 que l’on veut rendre interactive en la rendant tactile et qui est associée à au moins une et de préférence au moins deux sources lumineuses 12 qui sont par exemple des illuminateurs avec laser intégré placés dans les angles supérieurs de la surface plane 11. Ces sources lumineuses peuvent également se présenter sous la forme de sources de lumière infrarouge générée par des diodes luminescentes (LED) qui illuminent la surface de façon rasante en créant un plan lumineux 13 parallèle à la surface plane 11 que l’on veut rendre tactile et interactive. Les sources lumineuses 12 sont ensuite connectées à un ordinateur 14 ou à un boîtier de contrôle dédié 15 ou similaire dont la fonction sera définie ci-après. The device 10, as shown by way of example FIG. 1, and intended to implement the method as described above, comprises a substantially rectangular flat surface 11 that is to be made interactive by making it tactile and which is associated with at least one and preferably at least two sources for example, illuminators with an integrated laser placed in the upper corners of the flat surface 11. These light sources can also be in the form of infrared light sources generated by light-emitting diodes (LEDs) which illuminate the surface of the light. grazing way by creating a light plane 13 parallel to the flat surface 11 that we want to make tactile and interactive. The light sources 12 are then connected to a computer 14 or to a dedicated control box 15 or the like whose function will be defined hereinafter.

[0035] Dans la forme de réalisation préférée du dispositif de l’invention, les sources lumineuses 12 sont réalisées sous la forme d’illuminateurs laser. Ces illuminateurs laser intègrent également plusieurs autres fonctions utiles pour le fonctionnement global du dispositif. A cet effet, dans la forme de réalisation représentée par la fig. 2 , un illuminateur 12 constituant une source lumineuse comprend, en plus d’un émetteur de faisceau laser 20, au moins un capteur acoustique 21 qui permet de déterminer le moment précis du contact d’un objet allongé avec la surface et de mesurer l’intensité des impacts lors des contacts. Ce capteur acoustique 21, qui dans la forme de réalisation représentée est au nombre de deux, est par exemple du type piézo-électrique. Les autres composants intégrés sont au moins un connecteur 22, agencé pour établir une liaison avec l’ordinateur 14 ou le boîtier de contrôle dédié 15 et un micro-miroir 23 réglable mécaniquement ou électroniquement, aussi appelé DMD ou Digital Micromirror Device, agencé pour réfléchir le faisceau laser en vue de le diriger sur un générateur de ligne 24 qui permet d’éclairer toute ladite surface plane 11. In the preferred embodiment of the device of the invention, the light sources 12 are made in the form of laser illuminators. These laser illuminators also incorporate several other functions useful for the overall operation of the device. For this purpose, in the embodiment shown in FIG. 2, an illuminator 12 constituting a light source comprises, in addition to a laser beam transmitter 20, at least one acoustic sensor 21 which makes it possible to determine the precise moment of contact of an elongate object with the surface and to measure the intensity of impacts during contacts. This acoustic sensor 21, which in the embodiment shown is two in number, is for example of the piezoelectric type. The other integrated components are at least one connector 22, arranged to establish a connection with the computer 14 or the dedicated control box 15 and a micromirror 23 adjustable mechanically or electronically, also called DMD or Digital Micromirror Device, arranged to reflect the laser beam for directing it on a line generator 24 which illuminates all said flat surface 11.

[0036] Le dispositif 10, représenté schématiquement par les fig. 3A et 3B , comporte par ailleurs une caméra vidéo 16 surplombant la surface plane 11 qui est conçue pour filmer l’image de la surface et des objets ou des doigts qui entrent en contact avec cette surface. La caméra vidéo 16 est un capteur sensible à la lumière qui est émise par les sources lumineuses 12 et qui est interceptée par les objets mobiles entrant en contact avec ladite surface plane 11. The device 10, shown schematically in FIGS. 3A and 3B, furthermore includes a video camera 16 overhanging the flat surface 11 which is designed to film the image of the surface and objects or fingers which come into contact with this surface. The video camera 16 is a light-sensitive sensor which is emitted by the light sources 12 and which is intercepted by the moving objects coming into contact with said plane surface 11.

[0037] Dans cette forme de réalisation du dispositif 10 tel que décrit, les sources lumineuses 12 sont des illuminateurs laser placés dans les angles supérieurs de la surface plane 11 et qui gèrent l’ensemble des fonctions suivantes: – la connexion de la caméra vidéo et du second illuminateur par au moins un connecteur 22, – le contrôle de l’alimentation du laser 20 et le réglage de sa puissance, – la gestion de la sécurité, notamment par l’utilisation de microcontacts (non représentés) disposés sous le boîtier de l’illuminateur 12, – le contrôle de l’alignement du plan laser par l’utilisation du micro-miroir électronique ou mécanique 23, – la synchronisation de l’enclenchement du laser 20 avec l’obturateur de la caméra 16, – la détection des vibrations sur la surface interactive 11 par l’utilisation des capteurs piézo-électriques 21, – le conditionnement, le filtrage et l’amplification du signal provenant du ou des capteurs piézo-électriques 21, – la détection de seuil et la mesure de l’intensité du signal acoustique émis par le contact de l’objet, et – la conversion analogique/numérique du signal acoustique et la transmission par le connecteur 22. In this embodiment of the device 10 as described, the light sources 12 are laser illuminators placed in the upper corners of the flat surface 11 and which manage all of the following functions: The connection of the video camera and the second illuminator by at least one connector 22, The control of the power supply of the laser 20 and the adjustment of its power, Safety management, in particular by the use of microcontacts (not shown) arranged under the housing of the illuminator 12, The control of the alignment of the laser plane by the use of the electronic or mechanical micro-mirror 23, The synchronization of the engagement of the laser 20 with the shutter of the camera 16, The detection of vibrations on the interactive surface 11 by the use of piezoelectric sensors 21, Conditioning, filtering and amplifying the signal coming from the piezoelectric sensor (s) 21, Threshold detection and measurement of the intensity of the acoustic signal emitted by the contact of the object, and - the analog / digital conversion of the acoustic signal and the transmission via the connector 22.

[0038] Pour des raisons pratiques, les illuminateurs laser 12 ont de préférence un faible encombrement pour pouvoir être intégrés dans des produits commerciaux tels qu’une table tactile par exemple et sont équipés de dispositifs d’attache multiple permettant une fixation temporaire ou permanente sur une surface pour assurer un bon couplage acoustique. For practical reasons, the laser illuminators 12 preferably have a small footprint to be integrated in commercial products such as a touch table for example and are equipped with multiple attachment devices for temporary or permanent attachment to a surface to ensure a good acoustic coupling.

[0039] Les illuminateurs, qui sont de préférence au nombre de deux pour assurer un éclairage complet de la surface plane 11, sont agencés, avec leurs composants accessoires, pour illuminer complètement une surface au moyen d’une nappe de lumière plane. La caméra 16 permet de situer un objet sur la surface éclairée et l’ordinateur 14 ou le boîtier de contrôle dédié 15 est agencé pour exécuter les algorithmes permettant de calculer les positions sur le plan physique des points détectés qui constituent des zones tactiles auxquelles sont associées des fonctions. La détection des positions sur le plan image est aussi effectuée par l’ordinateur 14 ou le boîtier de contrôle 15 mais peut également se faire par la caméra en utilisant une caméra pourvue d’un traitement des données intégré. The illuminators, which are preferably two in number to provide complete illumination of the flat surface 11, are arranged, with their accessory components, to completely illuminate a surface by means of a plane light sheet. The camera 16 makes it possible to locate an object on the illuminated surface and the computer 14 or the dedicated control box 15 is arranged to execute the algorithms making it possible to calculate the positions on the physical plane of the detected points which constitute tactile zones with which are associated functions. The detection of the positions on the image plane is also performed by the computer 14 or the control box 15 but can also be done by the camera using a camera provided with integrated data processing.

[0040] Les fig. 4A et 4B illustrent une des vues partielles d’une autre forme de réalisation du dispositif selon l’invention dans laquelle celui-ci comporte au moins deux caméras vidéo (non représentées) conçues pour filmer l’image de la surface plane 11 et des objets qui entrent en contact avec ladite surface. Ce dispositif 10 ́ comporte deux illuminateurs laser 12 ́ disposés verticalement et placés dans les angles supérieurs de la surface plane 11 ́ en faisant un angle de 45° par rapport aux bords de ladite surface. Figs. 4A and 4B illustrate one of the partial views of another embodiment of the device according to the invention in which it comprises at least two video cameras (not shown) designed to film the image of the flat surface 11 and objects which come into contact with said surface. This device 10 comprises two laser illuminators 12 arranged vertically and placed in the upper corners of the flat surface 11 at an angle of 45 ° with respect to the edges of said surface.

[0041] Chaque illuminateur 12 ́, représenté plus en détail verticalement en coupe par la fig. 5 , comporte comme l’illuminateur 12 décrit en référence à la fig. 2 , un émetteur de faisceau laser 20 ́ et au moins un capteur acoustique 21 ́ disposé sur la face de l’illuminateur en contact avec la surface plane 11 ́ pour établir un bon couplage acoustique. Il comporte également un micro-miroir 23 ́ agencé pour réfléchir le faisceau laser en vue de le diriger sur un générateur de ligne 24 ́ qui permet d’éclairer toute la surface plane 11. Cet illuminateur 12 ́ est en outre pourvu d’une caméra 25 disposée dans sa partie supérieure et agencée pour permettre un calcul des positions d’impact 26 par triangulation en utilisant l’angle d’incidence pour déterminer quel point correspond à quel point dans chaque image. Each illuminator 12, shown in greater detail vertically in section in FIG. 5, has as the illuminator 12 described with reference to FIG. 2, a laser beam transmitter 20 and at least one acoustic sensor 21 disposed on the face of the illuminator in contact with the flat surface 11 to establish a good acoustic coupling. It also comprises a micromirror 23 arranged to reflect the laser beam in order to direct it on a line generator 24 which illuminates the entire flat surface 11. This illuminator 12 is further provided with a camera 25 arranged in its upper part and arranged to allow a calculation of the impact positions 26 by triangulation using the angle of incidence to determine which point corresponds to which point in each image.

[0042] Cette forme de réalisation comportant au moins deux caméras vidéo surplombant la surface plane permet, grâce à l’information sur l’incidence, avec deux caméras seulement de différencier nettement plusieurs points, ce qui ne peut pas être fait lorsque les caméras sont disposées au raz de la surface plane. This embodiment having at least two video cameras overhanging the flat surface allows, thanks to the information on the incidence, with two cameras only to clearly differentiate several points, which can not be done when the cameras are arranged at the edge of the flat surface.

[0043] Le dispositif selon l’invention peut être utilisé dans de nombreuses applications. A titre d’exemple d’utilisation, dans le domaine musical, la surface tactile permet de piloter un synthétiseur. Les zones tactiles correspondent à des sons reproduits par des instruments. La surface tactile peut également être associée à la projection d’une image d’un écran pour visualiser la correspondance entre les zones tactiles et des fonctions du dispositif, par exemple la génération de sons musicaux. The device according to the invention can be used in many applications. As an example of use, in the musical field, the touch surface can control a synthesizer. The tactile zones correspond to sounds reproduced by instruments. The touch surface may also be associated with the projection of an image of a screen to display the correspondence between the touch zones and functions of the device, for example the generation of musical sounds.

Claims (21)

1. Procédé pour réaliser une surface tactile multipoints à partir d’une surface plane quelconque et pour détecter un objet sur une telle surface, dans lequel on éclaire ladite surface et l’on détecte la position dudit objet au moyen d’un capteur, caractérisé en ce que l’on éclaire ladite surface plane (11) au moyen d’au moins une source lumineuse fixe agencée pour générer un plan lumineux sensiblement parallèle à la surface, en ce que l’on filme ladite surface plane au moyen d’au moins une caméra vidéo (16) pendant au moins l’intervalle de temps où un objet mobile intercepte ledit plan lumineux, en ce que l’on détecte la position dudit objet au moment d’un impact avec ladite surface plane, en ce que l’on détermine la position des points d’impact, en ce que l’on transforme la position des points d’impact détectés de façon à établir la correspondance entre les points d’un plan image virtuellement représenté par ladite surface plane (11) et les points du plan physique de cette surface.1. A method for producing a multi-point tactile surface from any flat surface and for detecting an object on such a surface, in which said surface is illuminated and the position of said object is detected by means of a sensor, characterized in that said flat surface (11) is illuminated by means of at least one fixed light source arranged to generate a light plane substantially parallel to the surface, in that said flat surface is filmed by means of at least one video camera (16) for at least the time interval when a moving object intercepts said light plane, in that the position of said object is detected at the moment of an impact with said plane surface, in that the position of the impact points is determined, in that the position of the detected impact points is transformed so as to establish the correspondence between the points of an image plane virtually represented by said plane surface (11) and the points of the physical plane of this surface. 2. Procédé selon la revendication 1, caractérisé en ce que la position des points d’impact détectés est transformée selon un procédé géométrique appelé «projection homographique» de façon à établir la correspondance entre les points du plan image et les points du plan physique.2. Method according to claim 1, characterized in that the position of the detected impact points is transformed according to a geometric method called "homographic projection" so as to establish the correspondence between the points of the image plane and the points of the physical plane. 3. Procédé selon la revendication 1, caractérisé en ce que la position des points d’impact détectés est transformée par une interpolation bilinéaire de façon à établir la correspondance entre les points du plan image et les points du plan physique.3. Method according to claim 1, characterized in that the position of the detected impact points is transformed by bilinear interpolation so as to establish the correspondence between the points of the image plane and the points of the physical plane. 4. Procédé selon la revendication 1, caractérisé en ce que l’on utilise comme source lumineuse fixe au moins un illuminateur laser fixe (12; 12 ́) qui génère un faisceau plat recouvrant ladite surface plane (11; 11 ́).4. Method according to claim 1, characterized in that at least one fixed laser illuminator (12; 12) is used as fixed light source which generates a flat beam covering said flat surface (11; 11). 5. Procédé selon la revendication 1, caractérisé en ce que l’on utilise comme source lumineuse fixe au moins deux illuminateurs laser fixes (12; 12 ́) disposés à deux angles opposés de ladite surface plane (11; 11 ́).5. Method according to claim 1, characterized in that at least two fixed laser illuminators (12; 12) arranged at two opposite angles of said plane surface (11; 11) are used as the fixed light source. 6. Procédé selon la revendication 1, caractérisé en ce que l’on utilise également au moins un capteur acoustique (21; 21 ́) agencé pour déterminer le moment d’un impact de l’objet avec ladite surface plane (11; 11 ́) et l’intensité de cet impact.6. Method according to claim 1, characterized in that at least one acoustic sensor (21; 21) is also used to determine the moment of impact of the object with said plane surface (11; ) and the intensity of this impact. 7. Procédé selon la revendication 1, selon lequel on utilise au moins deux caméras vidéo, caractérisé en ce que l’on effectue le calcul de la position des points d’impact sur ladite surface plane (11 ́) par triangulation.7. The method as claimed in claim 1, in which at least two video cameras are used, characterized in that the position of the impact points on said flat surface (11) is calculated by triangulation. 8. Procédé selon l’une des revendications précédentes, caractérisé en ce que l’on filme au moyen d’au moins une caméra vidéo (16) disposée devant ladite surface plane (11).8. Method according to one of the preceding claims, characterized in that one films by means of at least one video camera (16) disposed in front of said planar surface (11). 9. Procédé selon l’une des revendications précédentes, dans lequel ladite surface plane (11) est transparente, caractérisé en ce que l’on filme au moyen d’au moins une caméra vidéo (16) disposée derrière ladite surface plane.9. Method according to one of the preceding claims, wherein said flat surface (11) is transparent, characterized in that one films by means of at least one video camera (16) disposed behind said flat surface. 10. Dispositif pour réaliser une surface tactile multipoints à partir d’une surface plane quelconque et pour détecter un objet sur une telle surface, dans lequel on éclaire ladite surface et l’on détecte la position dudit objet au moyen d’un capteur pour la mise en œuvre du procédé selon la revendication 1, caractérisé en ce que ledit dispositif (10; 10 ́) comporte au moins une source lumineuse fixe (12; 12 ́) pour éclairer ladite surface plane (11; 11 ́), ladite source étant agencée pour générer un plan lumineux sensiblement parallèle à la surface plane, au moins une caméra vidéo (16) surplombant ladite surface plane et agencée pour la filmer pendant au moins l’intervalle de temps où un objet mobile intercepte ledit plan lumineux, des moyens agencés pour détecter la position dudit objet au moment d’un impact avec ladite surface plane (11; 11 ́) et pour déterminer la position des points d’impact, des moyens (14, 15) agencés pour transformer la position des points d’impacts détectés de façon à établir la correspondance entre les points d’un plan image virtuellement représenté par ladite surface plane et les points du plan physique de cette surface et des moyens agencés pour associer audit plan image des actions physiques et/ou programmées.10. Device for producing a multi-touch surface from any flat surface and for detecting an object on such a surface, in which said surface is illuminated and the position of said object is detected by means of a sensor for implementation of the method according to claim 1, characterized in that said device (10; 10) comprises at least one fixed light source (12; 12) for illuminating said planar surface (11; 11), said source being arranged to generate a light plane substantially parallel to the planar surface, at least one video camera (16) overhanging said planar surface and arranged to film it for at least the time interval when a moving object intercepts said light plane, means arranged for detecting the position of said object at the time of impact with said planar surface (11; 11) and for determining the position of the impact points, means (14, 15) arranged to transform the object osition of the detected points of impact so as to establish the correspondence between the points of an image plane virtually represented by said plane surface and the points of the physical plane of this surface and means arranged to associate with said image plane physical actions and / or programmed. 11. Dispositif selon la revendication 10, caractérisé en ce que lesdits moyens pour transformer la position des points d’impact détectés de façon à établir la correspondance entre les points du plan image et les points du plan physique comprennent un ordinateur (14) ou un boîtier de contrôle dédié (15) agencé pour appliquer un procédé géométrique appelé «projection homographique» ou pour faire une interpolation.11. Device according to claim 10, characterized in that said means for transforming the position of the detected impact points so as to establish the correspondence between the points of the image plane and the points of the physical plane comprise a computer (14) or a dedicated control box (15) arranged to apply a geometric process called "homographic projection" or to interpolate. 12. Dispositif selon la revendication 10, caractérisé en ce que les moyens agencés pour déterminer le moment d’un impact de l’objet avec ladite surface plane et l’intensité de cet impact comprennent au moins un capteur acoustique (21; 21 ́).12. Device according to claim 10, characterized in that the means arranged to determine the moment of an impact of the object with said flat surface and the intensity of this impact comprise at least one acoustic sensor (21; 21). . 13. Dispositif selon la revendication 10, caractérisé en ce que ladite source lumineuse fixe comporte au moins un illuminateur laser (12; 12 ́) qui génère un faisceau plat recouvrant ladite surface plane (11; 11 ́).13. Device according to claim 10, characterized in that said fixed light source comprises at least one laser illuminator (12; 12) which generates a flat beam covering said flat surface (11; 11). 14. Dispositif selon les revendications 10 à 13, caractérisé en ce que ledit au moins un illuminateur laser (12; 12 ́) comprend un émetteur (20; 20 ́) d’un faisceau laser, ledit au mois un capteur acoustique (21; 21 ́), au moins un connecteur (22) agencé pour établir la liaison avec l’ordinateur (14) ou le boîtier de contrôle dédié (15) et un micro-miroir réglable (23; 23 ́) agencé pour réfléchir le faisceau laser en vue de le diriger sur un générateur de ligne (24; 24 ́) agencé pour éclairer toute la surface plane (11; 11 ́).14. Device according to claims 10 to 13, characterized in that said at least one laser illuminator (12; 12) comprises a transmitter (20; 20) of a laser beam, said at least one acoustic sensor (21; 21), at least one connector (22) arranged to establish the connection with the computer (14) or the dedicated control box (15) and an adjustable micromirror (23; 23) arranged to reflect the laser beam for directing it to a line generator (24; 24) arranged to illuminate the entire planar surface (11; 11). 15. Dispositif selon la revendication 14, caractérisé en ce que ledit au moins un illuminateur laser (12; 12 ́) est fixé sur ladite surface plane (11; 11 ́) de façon à assurer un bon couplage acoustique.15. Device according to claim 14, characterized in that said at least one laser illuminator (12; 12) is fixed on said flat surface (11; 11) so as to ensure a good acoustic coupling. 16. Dispositif selon la revendication 10, caractérisé en ce que ladite source lumineuse comporte au moins deux illuminateurs laser (12; 12 ́) disposés à deux angles opposés de ladite surface plane (11; 11 ́).16. Device according to claim 10, characterized in that said light source comprises at least two laser illuminators (12; 12) arranged at two opposite angles of said planar surface (11; 11). 17. Dispositif selon la revendication 10, caractérisé en ce que lesdits moyens pour associer audit plan image des actions physiques sont agencés pour associer des actions du type sonore, notamment musicales.17. Device according to claim 10, characterized in that said means for associating said image plane physical actions are arranged to associate actions of the sound type, including musical. 18. Dispositif selon la revendication 10, caractérisé en ce que lesdits moyens pour associer audit plan image des actions physiques sont agencés pour associer des actions du type visuel.18. Device according to claim 10, characterized in that said means for associating said image plane with physical actions are arranged to associate actions of the visual type. 19. Dispositif selon les revendications 10 à 18, caractérisé en ce qu’il comporte au moins deux caméras vidéo surplombant ladite surface plane (11 ́), et en ce que chaque illuminateur laser (12 ́) comporte une caméra intégrée (25) agencée pour déterminer la position des points d’impact (26) sur ladite surface plane (11 ́) par triangulation.19. Device according to claims 10 to 18, characterized in that it comprises at least two video cameras overhanging said plane surface (11), and in that each laser illuminator (12) comprises an integrated camera (25) arranged for determining the position of the impact points (26) on said planar surface (11) by triangulation. 20. Dispositif selon l’une des revendications 10 à 19, caractérisé en ce que ladite au moins une caméra vidéo (16) est disposée devant ladite surface plane (11).20. Device according to one of claims 10 to 19, characterized in that said at least one video camera (16) is disposed in front of said planar surface (11). 21. Dispositif selon l’une des revendications 10 à 20, caractérisé en ce que ladite surface plane est transparente et en ce que ladite au moins une caméra vidéo (16) est disposée derrière ladite surface plane (11).21. Device according to one of claims 10 to 20, characterized in that said flat surface is transparent and in that said at least one video camera (16) is disposed behind said flat surface (11).
CH00521/08A 2008-04-04 2008-04-04 Method and device for performing a multi-touch surface from one flat surface and for detecting the position of an object on such a surface. CH707346B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CH00521/08A CH707346B1 (en) 2008-04-04 2008-04-04 Method and device for performing a multi-touch surface from one flat surface and for detecting the position of an object on such a surface.
PCT/CH2009/000112 WO2009121199A1 (en) 2008-04-04 2009-04-03 Method and device for making a multipoint tactile surface from any flat surface and for detecting the position of an object on such surface

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CH00521/08A CH707346B1 (en) 2008-04-04 2008-04-04 Method and device for performing a multi-touch surface from one flat surface and for detecting the position of an object on such a surface.

Publications (1)

Publication Number Publication Date
CH707346B1 true CH707346B1 (en) 2014-06-30

Family

ID=40020256

Family Applications (1)

Application Number Title Priority Date Filing Date
CH00521/08A CH707346B1 (en) 2008-04-04 2008-04-04 Method and device for performing a multi-touch surface from one flat surface and for detecting the position of an object on such a surface.

Country Status (2)

Country Link
CH (1) CH707346B1 (en)
WO (1) WO2009121199A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102628693A (en) * 2012-04-16 2012-08-08 中国航空无线电电子研究所 Method for registering camera spindle and laser beam in parallel

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021287A1 (en) * 2000-02-11 2002-02-21 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
WO2002054169A2 (en) * 2001-01-08 2002-07-11 Vkb Inc. A data input device
WO2003046706A1 (en) * 2001-11-27 2003-06-05 Canesta, Inc. Detecting, classifying, and interpreting input events
US20040004600A1 (en) * 2000-02-17 2004-01-08 Seiko Epson Corporation Input device using tapping sound detection
US6774889B1 (en) * 2000-10-24 2004-08-10 Microsoft Corporation System and method for transforming an ordinary computer monitor screen into a touch screen
US20060036944A1 (en) * 2004-08-10 2006-02-16 Microsoft Corporation Surface UI for gesture-based interaction
WO2007144014A1 (en) * 2006-06-15 2007-12-21 Nokia Corporation Mobile device with virtual keypad

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020061217A1 (en) * 2000-11-17 2002-05-23 Robert Hillman Electronic input device
US7237723B2 (en) * 2004-02-12 2007-07-03 Grant Isaac W Coordinate designation interface

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020021287A1 (en) * 2000-02-11 2002-02-21 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
US20040004600A1 (en) * 2000-02-17 2004-01-08 Seiko Epson Corporation Input device using tapping sound detection
US6774889B1 (en) * 2000-10-24 2004-08-10 Microsoft Corporation System and method for transforming an ordinary computer monitor screen into a touch screen
WO2002054169A2 (en) * 2001-01-08 2002-07-11 Vkb Inc. A data input device
WO2003046706A1 (en) * 2001-11-27 2003-06-05 Canesta, Inc. Detecting, classifying, and interpreting input events
US20060036944A1 (en) * 2004-08-10 2006-02-16 Microsoft Corporation Surface UI for gesture-based interaction
WO2007144014A1 (en) * 2006-06-15 2007-12-21 Nokia Corporation Mobile device with virtual keypad

Also Published As

Publication number Publication date
WO2009121199A1 (en) 2009-10-08

Similar Documents

Publication Publication Date Title
KR101410387B1 (en) Projection display system and desktop computer
TW511038B (en) High contrast, low distortion optical acquisition systems for image capturing
JP4590015B2 (en) Interactive display using planar radiation guide
CN104981757B (en) Flexible room controller
KR20100123878A (en) Interactive surface computer with switchable diffuser
EP2335141B1 (en) Interactive display device with infrared capture unit
JP2012508913A (en) Integrated touch sensing display device and manufacturing method thereof
TW200424497A (en) Optical film tester
TW201220844A (en) Projector
CN108983998A (en) The trajectory track device of working surface applicability can be increased
TW201235909A (en) Optical scanning-type touch apparatus and the operation method
WO2009074751A2 (en) Method for three-dimensional digitisation
JP2000186920A (en) Device and method for shape measuring
JP2001012909A (en) Range finder device and camera
EP0984245A3 (en) Method of and apparatus for inspecting surface irregularities of transparent plate
JP4570145B2 (en) Optical position detection apparatus having an imaging unit outside a position detection plane
US20140247249A1 (en) Touch Sensitive Display Devices
CA2387066A1 (en) Interface unit between a user and an electronic device
CN111766949B (en) Three-dimensional image display device, display method, electronic device, and storage medium
CH707346B1 (en) Method and device for performing a multi-touch surface from one flat surface and for detecting the position of an object on such a surface.
TW200807282A (en) Optical mouse
TW201128455A (en) Signaling device position determination
JP2003276399A (en) Position detecting method and device and electronic blackboard device
WO2010072912A1 (en) Device for three-dimensional scanning with dense reconstruction
JP2013533500A (en) Projector, projection surface, projection apparatus provided with data processing system, and operation method of said projection apparatus

Legal Events

Date Code Title Description
PL Patent ceased