EP0859977A2 - Interaction area for data representation - Google Patents

Interaction area for data representation

Info

Publication number
EP0859977A2
EP0859977A2 EP97938724A EP97938724A EP0859977A2 EP 0859977 A2 EP0859977 A2 EP 0859977A2 EP 97938724 A EP97938724 A EP 97938724A EP 97938724 A EP97938724 A EP 97938724A EP 0859977 A2 EP0859977 A2 EP 0859977A2
Authority
EP
European Patent Office
Prior art keywords
perception
space
detector
area
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
EP97938724A
Other languages
German (de)
French (fr)
Inventor
Martin Bichsel
Mathias Rauterberg
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Eidgenossische Technische Hochschule Eth Zentrum Institut fur Konstruktion und Bauweisen
Eidgenoessische Technische Hochschule Zurich ETHZ
Original Assignee
Eidgenossische Technische Hochschule Eth Zentrum Institut fur Konstruktion und Bauweisen
Eidgenoessische Technische Hochschule Zurich ETHZ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eidgenossische Technische Hochschule Eth Zentrum Institut fur Konstruktion und Bauweisen, Eidgenoessische Technische Hochschule Zurich ETHZ filed Critical Eidgenossische Technische Hochschule Eth Zentrum Institut fur Konstruktion und Bauweisen
Publication of EP0859977A2 publication Critical patent/EP0859977A2/en
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks

Definitions

  • the invention relates to an interaction space for displaying data.
  • An interaction of the type mentioned takes place, for example, between a person and an electronic data processing system when data has been entered, processed data has been received and any new data has to be entered.
  • Aid for the interaction is, for example, a mask that appears on the screen and forms the perception area for the user, so that the available data can be recognized and data still to be entered can be identified.
  • the actions for entering the data are carried out using the keyboard, mouse or on the screen itself (touch screen); in the first two cases the action space (keyboard, mouse) is separated from the perception space (screen), in the third example the action space and perception space coincide.
  • perception room is located in an ergonomically optimal location.
  • Physical objects for example models of machines or furnishings, can now be placed directly in the perception room;
  • the computer is able to determine the position of the objects via a network of horizontal infrared rays which are interrupted by the objects.
  • data is entered into the computer in an optimal way for humans: perception space and action space coincide; the actions take place in an ergonomically and occupationally preferred manner without special, machine-related actions, which supports the intellectual performance of the person.
  • the disadvantage of this type of interaction is that an infrared coordinate network can only be created with considerable technical effort and the position of the objects (casting shadows, identification, orientation) is so poor that the potential advantages of such an interaction space are not are realizable.
  • the perceptual space should also be an action space in that it can be used to work with physical objects as part of the problem area and this work automatically leads to a computer-compatible input into the data processing system.
  • the detector Due to the fact that the object emits signals to the detector from a special transmitter and is reflected or even transmitted by its surface according to the invention, the detector receives stronger or different signals due to the presence of the object than that of the perception area and the respective natural conditions, e.g. the light distribution in a work area in which the users are located and in which the perception room is set up (stray light, spotlight etc.).
  • the contrast between the object and the background (perception area) is thus greatly increased in comparison with known methods.
  • the computer's image processing unit is therefore relieved of the task of identifying a contour of the object known per se as such from the other surroundings of the perception area, provided that the state of the art assumes that the object and the area surrounding the perception area are subject to the same conditions.
  • the object for image processing can no longer be camouflaged in the viewing area.
  • the detector for only or for essentially only the reception of the signals of the object and in this way let the image processing directly determine the coordinates of the object or the desired object-related information, with which the image processing is entirely or almost entirely based on the search and Identification of the object is relieved from the structures of the perception area.
  • the coordinates or the object-related information can then be processed directly into corresponding input signals for the data processing unit used, which in turn carries out the corresponding change in the perception area as well as any further processing stepsuitee that are necessary.
  • the perception space for humans is projected in one channel and in the other channel essentially only the signals of the object located in the perception space are received and / or processed.
  • the CPU of the processing unit will then merge the object-related information (from the image processing) and the data relating to the perception space (from the work station) and generate the new perception space to be processed, as well as carry out the further processing steps, for example CAD-related.
  • the type of the object and any properties of the object can be coded accordingly by spatial and / or temporal variation of the object signal, transmitted to the detector and received by the latter. It can be so a simple and reliable way to differentiate between several objects in the perception area, in that each object transmits a code assigned to it at least once, for identification, or several times, for example each time the object is manipulated by humans, or continuously. The effect of object manipulation on the perception area can be different for each individual object.
  • the objects are preferably designed in such a way that they can also be easily distinguished by humans, for example by means of different shapes or colors or by applying patterns. Accordingly, an object then consists of a carrier part, suitable for manipulation by humans, and a reflecting or transmitting part for emitting the signals for the detector.
  • the various objects can act, for example, through appropriate design of the carrier part, like different tools from a tool box that are easily distinguishable by humans. This analogy to working with different tools is intuitively understandable for humans and thus supports the object of the present invention to provide an efficient, intuitive, easy-to-learn interaction space for the execution of sophisticated, computer-aided problem solutions.
  • Image processing is not affected by this, since it does not have to find the object based on its spatial or colored design in the spatial and / or colored perception space, but rather can focus on the special signals of the object itself (which, according to the invention, corresponds to the signals from the other surroundings) are in contrast).
  • the transmitted spatial and / or temporal code can itself be variable and controlled by suitable sensors on the object.
  • a device can be used for an object with its own transmitter or for an object with a retroreflective surface, which works exclusively in the visible light range or, for example, in the near infrared and therefore from the simplest standard components (for example commercially available video cameras as a detector) and is accordingly cheap.
  • a simple, i.e. well-tried, commercially available and maintainable, reliable and comparatively inexpensive technology is just as important for the general usability of a system as the technical solution itself.
  • the optical signal transmission is preferably carried out directly.
  • the signals can also be deflected via one or more mirrors, both from the projector to the area of the representation of the perception area and from the objects to the detector, which can enable a more compact system solution.
  • a redirection via mirrors can be particularly advantageous if the perception space is to be projected down from a projector onto a preferably horizontal work surface.
  • the maximum possible distance between the projector and the work surface (without mirror deflection) is determined by the room height. hey limited. This can have an adverse effect on the fact that either the projected image on the table surface is too small or that the light of the projector falls on the edges of the image at an angle that deviates strongly from a perpendicular to the work surface.
  • Such a mirror preferably has an area of at least 100 cm 2 .
  • a mirror deflection can enlarge the optical path between the projector and the work surface and thus reduce the described unfavorable effects.
  • Eline mirror deflection can also enable a lighter design, since instead of a heavy projector, only a light mirror has to be attached above the work surface.
  • the present invention can thus be made lighter overall and thus also easier to transport. This makes it possible not only to use the present invention as a permanently installed system, but to use the same system at several locations.
  • FIG. 1 purely schematically, the structure of a device according to the invention.
  • the halogen lamp 1 designed as a transmitter throws light on the table 4 and on or several objects designed as blocks 3, which can be pushed around on the table by a user.
  • the block 3 is coated with a retroreflective sheeting 3.1, which preferably reflects the light back in the direction of the light source.
  • the block appears much brighter to the viewer who is in the vicinity of the light source than the surroundings, for example the table surface underneath. No further effect occurs for the observer at a distance from the light source.
  • the detector designed as a CCD camera 2 which is arranged close to the transmitter, always sees a bright object on a dark background - even if an LCD projector 5 additionally projects an image 5.1 as a perception space onto the table surface.
  • the block 3 is recognized by its brightness, ie by the contrast to the picture 5.1, and without further analysis of the picture 5.1.
  • the CCD camera 2 delivers a video image of the blocks and the table surface, which is transmitted via the video cable 7 to the frame grabber 9 of a workstation (8 - 16, 20).
  • the analog video image, controlled by the CPU 11, is digitized in the frame grabber 9 and is then available in the main memory 12 in digital form for automatic evaluation, likewise by the CPU 11.
  • This evaluation then combines the information which led to Figure 5.1 (memory 16 and memory 13) with the new evaluation results (from memory 12) to a new state of the perception area (memory 13).
  • the CPU 11 receives its instructions from the program memory 10. Data is exchanged between the various memory areas and the CPU via the bus 8.
  • the digital video image in main memory 12 is automatically analyzed using image processing algorithms.
  • the shape, position and orientation of the blocks will analyzed (be it by a specific, orientation-defining design of the surface of the blocks to be detected or by the signals of several transmitters arranged in the blocks or by the signals emitted by the transmitters corresponding to a specific code) and the evaluation results in main memory 13 saved. These results are now used to control the position, orientation and properties of graphic objects which are present in the main memory 16 as images or CAD models.
  • the graphic objects are put together in the graphics module 15 to form a digital image and converted into a high-resolution analog video image.
  • the video image is transmitted to the LCD projectors 5 via the video cable 17.
  • LCD projector 5 projects the image onto the table surface 4.
  • the graphic objects are shown in the top view (for example a machine or a layout or a building plan viewed from above) and coupled to the position of the blocks so that the object projected by the LCD projectors 5 runs on the table surface 4 with the block 3.
  • the perception area changes continuously with the movement performed.
  • the stored CAD models allow the consequences of every movement to be determined continuously and displayed in the perception area or at another point. In this way, an undercut safety distance in the perception room can be displayed or a cost calculation can be issued elsewhere.
  • the known possibilities of CAD are open.
  • projector 6 projects a side view of the graphic objects (for example a machine viewed from the side) onto the screen 19.
  • a digital image of the side view is compiled in a separate memory area of the graphics module 15, an analog image Converted video image and transmitted via the video cable 18 to the projector 6.
  • a further detector 2 can then also be provided for multidimensional detection of the arrangement of the blocks.
  • the camera 2 is used as a data source for the construction of the perception space. It is thus possible to spread out a plan on the table surface, so that the camera can record the corresponding structure as the basic data to be entered first and store it in the memory 14 via the image processing. A separate generation of the perception area is then no longer necessary (although this can certainly be generated by previous CAD operations). If, as described above, basic data are read in by the detector, a high resolution is a prerequisite if a fine structure is to form the perception area.
  • a swiveling detector or a camera with a swiveling lens enables the sequential scanning of the perception area to be read; ie the detector can focus on individual sections, which, seen across the entire perceptual space, is much higher Resolution of the detector corresponds.
  • several and / or differently designed objects 3 can be used in the perception area, for example those whose spatial orientation is recognizable and those which are symmetrical in this regard. It is also possible, among other things, to mix passive (reflective) and active (transmitting) objects 3 in order to support or simplify the corresponding CAD operations.
  • a simple video camera is, however, inexpensive and, according to the invention, allows the full functionality of the interaction space described here.
  • a purely two-channel system can be implemented: representation of the perception space in the visible wavelength range via the one channel with the aid of the projector or projectors 5 and detection of only the signals of the objects 3 via the appropriately trained camera 3 it is then only necessary to adjust the position of a block 3 relative to Figure 5.1 in the CPU 11 at the beginning of the interaction, which can be easily achieved with any technical means, for example, each object 3 can be brought to a standard position in the perception area, whereupon the respective first signal reception The position adjustment by the CPU 11 is used via the detector 2. Thereafter, the blocks 3 are always referenced to the image 5.1 in the CPU 11 with each new manipulation, which enables two-channel operation. The system can of course be re-adjusted at any time or the user can do it at any time.
  • the interaction space according to the invention allows the manipulations carried out in the perception space to be processed in real time. According to the invention, it is not excluded to provide, in addition to the actions in the perception room, further data inputs into the processing system (via the input unit 22 and the input line 23) (in the case of panning tasks, the question could arise as to how far a computer's existing changes changed in a perception room Boundary conditions are relevant).
  • an interaction space occupied by a discussion partner is located at location A, while the same facility is also set up at location B and one or more other participants are present there. It is then conceivable to project the other participant onto the work surface 19 and to make his comments audible via a speech connection. The intervention of the other participant in the interaction space changes this, which can be transmitted through the communication lines provided between the two interaction spaces, so that both interaction spaces change at the same time. Communication at a distance is significantly improved because information can be exchanged not only verbally, but via the changed perception areas, which significantly reduces misunderstandings.
  • the perception area can initially be generated in such a way that by projecting an image onto the work surfaces and then reading in via a suitable camera 2, the data of the perception room to be used are read completely or only in addition into the relevant memory of the work station and are then available for further processing.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Processing (AREA)

Abstract

The invention concerns an interaction area with image processing for the objects to be detected at the perception area. The objects are in contrast in the perception area and thus can be easily recognized by the image processing.

Description

Interaktionsraum zur Darstellung von Daten Interaction space for displaying data
Die Erfindung betrifft einen Interaktionsraum zur Darstellung von Daten.The invention relates to an interaction space for displaying data.
Eine Interaktion der genannten Art findet zum Beispiel zwischen Mensch und elektronischer Datenverarbeitungsanlage statt, wenn Daten eingegeben, verarbeitete Daten entgegengenommen und allfällig neue Daten eingegeben werden müssen.An interaction of the type mentioned takes place, for example, between a person and an electronic data processing system when data has been entered, processed data has been received and any new data has to be entered.
Hilfsmittel für die Interaktion ist zum Beispiel eine Maske, welche auf dem Bildschirm erscheint und für den .Anwender den Wahmehmungsraum bildet, so dass die zur Verfügung stehenden Daten erkannt und noch einzugebende Daten identifiziert werden können.Aid for the interaction is, for example, a mask that appears on the screen and forms the perception area for the user, so that the available data can be recognized and data still to be entered can be identified.
Die Aktionen für die Eingabe der Daten werden via Tastatur, Maus oder am Schirm selbst (Touch Screen) vorgenommen; in den ersten beiden Fällen ist der Aktionsraum (Tastatur, Maus) vom Wahrnehmungsraum (Bildschirm) getrennt, beim dritten Beispiel fallen Aktionsraum und Wahrnehmungsraum zusammen.The actions for entering the data are carried out using the keyboard, mouse or on the screen itself (touch screen); in the first two cases the action space (keyboard, mouse) is separated from the perception space (screen), in the third example the action space and perception space coincide.
Mit den in der letzten Zeit entscheidend verbesserten Möglichkeiten, rechnergestützt zu arbeiten, sind Probleme bei der Interaktion Mensch / Datenverarbeitungsanlage aufgetreten. Zum Beispiel bei Planungsaufgaben oder beim CAD ist nicht mehr eine nur schematische Eingabe vorzunehmen, sondern zum Beispiel veränderte Randbedingungen als Resultat menschlicher Zwischenüberlegungen aufzubereiten und maschinenfähig einzugeben. Diese vermehrten Ansprüche an den Anwender führen dazu, dass das Bedürfnis besteht, rechnergestützt im Team arbeiten zu können. Es können aber auch rechnergestützte Verhandlungen geführt werden, wo Argumente und Gegenargumente durch Datenverarbeitung laufend zu verifizieren oder zu beantworten sind. Dies führt dazu, dass der Wahrnehmungsraum "Bildschirm" sowie der Aktionsraum 'Tastatur Maus/Touch Screen" als hinderlich für eine flüssige Arbeitsweise empfunden werden. Die Interaktion zwischen Mensch und Datenverarbeitungsanlage wird zur Schwachstelle in der rechnergestützten Problemlösung.With the options for computer-aided work that have improved significantly in recent times, problems have arisen in the interaction between humans and data processing systems. For example, in planning tasks or CAD, it is no longer necessary to make only a schematic entry, but, for example, edit changed boundary conditions as a result of human interim considerations and enter them in a machine-compatible manner. These increased demands on the user mean that there is a need to be able to work in a team with the help of computers. Computer-aided negotiations can also be conducted where arguments and counter-arguments have to be continuously verified or answered by data processing. This leads to the perception space "screen" and the action space 'keyboard mouse / touch screen "being perceived as a hindrance to a smooth working method. The interaction between human and data processing system becomes the weak point in the computer-assisted problem solving.
Entsprechend sind weitere Darstelluπgs- und Eingabemöglichkeiten für Daten im Hinblick auf rechnergestützte Problemlösungen entwickelt worden.Accordingly, further display and input options for data have been developed with a view to computer-aided problem solutions.
Es ist bekannt, ausgegebene Daten ("den Bildschirminhalt") an eine Wandfläche zu projizieren und durch einen Laserstrahl, in der Art des Touch Screen, bestimmte Felder im projizierten Bild zu markieren, was durch eine Kamera erkannt und so durch den Rechner verwertet werden kann. Nachteilig ist diesem Vorgehen, dass die Eingabemöglichkeiten sehr beschränkt sind, was den Vorteil, dass viele Teilnehmer die Interaktion verfolgen und damit beeinflussen können, entwertet.It is known to project output data (“the screen contents”) onto a wall surface and to mark certain fields in the projected image by means of a laser beam, in the manner of the touch screen, which can be recognized by a camera and thus used by the computer . The disadvantage of this procedure is that the input options are very limited, which invalidates the advantage that many participants can follow the interaction and thus influence it.
Eine weitere Möglichkeit der Interaktion ist durch die Projektion der Daten auf eine horizontale Arbeitsfläche, zum Beispiel einen Besprechungstisch, bekannt geworden. Der Wahmehmungsraum befindet sich dabei an einem ergonomisch optimalen Ort. Physische Objekte, zum Beispiel Modelle von Maschinen oder Einrichtungs- gegenständen können nun direkt im Wahmehmungsraum plaziert werden; über ein Netz waagrechter Infrarotstrahlen, welche durch die Objekte unterbrochen werden, ist der Rechner in der Lage, die Position der Objekte festzustellen. Damit erfolgt gleichzeitig eine Dateneingabe in den Rechner in einer für den Menschen optimalen Weise: Wahmehmungsraum und Aktionsraum fallen zusammen; die Aktionen erfolgen in einer ergonomisch und arbeitspsychologisch bevorzugten Weise ohne spezielle, maschinenseitig bedingte Handlungen, was die intellektuelle Leistung des Menschen unterstützt. Nachteilig ist dieser Art der Interaktion, dass ein Infrarotkoordinatennetz nur mit beträchtlichem technischen Aufwand geschaffen werden kann und die Position der Objekte (Schattenwurf, Identifikation, Orientierung) derart mangelhaft ist, dass die potentiellen Vorteile solch eines Interaktionsraums nicht realisierbar sind.Another possibility of interaction has become known through the projection of the data onto a horizontal work surface, for example a meeting table. The perception room is located in an ergonomically optimal location. Physical objects, for example models of machines or furnishings, can now be placed directly in the perception room; The computer is able to determine the position of the objects via a network of horizontal infrared rays which are interrupted by the objects. At the same time, data is entered into the computer in an optimal way for humans: perception space and action space coincide; the actions take place in an ergonomically and occupationally preferred manner without special, machine-related actions, which supports the intellectual performance of the person. The disadvantage of this type of interaction is that an infrared coordinate network can only be created with considerable technical effort and the position of the objects (casting shadows, identification, orientation) is so poor that the potential advantages of such an interaction space are not are realizable.
Weiter bekannt ist die Projektion eines einfachen Spielfeldes (Projektion weisse Linien für das Mühlespiel) auf eine waagrechte Unterlage, wobei mit schwarzen 5 Steinen gespielt wird. Eine Kamera nimmt die Züge des Spielers auf, so dass der Rechner über die notwendigen Eingangsdaten verfügt und seinen Gegenzug zum Beispiel auf einem Bildschirm darstellen kann. Auch hier fallen im Interaktionsraum Wahrnehmungsraum und Aktionsraum zusammen, während die Anordnung aber nicht erlaubt, kompliziertere Spiele ablaufen zu lassen, da die Projektion kom- o plizierterer Spielfelder beziehungsweise die Identifikation anderer (als der genannten) Steine nicht möglich ist. Es ist bisher keine Möglichkeit bekanntgeworden, eine komplizierte Umgebung darzustellen und darin Eingriffe vorzunehmen, da die zugehörige Bildverarbeitung die entsprechend notwendigen Unterscheidungen nicht oder nur unter unverhältnismässig grossem Aufwand treffen kann. Die Bildver- 5 arbeitung hat die komplizierte Umgebung vollständig zu analysieren und darin die .Aktion zu finden und positiv zu indentifizieren, zB eine Kontur eines Gegenstands, welcher bewegt wird. Die Identifikation kann besonders dann schwierig sein, wenn die Umgebung ähnliche Konturen oder Eigenschaften aufweist wie der Gegenstand selbst oder wenn der Gegenstand seinerseits Eigenschaften ähnlich zur Umgebung 0 besitzt und dann gwissermassen in dieser mehr oder weniger stark getarnt ist.Also known is the projection of a simple playing field (projection of white lines for the effortless game) onto a horizontal surface, playing with 5 black stones. A camera records the player's moves so that the computer has the necessary input data and can display its counterpart, for example on a screen. Here, too, perception space and action space coincide in the interaction space, but the arrangement does not allow more complicated games to be played, since it is not possible to project more complicated playing fields or to identify stones other than those mentioned. So far, no possibility has become known of representing a complicated environment and intervening in it, since the associated image processing cannot make the necessary distinctions or can make them only with disproportionately great effort. Image processing has to fully analyze the complicated environment and to find and positively identify the action in it, eg a contour of an object that is being moved. Identification can be particularly difficult if the surroundings have similar contours or properties to the object itself or if the object itself has properties similar to the surroundings 0 and is then, as it were, more or less camouflaged in it.
Entsprechend ist es eine Aufgabe der vorliegenden Erfindung, einen Interaktionsraum zwischen Mensch und Datenverarbeitungsanlage für die Ausführung anspruchsvoller, rechnergestützter Problemlösungen bereitzustellen, in welchem das 5 Problemfeld als Wahmehmungsraum für den Menschen visuell dargestellt ist. Der Wahrnehmungsraum soll zugleich Aktionsraum sein, indem darin mit physischen Objekten als Bestandteil des Problemfeldes gearbeitet werden kann und diese Arbeit automatisch zu einer rechnertauglichen Eingabe in die Datenverarbeitungsanlage führt. Ueber diese Aufgabe hinaus soll es möglich sein, in einem komplizierten Wahrnehmungsraum ein beliebiges Objekt einfach, dh mit geringem Aufwand betreffend Bildverarbeitung zu identifizieren.Accordingly, it is an object of the present invention to provide an interaction space between humans and data processing system for the execution of sophisticated, computer-aided problem solutions, in which the problem area is visually represented as a perception space for humans. The perceptual space should also be an action space in that it can be used to work with physical objects as part of the problem area and this work automatically leads to a computer-compatible input into the data processing system. In addition to this task, it should be possible to identify any object in a complicated perceptual space simply, ie with little effort regarding image processing.
Darüber hinaus soll es möglich sein, den Interaktionsraum und das Objekt frei nach den Bedürfnissen der Benutzer auszugestalten, so dass technisch bedingte Restriktionen in dieser Ausgestaltung im Hinblick auf die Fähigkeit der Bildverarbeitung, das Objekt im Wahmehmungsraum zu identifizieren, im wesentlichen entfallen.In addition, it should be possible to design the interaction space and the object freely according to the needs of the users, so that technically-related restrictions in this configuration with regard to the ability of the image processing to identify the object in the perception area are essentially eliminated.
Diese Aufgabe wird durch die kennzeichnenden Merkmale der Ansprüche 1 und 10 gelöst.This object is achieved by the characterizing features of claims 1 and 10.
Dadurch, dass das Objekt von einem speziellen Sender abgegebene und durch seine Oberfläche erfindungsgemäss reflektierte oder selbst gesendete Signale dem Detektor abgibt, empfängt der Detektor aufgrund der Anwesenheit des Objekts stärkere oder andere Signale als es der dem Wahmehmungsraum und den jeweils natürlichen Verhältnissen, zB der Lichtverteilung in einem Arbeitsraum, in welchem sich die Benutzer aufhalten und in welchem der Wahmehmungsraum aufgebaut ist, (Streulicht, Scheinwerferlicht etc.) entspricht. Der Kontrast zwischen Objekt und Hintergrund (Wahmehmungsraum) wird somit im Vergleich zu bekannten Verfahren stark erhöht. Die Bildverarbeitungseinheit des Rechners ist also davon entlastet, eine an sich bekannte Kontur des Objekts als solche aus der sonstigen Umgebung des Wahmehmungsraums zu identifizieren, unter der Voraussetzung gemäss Stand der Technik, dass das Objekt und die Umgebung des Wahmehmungsraums den gleichen Verhältnissen unterliegen. (Letzeres ist zB der Fall, wenn ein Plan oder ein farbiges Layout auf eine Arbeitsfläche projiziert und darauf ein Maschinenmodell positioniert wird. Der Detektor empfängt dann das dem Menschen sichtbare Bild; auf dem Maschinenmodell ist womöglich noch der darauf projizierte Layoutabschnitt sichtbar, was es der Bildverarbeitung im Gegensatz zum Menschen erheblich erschwert, das Objekt zu indentifizieren). Dank des erfindungsgemässen Kontrastes kann das Objekt für die Bildverarbeitung nicht mehr getarnt im Wahmehumgsraum vorliegen.Due to the fact that the object emits signals to the detector from a special transmitter and is reflected or even transmitted by its surface according to the invention, the detector receives stronger or different signals due to the presence of the object than that of the perception area and the respective natural conditions, e.g. the light distribution in a work area in which the users are located and in which the perception room is set up (stray light, spotlight etc.). The contrast between the object and the background (perception area) is thus greatly increased in comparison with known methods. The computer's image processing unit is therefore relieved of the task of identifying a contour of the object known per se as such from the other surroundings of the perception area, provided that the state of the art assumes that the object and the area surrounding the perception area are subject to the same conditions. (The latter is the case, for example, when a plan or a colored layout is projected onto a work surface and a machine model is positioned thereon. The detector then receives the image which is visible to the human being; on the machine model the layout section projected onto it may still be visible, which it is Image processing, in contrast to humans, makes it difficult to identify the object). Thanks to the contrast according to the invention, the object for image processing can no longer be camouflaged in the viewing area.
Es ist auch möglich, die Signale des Wahmehmungsraumes (für den Menschen) von den Signalen des Aktionsraums (für die Interpretation durch die Maschine) in zwei oder mehr Kanäle aufzutrennen und somit Interferenzen zwischen diesen Kanälen zu reduzieren. Weiter ist es möglich, den Detektor für nur oder für im wesentlichen nur den Empfang der Signale des Objekts auszubilden und derart die Bildverarbeitung direkt die Koordinaten des Objekts oder die gewünschten objektbezogenen Informationen bestimmen zu lassen, womit die Bildverarbeitung gänzlich oder fast gänzlich von der Suche und Identifikation des Objekts aus den Strukturen des Wahmehmungsraums entlastet ist. Die Koordinaten bzw die objektbezogenen Informationen können dann direkt in entsprechende Inputsignale für die verwendete Datenverarbeitungseinheit aufbereitet werden, welche wiederum die entsprechende Veränderung im Wahmehmungsraum sowie allfällig notwendige weitere Verarbei- tungsschrittθ vornimmt. Dann liegt ein reines Zweikanalsystem vor, bei welchem im einen Kanal der Wahrnehmungsraum für den Menschen projiziert wird und im andern Kanal im wesentlichen nur die Signale des im Wahmehmungsraum sich befindenden Objekts empfangen und/oder verarbeitet werden. Die CPU der Verarbeitungseinheit wird dann die Objektbezogenen Informationen (aus der Bildverarbeitung) und die Daten betreffend Wahmehmungsraum (aus der work-station) zusammenführen und daraus den neuen, zu proijizierenden Wahrnehmungsraum generieren sowie die weiteren zB CAD bezogenen Verarbeitungsschritte durchführen.It is also possible to separate the signals from the perception space (for humans) from the signals from the action space (for machine interpretation) into two or more channels, thus reducing interference between these channels. Furthermore, it is possible to design the detector for only or for essentially only the reception of the signals of the object and in this way let the image processing directly determine the coordinates of the object or the desired object-related information, with which the image processing is entirely or almost entirely based on the search and Identification of the object is relieved from the structures of the perception area. The coordinates or the object-related information can then be processed directly into corresponding input signals for the data processing unit used, which in turn carries out the corresponding change in the perception area as well as any further processing steps notwendige that are necessary. Then there is a pure two-channel system, in which the perception space for humans is projected in one channel and in the other channel essentially only the signals of the object located in the perception space are received and / or processed. The CPU of the processing unit will then merge the object-related information (from the image processing) and the data relating to the perception space (from the work station) and generate the new perception space to be processed, as well as carry out the further processing steps, for example CAD-related.
Der Typ des Objektes sowie beliebige Eigenschaften des Objektes können durch räumliche und/oder zeitliche Variation des Objektsignales entsprechend kodiert, zum Detektor übertragen und von diesem empfangen werden. Es können so auf einfache und zuverlässige Weise mehrere Objekte im Wahmehmungsraum voneinander unterschieden werden, indem jedes Objekt einen ihm zugeordeneten Code wenigstens einmal, zur Identifikation, oder mehrfach, zB jedesmal bei menschlicher Manipulation des Objekts, oder dauernd aussendet. Die Wirkung einer Objektmani- pulation auf den Wahmehmungsraum kann für jedes einzelne Objekt unterschiedlich sein.The type of the object and any properties of the object can be coded accordingly by spatial and / or temporal variation of the object signal, transmitted to the detector and received by the latter. It can be so a simple and reliable way to differentiate between several objects in the perception area, in that each object transmits a code assigned to it at least once, for identification, or several times, for example each time the object is manipulated by humans, or continuously. The effect of object manipulation on the perception area can be different for each individual object.
Bevorzugt sind die Objekte so gestaltet, dass sie auch für den Menschen einfach zu unterscheiden sind, zB durch unterschiedliche Form- oder Farbgebung oder durch Anbringen von Mustern. Entsprechend besteht dann ein Objekt aus einem Trägerteil, geeignet für Manipulation durch den Menschen, und aus einem reflektierenden oder Sendenden Teil zur Abgabe der Signale für den Detektor. Die verschiedenen Objekte können zB durch entsprechende Gestaltung des Trägerteils wie verschiedene, vom Menschen leicht zu unterscheidende Werkzeuge aus einem Werkzeugkasten wirken. Diese Analogie zu einem Arbeiten mit verschiedenen Werkzeugen ist für den Menschen intuitiv verständlich und unterstützt somit die Aufgabe der vorliegenden Erfindung, einen effizienten, intuitiven, einfach erlernbaren Interaktionsraum für die Ausführung anspruchsvoller, rechnergestützer Problemlösungen bereitzustellen. Die Bildverarbeitung wird dadurch nicht tangiert, da sie das Objekt nicht anhand seiner räumlichen oder farbigen Ausgestaltung im ebenfalls räumlichen und oder farbigen Wahmehmungsraum finden muss, sondern auf die speziellen Signale des Objekts an sich abstellen kann (welche erfindungs- gemäss zu den Signalen der sonstigen Umgebung im Kontrast sind).The objects are preferably designed in such a way that they can also be easily distinguished by humans, for example by means of different shapes or colors or by applying patterns. Accordingly, an object then consists of a carrier part, suitable for manipulation by humans, and a reflecting or transmitting part for emitting the signals for the detector. The various objects can act, for example, through appropriate design of the carrier part, like different tools from a tool box that are easily distinguishable by humans. This analogy to working with different tools is intuitively understandable for humans and thus supports the object of the present invention to provide an efficient, intuitive, easy-to-learn interaction space for the execution of sophisticated, computer-aided problem solutions. Image processing is not affected by this, since it does not have to find the object based on its spatial or colored design in the spatial and / or colored perception space, but rather can focus on the special signals of the object itself (which, according to the invention, corresponds to the signals from the other surroundings) are in contrast).
Der übermittelte räumliche und/oder zeitliche Code kann selbst variabel sein und über geeignete Sensoren am Objekt gesteuert werden.The transmitted spatial and / or temporal code can itself be variable and controlled by suitable sensors on the object.
Dadurch ist es möglich, mittels Objektmanipulationen durch den Menschen dieThis makes it possible to manipulate objects using human manipulations
Datenverarbeitungseinheit zu aktivieren und unter anderem eine beliebige zughöri- ge Modifikation des Wahnehmungsraumes auszulösen. Es ist also zum Beispiel möglich über einen Schieberegler am Objekt eine Höhe einzugeben, worauf im Objekt ein entsprechendes Signal kodiert, von diesem gesendet, vom Detektor empfangen, von der Bildverarbeitung erkannt und von der Datenverarbeitung ausgewertet wird um damit zB im projizierten Wahmehmungsraum zum Beispiel die Höhe eines graphischen Objekts zu erkennen und darzustellen.To activate the data processing unit and, among other things, to trigger any associated modification of the perception area. So for example it is possible to enter a height on the object via a slider, whereupon a corresponding signal is coded in the object, sent by it, received by the detector, recognized by the image processing and evaluated by the data processing, for example to increase the height of a graphic object in the projected perception room recognize and represent.
Damit wird es erstmals möglich, den Wahrnehmungsraum beliebig inhomogen, das heisst mit komplexer Struktur und beliebig farbig darzustellen, also komplizierte Layouts wiederzugeben, und zugleich mit beliebig ausgebildeten Objekten im Wahrnehmungsraum zu manipulieren, was den entscheidenden Schritt für die Benutzbarkeit des erfindungsgemässen Interaktionsraums darstellt.This makes it possible for the first time to display the perceptual space as desired inhomogeneously, i.e. with a complex structure and any color, i.e. to reproduce complicated layouts, and at the same time to manipulate it with objects of any design in the perception space, which is the decisive step for the usability of the interaction space according to the invention.
Ueber die gestellte Aufgabe hinaus kann bei einem Objekt mit einem eigenen Sender oder bei einem Objekt mit einer retroreflektierenden Oberfläche nach Anspruch 3 eine Vorrichtung verwendet werden, welche ausschliesslich im sichtbaren Lichtbereich oder zB im nahen Infrarot arbeitet und deshalb aus einfachsten Standardkomponenten (zum Beispiel handelsübliche Videokamera als Detektor) besteht und entsprechend billig ist. Eine einfache, also breit erprobte, überall käufliche und überall zu wartende, damit zuverlässige und auch vergleichsweise kostengünstige Technik bereitzustellen ist ebenso wichtig für die generelle Brauchbarkeit eines Systems wie die technische Lösung an sich.In addition to the task set, a device can be used for an object with its own transmitter or for an object with a retroreflective surface, which works exclusively in the visible light range or, for example, in the near infrared and therefore from the simplest standard components (for example commercially available video cameras as a detector) and is accordingly cheap. A simple, i.e. well-tried, commercially available and maintainable, reliable and comparatively inexpensive technology is just as important for the general usability of a system as the technical solution itself.
Die optische Sigalübermittlung erfolgt bevorzugt direkt. Die Signale können aber auch über einen oder mehrere Spiegel umgelenkt werden, sowohl vom Projektor zum Bereich der Darstellung des Wahmehmungsraums als auch von den Objekten zum Detektor, was eine kompaktere Systemlösung ermöglichen kann. Eine Umleπ- kung über Spiegel kann insbesondere dann von Vorteil sein, wenn der Wahrnehmungsraum von einem Projektor auf eine bevorzugt horizontale Arbeitsfläche herunter projiziert werden soll. In diesem Fall ist die maximal mögliche Distanz zwischen Projektor und Arbeitsfläche (ohne Spiegelumlenkung) durch die Raumhö- he beschränkt. Dies kann sich dahingehend ungünstig auswirken, dass entweder das projizierte Bild auf der Tischfläche zu klein ist oder dass das Licht des Projektors an den Bildrändem unter einem Winkel einfällt, der stark von einer Senkrechten zur Arbeitsfläche abweicht. Je stärker dieser Winkel von einer Senkrechten abweicht, um so grössere seitliche Schatten werfen nun physikalische Objekte im Wahrenhmungsraum. Diese Schatten stören den menschlichen Betrachter des Wahmehmungsraumens und wirken sich somit auf die vorliegende Erfindung ungünstig aus. Vorzugsweise besitzt solch ein Spiegel eine Fläche von mindestens 100 cm2.The optical signal transmission is preferably carried out directly. However, the signals can also be deflected via one or more mirrors, both from the projector to the area of the representation of the perception area and from the objects to the detector, which can enable a more compact system solution. A redirection via mirrors can be particularly advantageous if the perception space is to be projected down from a projector onto a preferably horizontal work surface. In this case, the maximum possible distance between the projector and the work surface (without mirror deflection) is determined by the room height. hey limited. This can have an adverse effect on the fact that either the projected image on the table surface is too small or that the light of the projector falls on the edges of the image at an angle that deviates strongly from a perpendicular to the work surface. The more this angle deviates from a vertical, the greater the lateral shadows cast physical objects in the perception area. These shadows disturb the human viewer of the perception space and thus have an adverse effect on the present invention. Such a mirror preferably has an area of at least 100 cm 2 .
Eine Spiegelumlenkung kann den optischen Weg zwischen Projektor und Arbeitsfläche vergrössem und dadurch die beschreibenen ungünstigen Effekte reduzieren. Eline Spiegelumlenkung kann ausserdem eine leichtere Bauweise ermöglichen, da anstelle eines schweren Projektors oberhalb der Arbeitsfläche nur ein leichter Spiegel befestigt werden muss. Damit kann die vorliegende Erfindung insgesamt leichter und damit auch leichter transportierbar gebaut werden. Es wird damit möglich, die vorliegende Erfindung nicht nur als fix installierte Anlage einzusetzen, sondern die gleiche Anlage an mehreren Orten zu verwenden.A mirror deflection can enlarge the optical path between the projector and the work surface and thus reduce the described unfavorable effects. Eline mirror deflection can also enable a lighter design, since instead of a heavy projector, only a light mirror has to be attached above the work surface. The present invention can thus be made lighter overall and thus also easier to transport. This makes it possible not only to use the present invention as a permanently installed system, but to use the same system at several locations.
Die Erfindung wird nachstehend anhand eines Ausführungsbeispiels näher erläutert.The invention is explained in more detail below using an exemplary embodiment.
Es zeigt:It shows:
Fig. 1 , rein schematisch, den Aufbau einer erfindungsgemäss Vorrichtung; undFig. 1, purely schematically, the structure of a device according to the invention; and
Fig. 2, beispielhaft und rein schematisch, verschiedene Objekte, wie sie im Wahrnehmungsraum Verwendung finden können.2, by way of example and purely schematically, different objects as they can be used in the perceptual space.
Die als Sender ausgebildete Halogenlampe 1 wirft Licht auf den Tisch 4 und auf ein oder mehrere als Klötzchen 3 ausgebildete Objekte, welche von einem Benutzer auf dem Tisch umhβrgeschoben werden können. Das Klötzchen 3 ist mit einer retrore- flektierenden Folie 3.1 beschichtet, welche das Licht bevorzugt in die Richtung der Lichtquelle zurückreflektiert. Dadurch erscheint das Klötzchen für einen Betrachter, welcher sich in der Nähe der Lichtquelle befindet, deutlich heller als die Umgebung, zB die darunterliegende Tischfläche. Für den Beobachter im Abstand zur Lichtquelle tritt aber kein weiterer Effekt auf. Damit sieht nur der als CCD-Kamera 2 ausgebildetete Detektor, welcher nahe beim Sender angeordnet ist, immer ein helles Objekt auf dunklem Grund - sogar wenn ein LCD-Projektor 5 zusätzlich ein Bild 5.1 als Wahrnehmungsraum auf die Tischfläche projiziert. Dadurch kann die Form, Position und Orientierung des Klötzchens einfach und zuverlässig automatisch erkannt werden. Es ist nicht mehr notwendig, wie im Stand der Technik notwendig, das Bild 5.1 zu vollständig zu erkennen und zu analysieren um das Klötzchen 3 zu identifizieren. Das Klötzchen 3 wird durch seine Helligkeit, dh durch den Kontrast zum Bild 5.1 , und ohne weitere Analyse des Bilds 5.1 , direkt erkannt.The halogen lamp 1 designed as a transmitter throws light on the table 4 and on or several objects designed as blocks 3, which can be pushed around on the table by a user. The block 3 is coated with a retroreflective sheeting 3.1, which preferably reflects the light back in the direction of the light source. As a result, the block appears much brighter to the viewer who is in the vicinity of the light source than the surroundings, for example the table surface underneath. No further effect occurs for the observer at a distance from the light source. Thus, only the detector designed as a CCD camera 2, which is arranged close to the transmitter, always sees a bright object on a dark background - even if an LCD projector 5 additionally projects an image 5.1 as a perception space onto the table surface. This enables the shape, position and orientation of the block to be automatically and easily recognized. It is no longer necessary, as is necessary in the prior art, to fully recognize and analyze the image 5.1 in order to identify the block 3. The block 3 is recognized by its brightness, ie by the contrast to the picture 5.1, and without further analysis of the picture 5.1.
Die CCD-Kamera 2 liefert ein Videobild der Klötzchen und der Tischfläche, welches über das Videokabel 7 zum Frame-Grabbβr 9 einer Workstation (8 - 16, 20) übermittelt wird. Im Frame-Grabber 9 wird das analoge Videobild, gesteuert durch die CPU 11 , digitalisiert und steht anschliessend im Hauptspeicher 12 in digitaler Form für die automatische Auswertung, ebenfalls durch die CPU 11, zur Verfügung. Diese Auswertung fügt dann die Informationen welche zum Bild 5.1 geführt haben (Speicher 16 und Speicher 13) mit den neuen Auswertungsresultaten ( aus Speicher 12) zusammen, zu einem neuen Zustand des Wahmehmungsraums (Speicher 13). Die CPU 11 erhält ihre Instruktionen vom Programmspeicher 10. Daten werden zwischen den verschiedenen Speicherbereichen und der CPU über den Bus 8 ausgetauscht.The CCD camera 2 delivers a video image of the blocks and the table surface, which is transmitted via the video cable 7 to the frame grabber 9 of a workstation (8 - 16, 20). The analog video image, controlled by the CPU 11, is digitized in the frame grabber 9 and is then available in the main memory 12 in digital form for automatic evaluation, likewise by the CPU 11. This evaluation then combines the information which led to Figure 5.1 (memory 16 and memory 13) with the new evaluation results (from memory 12) to a new state of the perception area (memory 13). The CPU 11 receives its instructions from the program memory 10. Data is exchanged between the various memory areas and the CPU via the bus 8.
Das digitale Videobild im Hauptspeicher 12 wird mit Bildverarbeitungsalgorithmen automatisch analysiert. Die Form, Position und Orientierung der Klötzchen wird analysiert (sei dies durch eine bestimmte, die Orientierung definierende Ausgestaltung der zu detektierenden Oberfläche der Klötzchen oder durch die Signale m- ehrerer im Klötzchen angeordneter Sender oder durch die einem bestimmten Code entsprechenden, durch die Sender abgegebenen Signale) und die Auswertungs- resultate in Hauptspeicher 13 gespeichert. Diese Resultate werden nun benutzt, um die Position, Orientierung und die Eigenschaften von graphischen Objekten zu steuern, welche als Bilder oder CAD-Modelle im Hauptspeicher 16 vorliegen.The digital video image in main memory 12 is automatically analyzed using image processing algorithms. The shape, position and orientation of the blocks will analyzed (be it by a specific, orientation-defining design of the surface of the blocks to be detected or by the signals of several transmitters arranged in the blocks or by the signals emitted by the transmitters corresponding to a specific code) and the evaluation results in main memory 13 saved. These results are now used to control the position, orientation and properties of graphic objects which are present in the main memory 16 as images or CAD models.
Die graphischen Objekte werden im Graphik-Modul 15 zu einem digitalen Bild zusammengestellt und in ein hochauflösendes analoges Videobild umgewandelt. Das Videobild wird über das Videokabel 17 zum LCD-Projektoren 5 übermittelt. LCD-Projektor 5 projiziert das Bild auf die Tischfläche 4.The graphic objects are put together in the graphics module 15 to form a digital image and converted into a high-resolution analog video image. The video image is transmitted to the LCD projectors 5 via the video cable 17. LCD projector 5 projects the image onto the table surface 4.
Die Graphikobjekte werden in der Aufsicht dargestellt (zum Beispiel eine Maschine oder ein Layout oder ein Gebäudeplan von oben gesehen) und so an die Position der Klötzchen gekoppelt, dass das vom LCD-Projektoren 5 projizierte Objekt auf der Tischfläche 4 mit dem Klötzchen 3 mitläuft. Dadurch erhält der Benutzer den Eindruck, dass er das Graphikobjekt direkt mit seiner Hand auf der Tischfläche umherschiebt. Der Wahmehmungsraum ändert sich also laufend mit der ausgeführten Bewegung. Zugleich erlauben es die abgespeicherten CAD Modelle, die Konsequenzen jeder Bewegung laufend zu bestimmen und im Wahmehmungsraum oder an weiterer Stelle anzuzeigen. So kann ein unterschrittener Sicherheitsabstand im Wahmehmungsraum angezeigt oder eine Kostenberechnung an anderer Stelle ausgegeben werden. Diesbezüglich stehen die bekannten Möglichkeiten des CAD offen.The graphic objects are shown in the top view (for example a machine or a layout or a building plan viewed from above) and coupled to the position of the blocks so that the object projected by the LCD projectors 5 runs on the table surface 4 with the block 3. This gives the user the impression that he is moving the graphic object directly around the table surface with his hand. The perception area changes continuously with the movement performed. At the same time, the stored CAD models allow the consequences of every movement to be determined continuously and displayed in the perception area or at another point. In this way, an undercut safety distance in the perception room can be displayed or a cost calculation can be issued elsewhere. In this regard, the known possibilities of CAD are open.
Diese Wirkung wird noch dadurch verstärkt, dass Projektor 6 eine Seitenansicht der Graphikobjekte (zum Beispiel eine Maschine von der Seite gesehen) auf die Leinwand 19 projiziert. Dazu wird in einem separaten Speicherbereich des Graphik- Moduls 15 ein digitales Bild der Seitenansicht zusammengestellt, in ein analoges Videobild umgewandelt und über das Videokabel 18 zum Projektor 6 übermittelt. Damit erhält der Benutzer den Eindruck, dass er direkt in die Szene hineinschauen kann, die er interaktiv aufbaut. Entsprechend kann dann auch ein weiterer Detektor 2 zur mehrdimensionalen Erfassung der Anordnung der Klötzchen vorgesehen werden.This effect is further enhanced by the fact that projector 6 projects a side view of the graphic objects (for example a machine viewed from the side) onto the screen 19. For this purpose, a digital image of the side view is compiled in a separate memory area of the graphics module 15, an analog image Converted video image and transmitted via the video cable 18 to the projector 6. This gives the user the impression that he can look directly into the scene that he is building up interactively. Accordingly, a further detector 2 can then also be provided for multidimensional detection of the arrangement of the blocks.
Damit mit der vorgestellten Anlage auch Pläne oder Bilder von realen Objekten mit hoher Auflösung aufgenommen werden können und trotzdem für die Digitaiisierung ein preiswerter Frame-Grabber 9 (standardmässiger Frame-Grabber der Silicon Graphics Indy) verwendet werden kann, wird als Video-Kamera 2 eine automatisch schwenkbare Kamera verwendet, welche über RS-442 Interface 20 und Daten- Uebeπmittlungskabel 21 angesteuert wird. Damit kann ein hochaufgelöstes Bild aus mehreren niedrigaufgelösten Teilbildern zusammengesetzt werden, wobei die Kamera von einem Teilbild zum nächsten schwenkt.So that plans or images of real objects can be recorded with high resolution with the system presented and an inexpensive frame grabber 9 (standard frame grabber from Silicon Graphics Indy) can still be used for digitization, one is used as video camera 2 automatically swiveling camera used, which is controlled via RS-442 interface 20 and data transmission cable 21. In this way, a high-resolution image can be put together from a plurality of low-resolution partial images, the camera pivoting from one partial image to the next.
Die beschriebene Anordnung der Hardware sowie die zu verwendende Software können ge äss Stand der Technik vom Fachmann beschafft und entwickelt werden.The described arrangement of the hardware and the software to be used can be procured and developed according to the state of the art by a person skilled in the art.
Bei einem weitem Ausführungsbeispiel wird die Kamera 2 als Datenquelle für den Aufbau des Wahrnehmungsraums eingesetzt. So ist es möglich, einen Plan auf der Tischfläche auszubreiten, so dass die Kamera die entsprechende Struktur als erste einzugebende Grunddaten aufnehmen und über die Bildverarbeitung im Speicher 14 abspeichern kann. Eine separate Generierung des Wahmehmungsraums entfällt dann (obschon dieser durchaus durch vorgehende CAD Operationen gene- rierbar ist). Werden, wie oben beschrieben, Grunddaten durch den Detektor eingelesen, ist ein hohes Auflösungsvermögen Voraussetzung, wenn eine feine Struktur den Wahmehmungsraum bilden soll. Ein schwenkbarer Detektor bzw eine Kamera mit schwenkbarem Objektiv ermöglicht die sequentielle Abtastung des einzulesenden Wahmehmungsraums; dh der Detektor kann auf einzelne Ausschnitte fokussie- ren, was, über den ganzen Wahrnehmungsraum gesehen, einem viel höheren Auflösungsvermögen des Detektors entspricht.In another embodiment, the camera 2 is used as a data source for the construction of the perception space. It is thus possible to spread out a plan on the table surface, so that the camera can record the corresponding structure as the basic data to be entered first and store it in the memory 14 via the image processing. A separate generation of the perception area is then no longer necessary (although this can certainly be generated by previous CAD operations). If, as described above, basic data are read in by the detector, a high resolution is a prerequisite if a fine structure is to form the perception area. A swiveling detector or a camera with a swiveling lens enables the sequential scanning of the perception area to be read; ie the detector can focus on individual sections, which, seen across the entire perceptual space, is much higher Resolution of the detector corresponds.
Bei einem weitem Ausführungsbeispiel können mehrere und/oder verschieden ausgebildete Objekte 3 im Wahmehmungsraum Verwendung finden, zB solche, deren räumliche Orientierung erkennbar ist, und solche die diesbezüglich symmetrisch sind. Weiter ist es möglich, unter anderem auch passive (reflektierende) und aktive (sendende) Objekte 3 zu mischen, um die entsprechenden CAD Operationen zu unterstützen oder zu vereinfachen.In a further exemplary embodiment, several and / or differently designed objects 3 can be used in the perception area, for example those whose spatial orientation is recognizable and those which are symmetrical in this regard. It is also possible, among other things, to mix passive (reflective) and active (transmitting) objects 3 in order to support or simplify the corresponding CAD operations.
Schliesslich ist es auch möglich, Detektoren einzusetzen, welche nicht oder nicht ausschliesslich im sichtbaren Wellenlängenbereich des Lichts arbeiten. Eine einfache Videokamera ist jedoch kostengünstig und erlaubt erfindungsgemäss die volle Funktionsfähigkeit des vorliegend beschriebenden Interaktionsraums.Finally, it is also possible to use detectors that do not work or do not work exclusively in the visible wavelength range of the light. A simple video camera is, however, inexpensive and, according to the invention, allows the full functionality of the interaction space described here.
Beim Einsatz einer im nicht sichtbaren Wellenlängenbereich arbeitenden Kamera 3 kann ein reines Zweikanalsystem realisiert werden: Darstellung des Wahmehmungsraums im sichtbaren Wellenlängenbereich über den einen Kanal mit Hilfe des oder der Projektoren 5 und Detektion nur der Signale der Objekte 3 über die entsprechend ausgebildete Kamera 3. Es ist dann nur notwendig, in der CPU 11 zu Beginn der Interaktion die Position eines Klötzchens 3 relativ zum Bild 5.1 abzugleichen, was mit beliebigen fachmännischen Mitteln leicht realisierbar ist ZB kann jedes Objekt 3 an eine Standardposition im Wahmehmungsraum gebracht werden, worauf der jeweilige erste Signalempfang über den Detetktor 2 dem Posi- tionsabgleich durch die CPU 11 dient. Danach wird der Bezug der Klötzchen 3 relativ zum Bild 5.1 bei jeder neuen Manipulation stets in der CPU 11 hergestellt, was den Zweikanalbetrieb ermöglicht. Natürlich kann eine erneute Abgleichung vom System jederzeit verlangt bzw vom Benutzer jederzeit vorgenommen werden.When using a camera 3 operating in the invisible wavelength range, a purely two-channel system can be implemented: representation of the perception space in the visible wavelength range via the one channel with the aid of the projector or projectors 5 and detection of only the signals of the objects 3 via the appropriately trained camera 3 it is then only necessary to adjust the position of a block 3 relative to Figure 5.1 in the CPU 11 at the beginning of the interaction, which can be easily achieved with any technical means, for example, each object 3 can be brought to a standard position in the perception area, whereupon the respective first signal reception The position adjustment by the CPU 11 is used via the detector 2. Thereafter, the blocks 3 are always referenced to the image 5.1 in the CPU 11 with each new manipulation, which enables two-channel operation. The system can of course be re-adjusted at any time or the user can do it at any time.
Auf jeden Fall erlaubt der erfindungsgemässe Interaktionsraum eine Verarbeitung der im Wahrnemungsraum vorgenommenen Manipulationen in Echtzeit. Erfindungsgemäss ist es nicht ausgeschlossen, neben den Aktionen im Wahr- nehmungsraum weitere Dateneingaben in das verarbeitende System (über die Eingabeeinheit 22 und die Eingabeleitung 23) vorzusehen (bei Pianungsaufgaben könnte sich die Frage stellen, wie weit bei einem erstellten Wahmehmungsraum veränderte, im Rechner vorbestehnde Randbedingungen relevant sind).In any case, the interaction space according to the invention allows the manipulations carried out in the perception space to be processed in real time. According to the invention, it is not excluded to provide, in addition to the actions in the perception room, further data inputs into the processing system (via the input unit 22 and the input line 23) (in the case of panning tasks, the question could arise as to how far a computer's existing changes changed in a perception room Boundary conditions are relevant).
Schliesslich ist es möglich, zB für Sensitivitätsanalysen, Projektionen von verschiedenen Wahmehmungsräumen nebeneinander vorzusehen.Finally, it is possible, for example for sensitivity analyzes, to provide projections from different perception areas next to one another.
Weiter liegt es im Bereich der Erfindung, Interaktionsräume für geographisch getrennte Teilnehmer vorzusehen: Ein Interaktionsraum, besetzt mit einem Diskussionspartner liegt an einem Ort A, während die selbe Einrichtung an einem Ort B ebenfalls aufgebaut ist und dort ein oder mehrere weiterer Teilnehmer anwesend sind. Es ist dann denkbar, den jeweils anderen Teilnehmer auf die Arbeitsfläche 19 zu projizieren und über eine Sprechverbindung dessen Kommentare hörbar zu machen. Der Eingriff des jeweils anderen Teilnehmers in den Interaktionsraum verändert diesen, was durch die zwischen den beiden Interaktionsräumen vorgesehenen Kommunikationsleitungen übermittelt werden kann, so dass sich beide Interaktionsräume zugleich verändern. Die Kommunikation auf Distanz wird darum entscheidend verbessert, weil Informationen nicht nur verbal, sondern über die veränderten Wahmehmungsräume ausgetauscht werden können, was Missverständnisse entscheidend vermindert.It is also within the scope of the invention to provide interaction spaces for geographically separate participants: an interaction space occupied by a discussion partner is located at location A, while the same facility is also set up at location B and one or more other participants are present there. It is then conceivable to project the other participant onto the work surface 19 and to make his comments audible via a speech connection. The intervention of the other participant in the interaction space changes this, which can be transmitted through the communication lines provided between the two interaction spaces, so that both interaction spaces change at the same time. Communication at a distance is significantly improved because information can be exchanged not only verbally, but via the changed perception areas, which significantly reduces misunderstandings.
Zusätzlich liegt es im Bereich der Erfindung, mehrere Wahmehmungsräume nebeneinander aufzubauen, was ermöglicht, zB Sensitivitätsanalysen durch gleichzeitige Darstellung verschiedener Zustände des Wahmehmungsraums vorzunehmen.In addition, it is within the scope of the invention to build several perception rooms next to one another, which makes it possible, for example, to carry out sensitivity analyzes by simultaneously displaying different states of the perception room.
Weiter kann der Wahmehmungsraum initial derart generiert werden, dass durch Pojektion eines Bildes auf die Arbeitsflächen und nachfolgendes Einlesen über eine geeignete Kamera 2 die Daten des zu benützenden Wahmehmungsraums vollständig oder nur ergänzend in den betreffenden Speicher der Work-Station eingelesen werden und dann für weitere Verarbeitung zur Verfügung stehen. Furthermore, the perception area can initially be generated in such a way that by projecting an image onto the work surfaces and then reading in via a suitable camera 2, the data of the perception room to be used are read completely or only in addition into the relevant memory of the work station and are then available for further processing.

Claims

Patentansprüche claims
1. Vorrichtung zur Erzeugung eines Interaktionsraums zwischen Mensch und Datenverarbeitungseinheit, welche1. Device for generating an interaction space between human and data processing unit, which
- Mittel zur Verarbeitung von Daten- Means for processing data
- Mittel zur Projektion eines virtuellen Wahmehmungsraums - Mittel zur Generierung von Eingabedaten für die Datenverarbeitungseinheit durch Aktionen im Wahmehmungsraum- Means for projecting a virtual perception area - Means for generating input data for the data processing unit through actions in the perception area
aufweist, dadurch gekennzeichnet, dasshas, characterized in that
- die Mittel zur Verarbeitung von Daten betriebsfähig miteinander verbundene Datenleitungen, Speichermittel, Mittel zur Bildverarbeitung und Mittel zur weiteren Datenverarbeitung aufweisen- The means for processing data operably interconnected data lines, storage means, means for image processing and means for further data processing
- die Mittel zur Projektion eines virtuellen Wahrnehmungsraums mindestens einen mit den Mitteln zur weiteren Datenverarbeitung betriebsfähig verbundenen Projek- tor für die Projektion mindestens eines Bildes auf mindestens eine Arbeitsfläche aufweisen- The means for projecting a virtual perception space have at least one projector operatively connected to the means for further data processing for projecting at least one image onto at least one work surface
- die Mittel für die Generierung von Eingabedaten mindestens ein reelles, im Wahrnehmungsraum positionierbares Objekt und mindestens einen Detektor für die Beobachtung des Wahmehmungsraums aufweisen, welcher ausgebildet ist, durch einen Sender in den Wahmehmungsraum abgegebene und durch das Objekt reflektierte und/oder durch das Objekt gesendete Signale aufzunehmen und konvertiert an mit den Mitteln zur Bildverarbeitung betriebsfähig verbundene Datenleitungen abzugeben. - The means for generating input data have at least one real object that can be positioned in the perception space and at least one detector for observing the perception space, which is designed to be emitted into the perception space by a transmitter and reflected by the object and / or transmitted by the object Record signals and convert them to data lines operatively connected to the image processing means.
2. Vorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass der Sender durch das Objekt gegen den Detektor zu reflektierende Signale sendet, welche andere Eigenschaften, vorzugsweise eine andere Intensität und/oder Wellenlänge aufweisen, als die vom Wahmehmungsraum ausgehenden Signale.2. Device according to claim 1, characterized in that the transmitter sends signals to be reflected by the object against the detector, which have different properties, preferably a different intensity and / or wavelength, than the signals emanating from the perception area.
3. Vorrichtung nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Objekt Signale sendet, welche andere Eigenschaften, vorzugsweise eine andere Intensität und/oder Wellenlänge aufweisen, als die vom Wahmehmungsraum ausgehenden Signale.3. Device according to claim 1 or 2, characterized in that the object sends signals which have different properties, preferably a different intensity and / or wavelength, than the signals emanating from the perception area.
4. Vorrichtung nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das mindestens eine im Wahmehmungsraum positionierbare Objekt einen mit dem Detektor zusammenwirkenden und einen individuellen Code aussendenden Sender, vorzugsweise eine intermitierend arbeitende Lichtquelle, aufweist.4. Device according to one of claims 1 to 3, characterized in that the at least one object positionable in the perception space has a cooperating with the detector and emitting an individual code transmitter, preferably an intermittently working light source.
5. Vorrichtung nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass das mindestens eine im Wahrnehmungsraum positionierbare Objekt mindestens teilweise eine für die Signale des Senders retroreflektierende Oberfläche aufweist.5. Device according to one of claims 1 to 4, characterized in that the at least one object positionable in the perception space at least partially has a retroreflective surface for the signals of the transmitter.
6. Vorrichtung nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass das mindestens eine im Wahrnehmungsraum positionierbare Objekt mindestens teilweise eine mit einem für den Detektor detektierbaren Kontrastmuster versehene Oberfläche aufweist.6. Device according to one of claims 1 to 5, characterized in that the at least one object that can be positioned in the perception space at least partially has a surface provided with a contrast pattern detectable for the detector.
7. Vorrichtung nach einem der Anspruch 1 bis 6, dadurch gekennzeichnet, dass das mindestens eine im Wahrnehmungsraum positionierbare Objekt mindestens teilweise eine Oberfläche aufweist, welche durch den Detektor detektierbare Signale absorbiert.7. Device according to one of claims 1 to 6, characterized in that the at least one object positionable in the perception space has at least partially a surface which absorbs signals detectable by the detector.
8. Vorrichtung nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Objekt in seinen Abmessungen nur für genügendes Zusammenwirken mit dem Detektor ausgebildet ist und mit einem seinerseits im Wahrnehmungsraum positionierbaren, vorzugsweise mit für den Menschen lesbaren Informationen ausgestatteten Trägerteil verbindbar ist.8. Device according to one of claims 1 to 7, characterized in that the dimensions of the object are designed only for sufficient interaction with the detector and can be connected to a carrier part which in turn can be positioned in the perception space and is preferably equipped with information readable by humans.
9. Vorrichtung nach einem der Ansprüche 2 bis 6, dadurch gekennzeichnet, dass die vom Detektor detektierbare Oberfläche des Objekts im Hinblick auf seine Orientierung eindeutig ausgestaltet ist, derart, dass das vom Detektor an die Mittel zur Bildverarbeitung zu übergebende Signal eine Information über die räumliche Orien- tierung des Obje-kts enthält.9. Device according to one of claims 2 to 6, characterized in that the surface of the object detectable by the detector is unambiguously designed with respect to its orientation, such that the signal to be transferred from the detector to the means for image processing provides information about the spatial Orientation of the object contains.
10. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass der Projektor zur Projektion eines fein strukturierten und vielfarbigen Bildes vorzugsweise in nur leicht abgedunkelter Umgebung ausgebildet ist.10. The device according to claim 1, characterized in that the projector for projecting a finely structured and multi-colored image is preferably formed in a slightly darkened environment.
11. Vorrichtung nach einem der Ansprüche 1 bis 10, gekennzeichnet durch mehrere Projektoren und/oder mehrere Detektoren zur Darstellung eines räumlichen Wahrnehmungsraums bzw Detektion der räumlichen Lage des oder der Objekte.11. The device according to any one of claims 1 to 10, characterized by a plurality of projectors and / or a plurality of detectors for representing a spatial perception space or detection of the spatial position of the object or objects.
12. Objekt zur Positionierung in einem Wahmehmungsraum einer Vorrichtung nach Anspruch 1, gekennzeichnet durch die Merkmale eines oder mehrerer der Ansprüche 2 bis 10.12. Object for positioning in a perception area of a device according to claim 1, characterized by the features of one or more of claims 2 to 10.
13. Objekt zur Positionierung in einem Wahmehmungsraum einer Vorrichtung nach Anspruch 1, gekennzeichnet durch Mittel zum Aussenden eines durch den Detektor detektierenden Codes, wobei diese Mittel vorzugsweise ausgebildet sind, den Code individuell, je nach Manipulation, zu bilden und zu senden.13. Object for positioning in a perception area of a device according to claim 1, characterized by means for emitting a code which is detected by the detector, wherein these means are preferably designed to form and send the code individually, depending on the manipulation.
14. Verfahren zum Betrieb einer Vorrichtung nach einem der Ansprüche 1 bis 13, dadurch gekennzeichnet, dass durch einen Projektor auf mindestens einer Arbeitsfläche ein Bild erzeugt wird, welches ein zu bearbeitendes Probiemfeld und damit einen Wahmehmungsraum darstellt, dass wahlweise Objekte im Wahrnehmungsraum positioniert werden, dass diesen ohne bereits existierende Funktionszuord- nung durch die Vorrichtung durch den Ort der Positionierung automatisch eine Funktion als Bestandteil des Problemfeldes zugeordnet wird, dass das mindestens eine Objekt wahlweise im Wahmehmungsraum neu positioniert und/oder orientiert wird und dass der in der Folge geänderte Wahmehmungsraum als Ausgangsbasis eine neue Positions- und/oder Orientierungsänderung dient.14. A method for operating a device according to one of claims 1 to 13, characterized in that an image is generated by a projector on at least one work surface, which represents a sample field to be processed and thus a perception area, that objects are optionally positioned in the perception area, that these are assigned to the device by the device without the function assignment already existing Positioning is automatically assigned a function as a component of the problem area, that the at least one object is optionally repositioned and / or oriented in the perception area and that the subsequently changed perception area serves as a basis for a new change in position and / or orientation.
15. Verfahren zum Betrieb nach Anspruch 14, dadurch gekennzeichnet, dass auf der mindestens einen Arbeitsfläche vor Projektion des Wahmehmungsraums ein Bild erzeugt wird, welches durch den Detektor erkannt werden kann, und dass nach Aufnahme dieses Bilds durch den Detektor und Wiedergabe über den Projektor auf die Arbeitsfläche das ursprüngliche Bild entfernt wird, so dass in dem durch den Projektor erzeugten Wahrnehmungsraum weitergearbeitet werden kann.15. The method of operation according to claim 14, characterized in that an image is generated on the at least one working surface before projection of the perception area, which can be recognized by the detector, and that after the image has been recorded by the detector and displayed on the projector the work surface the original image is removed so that work can continue in the perception space created by the projector.
16. Verfahren nach einem der Ansprüche 14 oder 15, dadurch gekennzeichnet, dass auf einer weiteren Arbeitsfläche durch eine weitere Kamera ein weiterer, vorzugsweise aus einer anderen Blickrichtung dargestellter Wahmehmungsraum erzeugt wird.16. The method according to any one of claims 14 or 15, characterized in that a further perception space, preferably shown from a different viewing direction, is generated on a further work surface by a further camera.
17. Verfahren zum Betrieb nach einem der Ansprüche 14 bis 16, dadurch gekennzeichnet, dass auf einer weiteren Arbeitsfläche durch einen weiteren Projektor ein Wahmehmungsraum erzeugt wird, welcher einen ausgewählten Zwischenstand des Wahrnehmungsraums festhält.17. A method of operation according to one of claims 14 to 16, characterized in that a perception space is generated on a further work surface by a further projector, which holds a selected intermediate state of the perception space.
18. Vorrichtung nach Anspruch 1 , dadurch gekennzeichnet, dass der Detektor zum sequentiellen Aufnehmen von Abschnitten des einzulesenden Grund-Wahrneh- mungsraums ausgebildet ist, derart, dass jeder Abschnitt mit dem maximalen Auflösungsvermögen des Detektors einlesbar ist.18. The apparatus according to claim 1, characterized in that the detector is designed for sequential recording of sections of the basic perception space to be read in, such that each section with the maximum Resolving power of the detector is readable.
19. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass neben dem Detektor weitere Eingabemittel zur laufenden Eingabe von Daten in die Datenver- arbeitungseinheit 9 - 16 vorgesehen sind.19. The device according to claim 1, characterized in that, in addition to the detector, further input means are provided for the ongoing input of data into the data processing unit 9-16.
20. Verfahren zur Eingabe von Daten in eine Datenverarbeitungsanlage über einen Interaktionsraum, dadurch gekennzeichnet, dass ein Interaktionsraum aufgebaut wird durch Projektion eines einen Wahmehmungsraum darstellenden Problem- feldes auf eine Arbeitsfläche, durch anschliessendes Positionieren von Objekten im Wahrnehmungsraum, durch anschliessendes Zuordnen der Objekte an Merkmale des Problemfeldes, und dass danach die Objekte zur Eingabe von Daten im Wahrnehmungsraum bewegt werden, diese Bewegungen detektiert und als Eingabedaten über eine Datenumwandlung der Datenverarbeitung zugeführt werden, worauf diese Datenverarbeitung laufend einen der Bewegung nachgeführten, neuen Wahrnehmungsraum projiziert.20. A method for entering data into a data processing system via an interaction space, characterized in that an interaction space is built up by projecting a problem area representing a perception space onto a work surface, by subsequently positioning objects in the perception space, by subsequently assigning the objects to features of the problem area, and that the objects for inputting data are then moved in the perception space, these movements are detected and fed as input data via a data conversion to the data processing, whereupon this data processing continuously projects a new perception space that tracks the movement.
21. Verfahren nach einem der vorangehenden Ansprüche 14 bis 21, dadurch gekennzeichnet, dass das durch einen Projektor erzeugte Bild über mindestens einen Spiegel auf die Arbeitsfläche umgelenkt wird und/ oder die Signale der Objekte über mindestens einen Spiegel zum Detektor umgelenkt werden.21. The method according to any one of the preceding claims 14 to 21, characterized in that the image generated by a projector is deflected onto the work surface via at least one mirror and / or the signals of the objects are deflected towards the detector via at least one mirror.
18. Vorrichtung nach einem der vorangehenden Ansprüche 1 bis 20, dadurch gekennzeichnet, dass mindestens ein Spiegel eine Fläche von mindestens 100 cm2 aufweist. 18. Device according to one of the preceding claims 1 to 20, characterized in that at least one mirror has an area of at least 100 cm 2 .
EP97938724A 1996-09-12 1997-09-11 Interaction area for data representation Withdrawn EP0859977A2 (en)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CH2229/96 1996-09-12
CH222996 1996-09-12
CH2255/96 1996-09-13
CH225596 1996-09-13
PCT/CH1997/000336 WO1998013745A2 (en) 1996-09-12 1997-09-11 Interaction area for data representation

Publications (1)

Publication Number Publication Date
EP0859977A2 true EP0859977A2 (en) 1998-08-26

Family

ID=25689852

Family Applications (1)

Application Number Title Priority Date Filing Date
EP97938724A Withdrawn EP0859977A2 (en) 1996-09-12 1997-09-11 Interaction area for data representation

Country Status (4)

Country Link
EP (1) EP0859977A2 (en)
AU (1) AU4109097A (en)
DE (1) DE19781024D2 (en)
WO (1) WO1998013745A2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69939858D1 (en) * 1998-08-31 2008-12-18 Sony Corp image processing
DE19917660A1 (en) 1999-04-19 2000-11-02 Deutsch Zentr Luft & Raumfahrt Method and input device for controlling the position of an object to be graphically represented in a virtual reality
WO2002035909A2 (en) * 2000-11-03 2002-05-10 Siemens Corporate Research, Inc. Video-supported planning and design with physical marker objects sign
JP2004533171A (en) * 2001-05-14 2004-10-28 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ Devices that interact with real-time stream content
DE10203992A1 (en) * 2002-01-31 2003-08-14 Deutsch Zentr Luft & Raumfahrt input device
NL1020440C2 (en) * 2002-04-19 2003-10-21 Univ Eindhoven Tech Data input method for electronic desktop, provides visual illustration determined by position and type of input device used
AT501442B1 (en) * 2005-02-22 2007-07-15 Thomas Dipl Ing Kienzl COMPUTER-BASED INTERFACE SYSTEM
JP4991154B2 (en) * 2005-06-03 2012-08-01 株式会社リコー Image display device, image display method, and command input method
US7873479B2 (en) 2005-12-01 2011-01-18 Prometheus Laboratories Inc. Methods of diagnosing inflammatory bowel disease
DE102009007477A1 (en) * 2009-01-30 2010-08-05 Siemens Aktiengesellschaft Model construction of a production facility with scale models of manufacturing facilities and method for entering a spatial structure of manufacturing facilities in a computer-aided planning program
BR112014002186B1 (en) * 2011-07-29 2020-12-29 Hewlett-Packard Development Company, L.P capture projection system, executable means of processing and method of collaboration in the workspace
DE102012201202A1 (en) * 2012-01-27 2013-08-01 Siemens Aktiengesellschaft Model structure for production site, has flat base with multiple models of production equipments, where surface section is marked on base by mechanically readable carrier of an information characteristic within surface section

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4561017A (en) * 1983-08-19 1985-12-24 Richard Greene Graphic input apparatus
ES2067032T3 (en) * 1989-07-19 1995-03-16 Bell Communications Res BRIGHT PEN SYSTEM FOR PROJECTED IMAGES.
DE69430967T2 (en) * 1993-04-30 2002-11-07 Xerox Corp Interactive copying system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO9813745A3 *

Also Published As

Publication number Publication date
WO1998013745A3 (en) 1998-08-20
AU4109097A (en) 1998-04-17
WO1998013745A2 (en) 1998-04-02
DE19781024D2 (en) 1999-08-05

Similar Documents

Publication Publication Date Title
DE102018109463B3 (en) Method for using a multi-unit actuated kinematics, preferably a robot, particularly preferably an articulated robot, by a user by means of a mobile display device
DE60028894T2 (en) Presentation system with an interactive presentation
DE102014013677B4 (en) Method for optically scanning and measuring an environment with a handheld scanner and subdivided display
DE69530395T2 (en) INTERACTIVE PROJECTED VIDEO DISPLAY SYSTEM
DE102013110580B4 (en) Method for optically scanning and measuring a scene and laser scanner designed to carry out the method
DE60133386T2 (en) DEVICE AND METHOD FOR DISPLAYING A TARGET BY IMAGE PROCESSING WITHOUT THREE DIMENSIONAL MODELING
DE60127644T2 (en) Teaching device for a robot
DE69832119T2 (en) Method and apparatus for the visual detection of people for active public interfaces
DE69804591T2 (en) POSITION DETECTION SYSTEM FOR VIRTUAL STUDIO
EP1047014A2 (en) Method and input device for controlling the position of a graphically displayed object in a virtual reality space
DE102016113060A1 (en) Method for controlling an object
DE112017005059T5 (en) SYSTEM AND METHOD FOR PROJECTING GRAPHIC OBJECTS
DE19825302A1 (en) System for setting up a three-dimensional waste mat, which enables a simplified setting of spatial relationships between real and virtual scene elements
EP0859977A2 (en) Interaction area for data representation
DE10245226A1 (en) presentation system
DE102004061841B4 (en) Markerless tracking system for augmented reality applications
EP2549431B1 (en) Image fusion for surveillance of a hazardous area
DE20117645U1 (en) operating device
DE102018118422A1 (en) METHOD AND SYSTEM FOR PRESENTING DATA FROM A VIDEO CAMERA
EP3584764B1 (en) Method for controlling a machine by means of at least one spatial coordinate as control variable
EP1347672B1 (en) System and method of iluminating an object
DE102006014546B4 (en) Method and device for sensor-based monitoring of an environment
DE102019133757A1 (en) THREE-DIMENSIONAL RECONSTRUCTION, AUTOMATIC, FIRST LIGHTING BODIES AND APPLICABILITIES
DE102021131060B3 (en) System and method with a system
DE102019108807A1 (en) Digital status report

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 19980613

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT CH DE FR GB LI NL

R17P Request for examination filed (corrected)

Effective date: 19980610

PUAK Availability of information related to the publication of the international search report

Free format text: ORIGINAL CODE: 0009015

AK Designated contracting states

Kind code of ref document: A3

Designated state(s): AT CH DE FR GB LI NL

17Q First examination report despatched

Effective date: 20000828

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

GRAG Despatch of communication of intention to grant

Free format text: ORIGINAL CODE: EPIDOS AGRA

GRAH Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOS IGRA

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: THE APPLICATION IS DEEMED TO BE WITHDRAWN

18D Application deemed to be withdrawn

Effective date: 20020806