AT503756B1 - METHOD AND DEVICE FOR COMPUTER-BASED DETERMINATION OF POSITION AND ORIENTATION OF AT LEAST ONE MOVABLE OBJECT - Google Patents

Description

2 AT 503 756 B12 AT 503 756 B1

Die Erfindung betrifft ein Verfahren zur rechnergestützten Bestimmung von Position und Orientierung mindestens eines beweglichen Objekts, wobei dem Objekt zugehörige, mit Hilfe von Bildaufnahmemitteln erhaltene Bildaufnahme-Daten in Rechnermitteln ausgewertet werden.The invention relates to a method for the computer-aided determination of position and orientation of at least one mobile object, wherein the object associated image acquisition data obtained by means of image recording means are evaluated in computer means.

In entsprechender Weise bezieht sich die Erfindung auf eine Vorrichtung zur rechnergestützten Bestimmung von Position und Orientierung mindestens eines beweglichen Objekts, mit Bildaufnahmemitteln zum Aufnehmen eines dem Objekt zugeordneten Bildes und Erzeugen von Bildaufnahme-Daten, und mit Rechnermitteln zum Auswerten der Bildaufnahme-Daten.In a corresponding manner, the invention relates to a device for computer-aided determination of position and orientation of at least one mobile object, with image recording means for recording an image associated with the object and generating image acquisition data, and with computer means for evaluating the image acquisition data.

Aus dem Artikel Klaus Dorfmüller, „Robust tracking for augmented reality using retroreflective markers“, Computers & Graphics 23 (1999), Pergamon, Seiten 795-800, ist beispielsweise ein optisches Folgesystem für sich bewegende Objekte zum Einsatz in sog. AR-Anwendungen bekannt (AR - augmented reality - erweiterte Realität). Vergleichbare Systeme werden in VR-Anwendungen eingesetzt (VR - virtual reality - virtuelle Realität). Beim bekannten System wird eine Anordnung von starr miteinander verbundenen Bildaufnehmern (Bildkameras) im festen Abstand voneinander in Verbindung mit festen vorgegebenen Markierungen am hinsichtlich seiner Position und Ausrichtung zu bestimmenden Objekt, d.h. am zu verfolgenden Objekt, vorgesehen. Die Markierungen sind vorzugsweise zum Reflektieren von Infrarotlicht vorgesehen, wobei hiefür eigene Infrarotquellen (Lampen) eingesetzt werden, um die Markierungen am Objekt zu beleuchten; das von den Markierungen reflektierte Licht wird von den "Stereo“-Bildaufnehmern aufgenommen. Mit Hilfe der zwei so erzeugten Bilder der reflektierenden Markierungen wird dann auf die Position und Orientierung des Objekts zurückgerechnet, d.h. es werden die beiden aufgenommenen Bilder in Relation zueinander gestellt und rechnerisch ausgewertet. Nachteilig ist dabei, dass der apparative Aufwand - insbesondere auch im Hinblick auf die Notwendigkeit von zwei Bildaufnehmem - verhältnismäßig groß ist, wobei die Bildaufnehmer auch nicht immer alle Markierungen am Objekt erfassen können, die von der Infrarotquelle beleuchtet werden, da das Objekt unter Umständen ungünstige Lagen einnehmen kann.From the article Klaus Dorfmüller, "Robust tracking for augmented reality using retroreflective markers", Computers & Graphics 23 (1999), Pergamon, pages 795-800, for example, an optical tracking system for moving objects for use in so-called AR applications known (AR - augmented reality - extended reality). Similar systems are used in VR applications (VR - virtual reality). In the known system, an array of rigidly interconnected imagers (image cameras) is fixedly spaced from each other in conjunction with fixed predetermined markings on the object to be determined with respect to its position and orientation, i. on the object to be tracked, provided. The markers are preferably for reflecting infrared light, using their own infrared sources (lamps) to illuminate the markings on the object; the light reflected from the markers is picked up by the " stereo " imagers. With the aid of the two images of the reflective markings thus produced, the position and orientation of the object is then recalculated, i. the two recorded images are put in relation to each other and evaluated mathematically. The disadvantage here is that the expenditure on equipment - especially with regard to the need for two Bildaufnehmem - is relatively large, the image sensor also can not always detect all marks on the object, which are illuminated by the infrared source, as the object may be unfavorable Layers can take.

Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren bzw. eine Vorrichtung wie eingangs angegeben vorzusehen, um Objekte im Raum zuverlässig und mit geringem apparativen Aufwand optisch verfolgen zu können. Die Objekte können dabei beispielsweise Personen sein, aber auch Geräte und Apparate, wie beispielsweise Industrieroboter, deren Bewegungen überwacht werden sollen.The invention is based on the object of providing a method and a device as stated at the outset in order to be able to optically track objects in space reliably and with little outlay on equipment. The objects may be, for example, persons, but also devices and apparatus, such as industrial robots whose movements are to be monitored.

Das erfindungsgemäße Verfahren der eingangs erwähnten Art ist dadurch gekennzeichnet, dass ein dem Objekt zugeordnetes, vorgegebenes Bild auf zumindest eine Zwischen-Bildfläche projiziert wird, und dass das projizierte Bild mit Hilfe der Bildaufnahmemittel aufgenommen wird, wobei aus im projizierten Bild enthaltenen Änderungen gegenüber dem vorgegebenen Bild die Position und Orientierung des Objekts rechnerisch ermittelt werden.The inventive method of the type mentioned above is characterized in that a given image associated with the object, is projected onto at least one intermediate image area, and that the projected image is recorded by means of the image pickup means, wherein from changes in the projected image with respect to the predetermined Image the position and orientation of the object can be calculated.

In entsprechender Weise ist die erfindungsgemäße Vorrichtung der eingangs angeführten Art gekennzeichnet durch ein zur Verbindung mit dem Objekt vorgesehenes Projektionssystem zum Projizieren eines vorgegebenen, dem Objekt zugeordneten Bildes auf zumindest eine Zwischen-Bildfläche, an der das projizierte Bild mittels der Bildaufnahmemittel aufgenommen wird, und durch eine mit den Rechnermitteln verbundene Datenspeichereinrichtung zur Speicherung von Daten betreffend das vorgegebene Bild.In a corresponding manner, the device according to the invention is characterized by a projection system provided for connection to the object for projecting a predetermined image assigned to the object onto at least one intermediate image surface on which the projected image is recorded by means of the image recording means and through a data storage device connected to the computer means for storing data relating to the predetermined image.

Bei der erfindungsgemäßen Technik sind Bildaufnahmemittel und Rechnermittel statisch angeordnet, während sich das zumindest eine Objekt mit zugeordneten Projektormitteln bewegt. Ebenso statisch angeordnet ist die Zwischen-Bildfläche, auf die das vorgegebene Bild projiziert wird, damit es von den Bildaufnahmemitteln aufgenommen werden kann. Das vorgegebene Bild wird bevorzugt mittels eines am Objekt befestigten Projektionssystems auf die Zwischen-Bildfläche projiziert, wobei eine starre Verbindung zwischen Projektionssystem und Objekt vorgesehen wird. Das vorgegebene Bild kann ein vorgegebenes geometrisches Muster mit Punkten und/oder Linien sein, und das zugehörige Projektionssystem kann z.B. eine Gruppe 3 AT 503 756 B1 von Laserpointern sein, um beispielsweise mehrere Lichtpunkte als (Eck)Punkte einer regelmäßigen oder unregelmäßigen geometrischen Figur zu definieren. Diese geometrische Figur, d.h. deren Eckpunkte, wird bzw. werden durch das Projektionssystem auf die Zwischen-Bildfläche projiziert, so dass sich Verschiebungen und Verdrehungen der projizierten Punkte im Vergleich zum ursprünglichen Punktemuster ergeben, wobei auf Grund dieser Verzerrungen des Musters, das von den Bildaufnahmemitteln aufgenommen wird, im Vergleich mit dem ursprünglichen Muster rechnergestützt auf die Position und die Orientierung des Objekts im Raum zurückgerechnet werden kann. Hierbei handelt es sich im Wesentlichen um verhältnismäßig einfache Transformationen, die eine rechnergestützte Berechnung von Position und Ausrichtung des Objekts in verhältnismäßig einfacher Weise ermöglichen. Im Fall der optischen Überwachung von Bewegungen von Personen können diese Personen je mit einem optischen Sender als Projektionssystem am Kopf ausgerüstet werden, wodurch interessante VR-Anwendungen möglich werden. In entsprechender Weise können Lichtsender an einem Industrieroboter angebracht werden, um laufend dessen Positionen und Ausrichtungen zu erfassen. Eine weitere Anwendung ergibt sich beispielsweise in Zusammenhang mit der Steuerung von computergenerierten Schauspielern für Filmszenen, wobei vorab echte Bewegungen aufgezeichnet werden (sog. „motion capturing“) und danach diese Bewegungen auf die computergenerierten Schauspieler übertragen werden. Die erfindungsgemäße Technik ermöglicht dabei die für Videoaufnahmen übliche Anzahl von mindestens fünfzig Aufnahmen pro Sekunde, was bedeutet, dass für jeden einzelnen Rechenvorgang maximal zwanzig Millisekunden verfügbar sind, was aber bei der erfindungsgemäßen Bewegungsverfolgungstechnik auf Grund des dabei erzielten geringeren rechnerischen Aufwandes ohne weiteres möglich ist.In the technique according to the invention image acquisition means and computer means are arranged statically, while moving the at least one object with associated projector means. Equally statically arranged is the intermediate image area onto which the given image is projected so that it can be picked up by the imaging means. The predetermined image is preferably projected onto the intermediate image surface by means of a projection system attached to the object, a rigid connection being provided between the projection system and the object. The given image may be a given geometric pattern with dots and / or lines, and the associated projection system may be e.g. be a group of laser pointers, for example, to define multiple points of light as (corner) points of a regular or irregular geometric figure. This geometric figure, i. their vertices are projected onto the intermediate image surface by the projection system, so that displacements and rotations of the projected dots result from the original dot pattern, due to these distortions of the pattern taken by the image pickup means in comparison computer-aided with the original pattern back to the position and orientation of the object in space can be calculated back. These are essentially relatively simple transformations that allow a computer-aided calculation of position and orientation of the object in a relatively simple manner. In the case of optical monitoring of personal movements, these persons can each be equipped with an optical transmitter as a projection system on the head, which makes interesting VR applications possible. Similarly, light emitters can be mounted on an industrial robot to continuously detect its positions and orientations. Another application arises, for example, in connection with the control of computer-generated actors for film scenes, in which real movements are recorded in advance (so-called "motion capturing") and then these movements are transmitted to the computer-generated actors. The technique according to the invention makes it possible to record at least fifty images per second, which means that a maximum of twenty milliseconds are available for each individual calculation, but this is readily possible with the motion tracking technique according to the invention because of the lower computational effort involved.

Im Rahmen der Erfindung können selbstverständlich auch mehrere Objekte zugleich auf die beschriebene Weise überwacht bzw. verfolgt werden, wie etwa Kopf und Hände einer Person, wobei dann der Kopf und die Hände jeweils als gesonderte Objekte“ anzusehen sind.In the context of the invention, of course, several objects can be monitored or tracked at the same time in the manner described, such as the head and hands of a person, in which case the head and the hands are to be regarded as separate objects.

Bei der erfindungsgemäßen Technik können die Bildaufnahmemittel auf der selben Seite der Zwischen-Bildfläche angeordnet werden, auf der sich das jeweilige Objekt befindet, es ist jedoch auch möglich, im Fall einer transluzenten, d.h. durchscheinenden, Zwischen-Bildfläche die Bildaufnahmemittel bzw. gegebenenfalls eigene Bildaufnahmemittel hinter der Zwischen-Bildfläche anzuordnen, d.h. auf der dem Objekt gegenüberliegenden Seite. Wie sich aus Vorstehendem ergibt, können Bildaufnahmemittel somit auf beiden Seiten der Zwischen-Bildfläche vorhanden sein, um die Bewegungen eines oder mehrerer Objekte zu erfassen, d.h. die Positionen und Orientierungen der Objekte zu ermitteln.In the technique according to the invention, the image pickup means can be arranged on the same side of the intermediate image surface on which the respective object is located, but it is also possible, in the case of a translucent, i. translucent, intermediate image area to arrange the image pickup means or optionally their own image pickup means behind the intermediate image area, i. on the opposite side of the object. As can be seen from the above, image pickup means can thus be present on both sides of the intermediate image area in order to detect the movements of one or more objects, i. to determine the positions and orientations of the objects.

Eine weitere Möglichkeit besteht darin, dass die Zwischen-Bildfläche in die Bildaufnahmemittel integriert ist, d.h., dass die Zwischen-Bildfläche direkt eine Bildaufnahmefläche definiert, auf die das vorgegebene Bild projiziert wird, und die eine Matrixanordnung von lichtempfindlichen Punkten aufweist. Eine derartige Ausbildung ist jedenfalls dann besonders zweckmäßig, wenn vergleichsweise klein dimensionierte Bildflächen ausreichen, etwa in der Größenordnung von 1 oder 2 Meter mal 1 oder 2 Meter, wogegen bei größeren Abmessungen der Bildfläche gesonderte Bildaufnehmer (wie z.B. Videokameras bzw. CCD-Kameras) zweckmäßig sind.Another possibility is that the intermediate image surface is integrated with the image pickup means, that is, that the intermediate image surface directly defines an image pickup surface on which the predetermined image is projected and has a matrix arrangement of photosensitive dots. Such a design is in any case particularly useful when comparatively small-sized image areas sufficient, for example in the order of 1 or 2 meters by 1 or 2 meters, whereas with larger dimensions of the image surface separate image sensor (such as video cameras or CCD cameras) appropriate are.

Die Zwischen-Bildfläche kann einfach eben sein, wobei sie beispielsweise durch eine ebene Raumwand gebildet sein kann, sie kann aber auch aus zueinander winkelig angeordneten Teilebenen bestehen, wie etwa aus zwei unter 90° aneinander grenzende Raumwänden und/oder benachbarten Deckwänden. Auch gekrümmte Zwischen-Bildflächen sind denkbar, wie etwa eine zylindrische Wand eines Stiegenhauses, wobei dann die Krümmung im Hinblick auf die bei der Projektion des Objekt-Bildes erhaltenen Verzerrungen bekannt ist und in einem Speicher der Rechnermittel gespeichert gehalten wird.The intermediate image surface may simply be flat, wherein it may be formed for example by a planar room wall, but it may also consist of mutually angularly arranged part levels, such as two at 90 ° adjacent room walls and / or adjacent deck walls. Curved intermediate image surfaces are also conceivable, such as a cylindrical wall of a staircase, in which case the curvature is known with regard to the distortions obtained in the projection of the object image and is stored in a memory of the computer means.

Mit der erfindungsgemäßen Technik können wie bereits angedeutet auch mehrere Objekte parallel überwacht werden, wobei dann Maßnahmen zur Unterscheidung der projizierten Bilder für die einzelnen Objekte zu treffen sind. Beispielsweise können zur Unterscheidung verschie- 4 AT 503 756 B1 dene Wellenlängen des ausgesendeten Lichts (d.h. unterschiedliche Farben im Fall von sichtbarem Licht) verwendet werden, es können aber auch unterschiedliche Polarisationsebenen der Strahlungen, die die projizierten Muster erzeugen, oder grundsätzlich unterschiedliche Bilder -zum Beispiel mehrere einander schneidende Linien oder aber elliptische Figuren im Gegensatz zu einzelnen Lichtpunkten - eingesetzt werden. Auch ist es selbstverständlich möglich, ein Zeitmultiplex-Verfahren anzuwenden, um die einzelnen Projektionen zeitlich nacheinander zu erfassen und auszuwerten.With the technique according to the invention, as already indicated, several objects can be monitored in parallel, in which case measures for distinguishing the projected images for the individual objects are to be made. For example, different wavelengths of the emitted light (ie, different colors in the case of visible light) may be used to distinguish different polarization planes of the radiations that produce the projected patterns, or basically different images-to Example, several intersecting lines or elliptical figures in contrast to individual points of light - are used. It is of course also possible to use a time division multiplex method in order to record and evaluate the individual projections one after the other.

Andererseits ist es auch denkbar, ein und das selbe Objekt (oder aber auch mehrere Objekte) mit Hilfe von mehreren Bildaufnehmern zu überwachen, d.h. die projizierten Bilder mit Hilfe von mehreren Bildaufnehmern aufzunehmen, um so eine erhöhte Präzision in der Objektverfolgung zu erzielen. Für das Projektionssystem können außer den erwähnten Laserpointern auch andere Lichtsender, insbesondere Infrarot-Lichtsender, verwendet werden, es können jedoch auch derartige diskrete Projektionssysteme, die mit Halbleiterlasern, Diffraktionsgittern oder Hologrammen arbeiten, eingesetzt werden. Wesentlich für die vorliegende Technik ist, abgesehen von einer für die Messung ausreichenden Helligkeit, die Identifizierbarkeit des projizierten Bildes.On the other hand, it is also conceivable to monitor one and the same object (or else several objects) with the aid of several image sensors, i. take the projected images with the help of several image sensors, so as to achieve an increased precision in the object tracking. In addition to the laser pointers mentioned, other light transmitters, in particular infrared light transmitters, may be used for the projection system, but it is also possible to use such discrete projection systems which work with semiconductor lasers, diffraction gratings or holograms. Essential for the present technique, apart from a sufficient brightness for the measurement, the identifiability of the projected image.

Die Erfindung wird nachfolgend anhand von besonders bevorzugten Ausführungsbeispielen, auf die sie jedoch nicht beschränkt sein soll, und unter Bezugnahme auf die beiliegende Zeichnung noch weiter erläutert. In der Zeichnung zeigen dabei im Einzelnen: Fig. 1 schematisch den Aufbau einer Vorrichtung zur Bestimmung von Position- und Orientierung eines beweglichen Objekts, nachfolgend auch kurz Messsystem genannt; Fig. 2a einen Teil einer solchen Anordnung eines Messsystems mit vereinfachter Bildprojektion; Fig. 2b ein zum Messsystem gemäß Fig. 2a gehöriges vorgegebenes, unverzerrtes Bild; die Figur 3a eine schematische Darstellung eines solchen Objekts in einer ersten relativen Position und Ausrichtung bezogen auf eine Bildfläche, wobei dem Objekt ein vorgegebenes Bild gemäß Fig. 2b zugeordnet ist; Fig. 3b eine Ansicht des bei einer Objektanordnung gemäß Fig. 3a erhaltenen projizierten Bildes; die Figuren 4a und 4b entsprechende Darstellungen der Objektanordnung bzw. des zugehörigen projizierten Bildes, wobei das Objekt sich aus der Position und Orientierung gemäß Fig. 3a in jene gemäß Fig. 4a bewegt hat; Fig. 5 ein schematisches Blockschaltbild der elektronischen Komponenten des vorliegenden Messsystems; Fig. 6 eine bei der Berechnung beim vorliegenden Messsystem zu Grunde gelegte Definition von Koordinatensystemen in Relation zur Zwischen-Bildfläche; Fig. 7 ein vereinfachtes Flussdiagramm zur Veranschaulichung des Berechnungsvorgangs beim vorliegenden Messsystem; Fig. 8 eine schematische Draufsicht auf ein gegenüber Fig. 1 modifiziertes Messsystem mit mehreren Bildaufnehmern und mehreren Objekten; und Fig. 9 schematisch in einer Draufsicht eine weitere Modifikation des Messsystems, wobei die Bildaufnahmemittel mit der Zwischen-Bildfläche zu einer Einheit kombiniert sind.The invention will be explained below with reference to particularly preferred embodiments, to which it should not be limited, and with reference to the accompanying drawings. 1 shows schematically the construction of a device for determining the position and orientation of a movable object, also referred to below as measuring system; FIG. 2a shows a part of such an arrangement of a measuring system with simplified image projection; FIG. FIG. 2b shows a predetermined, undistorted image belonging to the measuring system according to FIG. 2a; FIG. FIG. 3 a shows a schematic representation of such an object in a first relative position and orientation with respect to an image surface, wherein the object is assigned a predetermined image according to FIG. 2 b; FIG. 3b shows a view of the projected image obtained in the case of an object arrangement according to FIG. 3a; FIG. Figures 4a and 4b are respective representations of the object arrangement and the associated projected image, wherein the object has moved from the position and orientation of Figure 3a in those of Figure 4a. Fig. 5 is a schematic block diagram of the electronic components of the present measuring system; FIG. 6 shows a definition of coordinate systems in relation to the intermediate image area on which the calculation is based in the present measuring system; FIG. Fig. 7 is a simplified flowchart for illustrating the calculation process in the present measurement system; FIG. 8 is a schematic plan view of a measuring system modified with respect to FIG. 1 with a plurality of image sensors and a plurality of objects; FIG. and FIG. 9 shows schematically in plan view a further modification of the measuring system, wherein the image recording means are combined with the intermediate image area to form a unit.

In Fig. 1 ist der prinzipielle Aufbau einer Vorrichtung 1 zur Bestimmung der Position und Orientierung eines beweglichen Objekts 2 veranschaulicht. Das zu verfolgende oder zu messende Objekt 2, nachfolgend auch Messobjekt 2 oder kurz Objekt 2 bezeichnet, ist starr mit einem Projektionssystem 3 verbunden, welches somit alle Bewegungen des Messobjekts 2 (Verschiebebewegungen ebenso wie Drehbewegungen) mit ausführt. Dieses Projektionssystem 3, nachstehend kurz Projektor 3 genannt, projiziert ein vorgegebenes, dem Objekt 2 fest zugeordnetes Bild auf eine Bildfläche 4, auch Projektionsfläche genannt, die als Zwischenelement fungiert, von dem das projizierte Bild 5 mit Hilfe von Bildaufnahmemitteln 6, beispielsweise einer Videokamera bzw. CCD-Kamera, nachstehend kurz Bildaufnehmer 6 genannt, aufgenommen wird. Der Bildaufnehmer 6 ist ebenso wie die Zwischen-Bildfläche oder Projektionsfläche 4 stationär (statisch) im Raum angeordnet. An den Ausgang des Bildaufnehmers 6 sind Rechnermittel 7, nachstehend kurz Rechner genannt, angeschlossen, um die erhaltenen Bilddaten unter Vergleich mit dem vorgegebenen Bild auszuwerten und so die Lage (Position, Orientierung) des Messobjekts 2 zu ermitteln. 5 AT 503 756 B1In Fig. 1, the basic structure of a device 1 for determining the position and orientation of a movable object 2 is illustrated. The object 2 to be tracked or measured, also referred to below as measuring object 2 or object 2 for short, is rigidly connected to a projection system 3, which thus carries out all movements of the measuring object 2 (displacement movements as well as rotational movements). This projection system 3, hereafter referred to as projector 3, projects a predetermined image permanently assigned to the object 2 onto an image surface 4, also called a projection surface, which acts as an intermediate element from which the projected image 5 is imaged by means of imaging means 6, for example a video camera or video camera CCD camera, hereafter called imager 6 for short. The image recorder 6, like the intermediate image surface or projection surface 4, is stationary (static) in the space. At the output of the image recorder 6 are computer means 7, hereinafter referred to as calculator, connected to evaluate the image data obtained under comparison with the predetermined image and thus to determine the position (position, orientation) of the measuring object 2. 5 AT 503 756 B1

Das Objekt 2 kann eine Person bzw. ein Körperteil einer Person sein, die beispielsweise mittels eines Stirnbandes oder mittels eines Armbandes einen oder mehrere Projektoren 3 trägt. Der Projektor 3 in Fig. 1 ist vergleichbar einem Diaprojektor angedeutet, jedoch können die beliebigsten Projektormittel im Rahmen der Erfindung eingesetzt werden, wie etwa diskrete Projektionssysteme mit Halbleiterlasern, mit Laserpointern, aber auch mit Diffraktionsgittern oder Hologrammen. Wichtig ist nur, dass das auf die Projektionsfläche 4 projizierte Bild 5, das wie aus Fig. 2a und 2b ersichtlich ist, auch nicht als kontinuierliche Linie vorliegen muss, sondern durch diskrete Punkte gegeben sein kann, ausreichend hell ist und auch, dass es hinsichtlich des zugehörigen Objekts 2 identifizierbar ist und somit dem Objekt 2 eindeutig zugeordnet werden kann. Denkbar ist es hierbei auch, nicht nur sichtbares Licht für die Projektion des vorgegebenen Bildes auf die Bildfläche 4 zu verwenden, sondern auch Strahlung außerhalb des für das menschliche Auge sichtbaren Spektrums, also z.B. Infrarot-Licht. Von Bedeutung ist nur, dass das projizierte Bild 5 vom Bildaufnehmer 6 sensorisch erfasst werden kann, und so lange dies gewährleistet ist, kann die vorliegende Bestimmung von Position und Ausrichtung des Objekts 2 relativ zur Bildfläche 4 bestimmt werden.The object 2 may be a person or a body part of a person wearing one or more projectors 3, for example by means of a headband or by means of a bracelet. The projector 3 in Fig. 1 is similar to a slide projector indicated, however, the most arbitrary projector means can be used in the invention, such as discrete projection systems with semiconductor lasers, with laser pointers, but also with diffraction gratings or holograms. It is only important that the image 5 projected onto the projection surface 4, which can be seen in FIGS. 2a and 2b, does not have to be in the form of a continuous line but can be given by discrete points, is sufficiently bright, and also that it is of the associated object 2 is identifiable and thus the object 2 can be uniquely assigned. It is also conceivable to use not only visible light for the projection of the given image onto the image area 4, but also radiation outside the spectrum visible to the human eye, e.g. Infrared light. Of importance is only that the projected image 5 can be sensed by the image sensor 6, and as long as this is ensured, the present determination of the position and orientation of the object 2 relative to the image surface 4 can be determined.

In Fig. 2a ist in vereinfachter Form ein Beispiel für die Projektion eines aus Fig. 2b ersichtlichen, aus fünf Einzelpunkten 8.1 bis 8.5 bestehenden vorgegebenen Bildes oder Musters 8 veranschaulicht, wobei die einzelnen Punkte des projizierten Bildes 5 mit den selben Bezugszeichen 8.1 usw., jedoch versehen mit einem Apostroph, in Fig. 2a dargestellt sind. Der Vollständigkeit halber sei hier erwähnt, dass Fig. 2b eine Normalprojektion des vorgegebenen Bildes auf die Bildfläche 4 wiedergibt, d.h. die Abstände zwischen den einzelnen Bildpunkten 8.1 bis 8.5 sind verglichen mit dem Projektionssystem 3 proportional vergrößert, jedoch ist die gegenseitige Lage gleich. Ein solches Bild 5, das mit Hilfe von vom Projektor 3 ausgehenden möglichst gut fokussierten, gebündelten Strahlen erzeugt wird kann nun je nach Orientierung des Objekts 2 relativ zur Bildfläche 4 unterschiedlich verzerrt werden, wie sich aus den Darstellungen in Fig. 3a und 3b bzw. Fig. 4a und 4b unmittelbar ergibt. Dabei zeigen die Darstellungen in Fig. 3a und 4a jeweils die schräge Ausrichtung des Objekts 2 zur Bildfläche 4, wogegen die Figuren 3b und 4b das jeweils erhaltene zugehörige projizierte Bild 5 in Ansicht veranschaulichen. Wie unmittelbar einzusehen ist, kann aus der Vergrößerung der Abstände zwischen den Bildpunkten 8.1 bis 8.5 in Fig. 2b direkt auf den Abstand des Objekts 2 von der Bildfläche 4 geschlossen werden, wobei die Ausrichtung des Objekts 2 zur Bildfläche 4 senkrecht ist. Bei den Anordnungen gemäß Fig. 3a bzw. 4a liegen unterschiedliche Schräglagen des Objekts 2 relativ zur Bildfläche 4 vor, d.h. die Ausrichtung des Objekts 2 zur Bildfläche 4 ist jeweils von einer senkrechten Ausrichtung verschieden, so dass Verzerrungen im projizierten Bild 5 erhalten werden, woraus, abgesehen von der Ermittlung des Abstandes, auch die Ermittlung der Orientierung des Objekts 2 relativ zur Bildfläche 4 erfolgen kann.FIG. 2a illustrates in simplified form an example for the projection of a given image or pattern 8 shown in FIG. 2b consisting of five individual points 8.1 to 8.5, wherein the individual points of the projected image 5 are denoted by the same reference numbers, etc., however, provided with an apostrophe, shown in Fig. 2a. For the sake of completeness, it should be mentioned here that Fig. 2b shows a normal projection of the given image onto the image area 4, i. the distances between the individual pixels 8.1 to 8.5 are increased proportionally compared to the projection system 3, but the mutual position is the same. Such an image 5, which is generated with the help of projecting from 3 as well focused, bundled beams can now be distorted differently depending on the orientation of the object 2 relative to the image surface 4, as can be seen from the illustrations in Fig. 3a and 3b and Fig. 4a and 4b results directly. In this case, the representations in FIGS. 3 a and 4 a each show the oblique orientation of the object 2 to the image surface 4, whereas FIGS. 3 b and 4 b illustrate the respectively obtained associated projected image 5 in a view. As can be readily appreciated, from the increase in the distances between the pixels 8.1 to 8.5 in FIG. 2b, it is possible to directly deduce the distance of the object 2 from the image surface 4, the orientation of the object 2 to the image surface 4 being perpendicular. In the arrangements according to FIGS. 3 a and 4 a, respectively, there are different inclinations of the object 2 relative to the image surface 4, i. The orientation of the object 2 to the image surface 4 is different in each case from a vertical orientation, so that distortions in the projected image 5 are obtained, from which, apart from the determination of the distance, the determination of the orientation of the object 2 relative to the image surface 4 can be made.

In der Zeichnung ist als einfachste Form eine ebene Projektionsfläche 4 veranschaulicht, jedoch können anstatt dessen auch selbstverständlich Bildflächen 4 mit anderer Form vorgesehen sein. Wenn z.B. ein realer Raum innerhalb eines Gebäudes vorliegt, in dem sich das Objekt 2 bewegt, so kann die Bildfläche 4 durch eine ebene Zimmerwand ebenso wie durch zwei in einem Eckbereich aneinander anschließende Wände, gegebenenfalls in Kombination mit der Zimmerdecke, als Bildfläche 4 verwendet werden. Sofern die Lagen dieser ebenen Teilflächen oder kurz Teilebenen der Bildfläche 4 im Raum bzw. relativ zueinander bekannt sind, kann jede solche Teilebene als Teil der reflektierenden Zwischen-Bildfläche 4, auf den ein vorgegebenes Muster projiziert wird, verwendet werden, wobei die Auswertung der Bilddaten des Bildaufnehmers 6 für alle Teilebenen in entsprechender Weise erfolgt. Es ist auch denkbar, als Bildfläche 4 eine zylindrische Wand in einem zylindrisch gemauerten Stiegenhaus heranzuziehen, wobei dann die Position und Krümmung dieser so gebildeten zylindrischen Bildfläche 4 als bekannt vorauszusetzen sind, um in entsprechender Weise, beispielsweise über Zylinderkoordinaten, die Position und Orientierung des Objekts 2 relativ zu dieser zylindrischen Bildfläche 4 ermitteln zu können. Wichtig ist nur, dass die jeweils projizierten Bilder 5 erfassbar sein sollen, d.h. die Bildqualität muss ausreichend sein und das projizierte Bild darf nicht oder höchstens partiell verdeckt sein, je nach vorgegebenem Muster: So lange ausreichende Teile des projizierten 6 AT 503 756 B1In the drawing, a flat projection surface 4 is illustrated as the simplest form, but instead of that, of course, image surfaces 4 with a different shape can also be provided. If e.g. a real space is present within a building in which the object 2 moves, the image surface 4 can be used as a picture surface 4 by a flat wall of the room as well as by two adjoining walls in a corner area, optionally in combination with the ceiling. If the positions of these flat partial areas or, in short, sub-levels of the image area 4 in the space or relative to each other are known, any such sub-level can be used as part of the reflective intermediate image area 4 on which a given pattern is projected, wherein the evaluation of the image data of the image sensor 6 for all sub-levels in a corresponding manner. It is also conceivable to use the image surface 4 as a cylindrical wall in a cylindrically masonry staircase, in which case the position and curvature of the cylindrical image surface 4 thus formed are assumed to be known, in a corresponding manner, for example via cylindrical coordinates, the position and orientation of the object 2 relative to this cylindrical image surface 4 to determine. The important thing is that the respective projected images 5 should be detectable, i. the image quality must be sufficient and the projected image must not be obscured or at most partially hidden, depending on the given pattern: as long as sufficient parts of the projected 6 AT 503 756 B1

Musters 5 vom Bildaufnehmer 6 erkannt werden können, und die durch die allgemein geformte Bildfläche 4 und die Lage des Objekts 2 relativ zu letzterer hervorgerufene Bildverzerrung rekonstruiert werden kann, kann das vorliegende Verfahren angewendet werden.Pattern 5 can be detected by the image sensor 6, and the image distortion caused by the generally shaped image surface 4 and the position of the object 2 relative to the latter can be reconstructed, the present method can be applied.

Der Bildaufnehmer 6 kann als beliebiges an sich bekanntes Bildaufnahmegerät ausgeführt sein, das sich zur sensorischen Aufnahme des projizierten Bildes 5 für eine rechnergestützte Auswertung eignet. Als Bildaufnehmer 6 kann beispielsweise eine Videokamera eingesetzt werden, aber auch jedes andere System, welches den selben Zweck erfüllt. Wie bereits angedeutet und nachstehend anhand der Fig. 9 zu erläutern sein wird, kann die Bildfläche 4 selbst (oder zumindest ein Teil derselben) als Teil des Bildaufnehmers 6 fungieren.The image sensor 6 can be embodied as any image recording device known per se, which is suitable for sensory recording of the projected image 5 for a computer-aided evaluation. As a video recorder 6, for example, a video camera can be used, but also any other system which fulfills the same purpose. As already indicated and will be explained below with reference to FIG. 9, the image surface 4 itself (or at least a part thereof) may function as part of the image sensor 6.

Nachfolgend soll nun anhand der Figuren 5, 6 und 7 mehr im Detail das Prinzip der Herleitung der Position und Orientierung des Objekts 2 auf der Basis des jeweiligen projizierten Bildes 5 erläutert werden. Fig. 5 zeigt dabei in einer Art Blockschaltbild den Rechner 7 in Verbindung mit dem Bildaufnehmer 6 und einer Datenbank 9, wobei diese Datenbank 9 auch durch einen Speicher des Rechners 7 gebildet sein kann und eine Repräsentation der Eigenschaften des am Objekt 2 befindlichen Projektionssystems 2, d.h. des vorgegebenen Bildes, enthält, wobei alle relevanten optischen Parameter der Projektion beinhaltet sind, wie z.B. auch Helligkeit bzw. Farbverteilungen des projizierten Bildes sowie die Positionen der vom Objekt 2 ausgehenden Projektionsstrahlen am Objekt 2 selbst, d.h. relativ zu diesem Objekt 2. Diese interne Repräsentation wird durch eine rechnerische Transformation auf Grund von bereits existierenden, z.B. auf Grund von vorhergehenden Berechnungen erhaltenen Approximationen der realen Objekttransformation in einem Projektionsmodul 10 des Rechners 7 in eine projizierte Darstellung überführt. Diese Darstellung (d.h. deren Daten) wird einer Vergleichsstufe 11 des Rechners 7 zugeführt. Der Bildaufnehmer 6 überführt das von ihm aufgenommene, projizierte Bild 5 in einer in Fig. 5 gesondert gezeichneten Bildverarbeitungsstufe 12 in eine Maschine-verarbeitbare Form (unter Digitalisierung), wobei die so erhaltenen Bilddaten dann der Vergleichsstufe 11 zum Vergleich mit den vom Projektionsmodul 10 kommenden Daten der internen Repräsentation der Situation verglichen werden. Über einen Rückkopplungspfad 13 korrigiert die Vergleichsstufe 11 dann die Parameter des Projektionsmoduls 10. Dieser Vorgang wird so lange wiederholt, bis der Vergleich in der Vergleichsstufe 11 eine - zumindest annähernde - Übereinstimmung der internen Repräsentation mit dem projizierten Bild ergibt, wobei diese Übereinstimmung innerhalb von vorgegebenen Grenzen vorliegen soll. Diese Grenzen können als Genauigkeitsgrenzen vorweg bestimmt werden, wie nachstehend noch näher erläutert werden wird. Wenn diese Übereinstimmung innerhalb der gewählten Grenzen festgestellt wird, dann werden die das simulierte Objekt 2 transformierenden Parameter aus dem Projektionsmodul 10 über die Vergleichsstufe 11 einer Ausgabeeinheit 14 zugeführt und über diese ausgegeben.The principle of deriving the position and orientation of the object 2 on the basis of the respective projected image 5 will now be explained in more detail with reference to FIGS. 5, 6 and 7. 5 shows a block diagram of the computer 7 in conjunction with the image recorder 6 and a database 9, this database 9 also being able to be formed by a memory of the computer 7 and a representation of the properties of the projection system 2 located on the object 2; ie of the given image, with all relevant optical parameters of the projection being included, e.g. also the brightness or color distributions of the projected image as well as the positions of the projection beams emanating from the object 2 on the object 2 itself, i. relative to this object 2. This internal representation is replaced by a computational transformation on the basis of already existing, e.g. converted on the basis of previous calculations approximations of the real object transformation in a projection module 10 of the computer 7 in a projected representation. This representation (i.e., its data) is fed to a comparator 11 of the computer 7. The image recorder 6 transfers the projected image 5 taken by it into a machine-processable form (under digitization) in an image processing stage 12 drawn separately in FIG. 5, the image data thus obtained being compared with those coming from the projection module 10 Data compared to the internal representation of the situation. Via a feedback path 13, the comparison stage 11 then corrects the parameters of the projection module 10. This process is repeated until the comparison in the comparison stage 11 results in an - at least approximate - agreement of the internal representation with the projected image, this match within predefined Limits should exist. These limits can be determined in advance as accuracy limits, as will be explained in more detail below. If this match is detected within the selected limits, then the simulated object 2 transforming parameters from the projection module 10 via the comparison stage 11 of an output unit 14 is supplied and output via this.

Das zu Grunde liegende Berechnungsverfahren zu diesem Beispiel geht von einer Konfiguration wie in Fig. 6 veranschaulicht aus. In Fig. 6 werden drei verschiedene Koordinatensysteme zur Beschreibung herangezogen: Das allgemeine Koordinatensystem (Weltkoordinatensystem), definiert durch die Achsen xw, yw und zw; das Objekt-Koordinatensystem, definiert durch die Achsen Xo, y0 und Zoi und das Bildkoordinatensystem, definiert durch die Achsen Xi, y, und Zj. Als Eingabeparameter sind die Projektionsstrahlen Sn (mit n = 1, 2, 3 bzw. 1, 2..5 je nach Anzahl der Strahlen bzw. Bildpunkte) im Objektkoordinatensystem bekannt. Ebenso bekannt ist die Transformation TE der Bildfläche 4 im Weltkoordinatensystem, und bekannt sind auch die Koordinaten der Bildpunkte ln auf der Projektionsfläche 4 im Bildkoordinatensystem (diese Koordinaten der Bildpunkte ln im Bildkoordinatensystem sind aus dem Kamerabild heraus bestimmbar).The underlying calculation method for this example is based on a configuration as illustrated in FIG. 6. In Fig. 6, three different coordinate systems are used for description: The general coordinate system (world coordinate system) defined by the axes xw, yw and zw; the object coordinate system defined by the axes Xo, Y0 and Zoi and the image coordinate system defined by the axes Xi, y, and Zj. The input parameters are the projection beams Sn (with n = 1, 2, 3 or 1, 2..5 depending on the number of beams or pixels) in the object coordinate system. Also known is the transformation TE of the image area 4 in the world coordinate system, and the coordinates of the pixels ln on the projection area 4 in the image coordinate system are also known (these coordinates of the pixels ln in the image coordinate system can be determined from the camera image).

Aus diesen Informationen sind die folgenden Ausgabeparameter zu berechnen, um Position und Ausrichtung des Objekts 2 relativ zur Bildfläche 4 und damit im Raum zu bestimmen:From this information, the following output parameters are to be calculated in order to determine the position and orientation of the object 2 relative to the image area 4 and thus in space:

Pn... Schnitte der Strahlen Sn mit der Projektionsfläche 4 im Bildkoordinatensystem xf, y„ z, und T0... Transformation des Objekts 2 im Weltkoordinatensystem xw, yw. zw. 7 AT 503 756 B1Pn ... sections of the rays Sn with the projection surface 4 in the image coordinate system xf, y "z, and T0 ... transformation of the object 2 in the world coordinate system xw, yw. between 7 AT 503 756 B1

Aus den vorstehenden Eingabeparametern lässt sich für eine gegebene Transformation T0 des Objektes 2 leicht der Schnittpunkt P„ jedes projizierten Strahls Sn im Bildkoordinatensystem Xj, yit Zj wie folgt berechnen: (1)From the above input parameters, for a given transformation T0 of the object 2, the intersection P "of each projected beam Sn in the image coordinate system Xj, yj Zj can be easily calculated as follows: (1)

Pn = (Sn xT01 x TE)®E .Pn = (Sn x T01 x TE) ®E.

Darin bezeichnet E die Bildebene E, d.h. die xy-Ebene des Bildkoordinatensystems (also Zj = o) und das Symbol ® gibt den Schnitt der Strahlen Sn mit dieser Ebene E an.Where E denotes the image plane E, i. the xy plane of the image coordinate system (ie Zj = o) and the symbol ® indicates the intersection of the rays Sn with this plane E.

Die Summe der Quadrate der Abstände der Punkte Pn von den jeweiligen gemessenen Bildpunkten l„ dient einem allgemeinen Optimierungsalgorithmus als Maßstab für die Qualität Q der bisherigen Schätzung für T0 gemäß folgender Beziehung:The sum of the squares of the distances of the points Pn from the respective measured pixels l "serves as a general optimization algorithm as a measure of the quality Q of the previous estimate for T0 according to the following relationship:

(2)(2)

Im Idealfall geht der Wert Q gegen 0, im Allgemeinen wird die Optimierung bei einem den Ge-nauigkeits- und Geschwindigkeitsansprüchen genügenden, vorgegebenen Wert Q|im beendet, wobei Q|jm > 0 ist.Ideally, the value Q approaches 0, in general the optimization is terminated at a given value Q | im satisfying the accuracy and speed requirements, where Q | jm > 0 is.

Dieser näherungsweise Berechnungsvorgang ergibt sich aus dem Flussdiagramm aus Fig. 7 noch mehr im Detail, wobei in Fig. 7 ersichtlich ist, dass nach einem Initialisierungsschritt 15, in dem die gegebene Position und Orientierung im Projektionsmodul 10 initialisiert werden, mit Hilfe des Bildaufnehmers 6 gemäß Block 16 ein Bild aufgenommen wird; danach wird hieraus gemäß Block 17 das projizierte Bild extrahiert, und gemäß Block 18 wird im Projektionsmodul 10 das Referenzbild mit der initialisierten bzw. gegebenen Position und Orientierung projiziert. Sodann wird gemäß Feld 19 das aufgenommene projizierte Bild mit dem rechnergestützt erzeugten Referenzbild verglichen; wenn keine ausreichende Übereinstimmung gegeben ist, s. Ausgang N des Entscheidungsfeldes 19, wird mit Hilfe des Rechners 7 im Projektionsmodul 10 die Position und Orientierung im Referenzbild geändert, und es wird neuerlich, auf der Basis hievon, ein projiziertes Referenzbild im Schritt 18 erzeugt, welches wiederum gemäß Feld 19 mit dem aufgenommenen, projizierten Bild verglichen wird. Dieser Vorgang wird so lange wiederholt, bis beim Vergleich eine ausreichend gute Übereinstimmung erhalten wird, s. Ausgang J des Entscheidungsfeldes 19. Danach werden gemäß Block 21 die Daten betreffend Position und Orientierung des Objekts 2 ausgegeben, und es kann zum Beginn des Ablaufs zur Bearbeitung einer neuen Bildaufnahme zurückgekehrt werden, wie mit der Linie 22 in Fig. 7 angedeutet ist.7 shows that, after an initialization step 15, in which the given position and orientation are initialized in the projection module 10, with the aid of the image sensor 6 according to FIG Block 16, an image is taken; Thereafter, the projected image is extracted therefrom according to block 17, and according to block 18 the projection image is projected in the projection module 10 with the initialized or given position and orientation. Then, according to box 19, the captured projected image is compared with the computer-aided generated reference image; if there is no sufficient match, s. Output N of the decision field 19, the position and orientation in the reference image is changed with the aid of the computer 7 in the projection module 10, and it is again, based on which, a projected reference image generated in step 18, which in turn recorded in accordance with field 19 with the projected image is compared. This process is repeated until a sufficiently good match is obtained in the comparison, s. Exit J of the decision box 19. Thereafter, according to block 21, the position and orientation data of the object 2 are outputted, and it is possible to return to the beginning of processing to process a new image capture, as indicated by line 22 in FIG.

Vorstehend wurde das Verfahren zur Datenextraktion in einer allgemeinen Form erläutert; bei entsprechender Vorgabe von Randbedingungen können auch vereinfachte Verfahren eingesetzt werden, wobei unter Umständen auch eine geschlossene, d.h. nicht-iterative Lösung ermöglicht wird. Hiefür wären beispielsweise bei einer Reduktion des projizierten Bildes auf Einzelpunkte (s. vorstehend die Einzelpunkte 8.i) an sich bekannte photogrammetrische Techniken anwendbar, dies stellt aber nur einen Sonderfall der vorstehend beschriebenen allgemeinen Vorgangsweise dar.The procedure for data extraction in a general form has been explained above; with appropriate specification of boundary conditions and simplified methods can be used, which may also be a closed, i. non-iterative solution is enabled. For this purpose, for example, a reduction of the projected image to individual points (see above the individual points 8.i) would allow photogrammetric techniques known per se to be used, but this represents only a special case of the general procedure described above.

Wenn alle möglichen Orientierungen eines Objekts 2 erfasst werden können sollen, ist die Erfassbarkeit der Bildprojektionen in allen vom Objekt 2 möglicherweise eingenommenen Orientierungen zu gewährleisten. Dies kann auf verschiedene Arten erfolgen. Beispielsweise wäre eine Möglichkeit, Projektionen in alle das Objekt 2 umgebenden Raumwinkel vorzusehen; eine andere Möglichkeit wäre darin zu sehen, das Objekt 2 mit einer Projektionsfläche allseitig zu umgeben. In diesem Fall könnte die Projektions- oder Bildfläche 4 die Form eines Hohlkörpers, wie z.B. eines Quaders oder aber einer Kugel, annehmen.If all possible orientations of an object 2 are to be detected, the comprehensibility of the image projections in all orientations possibly assumed by the object 2 must be ensured. This can be done in different ways. For example, one possibility would be to provide projections in all the solid angles surrounding the object 2; another possibility would be to surround the object 2 with a projection surface on all sides. In this case, the projection or image surface 4 could be in the form of a hollow body, such as e.g. a cuboid or a ball, accept.

Falls die Distanz zwischen Bildfläche 4 und Objekt 2 zu groß wird, könnte diese zu großeIf the distance between image area 4 and object 2 becomes too large, this could become too large

Claims (29)

8 AT 503 756 B1 Distanz das vom Bildaufnehmer 6 erfassbare Bild 5 beeinträchtigen. In diesem Fall könnte gegebenenfalls die Auflösung des Bildaufnehmers 6 erhöht werden, oder es könnte eine Bildfläche 4 mit erhöhtem Reflexionsvermögen vorgesehen werden. Wie aus Fig. 8 ersichtlich ist, können auch mehrere Objekte 2, 2’ mit zugehörigen Projektoren 3, 3' vorliegen, die den Objekten 2, 2' zugeordnete vorgegebene Bilder auf die Bild- oder Projektionsfläche 4 als Zwischenelement projizieren, vgl. die nur schematisch mit verdickten Linien angedeuteten projizierten Bilder 5 bzw. 5‘. Weiters ist es auch denkbar, mehrere Bildaufnehmer 6 als Bildaufnahmemittel vorzusehen, wobei es überdies möglich ist, die Bildaufnehmer 6, 6' oder allgemein Bildaufnahmemittel an der Vorderseite der Bild- oder Projektionsfläche 4 (an der sich die Objekte 2, 2' befinden) ebenso wie an der Rückseite der Bildfläche 4 anzuordnen, vorausgesetzt, dass die Bildfläche 4 durchscheinend ausgebildet ist, so dass die projizierten Bilder 5, 5' an ihrer Rückseite aufgenommen werden können. Um die Bilder 5, 5' auf der Bildfläche 4 voneinander unterscheiden zu können, können beispielsweise die Projektoren 3, 3' verschiedenfarbige Strahlungen aussenden, d.h. Strahlen mit unterschiedlichen Wellenlängen, wobei die Bildaufnehmer 6, 6' über diese unterschiedlichen Farben die Bilder voneinander unterscheiden können. Eine andere Möglichkeit bestünde beispielsweise in der Anwendung der Zeitmultiplex-Technik, so dass die Projektoren 3, 3' in verschiedenen Zeitfenstern die Bilder projizieren, wobei die Bildaufnehmer 6, 6' oder allgemein die Bildaufnahmemittel damit synchronisiert sind. Auch können auf Grund der verschiedenen Arten von Bildern, z.B. fünf Bildpunkte, wie in den Figuren 2a bis 4b oder in Fig. 6 dargestellt, bzw. zusammenhängende Linien, wie schematisch in Fig. 1 gezeigt, verwendet werden, um die einzelnen Bilder und damit Objekte 2,2' voneinander unterscheiden zu können. In Fig. 9 ist schließlich noch schematisch dargestellt, dass die Bild- oder Projektionsfläche 4', auf die ein einem Objekt 2 zugeordnetes Bild mit Hilfe eines Projektors 3 projiziert wird, vgl. das projizierte Bild 5, selbst Teil von Bildaufnahmemitteln 6 in an sich herkömmlicher Weise sein kann, wobei einzelne Bildpunkte auf der Bildfläche 4' in einer Matrix-artigen Anordnung durch lichtempfindliche Zonen realisiert und elektrisch abgetastet werden; die erhaltenen Signale werden dann einer Bildverarbeitungseinheit 12 zugeführt. Patentansprüche: 1. Verfahren zur rechnergestützten Bestimmung von Position und Orientierung mindestens eines beweglichen Objekts, wobei dem Objekt zugehörige, mit Hilfe von Bildaufnahmemitteln erhaltene Bildaufnahme-Daten in Rechnermitteln ausgewertet werden, dadurch gekennzeichnet, dass ein dem Objekt (2) zugeordnetes, vorgegebenes Bild auf zumindest eine Zwischen-Bildfläche (4) projiziert wird, und dass das projizierte Bild (5) mit Hilfe der Bildaufnahmemittel (6) aufgenommen wird, wobei aus im projizierten Bild (5) enthaltenen Änderungen gegenüber dem vorgegebenen Bild die Position und Orientierung des Objekts (2) rechnerisch ermittelt werden.8 AT 503 756 B1 Distance affect image 5 that can be detected by the image sensor 6. In this case, if necessary, the resolution of the image sensor 6 could be increased, or an image surface 4 with increased reflectivity could be provided. As can be seen from FIG. 8, a plurality of objects 2, 2 'with associated projectors 3, 3' can also be present, which project the predetermined images associated with the objects 2, 2 'onto the image or projection surface 4 as an intermediate element, cf. the only schematically indicated with thickened lines projected images 5 and 5 '. Furthermore, it is also conceivable to provide a plurality of image sensors 6 as image recording means, it also being possible for the image sensors 6, 6 'or generally image recording means on the front side of the image or projection surface 4 (on which the objects 2, 2' are located) to be present as to be arranged on the back of the image surface 4, provided that the image surface 4 is translucent, so that the projected images 5, 5 'can be recorded on its rear side. In order to distinguish the images 5, 5 'on the image surface 4 from each other, for example, the projectors 3, 3' emit different colored radiation, i. Beams with different wavelengths, wherein the image sensors 6, 6 'can distinguish the images from each other via these different colors. Another possibility would be, for example, the use of the time-division multiplexing technique, so that the projectors 3, 3 'project the images in different time windows, with the image sensors 6, 6' or generally the image recording means being synchronized therewith. Also, due to the different types of images, e.g. five pixels, as shown in Figures 2a to 4b or in Fig. 6, or contiguous lines, as shown schematically in Fig. 1, are used to differentiate the individual images and thus objects 2,2 'from each other. Finally, FIG. 9 schematically shows that the image or projection surface 4 'onto which an image associated with an object 2 is projected with the aid of a projector 3, cf. the projected image 5, itself may be part of imaging means 6 in a conventional manner, individual pixels on the image surface 4 'being realized in a matrix-like arrangement by photosensitive zones and being electrically scanned; the received signals are then supplied to an image processing unit 12. 1. A method for computer-aided determination of position and orientation of at least one moving object, wherein the object associated, obtained by means of image pickup image acquisition data are evaluated in computer means, characterized in that the object (2) associated, predetermined image on at least one intermediate image area (4) is projected, and that the projected image (5) is recorded with the aid of the image acquisition means (6), wherein from changes in the projected image (5) compared to the given image, the position and orientation of the object (5). 2) are calculated. 2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das vorgegebene Objekt-Bild mittels eines Projektionssystems (3) am Objekt (2) auf die Zwischen-Bildfläche (4) projiziert wird.2. The method according to claim 1, characterized in that the predetermined object image by means of a projection system (3) on the object (2) on the intermediate image area (4) is projected. 3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass das Projektionssystem (3) starr mit dem Objekt (2) verbunden wird.3. The method according to claim 2, characterized in that the projection system (3) is rigidly connected to the object (2). 4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass als vorgegebenes Objekt-Bild ein geometrisches Muster mit Punkten und/oder Linien projiziert wird.4. The method according to any one of claims 1 to 3, characterized in that as a predetermined object image, a geometric pattern with points and / or lines is projected. 5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Bildaufnahmemittel (6) stationär angeordnet werden. 9 AT 503 756 B15. The method according to any one of claims 1 to 4, characterized in that the image pickup means (6) are arranged stationary. 9 AT 503 756 B1 6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Zwischen-Bildfläche (4) stationär angeordnet wird.6. The method according to any one of claims 1 to 5, characterized in that the intermediate image surface (4) is arranged stationary. 7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Bildaufnahmemittel (6) auf der selben Seite der Zwischen-Bildfläche (4) angeordnet werden, auf der sich das Objekt (2) befindet.7. The method according to any one of claims 1 to 6, characterized in that the image pickup means (6) are arranged on the same side of the intermediate image surface (4) on which the object (2) is located. 8. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Bildaufnahmemittel (6) in die Zwischen-Bildfläche (4‘) integriert werden.8. The method according to any one of claims 1 to 6, characterized in that the image pickup means (6) in the intermediate image area (4 ') are integrated. 9. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Zwischen-Bildfläche (4) transluzent ist und die Bildaufnahmemittel bzw. gegebenenfalls zusätzliche Bildaufnahmemittel (6‘) hinter der Zwischen-Bildfläche (4), bezogen auf den Ort des Objekts (2), angeordnet werden.9. The method according to any one of claims 1 to 6, characterized in that the intermediate image surface (4) is translucent and the image pickup means or optionally additional image pickup means (6 ') behind the intermediate image area (4), based on the location of the Object (2), are arranged. 10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass eine ebene Zwischen-Bildfläche (4) verwendet wird.10. The method according to any one of claims 1 to 9, characterized in that a flat intermediate image surface (4) is used. 11. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass eine aus zueinander winkelig angeordneten Teilebenen bestehende Zwischen-Bildfläche verwendet wird.11. The method according to any one of claims 1 to 9, characterized in that an angularly arranged from one another arranged sub-planes intermediate image area is used. 12. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass eine gekrümmte Zwischen-Bildfläche mit bekannter Krümmung verwendet wird.12. The method according to any one of claims 1 to 9, characterized in that a curved intermediate image surface is used with a known curvature. 13. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass mehrere Objekte (2, 2') mit den selben Bildaufnahmemitteln (6) verfolgt werden.13. The method according to any one of claims 1 to 12, characterized in that a plurality of objects (2, 2 ') are tracked with the same image pickup means (6). 14. Verfahren nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass als Bildaufnahmemittel (6, 6') mehrere gesonderte Bildaufnehmer eingesetzt werden.14. The method according to any one of claims 1 to 12, characterized in that as image recording means (6, 6 ') a plurality of separate image sensor are used. 15. Verfahren nach einem der Ansprüche 1 bis 14, dadurch gekennzeichnet, dass zur Bildprojektion und Bildaufnahme Infrarot (IR-)-Licht verwendet wird.15. The method according to any one of claims 1 to 14, characterized in that for image projection and image acquisition infrared (IR) - light is used. 16. Vorrichtung zur rechnergestützten Bestimmung von Position und Orientierung mindestens eines beweglichen Objekts, mit Bildaufnahmemitteln zum Aufnehmen eines dem Objekt zugeordneten Bildes und Erzeugen von Bildaufnahme-Daten, und mit Rechnermitteln zum Auswerten der Bildaufnahme-Daten, gekennzeichnet durch ein zur Verbindung mit dem Objekt (2) vorgesehenes Projektionssystem (3) zum Projizieren eines vorgegebenen, dem Objekt (2) zugeordneten Bildes auf zumindest eine Zwischen-Bildfläche (4), an der das projizierte Bild (5) mittels der Bildaufnahmemittel (6) aufgenommen wird, und durch eine mit den Rechnermitteln (7) verbundene Datenspeichereinrichtung (9) zur Speicherung von Daten betreffend das vorgegebene Bild.16. An apparatus for computer-aided determination of the position and orientation of at least one mobile object, with image acquisition means for receiving an image associated with the object and generating image acquisition data, and with computer means for evaluating the image acquisition data, characterized by a for connection to the object ( 2) provided projection system (3) for projecting a predetermined, the object (2) associated image on at least one intermediate image area (4) on which the projected image (5) by means of the image pickup means (6) is recorded, and by a data storage means (9) connected to the computer means (7) for storing data relating to the predetermined image. 17. Vorrichtung nach Anspruch 16, dadurch gekennzeichnet, dass das Projektionssystem (3) fest mit dem Objekt (2) verbunden ist.17. The apparatus according to claim 16, characterized in that the projection system (3) is fixedly connected to the object (2). 18. Vorrichtung nach Anspruch 16 oder 17, dadurch gekennzeichnet, dass das Projektionssystem (3) eingerichtet ist, ein vorgegebenes geometrisches Muster von Punkten und/oder Linien als Objekt-Bild zu projizieren.18. The apparatus of claim 16 or 17, characterized in that the projection system (3) is adapted to project a predetermined geometric pattern of points and / or lines as an object image. 19. Vorrichtung nach einem der Ansprüche 16 bis 18, dadurch gekennzeichnet, dass das Projektionssystem (3) als Lichtsender, insbesondere IR-Lichtsender, ausgebildet ist.19. Device according to one of claims 16 to 18, characterized in that the projection system (3) is designed as a light emitter, in particular IR light emitter. 20. Vorrichtung nach einem der Ansprüche 16 bis 19, dadurch gekennzeichnet, dass die Bild- 10 AT 503 756 B1 aufnahmemittel (6) stationär angeordnet sind.20. Device according to one of claims 16 to 19, characterized in that the image receiving means (6) are arranged stationary. 21. Vorrichtung nach einem der Ansprüche 16 bis 20, dadurch gekennzeichnet, dass die Zwi-schen-Bildfläche (4) stationär angeordnet ist.21. Device according to one of claims 16 to 20, characterized in that the inter mediate image surface (4) is arranged stationary. 22. Vorrichtung nach einem der Ansprüche 16 bis 21, dadurch gekennzeichnet, dass die Bildaufnahmemittel (6) auf der selben Seite der Zwischen-Bildfläche (4) angeordnet sind, auf der sich das Objekt (2) befindet.22. Device according to one of claims 16 to 21, characterized in that the image pickup means (6) are arranged on the same side of the intermediate image surface (4) on which the object (2) is located. 23. Vorrichtung nach einem der Ansprüche 16 bis 21, dadurch gekennzeichnet, dass die Bildaufnahmemittel (6) in die Zwischen-Bildfläche (4‘) integriert sind.23. Device according to one of claims 16 to 21, characterized in that the image pickup means (6) in the intermediate image area (4 ') are integrated. 24. Vorrichtung nach einem der Ansprüche 16 bis 21, dadurch gekennzeichnet, dass die Zwischen-Bildfläche (4) transluzent ist und die Bildaufnahmemittel bzw. gegebenenfalls zusätzlichen Bildaufnahmemittel (61) hinter der Zwischen-Bildfläche (4), bezogen auf den Ort des Objekts (2), angeordnet sind.24. Device according to one of claims 16 to 21, characterized in that the intermediate image surface (4) is translucent and the image pickup means or optionally additional image pickup means (61) behind the intermediate image surface (4), based on the location of the object (2) are arranged. 25. Vorrichtung nach einem der Ansprüche 16 bis 24, dadurch gekennzeichnet, dass die Zwischen-Bildfläche (4) eben ist.25. Device according to one of claims 16 to 24, characterized in that the intermediate image surface (4) is flat. 26. Vorrichtung nach einem der Ansprüche 16 bis 24, dadurch gekennzeichnet, dass die Zwischen-Bildfläche (4) aus zueinander winkelig angeordneten Teilebenen besteht.26. Device according to one of claims 16 to 24, characterized in that the intermediate image surface (4) consists of mutually angularly arranged sub-levels. 27. Vorrichtung nach einem der Ansprüche 16 bis 24, dadurch gekennzeichnet, dass die Zwischen-Bildfläche eine gekrümmte Fläche mit bekannter Krümmung ist.27. Device according to one of claims 16 to 24, characterized in that the intermediate image surface is a curved surface with a known curvature. 28. Vorrichtung nach einem der Ansprüche 16 bis 27, dadurch gekennzeichnet, dass ein und die selben Bildaufnahmemittel (6) zur Verfolgung mehrerer Objekte vorgesehen sind.28. Device according to one of claims 16 to 27, characterized in that one and the same image pickup means (6) are provided for tracking a plurality of objects. 29. Vorrichtung nach einem der Ansprüche 16 bis 27, dadurch gekennzeichnet, dass als Bildaufnahmemittel mehrere gesonderte Bildaufnehmer (6, 6') vorgesehen sind. Hiezu 4 Blatt Zeichnungen29. Device according to one of claims 16 to 27, characterized in that as image recording means a plurality of separate image pickup (6, 6 ') are provided. Including 4 sheets of drawings