WO2007065750A1 - Tracking system and method for determining pose - Google Patents

Abstract

The invention relates to a tracking system and to a method for determining the pose of a user or other moving apparatus and also an augmented reality system having a tracking system of this kind. To allow tracking which adapts to the environmental circumstances of a user, the environmental circumstances of the user are detected using a sensor which is suitable for this purpose, and this is taken as a basis for automatically determining a suitable tracking method and a configuration data record for configuring it.

Description

Beschreibung description

Trackingsystem und Verfahren zur Posenbestimmung Die Erfindung betrifft ein Trackingsystem und ein Verfahren zur Posenbestimmung eines Anwenders oder einer beweglichen Vorrichtung sowie ein Augmented Reality System aufweisend ein derartiges Trackingsystem. Augmented Reality, erweiterte Realität, beschreibt eine Form der Mensch-Technik Interaktion, bei der einem Anwender z.B. über eine Datenbrille Informationen in sein Sichtfeld einge^¬ blendet werden, um die von ihm wahrgenommene Realität zu er^¬ weitern. Anwendungen findet diese Technologie beispielsweise in den Bereichen Industrie, Medizin und Konsumer. Tracking system and method for determining the pose The invention relates to a tracking system and a method for determining the pose of a user or a movable device and an augmented reality system comprising such a tracking system. Augmented Reality, Augmented Reality, describes a form of human-machine interaction, in which a user eg via data glasses information in its field of view is ^¬ be displayed to the perceived reality of it ^¬ farther to it. This technology is used, for example, in the areas of industry, medicine and consumers.

Bei der virtuellen Erweiterung des Blickfeldes des Anwenders sollen die virtuellen Informationen in der Regel in einem bestimmten räumlichen Bezug zu den realen Elementen im Blick- feld des Anwenders positioniert werden. Um diese virtuelle Erweiterung des realen Blickfeldes positionsgenau zu errei^¬ chen, werden so genannte Trackingverfahren eingesetzt. Die Trackingverfahren dienen dazu, eine Pose zu Bestimmen. Unter der Pose oder unter so genannten Poseninformationen wird hier sowie im gesamten Dokument eine Informationsmenge verstanden, anhand der sich die Blickrichtung des Anwenders ableiten lässt. Die Poseninformationen beschreiben somit die Position und die Lage des Anwenders oder auch einer beweglichen Vorrichtung in Bezug auf die reale Umgebung. Über die Pose kann somit zu jedem Zeitpunkt auf das reale Blickfeld des Anwen^¬ ders geschlossen werden. Dies ist Voraussetzung dafür, dass die virtuelle Erweiterung des realen Blickfeldes positionsge^¬ nau durchgeführt werden kann. Die Umsetzung der Trackingverfahren kann sowohl hardware- als auch softwaretechnisch geschehen. Hierbei kommen optische, inertiale, akustische, magnetische etc. Verfahren zum Ein- satz. Die einzelnen Verfahren setzen dabei auf unterschiedliche Algorithmen und Technologien auf, die alle eine mehr oder minder genaue Aussage über die Pose des Benutzers liefern. Die einzelnen Verfahren müssen zur Bestimmung der Benutzerposition und -läge mit Informationen versorgt werden. Diese Informationen können z.B. dreidimensionale Modelle der betrachteten Umgebung, Bilder betrachteter Objekte aus verschiedenen Positionen, erkannte markante Punkte, Linien, Farbverläufe usw. oder speziell angebrachte, codierte Marker sein. Diese für das Tracking notwendigen Informationen werden dem Verfahren in der Regel initial zugeführt. In the virtual expansion of the user's field of vision, the virtual information should generally be positioned in a specific spatial relationship to the real elements in the user's field of vision. To this virtual extension of the real field of view exact position chen to Errei ^¬ so-called tracking methods are used. The tracking procedures are used to determine a pose. The pose or so-called pose information is understood here and throughout the document to be a quantity of information from which the user's direction of view can be derived. The pose information thus describes the position and the position of the user or a movable device in relation to the real environment. About the pose of applying ^¬ can be closed DERS therefore at all times to the real view. This is a prerequisite for the virtual expansion of the real field of view to be carried out in a positionally ^accurate manner. The implementation of the tracking process can be done in terms of both hardware and software. Here, optical, inertial, acoustic, magnetic, etc. methods are used. sentence. The individual methods are based on different algorithms and technologies, all of which provide a more or less accurate statement about the user's pose. The individual procedures must be supplied with information in order to determine the user position and location. This information can be, for example, three-dimensional models of the environment in question, images of objects viewed from different positions, recognized striking points, lines, color gradients, etc. or specially attached, coded markers. This information, which is necessary for tracking, is usually fed to the process initially.

Die Eignung der verschiedenen zur Verfügung stehenden Tra- ckingverfahren hängt insbesondere von den Umgebungsverhält^¬ nissen des Anwenders ab. Optische Verfahren, bei denen die Umgebung mit einer Kamera analysiert wird und aus den aufge^¬ nommenen Bildern die Position und die Lage des Anwenders be^¬ stimmt wird, sind für viele Anwendungsbereiche geeignet. Ckingverfahren the suitability of various disposal ordered depends in particular on the environment behaves ^¬ nissen the user from. Optical methods in which the environment is analyzed with a camera and taken from the set ^¬ images adjusts the position and attitude of the user be ^¬ is suitable for many applications.

Grund hierfür ist, dass die Verfahren ohne zusätzliche In^¬ strumentierungen wie z.B. an den Objekten angebrachte Marker auskommen. Im Bereich der optischen Verfahren existieren unterschiedliche Ansätze, wie z.B. kanten-, punkt- oder regio^¬ nenbasierte Verfahren. Diese Verfahren sind in unterschiedli- chen Anwendungsfällen mehr oder minder geeignet. Beispielsweise sind in einem Motorraum eines Fahrzeugs für ein regio^¬ nenbasiertes Verfahren in der Regel zu wenig verwertbare Re^¬ gionen zu finden, so dass ein solches Verfahren für einen derartigen Anwendungsfall schlechte Ergebnisse liefert. In einem Schaltschrank befinden sich meist rechteckige Elemente, die viele Kanten aufweisen. Hier sind folglich kantenbasierte Verfahren besonders geeignet. Ein allgemein gültiges Verfahren für alle Anwendungen in den Bereichen Industrie, Medizin und Konsumer ist jedoch aufgrund der unterschiedlichen Umge- bungsbedingungen schwer realisierbar. Insbesondere müssen hier die Randbedingungen in Bezug auf Peformance und Stabili^¬ tät beachtet werden, da diese für die Qualität des Tracking entscheidend sind und somit wiederum stark die Qualität des gesamten Augmented Reality Systems beeinflussen. Die Qualität des Trackings kann also bei einem gewählten Verfahren mit den dazugehörigen Konfigurationen in einer Situation genügen, a- ber in einer anderen Anwendungsdomäne vollkommen versagen. The reason is that the process without additional ^¬ In strumentierungen such as commented on the objects mounted marker. In the field of optical methods exist different approaches, such as edges, points or regio ^¬ nenbasierte method. These methods are more or less suitable in different applications. For example, a vehicle for a regio ^¬ nenbasiertes procedures in an engine room is usually too little usable Re ^¬ regions to find, so that such a procedure for such application provides poor results. In a control cabinet there are usually rectangular elements that have many edges. Edge-based processes are therefore particularly suitable here. However, a general procedure for all applications in the areas of industry, medicine and consumer is difficult to implement due to the different environmental conditions. In particular, the constraints in terms of Peformance and Stabili ^¬ have here ty be noted as these for the quality of the tracking are crucial and in turn have a strong influence on the quality of the entire augmented reality system. The quality of the tracking can therefore be sufficient for a selected method with the associated configurations in one situation, but fail completely in another application domain.

Als Alternative zu optischen Verfahren, die in der Regel auch sehr viel Rechenleistung beanspruchen, sind inertiale Systeme bzw. Verfahren bekannt. Diese verfügen über sehr gute Echt- zeitfähigkeit. Mit ihnen können jedoch nur relative Bewegungen des Benutzers erfasst werden. Inertial systems or methods are known as an alternative to optical methods, which generally also require a great deal of computing power. These have very good real-time capability. However, only relative movements of the user can be recorded with them.

Weiterhin existieren magnetische Verfahren, die jedoch sehr anfällig gegenüber Umgebungen mit starken magnetischen FeI- dern sind, wie sie beispielsweise in industriellen Umgebungen aufgrund der vorhandenen Maschinen und der elektrischen Antriebe zu finden sind. Die Verfahren können hierdurch leicht gestört werden. Auch bekannte akustische Verfahren können aufgrund der Ge^¬ räuschkulisse in einer industriellen Produktionsumgebung nur sehr bedingt zum Einsatz kommen. Magnetic processes also exist, but are very susceptible to environments with strong magnetic fields, such as those found in industrial environments due to the existing machines and electrical drives. This can easily disrupt the process. Also known acoustic methods can räuschkulisse due to the Ge ^¬ in an industrial production environment only partly are used.

Insbesondere aufgrund der Algorithmik, die zur Durchführung eines Trackingverfahrens Anwendung findet, werden Konfigura^¬ tionsparameter benötigt, die ebenfalls Einfluss auf die Qua^¬ lität und Stabilität des Tracking haben. Für verschiedene An^¬ wendungen werden somit unterschiedliche Verfahren mit unterschiedlichen Konfigurationen benötigt, die in Abhängigkeit der Umgebungsverhältnisse des Anwenders von einem Experten ausgewählt und manuell optimiert werden müssen. Unter Umge^¬ bungsverhältnisse werden in diesem Zusammenhang sowohl die betrachteten Objekte als solche verstanden als auch beispielsweise die Lichtverhältnisse in der Umgebung dieser Ob- jekte, die ebenfalls entscheidenden Einfluss auf die Stabili^¬ tät des Tracking haben. Die genannten unterschiedlichen Trackingverfahren werden bisher fast ausschließlich für sich alleine betrachtet. In particular, due to the algorithms that will apply for the implementation of a tracking process, configura ^¬ tion parameters are required formality which also affect the Qua ^¬ and have stability of tracking. Different methods with different configurations are required for different applications to ^¬ so that must be selected depending on the environmental conditions of the user by an expert and manually optimized. Conversely under ^¬ advertising relationships, both the objects considered to be understood as such in this context as well, for example the lighting conditions in the vicinity of these objects, which are also decisive influence on the Stabili ^¬ ty of tracking have. The different tracking methods mentioned have so far been considered almost exclusively on their own.

Der Erfindung liegt die Aufgabe zugrunde, ein im Hinblick auf die Umgebungsverhältnisse eines Anwenders adaptives Tracking zu ermöglichen. The invention is based on the object of enabling adaptive tracking with regard to the environmental conditions of a user.

Diese Aufgabe wird durch ein Trackingsystem zur Posenbestimmung eines Anwenders oder einer beweglichen Vorrichtung gelöst, wobei das Trackingsystem umfasst: This object is achieved by a tracking system for determining the pose of a user or a movable device, the tracking system comprising:

- mindestens einen Sensor zur Erfassung von Umgebungsinformationen, die die Umgebungsverhältnisse des Anwenders oder der beweglichen Vorrichtung beschreiben,  at least one sensor for acquiring environmental information that describes the environmental conditions of the user or the movable device,

einen ersten Speicherbereich für zur Durchführung verschiedener Trackingverfahren vorgesehene Trackingalgo- rithmen,  a first memory area for tracking algorithms provided for carrying out different tracking methods,

einen zweiten Speicherbereich für zur Konfiguration der verschiedenen Trackingverfahren vorgesehene Konfigurati- onsdatensätze,  a second memory area for configuration data records provided for configuration of the different tracking methods,

Auswahlmittel zur Auswahl eines zur Posenbestimmung ge- eigneten Trackingverfahrens aus der Menge der verschiede^¬ nen Trackingverfahren, Selection means for selecting a nen to Poznan determining overall suitable tracking procedure from the set of Various ^¬ tracking methods,

Bestimmungsmittel zur Bestimmung eines zur Posenbestimmung geeigneten Konfigurationsdatensatzes auf Basis der UmgebungsInformationen,  Determination means for determining a configuration data record suitable for pose determination on the basis of the environmental information,

- Konfigurationsmittel zur Konfiguration des geeigneten  - Configuration means for configuring the appropriate one

Trackingverfahrens mit dem geeigneten Konfigurationsda^¬ tensatz und Tracking process cost rate with the appropriate Konfigurationsda ^¬ and

Ausführungsmittel zur Ausführung des zur Durchführung des konfigurierten Trackingverfahrens vorgesehenen Tracking- algorithmus .  Execution means for executing the tracking algorithm provided for carrying out the configured tracking method.

Ferner wird die Aufgabe durch ein Verfahren zur Posenbestimmung eines Anwenders oder einer beweglichen Vorrichtung gelöst mit folgenden Verfahrensschritten: Furthermore, the object is achieved by a method for determining the pose of a user or a movable device with the following method steps:

- Erfassen von Umgebungsinformationen mit mindestens einem Sensor, wobei die Umgebungsinformationen die Umgebungs- Verhältnisse des Anwenders oder der beweglichen Vorrichtung beschreiben, - Recording of environmental information with at least one sensor, the environmental information being the environmental Describe conditions of the user or the mobile device,

- Auswählen eines zur Posenbestimmung geeigneten Tracking- verfahrens aus einer Menge verschiedener Trackingverfah- ren, zu deren Durchführung vorgesehene Trackingalgorith- men in einem ersten Speicherbereich abgelegt sind, wobei das Auswählen auf Basis der Umgebungsinformationen geschieht,  Selecting a tracking method suitable for determining the pose from a set of different tracking methods, the tracking algorithms intended for carrying them out are stored in a first memory area, the selection taking place on the basis of the environmental information,

- Bestimmen eines zur Posenbestimmung geeigneten Konfigura- tionsdatensatzes auf Basis der Umgebungsinformationen, Determining a configuration data set suitable for pose determination on the basis of the environmental information,

- Konfigurieren des bekannten Trackingverfahrens mit dem geeigneten Konfigurationsdatensatz und - Configure the known tracking method with the appropriate configuration data set and

- Ausführen des zur Durchführung des konfigurierten Verfahrens vorgesehenen Trackingalgorithmus .  - Execution of the tracking algorithm provided for carrying out the configured method.

Der Erfindung liegt die Erkenntnis zugrunde, dass das Tra- cking insbesondere im Hinblick auf die Umgebungsverhältnisse im Vergleich zum Stand der Technik deutlich verbessert werden kann, wenn ein Trackingsystem zur Verfügung steht, welches Mittel zur Auswahl eines geeigneten Trackingverfahrens und dessen Konfiguration in Abhängigkeit der Umgebungsverhältnis^¬ se aufweist. Um dies zu realisieren, weist das erfindungsge^¬ mäße Trackingsystem mindestens einen Sensor auf, mit dem zunächst die Umgebungsverhältnisse des Anwenders bzw. der be- weglichen Vorrichtung erfasst werden können. Bei dem Sensor kann es sich um einen optischen, inertialen, magnetischen oder auch akustischen Sensor handeln. Selbstverständlich können auch verschiedene Sensorarten zur Erfassung der Umgebungsinformationen kombiniert werden, um so möglichst viel- schichtige Umgebungsinformationen zu erlangen. The invention is based on the finding that tracking, in particular with regard to the environmental conditions, can be significantly improved compared to the prior art if a tracking system is available, which means for selecting a suitable tracking method and its configuration depending on the environmental ratio ^¬ se has. To realize this, has the erfindungsge ^¬ Permitted tracking system at least one sensor, with which the working environment of the user or the moveable loading device can be initially recognized. The sensor can be an optical, inertial, magnetic or also acoustic sensor. Of course, different types of sensors can also be combined to record the environmental information in order to obtain the most complex information possible.

Das erfindungsgemäße Trackingsystem ist in der Lage, ver^¬ schiedene Trackingverfahren auszuführen. Hierzu weist das Trackingsystem den ersten Speicherbereich auf, in dem die zur Durchführung der verschiedenen Trackingverfahren geeigneten Trackingalgorithmen abgelegt sind. Wird also im Hinblick auf die aktuellen Umgebungsverhältnisse des Anwenders bzw. der beweglichen Vorrichtung ein bestimmtes Trackingverfahren ausgewählt, so kann das Trackingsystem den entsprechenden Tra- ckingalgorithmus aus dem ersten Speicherbereich laden und mit Hilfe der Ausführungsmittel ausführen. Es ist hierbei auch denkbar, dass mehrere Trackingverfahren und zugehörige Algo^¬ rithmen miteinander kombiniert werden, um die Pose zu bestimmen . The tracking system according to the invention is able to carry out ^various tracking methods. For this purpose, the tracking system has the first memory area in which the tracking algorithms suitable for carrying out the various tracking methods are stored. So with regard to the current environmental conditions of the user or If a certain tracking method is selected for the movable device, the tracking system can load the corresponding tracking algorithm from the first memory area and execute it using the execution means. Here, it is also conceivable are several tracking methods and associated algorithms Algo ^¬ combined with each other to determine the pose.

Ein bestimmtes Trackingverfahren kann mit verschiedenen Kon- figurationsdatensätzen konfiguriert werden, wobei der optimale Konfigurationsdatensatz eines gewählten Trackingverfahrens wiederum von den Umgebungsverhältnissen des Anwenders bzw. der beweglichen Vorrichtung abhängt. Bei den Konfigurationsdatensätzen handelt es sich beispielsweise um mathematische Parameter, mit deren Hilfe die im ersten Speicherbereich abgelegten Trackingalgorithmen parametriert werden können. Weiterhin können die Konfigurationsdatensätze aber auch Parame^¬ ter für im System eingesetzte Komponenten enthalten. Beispielsweise könnte ein Parameter die Belichtungszeit einer für ein optisches Tracking eingesetzten Kamera definieren. Ein solcher Parameter würde beispielsweise in Abhängigkeit der Lichtverhältnisse des Anwenders bzw. der beweglichen Vor^¬ richtung mit Hilfe der Bestimmungsmittel bestimmt. Sind nun mit Hilfe des Systems sowohl ein geeignetes Tra^¬ ckingverfahren als auch ein zu dessen Konfiguration geeigneter Konfigurationsdatensatz unter Berücksichtigung der Umgebungsinformationen bestimmt, so wird das geeignete Tracking- verfahren zunächst mit Hilfe Konfigurationsmittel mit dem ge- eigneten Konfigurationsdatensatz konfiguriert und anschließend ausgeführt. Hierzu wird ein entsprechender Trackingalgo- rithmus aus dem ersten Speicherbereich geladen und nach einer Parametrisierung mit den im Konfigurationsdatensatz enthaltenen Parametern mittels der Ausführungsmittel ausgeführt. A specific tracking method can be configured with different configuration data sets, the optimal configuration data set of a selected tracking method in turn depending on the environmental conditions of the user or the movable device. The configuration data records are, for example, mathematical parameters with the aid of which the tracking algorithms stored in the first memory area can be parameterized. But can continue the configuration data records also contain ^¬ parame ter for used in the system components. For example, a parameter could define the exposure time of a camera used for optical tracking. Such a parameter would be determined, for example, as a function of the lighting conditions of the user or the movable ^device using the determination means. Are now using the system of both a suitable Tra ^¬ ckingverfahren and a suitable to its configuration the configuration data record taking into account the environment information is determined, the appropriate tracking is moved first using configuration means with the common suitable configuration record configured and then executed. For this purpose, a corresponding tracking algorithm is loaded from the first memory area and, after parameterization, is carried out using the execution means using the parameters contained in the configuration data record.

Die erfindungsgemäßen Auswahl-, Bestimmungs-, Konfigurations^¬ und Ausführungsmittel können durch separate intelligente Bau- teile wie Digitale Signalprozessoren oder MikroController realisiert werden. Alternativ können alle oder auch beliebige Kombinationen der genannten Mittel gemeinsam auf einem derartigen intelligenten Bauteil realisiert werden. The selection according to the invention, destination, configuration ^¬ and executing means can separate intelligent building parts such as digital signal processors or microcontrollers. Alternatively, all or any combination of the means mentioned can be implemented jointly on such an intelligent component.

Ebenso können der erste und der zweite Speicherbereich auf einem gemeinsamen oder auf zwei getrennten Speicherbausteine realisiert sein. Das erfindungsgemäße Trackingsystem hat gegenüber heutigen Systemen den entscheidenden Vorteil, dass mit diesem Trackingsystem eine breitere Palette von Anwendungsdomänen bedient werden kann. Durch die beschriebenen Möglichkeiten des Systems kann insgesamt ein besseres Ergebnis für Augmented Reality Anwendungen in den Bereichen Industrie, Medizin und Konsumer erzielt werden. Likewise, the first and the second memory area can be implemented on a common or on two separate memory modules. The tracking system according to the invention has the decisive advantage over today's systems that a wider range of application domains can be served with this tracking system. Thanks to the described possibilities of the system, a better result can be achieved for augmented reality applications in the areas of industry, medicine and consumers.

Bei einer vorteilhaften Ausführungsform der Erfindung sind die Bestimmungsmittel zur Bestimmung des geeigneten Konfigu- rationsdatensatzes aus einem der im zweiten Speicherbereich gespeicherten Konfigurationsdatensätze vorgesehen. Im zweiten Speicherbereich stehen verschiedene Konfigurationsdatensätze zur Verfügung, die für verschiedene Umgebungsverhältnisse des Anwenders bzw. der beweglichen Vorrichtung geeignet sind. Nach dem mit Hilfe des Sensors die Umgebungsverhältnisse er- fasst wurden, kann also ein geeigneter Konfigurationsdatensatz einfach aus dem zweiten Speicherbereich ausgewählt werden und zur Konfiguration des geeigneten Trackingverfahrens mit den Konfigurationsmitteln verwendet werden. In an advantageous embodiment of the invention, the determination means are provided for determining the suitable configuration data record from one of the configuration data records stored in the second memory area. Various configuration data records are available in the second memory area, which are suitable for different environmental conditions of the user or the movable device. After the environmental conditions have been recorded with the aid of the sensor, a suitable configuration data record can therefore simply be selected from the second memory area and used to configure the suitable tracking method with the configuration means.

In weiterer vorteilhafter Ausgestaltung der Erfindung sind die Bestimmungsmittel zur Generierung neuer, noch nicht im zweiten Speicherbereich abgelegter Konfigurationsdatensätze vorgesehen. Kann also beispielsweise kein geeigneter Konfigu- rationsdatensatz im zweiten Speicherbereich für die aktuellen Umgebungsverhältnisse gefunden werden, so besteht durch diese weitere Ausgestaltungsform der Erfindung die Möglichkeit, während des Trackingbetriebes neue Konfigurationsdatensätze zu generieren, insbesondere indem bestehende Konfigurations^¬ datensätze auf die Umgebungsverhältnisse angepasst werden. Auf diese Art und Weise kann sichergestellt werden, dass im- mer eine optimierte Konfiguration für das gewählte Tracking- verfahren zur Verfügung gestellt werden kann, auch wenn diese noch nicht im zweiten Speicherbereich liegen sollte. Lernfähig wird eine derartige Ausführung des erfindungsgemäßen Tra- ckingsystems, indem die neuen Konfigurationsdatensätze zusam- men mit den entsprechenden Umgebungsverhältnissen im An- schluss an ihre Generierung im zweiten Speicherbereich abgelegt werden. In a further advantageous embodiment of the invention, the determination means are provided for generating new configuration data records that have not yet been stored in the second memory area. If, for example, no suitable configuration data record can be found in the second memory area for the current environmental conditions, this further embodiment of the invention offers the possibility of generate during the tracking operation, new configuration data records, particularly through existing configuration ^¬ records are adapted to the ambient conditions. In this way it can be ensured that an optimized configuration for the selected tracking method can always be made available, even if this should not yet be in the second memory area. Such an embodiment of the tracking system according to the invention becomes learnable in that the new configuration data records are stored in the second memory area together with the corresponding environmental conditions after their generation.

Während des Betriebes des Trackingsystems können sich die Um- gebungsverhältnisse des Anwenders bzw. der beweglichen Vor^¬ richtung ändern. Daher weist das Trackingsystem in besonders vorteilhafter Ausgestaltungsform der Erfindung Analysemittel zur Bestimmung der Güte eines laufenden Trackingverfahrens während der Posenbestimmung auf. Auf diese Art und Weise kön- nen Trackingverfahren und/oder gewählte Konfigurationsdatensätze frühzeitig ausgetauscht werden, wenn diese im Hinblick auf die Umgebungsverhältnisse nicht mehr optimal arbeiten. During operation of the tracking system, the environmental change can gebungsverhältnisse direction of the user or the mobile ^¬ ago. Therefore, in a particularly advantageous embodiment of the invention, the tracking system has analysis means for determining the quality of an ongoing tracking process during the pose determination. In this way, tracking methods and / or selected configuration data records can be exchanged at an early stage if they no longer work optimally with regard to the environmental conditions.

In weiterer vorteilhafter Ausgestaltung der Erfindung sind Analysemittel zur Bestimmung der Güte auf Basis einer Bewer^¬ tung des Laufzeitverhaltens und/oder der Störempfindlichkeit und/oder der Anzahl notwendiger Reinitialisierungen des laufenden Trackingverfahrens vorgesehen. Anhand der genannten Größen kann die Qualität und die Stabilität des aktuell lau- fenden Trackingverfahrens sehr gut kontrolliert werden. In a further advantageous embodiment of the invention, analysis means are provided for determining the quality on the basis of an ^{evaluation of} the runtime behavior and / or the sensitivity to interference and / or the number of necessary reinitializations of the ongoing tracking method. The quality and stability of the current tracking process can be controlled very well on the basis of the sizes mentioned.

In weiterer vorteilhafter Ausgestaltung ist das Trackingsystem derart gestaltet, dass die Auswahl des geeigneten Tra^¬ ckingverfahrens und die Bestimmung des geeigneten Konfigura- tionsdatensatzes, die Konfiguration des geeigneten Tracking- verfahrens mit dem geeigneten Konfigurationsdatensatz und die Ausführung des zur Durchführung des konfigurierten Tracking- Verfahrens vorgesehenen Trackingalgorithmus automatisch bei mangelnder Güte des laufenden Trackingverfahrens initiiert werden. Bei einer derartigen Ausführungsform der Erfindung werden also ein neues Trackingverfahren und/oder ein neuer Konfigurationsdatensatz gewählt, sobald mit Hilfe der Analy^¬ semittel eine unzureichende Güte des laufenden Trackingver- fahren festgestellt wird. Auf diese Art und Weise kann schon im Vorfeld ein Trackingverlust vermieden werden, so dass ein Anwender, der das Trackingsystem unter sich ändernden Umge- bungseinflüssen verwendet, stets optimale Trackingergebnisse erhält. Im Idealfall wird der Wechsel des Trackingverfahrens bzw. des Konfigurationsdatensatzes derart vollzogen, dass der Anwender hiervon überhaupt nichts spürt. In weiterer vorteilhafter Ausgestaltung der Erfindung weist das System Archivierungsmittel zum Generieren und Archivieren eines Bewertungsdatensatzes auf, der die Güte des laufenden Trackingverfahrens in Abhängigkeit des während der Laufzeit des laufenden Trackingverfahrens zugeordneten Konfigurations- datensatzes und der während der Laufzeit existierenden Umge^¬ bungsverhältnisse beschreibt. Bei einer solchen Ausführungs^¬ form der Erfindung wird also eine Art Wissensbasis angelegt, die bei der Auswahl des Trackingverfahrens bzw. eines geeig^¬ neten Konfigurationsdatensatzes unter Berücksichtigung der existierenden Umgebungsverhältnisse herangezogen werden kann. Auf diese Art und Weise ist das Trackingsystem lernfähig. Werden z.B. neue Konfigurationsdaten generiert, so können für diesen neu generierten Konfigurationsdatensatz und das hiermit konfigurierte Trackingverfahren Einträge im Bewertungsda- tensatz stattfinden, aus denen die Güte bei bestimmten Umgebungsverhältnissen in späteren Anwendungen ableitbar ist. In a further advantageous embodiment, the tracking system is designed such that the selection of the appropriate Tra ^¬ ckingverfahrens and the determination of the appropriate configuration data set, the configuration of the appropriate tracking method with the appropriate configuration data set and the execution of the execution of the configured tracking Procedure provided tracking algorithm are automatically initiated if the quality of the ongoing tracking process is poor. In such an embodiment of the invention, therefore, a new tracking method and / or a new configuration record are elected once using the analy ^¬ semittel insufficient quality of the current tracking method is determined. In this way, a loss of tracking can be avoided in advance, so that a user who uses the tracking system under changing environmental influences always receives optimal tracking results. Ideally, the change in the tracking process or the configuration data record is carried out in such a way that the user does not feel anything at all. In a further advantageous embodiment of the invention, the system archiving means for generating and archiving on a review record that describes the quality of the current tracking process in response to the assigned during the running time of the tracking method, the configuration data set and the existing during the period Conversely ^¬ advertising relationships. In such an execution ^¬ form of the invention is thus created a sort of knowledge base that can be used in the selection of the tracking method and a geeig ^¬ Neten configuration data set in consideration of the existing ambient conditions. In this way, the tracking system is learnable. If, for example, new configuration data is generated, entries can be made in the evaluation data record for this newly generated configuration data record and the tracking method configured with it, from which the quality can be derived in later applications in certain environmental conditions.

Bei einer Existenz eines derartigen Bewertungsdatensatzes ist eine weitere Ausgestaltung der Erfindung vorteilhaft, bei der die Auswahlmittel zur Auswahl des geeigneten Trackingverfahrens auf Basis des Bewertungsdatensatzes vorgesehen sind und/oder die Bestimmungsmittel zur Bestimmung des geeigneten Konfigurationsdatensatzes auf Basis des Bewertungsdatensatzes vorgesehen sind. Auf diese Art und Weise kann der im laufenden Betrieb generierte Bewertungsdatensatz herangezogen werden, um noch schneller das optimale Trackingverfahren und den optimalen Konfigurationsdatensatz unter bestimmten Umgebungsverhältnissen zu bestimmen. Das System profitiert hierbei von seiner Lernfähigkeit und kann ein noch leistungsfähigeres Tracking leisten. Für den verwendeten Sensor kommen verschiedenste Ausführungsformen in Frage, die ihrerseits auch die verschiedenen zur Verfügung stehenden Trackingverfahren bestimmen. If such an evaluation data record exists, a further embodiment of the invention is advantageous in which the selection means are provided for selecting the suitable tracking method on the basis of the evaluation data record and / or the determination means for determining the suitable one Configuration data set are provided on the basis of the evaluation data set. In this way, the evaluation data set generated during operation can be used to determine the optimal tracking method and the optimal configuration data set under certain environmental conditions even faster. The system benefits from its learning ability and can perform even more powerful tracking. Various embodiments are possible for the sensor used, which in turn also determine the various tracking methods available.

Bei einer vorteilhaften Ausführungsform der Erfindung ist der Sensor als Kamera ausgeführt. Mit der Kamera können die Umge^¬ bungsverhältnisse des Anwender bzw. der mobilen Vorrichtung erfasst werden, um die entsprechenden Umgebungsinformationen zu generieren. Darüber hinaus kann die Kamera auch direkt für optische Trackingverfahren verwendet werden, bei denen die Pose anhand von Bildinformationen berechnet wird. In an advantageous embodiment of the invention, the sensor is designed as a camera. With the camera, the surrounding environment can ^¬ relationships of the user and the mobile device are detected, to generate the corresponding environment information. In addition, the camera can also be used directly for optical tracking methods, in which the pose is calculated on the basis of image information.

Alternativ kann der Sensor auch als magnetischer, interialer oder akustischer Sensor in einer weiteren Ausgestaltungsform der Erfindung ausgeführt sein. Ferner ist auch eine Verwen- düng einer Kamera in Kombination mit einem akustischen und/oder magnetischen Sensor zum Erfassen der Umgebungsinformationen denkbar und von der Erfindung umfasst. Alternatively, the sensor can also be designed as a magnetic, internal or acoustic sensor in a further embodiment of the invention. Furthermore, the use of a camera in combination with an acoustic and / or magnetic sensor for detecting the environmental information is also conceivable and encompassed by the invention.

Selbstverständlich ist das Trackingsystem auch mit mehreren Sensoren ausführbar. Wird das Trackingsystem beispielsweise sowohl mit einem Inertialsensor als auch mit einer Kamera ausgeführt, so können sowohl optische als auch inertiale Tra^¬ ckingverfahren zur Posenbestimmung eingesetzt werden und so noch besser auf die verschiedenen Umgebungsverhältnisse des Anwenders bzw. der beweglichen Vorrichtung reagiert werden. In weiterer vorteilhafter Ausgestaltung der Erfindung ist der Sensor zur Erfassung von zur Posenbestimmung benötigten Tra- ckinginformationen bei der Ausführung des geeigneten Tra- ckingverfahrens vorgesehen. In diesem Fall wird der Sensor, z. B. eine Kamera, zunächst zur Erfassung der Umgebungsinformationen verwendet, um die Auswahl des geeigneten Tracking- verfahrens und die Bestimmung des Konfigurationsdatensatzes zu ermöglichen. Bei der Ausführung wird derselbe Sensor schließlich für die kontinuierliche Verfolgung der Pose ver- wendet, d.h. insbesondere zur kontinuierlichen Erfassung der Position und des Blickwinkels des Anwenders. Of course, the tracking system can also be implemented with several sensors. Are, the tracking system also carried out, for example, both an inertial sensor as a camera, so both optical and inertial Tra ^¬ can ckingverfahren used for poses provision and thus be better responds to the various environmental conditions of the user or the mobile device. In a further advantageous embodiment of the invention, the sensor is provided for recording tracking information required for determining the pose when the suitable tracking method is carried out. In this case the sensor, e.g. B. a camera, initially used to record the environmental information in order to enable the selection of the suitable tracking method and the determination of the configuration data set. In the execution, the same sensor is finally used for the continuous tracking of the pose, ie in particular for the continuous detection of the position and the viewing angle of the user.

Um virtuelle Informationen unter verschiedenen Umgebungseinflüssen möglichst positionsgenau und zuverlässig in das Blickfeld eines Anwenders einblenden zu können, ist ein Aug- mented Reality System mit einem Trackingsystem zur Posenbestimmung eines Anwenders oder einer beweglichen Vorrichtung nach einer der zuvor genannten Ausführungsformen der Erfindung vorteilhaft. An augmented reality system with a tracking system for determining the pose of a user or a movable device according to one of the aforementioned embodiments of the invention is advantageous in order to be able to display virtual information in the user's field of view as reliably and reliably as possible under various environmental influences.

Im Folgenden wird die Erfindung anhand des in der Figur dargestellten Ausführungsbeispiels näher beschrieben und erläu^¬ tert. Die Figur zeigt ein Verfahren zur Posenbestimmung eines Anwenders oder einer beweglichen Vorrichtung mit Hilfe eines Trackingsystems gemäß einer Ausführung der Erfindung. In the following the invention will be described in more detail with reference to the shown in the figure embodiment, and tert erläu ^¬. The figure shows a method for determining the pose of a user or a movable device with the aid of a tracking system according to an embodiment of the invention.

Das dargestellte Trackingsystem ist Bestandteil eines Augmen- ted Reality Systems, bei dem virtuelle Informationen positi^¬ onsgenau in das Blickfeld eines Anwenders 11 mit Hilfe einer Datenbrille 12 eingeblendet werden. The tracking system illustrated is part of a Augmen- ted Reality system in which virtual information positi ^¬ onsgenau in the field of view of a user 11 by means of a data goggles are displayed 12th

Das System besteht zum einen aus einer Datenverarbeitungsein- richtung 22. Die Datenverarbeitungseinheit 22 dient in erster Linie der Bestimmung eines geeigneten Trackingverfahrens und eines zu dessen Konfiguration geeigneten Konfigurationsdaten- satzes 19 unter Berücksichtigung der Umgebungsverhältnisse des Anwenders 11. Unter den Umgebungsverhältnissen soll in diesem Zusammenhang zum einen die Art und Weise der Objekte verstanden werden, die sich im Blickfeld des Anwenders 11 be- finden und zu deren Erweiterung virtuelle Informationen in das Blickfeld des Anwenders 11 eingeblendet werden sollen. Beispielsweise wird in der Regel bei der Betrachtung eines Motorraumes für ein Kraftfahrzeug ein anderes Trackingverfah- ren zweckmäßig sein als bei der Verwendung des Systems im me- dizinischen Umfeld. The system consists on the one hand of a data processing device 22. The data processing unit 22 serves primarily to determine a suitable tracking method and a configuration data configuration suitable for its configuration. sentence 19 taking into account the environmental conditions of the user 11. In this context, the environmental conditions are to be understood on the one hand as the manner of the objects that are in the field of vision of the user 11 and for expanding them virtual information into the field of vision of the user 11 should be shown. For example, a different tracking method will generally be expedient when considering an engine compartment for a motor vehicle than when the system is used in the medical environment.

Zum anderen sollen unter Umgebungsverhältnissen auch die Bedingung verstanden werden, unter denen der Anwender eben diese Objekte betrachtet. Hiermit sind beispielsweise die Licht- Verhältnisse in der Umgebung des Anwenders 11 gemeint. On the other hand, environmental conditions are also to be understood as the conditions under which the user views these objects. This means, for example, the lighting conditions in the area surrounding the user 11.

Die Umgebungsverhältnisse werden mit einer am Kopf des Anwen^¬ ders 11 angebrachten Kamera 9 erfasst. Es werden Umgebungsinformationen 13 generiert, die an die Datenverarbeitungsein- richtung 22 gesendet werden. Die Datenverarbeitungseinheit 22 umfasst einen Speicher mit einem ersten Speicherbereich 7 und einem zweiten Speicherbereich 8. Innerhalb des ersten Speicherbereichs 7 sind verschiedene Trackingalgorithmen 15 abge^¬ legt, die zur Durchführung verschiedener Trackingverfahren, die mit Hilfe des dargestellten Systems zur Posenbestimmung ausgeführt werden können, benötigt werden. Innerhalb des zweiten Speicherbereiches 8 befinden sich Konfigurationsda^¬ tensätze 16. Mit Hilfe der Konfigurationsdatensätze 16 können die verschiedenen mit Hilfe des Systems ausführbaren Tra- ckingverfahren entsprechend der Umgebungsbedingungen konfiguriert werden. The ambient conditions are detected with a head of employing ^¬ DERS 11 mounted camera. 9 Environment information 13 is generated, which is sent to the data processing device 22. The data processing unit 22 comprises a memory having a first memory area 7 and a second memory area 8. Within the first memory area 7 are various tracking algorithms sets 15 abge ^¬ that different for performing tracking method which can be carried out using the system shown to the pose determination takes . Within the second memory area 8 are Konfigurationsda ^¬ data sets 16. By means of the configuration data sets 16, the various executable using the system ordered ckingverfahren the ambient conditions are appropriately configured.

Ziel des dargestellten Trackingsystems ist die Auswahl eines optimalen Trackingverfahrens und einer hierfür optimalen Kon- figuration unter Berücksichtigung der Umgebungsverhältnisse des Anwenders 11. Daher werden die mittels der Kamera 9 er- fassten Umgebungsinformationen 13 von Auswahlmitteln 1 der Datenverarbeitungseinheit 22 zur Auswahl eines unter den ge^¬ gebenen Umgebungsverhältnissen am besten geeigneten Trackin- galgorithmus 18 aus dem ersten Speicherbereich 7 herangezo^¬ gen. Die Datenverarbeitungseinheit 22 weist darüber hinaus Bestimmungsmittel 2 auf, mit deren Hilfe z.B. aus dem zweiten Speicherbereich 8 ein geeigneter Konfigurationsdatensatz 19 ausgewählt werden kann. Sollte unter den im zweiten Speicherbereich 8 abgelegten Konfigurationsdatensätzen 16 kein geeigneter Konfigurationsdatensatz für die aktuell herrschenden Umgebungsverhältnisse vorhanden sein, so können mit Hilfe der Bestimmungsmittel 2 auch neue Konfigurationsdaten in Form eines neuen Konfigurationsdatensatzes 17 generiert werden. The aim of the tracking system shown is to select an optimal tracking method and an optimal configuration for this, taking into account the environmental conditions of the user 11. Therefore, the environmental information 13 captured by the camera 9 is used by selection means 1 of the Data processing unit 22 for selecting a given under the ge ^¬ environmental conditions most suitable Trackin- galgorithmus 18 from the first memory area 7 herangezo ^¬ gene. The data processing unit 22 also includes addition determining means 2, by means of which, for example, from the second storage area 8, a suitable configuration record 19 can be selected. If there is no suitable configuration data record for the currently prevailing environmental conditions among the configuration data records 16 stored in the second memory area 8, the configuration means 2 can also be used to generate new configuration data in the form of a new configuration data record 17.

Nach der Auswahl des am besten geeigneten Trackingverfahrens bzw. des zu dessen Ausführung vorgesehenen Algorithmus 18 und der Bestimmung des am besten geeigneten Konfigurationsdatensatzes 19 wird mit Hilfe von Konfigurationsmitteln 3 der Datenverarbeitungseinheit 22 das gewählte Trackingverfahren mit den gewählten Konfigurationsdatensatz 19 konfiguriert. After the selection of the most suitable tracking method or the algorithm 18 provided for its execution and the determination of the most suitable configuration data record 19, the selected tracking method with the selected configuration data record 19 is configured using configuration means 3 of the data processing unit 22.

Der ausgewählte geeignete Konfigurationsdatensatz 19 enthält zum einen Daten, mit denen zur Posenbestimmung benötigte Betriebsmittel des Systems konfiguriert werden. Bei dem darge^¬ stellten Beispiel sei angenommen, dass für das gewählte Tra- ckingverfahren eine Kamera 9 und ein inertialer Sensor 10 eingesetzt werden sollen. Der geeignete Konfigurationsdatensatz 19 enthält beispielsweise Parameter dieser Komponenten wie eine Belichtungszeit für die Kamera 9. Weiterhin enthält der Konfigurationsdatensatz 19 eine Anzahl mathematischer Pa- rameter, mit deren Hilfe ein Trackingalgorithmus 18 paramet- riert wird, der zur Durchführung des gewählten Trackingver- fahrens benötigt wird. The selected suitable configuration data record 19 on the one hand contains data with which the operating system resources required for the pose determination are configured. Presented at the Darge ^¬ example, assume that for the selected ordered ckingverfahren a camera 9 and an inertial sensor 10 to be used. The suitable configuration data record 19 contains, for example, parameters of these components, such as an exposure time for the camera 9. Furthermore, the configuration data record 19 contains a number of mathematical parameters with the aid of which a tracking algorithm 18 is parameterized, which is required to carry out the selected tracking method .

Das dargestellte System umfasst darüber hinaus Ausführungs- mittel 6, mit denen ein mit den gewählten Konfigurationsdaten parametrisierter Trackingalgorithmus 20 ausgeführt werden kann. Beispielsweise sind die Ausführungsmittel 6 auf einem digitalen Signalprozessor implementiert, der wiederum in einer mobilen von Anwender 11 getragenen Vorrichtung implementiert ist. Zur Bestimmung einer Pose des Anwenders 11 werden die von der Kamera 9 und dem inertialen Sensor 10 erfassten Daten dem digitalen Signalprozessor zugeführt. Durch Ausführung des konfigurierten Trackingalgorithmus 20 erzeugt der digitale Signalprozessor schließlich die aktuelle Pose 14 des Anwenders 11. Mit Hilfe der Pose 14 können die virtuellen In^¬ formationen positionsgenau über die Datenbrille 12 in das Sichtfeld des Anwenders 11 eingeblendet werden. The system shown also includes execution means 6 with which a tracking algorithm 20 parameterized with the selected configuration data can be executed. For example, the execution means 6 are on one digital signal processor implemented, which in turn is implemented in a mobile device carried by user 11. To determine a pose of the user 11, the data recorded by the camera 9 and the inertial sensor 10 are fed to the digital signal processor. By executing the configured tracking algorithm 20 of the digital signal processor finally generates the current pose 14 of the user 11. With the aid of the float 14 can use the virtual In ^¬ formations exact position on the data goggles 12 in the field of view of the user are displayed. 11

Um auch bei veränderlichen Umgebungsbedingungen stets das optimale Trackingverfahren und den am besten geeigneten Konfigurationsdatensatz 19 für die Posenbestimmung zu verwenden, umfasst die Datenverarbeitungseinheit 22 Analysemittel 4, mit deren Hilfe kontinuierlich die Güte des laufenden Tracking- verfahrens analysiert wird. Wird mit Hilfe der Analysemittel 4 festgestellt, dass die Güte des Trackings einen zuvor defi^¬ nierten mindesterforderlichen Wert unterschreitet, so kann eine Neuinitiierung der Auswahl des geeigneten Trackingver- fahrens und/oder des geeigneten Konfigurationsdatensatzes 19 durchgeführt werden. Als Bewertungsmaßstäbe für die Güte wer^¬ den hierbei die Anzahl der Reinitialisierungen des Systems, das Laufzeitverhalten und die Störempfindlichkeit des Tra- ckingsystems herangezogen. In order to always use the optimal tracking method and the most suitable configuration data record 19 for the pose determination, even in the case of changing ambient conditions, the data processing unit 22 comprises analysis means 4, with the aid of which the quality of the ongoing tracking method is continuously analyzed. Is determined using the analyzing means 4, that the quality of the tracking below a previously defi ned ^¬ minimum required value, a Neuinitiierung the selection of the appropriate Trackingver- can proceedings and / or the appropriate configuration data record are performed 19th As evaluation standards for the quality of the ^¬ used here is the number of Reinitialisierungen of the system, the runtime behavior and noise sensitivity of the ordered ckingsystems.

Darüber hinaus wird mit Hilfe der Datenverarbeitungseinheit 22 eine Art Wissensbasis aufgebaut, durch die die Auswahl des geeigneten Trackingverfahrens und des geeigneten Konfigurati- onsdatensatzes 19 im laufenden Betrieb des Trackingsystems kontinuierlich verbessert werden kann. Hierzu weist die Da^¬ tenverarbeitungseinheit 22 Archivierungsmittels 5 auf. Mit Hilfe der Archivierungsmittel 5 wird ein Bewertungsdatensatz 21 generiert. In dem Bewertungsdatensatz 21 stehen Informati- onen darüber, welche Trackingverfahren mit welchen Konfigurationsdatensätzen in der Vergangenheit bei bestimmten Umgebungsbedingungen zu welcher Güte des Trackings geführt haben. Auf Grund dieser mit Hilfe der Archivierungsmittel 5 erzeug^¬ ten Daten kann nach einer Erfassung der Umgebungsbedingungen sehr schnell ein geeignetes Trackingverfahren und ein geeigneter Konfigurationsdatensatz 19 ermittelt werden. In addition, a kind of knowledge base is built up with the help of the data processing unit 22, by means of which the selection of the suitable tracking method and the suitable configuration data record 19 can be continuously improved while the tracking system is in operation. For this purpose, the As ^¬ tenverarbeitungseinheit 22 filing means. 5 With the aid of the archiving means 5, an evaluation data record 21 is generated. The evaluation data record 21 contains information about which tracking methods with which configuration data records have led to which quality of tracking in the past under certain environmental conditions. Due to this th using the archiving means 5 erzeug ^¬ data an appropriate tracking method and a suitable configuration record 19 can be found very quickly after detection of the ambient conditions.

In dem dargestellten Ausführungsbeispiel sei angenommen, dass die Auswahlmittel 1, die Bestimmungsmittel 2, die Konfigura^¬ tionsmittel 3, die Analysemittel 4 und die Archivierungsmit^¬ tel 5 alle von einer auf der Datenverarbeitungseinheit 22 implementierten gemeinsamen Verarbeitungseinheit bereitge^¬ stellt werden. Beispielsweise handelt es sich hierbei um ei^¬ nen Prozessor der Datenverarbeitungseinheit 22, der ein Computerprogramm zur Durchführung der entsprechenden Funktionen durchführen kann. Alternativ können die verschiedenen genann- ten Mittel natürlich auch auf separaten Verarbeitungseinhei^¬ ten implementiert sein. In the illustrated embodiment, it is assumed to be that the selection means 1, the determination means 2, the configura ^¬ tion medium 3, the analyzing means 4 and the Archivierungsmit ^¬ tel provides 5 all bereitge of an implemented on the data processing unit 22 common processing unit ^¬. For example, this is a processor of the data processing unit 22, which can ^execute a computer program for performing the corresponding functions. Alternatively, the different-called agents can of course also on separate Verarbeitungseinhei ^¬ th be implemented.

Das System eignet sich nicht nur zur Posenbestimmung eines Anwenders. Es kann darüber hinaus auch mit einer wie auch im- mer gearteten beweglichen Vorrichtung, z. B. eines beweglichen Roboters, verwendet werden. Beispielsweise kann ein sol^¬ cher Roboter seine reale Umgebung mit einer Kamera aufnehmen. Die Bildinformationen werden online an eine Remotestation übertragen, an der sie von einem Benutzer zusammen mit den positionsgenau eingeblendeten virtuellen Informationen sichtbar gemacht werden. Ein derartiges System kann beispielsweise dann sinnvoll sein, wenn eine für den Menschen gefährliche Umgebung mit Hilfe des Roboters untersucht werden soll, wobei die Augmentierung weiterer Informationen für den Benutzer ge- wünscht wird. The system is not only suitable for determining a user's pose. In addition, it can also be used with a movable device of any kind, eg. B. a moving robot can be used. For example, a sol ^¬ cher robot can begin its real environment with a camera. The image information is transmitted online to a remote station, at which it is made visible by a user together with the virtual information that is displayed in a precise position. Such a system can be useful, for example, if an environment that is dangerous for humans is to be examined with the aid of the robot, the augmentation of further information being desired for the user.

Zusammenfassend betrifft die Erfindung ein Trackingsystem und ein Verfahren zur Posenbestimmung eines Anwenders oder einer beweglichen Vorrichtung sowie ein Augmented Reality System aufweisend ein derartiges Trackingsystem. Um ein im Hinblick auf die Umgebungsverhältnisse eines Anwenders adaptives Tra- cking zu ermöglichen, werden die Umgebungsverhältnisse des Anwenders mit einem hierfür geeigneten Sensor erfasst und in Abhängigkeit dieser automatisch ein geeignetes Trackingver- fahren und ein Konfigurationsdatensatz zu dessen Konfiguration bestimmt. In summary, the invention relates to a tracking system and a method for determining the pose of a user or a movable device and an augmented reality system comprising such a tracking system. In order to enable adaptive tracking with regard to the environmental conditions of a user, the environmental conditions of the User with a suitable sensor and depending on this automatically determines a suitable tracking method and a configuration data record for its configuration.

Claims

Patentansprüche Claims

1. Trackingsystem zur Posenbestimmung eines Anwenders (11) oder einer beweglichen Vorrichtung, wobei das Trackingsystem umfasst: 1. tracking system for determining the pose of a user (11) or a movable device, the tracking system comprising:

mindestens einen Sensor (9,10) zur Erfassung von Umgebungsinformationen (13), die die Umgebungsverhältnisse des Anwenders (11) oder der beweglichen Vorrichtung beschreiben,  at least one sensor (9, 10) for detecting environmental information (13) that describes the environmental conditions of the user (11) or the movable device,

- einen ersten Speicherbereich (7) für zur Durchführung  - A first memory area (7) for implementation

verschiedener Trackingverfahren vorgesehene Trackingalgo- rithmen (15) ,  different tracking algorithms (15)

einen zweiten Speicherbereich (8) für zur Konfiguration der verschiedenen Trackingverfahren vorgesehene Konfigu- rationsdatensätze (16),  a second memory area (8) for configuration data records (16) provided for configuring the different tracking methods,

Auswahlmittel (1) zur Auswahl eines zur Posenbestimmung geeigneten Trackingverfahrens aus der Menge der verschie^¬ denen Trackingverfahren, Selection means (1) for selecting a composition suitable for determining poses tracking process from the set of various ^¬ which tracking method,

Bestimmungsmittel (2) zur Bestimmung eines zur Posenbe- Stimmung geeigneten Konfigurationsdatensatzes (19) auf Basis der Umgebungsinformationen (13),  Determination means (2) for determining a configuration data record (19) suitable for determining the pose on the basis of the environmental information (13),

Konfigurationsmittel (3) zur Konfiguration des geeigneten Trackingverfahrens mit dem geeigneten Konfigurationsda^¬ tensatz (19) und Configuration means (3) to configure the appropriate tracking method with the appropriate Konfigurationsda ^¬ cost rate (19) and

- Ausführungsmittel (6) zur Ausführung des zur Durchführung des konfigurierten Trackingverfahrens vorgesehenen Tra- ckingalgorithmus (18) .  - Execution means (6) for executing the tracking algorithm (18) provided for carrying out the configured tracking method.

2. Trackingsystem nach Anspruch 1, 2. tracking system according to claim 1,

wobei die Bestimmungsmittel (2) zur Bestimmung des geeigneten Konfigurationsdatensatzes (19) aus einem der im zweiten Spei^¬ cherbereich (8) gespeicherten Konfigurationsdatensätze (16) vorgesehen sind. wherein said determining means (2) are provided to determine the appropriate configuration record (19) from one of the second SpeI ^¬ cherbereich (8) of configuration data stored (16).

3. Trackingsystem nach Anspruch 1 oder 2, wobei die Bestimmungsmittel (2) zur Generierung neuer, noch nicht im zweiten Speicherbereich (8) abgelegter Konfigurationsdatensätze (17) vorgesehen sind. 3. tracking system according to claim 1 or 2, The determination means (2) are provided for generating new configuration data records (17) which have not yet been stored in the second memory area (8).

4. Trackingsystem nach Anspruch 1, 2 oder 3, 4. tracking system according to claim 1, 2 or 3,

wobei das Trackingsystem Analysemittel (4) zur Bestimmung der Güte eines laufenden Trackingverfahren während der Posenbestimmung aufweist. the tracking system having analysis means (4) for determining the quality of an ongoing tracking process during the pose determination.

5. Trackingsystem nach Anspruch 4, 5. tracking system according to claim 4,

wobei die Analysemittel (4) zur Bestimmung der Güte auf Basis einer Bewertung des Laufzeitverhaltens und/oder der Störempfindlichkeit und/oder der Anzahl notwendiger Reinitialisie- rungen des laufenden Trackingverfahrens vorgesehen sind. wherein the analysis means (4) are provided for determining the quality on the basis of an evaluation of the runtime behavior and / or the sensitivity to interference and / or the number of necessary reinitializations of the ongoing tracking method.

6. Trackingsystem nach Anspruch 4 oder 5, 6. tracking system according to claim 4 or 5,

wobei das Trackingsystem derart gestaltet ist, dass die Aus^¬ wahl des geeigneten Trackingverfahrens und die Bestimmung des geeigneten Konfigurationsdatensatzes (19), die Konfiguration des geeigneten Trackingverfahrens mit dem geeigneten Konfigu^¬ rationsdatensatz (19) und die Ausführung des zur Durchführung des konfigurierten Trackingverfahrens vorgesehenen Tracking- algorithmus (18) automatisch bei mangelnder Güte des laufenden Trackingverfahrens initiiert werden. wherein the tracking system is designed such that the off ^¬ selection of the appropriate tracking method and the determination of the appropriate configuration data set (19), the configuration of the appropriate tracking method with the appropriate Configu ^¬ rationsdatensatz (19) and the execution of the intended for carrying out the configured tracking method Tracking - algorithm (18) are automatically initiated if the quality of the ongoing tracking process is poor.

7. Trackingsystem nach einem der Ansprüche 4 bis 6, 7. Tracking system according to one of claims 4 to 6,

wobei das System Archivierungsmittel (5) zum Generieren und Archivieren eines Bewertungsdatensatzes (21) aufweist, der die Güte des laufenden Trackingverfahrens in Abhängigkeit des während der Laufzeit des laufenden Trackingverfahrens zuge^¬ ordneten Konfigurationsdatensatzes und der während der Lauf^¬ zeit existierenden Umgebungsverhältnisse beschreibt. said system comprising archiving means (5) for generating and archiving an evaluation data set (21) of the current tracking method depending describes the quality of the during the running time of the tracking method applied ^¬ associated configuration data set and the time existing during run ^¬ ambient conditions.

8. Trackingsystem nach Anspruch 7, 8. tracking system according to claim 7,

wobei die Auswahlmittel (1) zur Auswahl des geeigneten Tra^¬ ckingverfahrens auf Basis des Bewertungsdatensatzes (21) vor^¬ gesehen sind und/oder die Bestimmungsmittel (2) zur Bestim- mung des geeigneten Konfigurationsdatensatzes (19) auf Basis des Bewertungsdatensatzes (21) vorgesehen sind. wherein said selection means (1) to select the appropriate Tra ^¬ ckingverfahrens are seen on the basis of the evaluation data set (21) before ^¬ and / or the determination means (2) for destina- The appropriate configuration data record (19) is provided on the basis of the evaluation data record (21).

9. Trackingsystem nach einem der vorhergehenden Ansprüche, wobei der Sensor (9,10) als Kamera ausgeführt ist. 9. Tracking system according to one of the preceding claims, wherein the sensor (9, 10) is designed as a camera.

10. Trackingsystem nach einem der Ansprüche 1 bis 8, 10. Tracking system according to one of claims 1 to 8,

wobei der Sensor (9,10) als magnetischer, inertialer oder a- kustischer Sensor ausgeführt ist. the sensor (9, 10) being designed as a magnetic, inertial or acoustic sensor.

11. Trackingsystem nach einem der vorhergehenden Ansprüche, wobei der Sensor (9,10) zur Erfassung von zur Posenbestimmung benötigten Trackinginformationen bei der Ausführung des geeigneten Trackingverfahrens vorgesehen ist. 11. Tracking system according to one of the preceding claims, wherein the sensor (9, 10) is provided for detecting tracking information required for pose determination when the suitable tracking method is carried out.

12. Augmented Reality System mit einem Trackingsystem zur Posenbestimmung eines Anwenders (11) oder einer beweglichen Vorrichtung nach einem der vorhergehenden Ansprüche. 12. Augmented Reality System with a tracking system for determining the pose of a user (11) or a movable device according to one of the preceding claims.

13. Verfahren zur Posenbestimmung eines Anwenders (11) oder einer beweglichen Vorrichtung mit folgenden Verfahrensschritten : 13. A method for determining the pose of a user (11) or a movable device with the following method steps:

Erfassen von Umgebungsinformationen (13) mit mindestens einem Sensor (9,10), wobei die Umgebungsinformationen (13) die Umgebungsverhältnisse des Anwenders (11) oder der beweglichen Vorrichtung beschreiben,  Detecting environmental information (13) with at least one sensor (9, 10), the environmental information (13) describing the environmental conditions of the user (11) or the movable device,

Auswählen eines zur Posenbestimmung geeigneten Tracking- verfahrens aus einer Menge verschiedener Trackingverfah- ren, zu deren Durchführung vorgesehene Trackingalgorith- men (15) in einem ersten Speicherbereich (7) abgelegt sind, wobei das Auswählen auf Basis der Umgebungsinforma^¬ tionen (13) geschieht, Selecting an appropriate to the pose determination tracking method ren from a set of different Trackingverfah-, men implementation thereof provided Trackingalgorith- (15) are stored in a first memory region (7), wherein the selecting based on the environment Informa ^¬ functions (13) takes place,

Bestimmen eines zur Posenbestimmung geeigneten Konfigurationsdatensatzes (19) auf Basis der Umgebungsinformatio- nen (13),  Determining a configuration data set (19) suitable for pose determination based on the environmental information (13),

Konfigurieren des geeigneten Trackingverfahrens mit dem geeigneten Konfigurationsdatensatz (19) und Ausführen des zur Durchführung des konfigurierten Tra- ckingverfahrens vorgesehenen Trackingalgorithmus (18). Configure the appropriate tracking method with the appropriate configuration data set (19) and Execution of the tracking algorithm (18) provided for carrying out the configured tracking method.

14. Verfahren nach Anspruch 13, 14. The method according to claim 13,

wobei der geeignete Konfigurationsdatensatz (19) aus in einem zweiten Speicherbereich (8) gespeicherten Konfigurationsdatensätzen (16) bestimmt wird. the suitable configuration data record (19) being determined from configuration data records (16) stored in a second memory area (8).

15. Verfahren nach Anspruch 13 oder 14, 15. The method according to claim 13 or 14,

wobei neue, noch nicht im zweiten Speicherbereich (8) abgelegte Konfigurationsdatensätze (17) bestimmt werden. New configuration data records (17) not yet stored in the second memory area (8) are determined.

16. Verfahren nach einem der Ansprüche 13 bis 15, 16. The method according to any one of claims 13 to 15,

wobei die Güte eines laufenden Trackingverfahren während der Posenbestimmung bestimmt wird. the quality of an ongoing tracking process is determined during the pose determination.

17. Verfahren nach Anspruch 16, 17. The method according to claim 16,

wobei die Güte auf Basis einer Bewertung des Laufzeitverhal^¬ tens und/oder der Störempfindlichkeit und/oder der Anzahl notwendiger Reinitialisierungen des laufenden Trackingverfahrens bestimmt wird. the quality being determined on the basis of an evaluation of the transit time ^behavior and / or the susceptibility to interference and / or the number of necessary reinitializations of the ongoing tracking method.

18. Verfahren nach einem der Ansprüche 16 oder 17, 18. The method according to any one of claims 16 or 17,

wobei die Auswahl des geeigneten Trackingverfahrens und die Bestimmung des geeigneten Konfigurationsdatensatzes (19), die Konfiguration des geeigneten Trackingverfahrens mit dem ge^¬ eigneten Konfigurationsdatensatz (19) und die Ausführung des zur Durchführung des konfigurierten Trackingverfahrens vorgesehenen Trackingalgorithmus (18) automatisch bei mangelnder Güte des laufenden Trackingverfahrens initiiert werden. wherein the selection of the appropriate tracking method and the determination of the appropriate configuration data set (19), the configuration of the appropriate tracking method with the ge ^¬ suitable configuration data set (19) and the execution of the intended for carrying out the configured tracking method tracking algorithm (18) automatically when a lack of quality of the current Tracking procedure to be initiated.

19. Verfahren nach einem der Ansprüche 16 bis 18, 19. The method according to any one of claims 16 to 18,

wobei ein Bewertungsdatensatz (21) generiert und archiviert wird, der die Güte des laufenden Trackingverfahrens in Abhän- gigkeit des während der Laufzeit des laufenden Trackingver- fahrens zugeordneten Konfigurationsdatensatzes und der wäh- rend der Laufzeit existierenden Umgebungsverhältnisse be^¬ schreibt . wherein an evaluation data record (21) is generated and archived which shows the quality of the running tracking method as a function of the configuration data record assigned during the running time of the current tracking method and the selected rend the term of existing environmental conditions writes be ^¬.

20. Verfahren nach Anspruch 19, 20. The method according to claim 19,

wobei das geeignete Trackingverfahren und/oder der geeignete Konfigurationsdatensatz (19) auf Basis des Bewertungsdatensatzes (21) ausgewählt werden. the suitable tracking method and / or the suitable configuration data record (19) being selected on the basis of the evaluation data record (21).

21. Verfahren nach einem der Ansprüche 13 bis 20, 21. The method according to any one of claims 13 to 20,

wobei eine Kamera für den Sensor (9,10) verwendet wird. wherein a camera is used for the sensor (9, 10).

22. Verfahren nach einem der Ansprüche 13 bis 20, 22. The method according to any one of claims 13 to 20,

wobei ein magnetischer, inertialer oder akustischer Sensor für den Sensor (9,10) verwendet wird. wherein a magnetic, inertial or acoustic sensor is used for the sensor (9, 10).

23. Verfahren nach einem der Ansprüche 13 bis 22, 23. The method according to any one of claims 13 to 22,

wobei zur Posenbestimmung bei der Ausführung des geeigneten Trackingverfahrens benötigte Trackinginformationen mit dem Sensor (9,10) erfasst werden. wherein the tracking information required to determine the pose when executing the suitable tracking method is recorded with the sensor (9, 10).