DE102017208526A1 - Marker based camera tracker - Google Patents

Abstract

Ein Verfahren zur Bestimmung von Kameraparametern anhand von mittels einer Kamera aufgenommenen Bilddaten wird beschrieben. Das Verfahren umfasst ein Aufnehmen mehrerer Bilder einer Szene, wobei die Bilder mehrere in der Szene angeordnete Markierungen enthalten; ein Ermitteln der Positionen der Markierungen im Raum; ein Aufnehmen weiterer Bilder der Szene, wobei die weiteren Bilder zumindest einige der in der Szene angeordneten Markierungen enthalten; ein Zuordnen der Raumpositionen der Markierungen in den weiteren Bildern zu deren jeweiligen Bildpositionen; und ein Bestimmen der Kameraparameter bei der Aufnahme der weiteren Bilder anhand der zugeordneten Raum-/Bildpositionen der Markierungen in den weiteren Bildern.

A method of determining camera parameters from image data taken by a camera will be described. The method includes taking a plurality of images of a scene, the images including a plurality of markers disposed in the scene; determining the positions of the marks in the space; taking further pictures of the scene, the further pictures including at least some of the markers arranged in the scene; assigning the spatial positions of the markers in the further images to their respective image positions; and determining the camera parameters when capturing the further images based on the assigned spatial / image positions of the markers in the further images.

Description

Das vorliegende Dokument betrifft einen Marker-basierten „through the lens“ Kamera-Tracker, der Kameraparameter anhand von Aufnahmen von Markierungen durch die Aufnahmelinse der Kamera ermittelt, und entsprechende Verfahren zur Ermittlung von Kameraparametern.The present document relates to a marker-based "through the lens" camera tracker that detects camera parameters based on taking pictures of marks through the camera's taking lens, and corresponding methods for determining camera parameters.

Hintergrundbackground

Virtuelle Studios (Studios mit grünem Hintergrund) benötigen zur Einblendung von Hintergründen bei Nutzung von bewegten Kameras eine Kalibrierung, damit der virtuelle Hintergrund immer optisch korrekt dargestellt wird, insbesondere in Bezug auf im Studio vorhandene reale Objekte, die von den Kameras aufgenommen werden.Virtual studios (studios with a green background) need to be calibrated to display backgrounds using moving cameras, so that the virtual background is always visually displayed correctly, especially with respect to real objects in the studio that are captured by the cameras.

Heutige Tracking-Systeme sind aufwendig bei der Vorbereitung und Kalibrierung, meist sehr teuer, die Anwender haben nicht die nötige Kenntnis zu einer Kalibrierung, zusätzliche Geräte sind erforderlich (umständlicher Aufbau). Trotz vieler Vorteile von virtuellen Studios (jede beliebige virtuelle Umgebung kann selbst in kleinsten Studios eingesetzt werden) führt das oft zur Ablehnung der Nutzung von virtuellen Studios.Today's tracking systems are complex in preparation and calibration, usually very expensive, the user does not have the necessary knowledge about a calibration, additional devices are required (cumbersome structure). Despite many advantages of virtual studios (any virtual environment can be used even in the smallest studios), this often leads to the denial of the use of virtual studios.

Folglich besteht ein Bedarf an Kalibrier- und Trackingsystemen für virtuelle Studios, die eine vereinfachte Kalibrierung zur Bestimmung von Aufnahmeparametern ohne zusätzliche Geräte während der Produktion durchführen können. Bei den Aufnahmeparametern kann es sich um Eigenschaften der Aufnahmekameras (auch Produktionskameras genannt) handeln, wie deren Position und Ausrichtung im Raum oder deren Brennweite.Thus, there is a need for virtual studio calibration and tracking systems that can perform simplified calibration to determine acquisition parameters without additional equipment during production. The recording parameters can be characteristics of the recording cameras (also called production cameras), such as their position and orientation in space or their focal length.

Zusammenfassung von Aspekten der ErfindungSummary of aspects of the invention

Das vorgeschlagene Vorgehen basiert auf einer Vermessung von im Studio angebrachten Markierungen mittels einer Kamera und der Bestimmung der räumlichen Positionen der Markierungen. Diese Markierungen werden dann von einer Kamera bei der Aufnahme (Produktion) von Bild- oder Video-Inhalten erfasst und zur Bestimmung der Aufnahmeparameter verwendet. So können zum Beispiel die Raumposition der Kamera bei der Produktion und deren Zoomparameter wie Brennweite laufend während der Produktion bestimmt werden, ohne dass während der Produktion zusätzliche Geräte (wie weitere Kameras) zur Positionsbestimmung der Produktionskamera benötigt werden. Ein solches Vorgehen wird auch als „through the lens“ (durch die Linse der Produktionskamera) bezeichnet. Mit diesen Aufnahmeparametern kann dann eine Kalibrierung des virtuellen Studios erfolgen, so dass virtuelle Inhalte richtig, auch in Bezug auf im Studio vorhandene reale Objekte, in eine aufgenommene Szene eingeblendet werden können.The proposed procedure is based on a measurement of markings mounted in the studio by means of a camera and the determination of the spatial positions of the markings. These markers are then captured by a camera during the capture (production) of image or video content and used to determine the acquisition parameters. For example, the spatial position of the camera during production and its zoom parameters such as focal length can be determined continuously during production without the need for additional devices (such as additional cameras) for determining the position of the production camera during production. Such a procedure is also referred to as "through the lens" (through the lens of the production camera). These recording parameters can then be used to calibrate the virtual studio, so that virtual contents can be correctly inserted into a recorded scene, also with regard to real objects present in the studio.

Gemäß einem ersten Aspekt wird ein Verfahren zur Bestimmung von Kameraparametern anhand von mittels einer Kamera aufgenommenen Bilddaten offenbart. Das Verfahren umfasst ein Aufnehmen mehrerer Bilder einer Szene, wobei die Bilder mehrere in der Szene angeordnete Markierungen enthalten, und ein Ermitteln der Positionen der Markierungen im Raum. Auf diese Weise können alle Markierungen in der Szene vermessen werden. Bei der Szene kann es sich um ein Fernsehstudio oder ein anderes geeignetes Studio zur Produktion von Bild- oder Videoinhalten handeln. Die ermittelten Positionen der Markierungen können dann zur späteren Verwendung abgespeichert werden. Somit sind die vorbereitenden Maßnahmen abgeschlossen und die Produktion von Bild- oder Videoinhalten kann beginnen.According to a first aspect, a method for determining camera parameters using image data recorded by means of a camera is disclosed. The method comprises taking a plurality of images of a scene, the images including a plurality of markers arranged in the scene, and determining the positions of the markers in the space. In this way, all markers in the scene can be measured. The scene may be a television studio or other suitable studio for producing image or video content. The determined positions of the markers can then be stored for later use. Thus, the preparatory measures are completed and the production of image or video content can begin.

Anschließend erfolgt in der Produktion ein Aufnehmen weiterer Bilder der Szene, wobei die weiteren Bilder zumindest einige der in der Szene angeordneten Markierungen enthalten, und ein Zuordnen der Raumpositionen der Markierungen in den weiteren Bildern zu deren jeweiligen Bildpositionen. Bei den weiteren Bildern kann es sich um die produzierten Bild- oder Videoinhalte handeln. Für deren Verarbeitung, zum Beispiel in einem virtuellen Studio, können die Kameraparameter bei der Aufnahme der weiteren Bilder von Nutzen sein. Diese werden anhand der zugeordneten Raum-/Bildpositionen der Markierungen in den weiteren Bildern bestimmt. Die so bestimmten Kameraparameter können zumindest eines aus Kameraposition, Kameraorientierung und Kamerazoom enthalten. In Ausführungsbeispielen erfolgt das Ermitteln der Positionen der Markierungen im Raum mittels eines „Structure from Motion“-Verfahrens.Subsequently, in the production, further images of the scene are taken, wherein the further images contain at least some of the markers arranged in the scene, and an assignment of the spatial positions of the markings in the further images to their respective image positions. The other images can be the produced image or video content. For their processing, for example in a virtual studio, the camera parameters may be useful in taking the additional images. These are determined on the basis of the assigned spatial / image positions of the markings in the further images. The camera parameters thus determined may include at least one of camera position, camera orientation, and camera zoom. In embodiments, the determination of the positions of the markers in the space takes place by means of a "structure from motion" method.

Das Verfahren kann einen weiteren Schritt eines Verwendens der bestimmten Kameraparameter zum Einfügen von virtuellem Inhalt in die weiteren Bilder aufweisen. So kann der Hintergrund des virtuellen Studios abhängig von den Kameraparametern optisch korrekt gefüllt werden.The method may include a further step of using the determined camera parameters to insert virtual content into the further images. Thus, the background of the virtual studio can be optically filled depending on the camera parameters.

Zumindest einige der Markierungen können so ausgestaltet sein, dass sie eine eindeutige Identifikation der jeweiligen Markierung ermöglichen. Zum Beispiel können die Markierungen eine visuelle Kodierung ihrer Identifikationsnummer und/oder eine Referenzposition bzw. -richtung enthalten. Dies erlaubt, dass zumindest einige der Markierungen in den weiteren Bildern eindeutig identifiziert werden, um so auf ihre zuvor ermittelten Raumpositionen zuzugreifen und den jeweiligen Bildpositionen zuzuordnen. Vorzugsweise sind die Markierungen dreidimensional im Raum der Szene angeordnet und ihre jeweiligen dreidimensionalen Positionen im Raum werden ermittelt. At least some of the markers may be designed to allow unique identification of the particular mark. For example, the markers may include a visual coding of their identification number and / or a reference position or direction. This allows at least some of the markers in the further images to be uniquely identified so as to access their previously determined spatial positions and associate them with the respective image positions. Preferably, the markers are arranged three-dimensionally in the space of the scene and their respective three-dimensional positions in space are determined.

Um eine große Anzahl von Markierungen in den Bildern sicher erkennen zu können, können die Markierungen eindeutig identifizierbare Master-Markierungen und Slave-Markierungen aufweisen, deren Kennung nur im räumlichen Bezug zu einer Master-Markierung eindeutig ist. Weiterhin können die Markierungen farblich so gestaltet sein, dass sie aus den weiteren Bildern mittels ihrer Farbkodierung leicht entfernt werden können. Dies ist besonders bei Verwendung einer Green-Box von Vorteil.In order to be able to reliably recognize a large number of markings in the images, the markers can have uniquely identifiable master markings and slave markings whose identifier is unique only in relation to a master mark. Furthermore, the markers can be colored in such a way that they can be easily removed from the other images by means of their color coding. This is particularly advantageous when using a green box.

In Ausführungsbeispielen werden die Bilder der Szene mit einer kalibrierten Vermessungskamera aufgenommen. Diese kann zuvor einer intrinsischen Kalibrierung unterzogen werden, um deren Kameraparameter, wie beispielsweise Brennweite, optisches Zentrum und Verzerrung, anhand der Aufnahmen eines Kalibrierobjekts mit bekannten Abmessungen zu ermitteln. Die weiteren Bilder können mit einer Produktionskamera (z.B. eine Broadcast-Kamera) aufgenommen werden.In embodiments, the images of the scene are taken with a calibrated surveying camera. This can be previously subjected to an intrinsic calibration to determine their camera parameters, such as focal length, optical center and distortion, based on the images of a calibration object with known dimensions. The further images can be taken with a production camera (e.g., a broadcast camera).

Um möglichst viele Markierungen in einem Bild aufzunehmen, können mehrere aufgenommene Einzelbilder, die jeweils nur einen Teil der Szene und der darin angeordneten Markierungen enthalten, mittels sog. Stitching zu zusammengesetzten Bildern zusammengesetzt werden. Anhand der zusammengesetzten Bilder können dann die Positionen der Markierungen im Raum ermittelt werden.In order to record as many markers as possible in an image, a plurality of captured individual images, each of which contains only a part of the scene and the markings arranged therein, can be assembled into composite images by means of stitching. Based on the composite images, the positions of the markers in the room can then be determined.

Gemäß einem zweiten Aspekt wird eine Vorrichtung zum Durchführen des oben beschriebenen Verfahrens vorgeschlagen.According to a second aspect, an apparatus for carrying out the method described above is proposed.

Weiterhin ist ein System zur Bestimmung von Kameraparametern vorgesehen, das mindestens eine Kamera zum Aufnehmen von Bildern einer Szene, mehrere in der Szene angeordnete Markierungen, und einer Auswerteeinheit aufweist. Die Auswerteeinheit ist mit der mindestens einen Kamera verbunden, um die aufgenommenen Bilder zu erhalten und die Positionen der Markierungen im Raum anhand der erhaltenen Bilder zu ermitteln. Weitere Bilder der Szene werden anschließend durch die mindestens eine Kamera aufgenommen und der Auswerteeinheit übergeben. Die Auswerteeinheit ist weiter ausgebildet zum Zuordnen der Raumpositionen der Markierungen in den weiteren Bildern zu deren jeweiligen Bildpositionen; und Bestimmen der Kameraparameter bei der Aufnahme der weiteren Bilder anhand der zugeordneten Raum-/Bildpositionen der Markierungen in den weiteren Bildern. Grundsätzlich kann die Auswerteeinheit die Schritte des oben beschriebenen Verfahrens ausführen und alle dort beschriebene Aspekte können auf das vorgeschlagene System übertragen werden. In Ausführungsbeispielen können 2 Kameras verwendet werden: eine intrinsisch kalibrierte Vermessungskamera zum Aufnehmen der Markierung für die Bestimmung deren Raumpositionen und eine Produktionskamera zum Aufnehmen von Bild- oder Videoinhalten.Furthermore, a system for determining camera parameters is provided which has at least one camera for recording images of a scene, a plurality of markings arranged in the scene, and an evaluation unit. The evaluation unit is connected to the at least one camera in order to obtain the recorded images and to determine the positions of the markings in the space on the basis of the obtained images. Further images of the scene are then taken by the at least one camera and transferred to the evaluation unit. The evaluation unit is further configured to associate the spatial positions of the markers in the further images with their respective image positions; and determining the camera parameters when capturing the further images based on the assigned spatial / image positions of the markers in the further images. In principle, the evaluation unit can carry out the steps of the method described above and all aspects described there can be transferred to the proposed system. In embodiments, two cameras can be used: an intrinsically calibrated survey camera to record the mark for determining their spatial positions and a production camera to capture image or video content.

Figurenlistelist of figures

Im Folgenden wird die Erfindung anhand von Beispielen mit Bezug auf die beiliegenden Figuren beschrieben.

• 1 zeigt ein Beispiel für eine Markierung.
• 2 zeigt ein Kalibrierobjekt.
• 3 zeigt die geometrischen Verhältnisse einer projektiven Kamera.

The invention will now be described by way of example with reference to the accompanying drawings.

• 1 shows an example of a marker.
• 2 shows a calibration object.
• 3 shows the geometric relationships of a projective camera.

Detaillierte BeschreibungDetailed description

In einem Ausführungsbeispiel basiert das beschriebene System zur dynamischen Bestimmung von Aufnahmeparameter einer Produktionskamera auf einer Vermessung von im Studio angebrachten Markierungen mittels einer Vermessungskamera und der Bestimmung der räumlichen Positionen der Markierungen mittels photogrammetrischer Verfahren. Hierzu werden zwei oder mehr Einzelbildaufnahmen des Studios mit den angebrachten Markierungen mittels einer photogrammetrischen Vermessungskamera erstellt und ausgewertet. Zur Bestimmung der 3D-Positionen der Markierungen kann das sog. „Structure from Motion“-Verfahren angewendet werden. Hierbei handelt es sich um eine Stereovermessung mit unbekannter extrinsischer Kamerakalibrierung, wie im Folgenden ausführlich beschrieben wird. Das vorgeschlagene Vorgehen benötigt kein kalibriertes Stereo-Rig für die Vermessung, sondern erlaubt es mit Freihand-Aufnahmen arbeiten zu können. In one exemplary embodiment, the described system for the dynamic determination of acquisition parameters of a production camera is based on a measurement of markings mounted in the studio by means of a surveying camera and the determination of the spatial positions of the markings by means of photogrammetric methods. For this purpose, two or more individual images of the studio with the attached markings are created and evaluated by means of a photogrammetric surveying camera. To determine the 3D positions of the markings, the so-called "structure from motion" method can be used. This is a stereo survey with unknown extrinsic Camera calibration, as described in detail below. The proposed procedure does not require a calibrated stereo rig for the measurement, but allows to work with freehand recordings.

Die Markierungen (Marker) sind so gestaltet, dass sie einerseits in einem aufgenommenen Bild leicht zu finden bzw. zu erkennen sind und andererseits eine genaue Bestimmung einer Position ermöglichen. Hierzu bietet sich eine runde Grundform an, zum Beispiel ein Kreis mit 2 ausgefüllten, gegenüberliegenden Sektoren, die sich in dem Mittelpunkt der Markierung treffen. Im Allgemeinen definieren 3 Markierungen das Koordinatensystem.The markers are designed in such a way that on the one hand they are easy to find or recognize in a recorded image and on the other hand enable an exact determination of a position. For this purpose, a round basic shape is appropriate, for example a circle with 2 filled, opposite sectors that meet at the center of the marker. In general, 3 marks define the coordinate system.

Vorzugsweise sind die Markierungen mittels Kennzeichnungen visuell kodiert, so dass deren Identität durch Auswertung von aufgenommenem Bildern der Markierungen bestimmt werden kann. Beispielsweise können neben der runden Grundform der Marker zusätzliche Strukturen zur Kodierung vorgesehen sein. Diese zusätzlichen Strukturen können ausgefüllte Kreise (Blobs) sein, die an bestimmten Positionen kreisförmig um die möglicherweise ebenfalls runde Grundform angeordnet sind. Möglich ist zum Beispiel eine binäre Kodierung der Marker-ID mittels dieser zusätzlichen Strukturen. Mit anderen Worten repräsentiert das Vorhandensein einer solchen zusätzlichen Struktur an einer bestimmten Position eine binäre Eins und das Fehlen eine binäre Null. Mittels 4 möglichen Strukturen an einem Marker können so 16 verschiedene Kennzeichnungen (IDs) angebracht werden.The markings are preferably visually coded by means of markings, so that their identity can be determined by evaluating recorded images of the markings. For example, in addition to the round basic shape of the marker additional structures may be provided for coding. These additional structures can be filled circles (blobs), which are arranged at certain positions in a circle around the possibly also round basic shape. For example, a binary coding of the marker ID by means of these additional structures is possible. In other words, the presence of such additional structure at a particular position represents a binary one and the absence of a binary zero. through 4 Possible structures on a marker can thus be attached 16 different identifiers (IDs).

Die Marker können neben ihrer Grundform und den ID-Strukturen zur Kodierung der Marker-ID auch noch eine zusätzliche Referenzstruktur (Blob) aufweisen. Diese gibt die Nullrichtung für die Dekodierung und ID-Erkennung an. Zum anderen kann die zusätzliche Struktur kleiner als die ID-Strukturen zur Kodierung sein. Wird diese zusätzliche Struktur in einem Bild nicht erkannt, besteht die Gefahr, dass die Erkennung der ID-Strukturen unzuverlässig ist und die ID kann falsch erkannt werden. In diesem Fall sollte der Marker verworfen werden.In addition to their basic form and the ID structures for coding the marker ID, the markers may also have an additional reference structure (Blob). This indicates the zero direction for decoding and ID recognition. On the other hand, the additional structure may be smaller than the ID structures for coding. If this additional structure is not recognized in an image, there is a risk that ID structure detection will be unreliable and the ID may be misrecognized. In this case, the marker should be discarded.

Es ist von Vorteil, wenn die visuelle Kodierung der Marker-IDs über weiten Zoombereich zu erkennen ist, so dass die Markierungen während der Produktion auch unter verschiedensten Aufnahmebedingungen eindeutig identifiziert werden können. Deshalb sollten auch möglichst viele Markierungen im Studio an verschiedenstem Orten und möglicherweise auch in verschiedenen Größen angebracht werden. So kann sichergestellt werden, dass unter den verschiedenen Aufnahmebedingungen immer ausreichend viele Markierungen im Bild erfasst werden.It is advantageous if the visual coding of the marker IDs can be recognized over a wide zoom range, so that the markings can be unambiguously identified during production under a wide variety of recording conditions. Therefore, as many markers as possible should be placed in the studio in different locations and possibly also in different sizes. This ensures that there are always enough markings in the picture under the different recording conditions.

Um die Identifizierung der Markierungen auch dann zu erleichtern, wenn diese in einem erfassten Bild nur klein abgebildet sind und ihre Detailstrukturen schlecht zu erkennen sind, kann ein „Master-Slave“-Konzept eingesetzt werden. Hierbei werden eine einfach zu erkennende Master-Markierung (beispielsweise mit größeren Abmessungen) und mehrere Slave-Markierungen verwendet, die sich in bekannten räumlichen Anordnungen zur Master-Markierung befinden, beispielsweise kreisringförmig in bekannter Drehrichtung um die Master-Markierung. Nachdem die Master-Markierung anhand ihrer visuellen ID identifiziert wurde, können die Slave-Markierungen identifiziert werden, auch wenn deren visuelle IDs im aufgenommenen Bild zu klein abgebildet sind, um sicher ausgewertet werden zu können.In order to facilitate the identification of the markers even if they are only small in a captured image and their detail structures are difficult to recognize, a "master-slave" concept can be used. In this case, an easily recognizable master mark (for example, with larger dimensions) and multiple slave markers are used, which are located in known spatial arrangements for master mark, for example, annular in a known direction of rotation to the master mark. After the master tag has been identified by its visual ID, the slave tags can be identified, even if their visual IDs are too small in the captured image for safe evaluation.

Das „Master-Slave“-Konzept kann auch verwendet werden um bei einer großen Anzahl von Markern die notwendigen visuellen Kennzeichnungen der Marker zur eindeutigen Identifizierung zu vereinfachen, da zu viele eindeutige Kennzeichnungen zu kleine Strukturen an den Markern erfordern können. Solche kleinen Strukturen sind nicht unter allen Aufnahmebedingungen (beispielsweise weitem Zoom) klar zu erkennen und zu unterscheiden. In solchen Fällen können Slave-Markierungen, deren Kennung nur im räumlichen Bezug zu einem Master-Marker eindeutig ist, eingesetzt werden.The "master-slave" concept can also be used to simplify the necessary visual markings of the markers on a large number of markers for unambiguous identification, since too many unique markings may require too small structures at the markers. Such small structures are not clearly recognizable and distinguishable under all recording conditions (for example, wide zoom). In such cases, slave markers whose identifiers are unique only in relation to a master marker can be used.

Um auch bei ungünstigen Aufnahmebedingungen für die Vermessungskamera eine genügend große Anzahl von Markern in einem Bild zu erhalten, können auch Einzelbilder mittels sog. Stitching zusammengefügt werden. Auf diese Weise kann auch eine 3D-Vermessung für Szenen, die nicht mit einer einzelnen photogrammetrischen Ansicht erfasst werden können (z.B. aufgrund der Größe des Studios), durchgeführt werden. Durch Stitching von breiten Szenen, die nicht auf eine Vermessungsaufnahme passen, können erweiterte Bilder mit einer ausreichenden Anzahl von Markern erzeugt werden. Die Genauigkeit beim Zusammenfügen der Einzelbilder kann mittels überlappenden Markern, die in mehreren Bildern enthalten sind, verbessert werden. Eine Stabilisierung des Stitching kann auch mittels zusätzliche Abstandsmessungen zwischen Markern (bevorzugt Extremmarker an Außenpositionen) oder über Fish-Eye-Aufnahmen erfolgen.In order to obtain a sufficiently large number of markers in an image even under unfavorable conditions for the surveying camera, individual images can also be stitched together using so-called stitching. In this way, a 3D survey for scenes that can not be captured with a single photogrammetric view (e.g., due to the size of the studio) can also be performed. By stitching wide scenes that do not fit a survey, extended images can be created with a sufficient number of markers. The accuracy in assembling the frames can be improved by overlapping markers contained in multiple frames. Stabilization of the stitching can also be achieved by means of additional distance measurements between markers (preferably extreme markers at outer positions) or via fish-eye images.

Diese Markierungen mit bekannter 3D-Position werden dann von der Produktionskamera bei der Aufnahme (Produktion) von Bild- oder Video-Inhalten erfasst und zur Bestimmung der Aufnahmeparameter verwendet. So können zum Beispiel die Raumposition und -orientierung der Produktionskamera und deren Zoomparameter wie Brennweite laufend während der Produktion bestimmt werden, ohne dass während der Produktion zusätzliche Geräte zur Positionsbestimmung benötigt werden. Mit diesen Aufnahmeparametern kann dann eine Kalibrierung des virtuellen Studios erfolgen, so dass virtuelle Inhalte richtig in eine aufgenommene Szene eingeblendet werden können. Dies ist besonders von Vorteil, wenn die Produktionskamera (oder die Produktionskameras) während der Aufnahme bewegt und/oder verschwenkt wird, oder deren Zoom verändert wird. These markers with a known 3D position are then captured by the production camera during the recording (production) of image or video content and used to determine the recording parameters. For example, the spatial position and orientation of the production camera and its zoom parameters such as focal length can be determined continuously during production, without the need for additional positioning devices during production. These recording parameters can then be used to calibrate the virtual studio, so that virtual contents can be displayed correctly in a recorded scene. This is particularly advantageous if the production camera (or the production cameras) is moved and / or pivoted during the recording or whose zoom is changed.

Bei einem Einsatz des vorgeschlagenen Kalibrier- bzw. Trackingsystems für virtuelle Studios zur Erzeugung von Bild- oder Videoinhalten, sog. Green-Box, sind die Markierungen vorzugsweise grün-in-grün ausgeführt, damit sie bei der Einblendung von virtuellen Inhalten zusammen mit dem grünen Hintergrundbild entfernt werden können. Die Marker können aus einem Bild über ihre Farbkodierung entfernt werden.When using the proposed calibration or tracking system for virtual studios for generating image or video content, so-called green box, the markings are preferably executed green-in-green, so that they together with the green in the display of virtual content Background image can be removed. The markers can be removed from an image via their color coding.

Das vorgeschlagene Kalibrier- und Trackingsystem bzw. das entsprechende Verfahren ist jedoch nicht auf virtuelle Studios beschränkt und kann auch anderweitig eingesetzt werden, zum Beispiel überall da, wo Aufnahmeparameter einer Kamera dynamisch bestimmt werden sollen. Einsatzmöglichkeiten bieten sich beispielsweise bei der Aufnahme von Sportveranstaltungen oder bei Fahrzeugcrashtests. Das Verfahren für eine „Through-The-Lens“-Kalibrierung von Aufnahmen kann für Broadcast-Videokameras und allen anderen gängigen Kameras (für Virutal reality und Augmented-Reality-Produktionen) verwendet werden.However, the proposed calibration and tracking system or the corresponding method is not limited to virtual studios and can also be used elsewhere, for example wherever recording parameters of a camera are to be determined dynamically. Applications are for example in the recording of sporting events or vehicle crash tests. The procedure for through-the-lens calibration of recordings can be used for broadcast video cameras and all other popular cameras (for virutal reality and augmented reality productions).

Besondere Vorteile des vorgestellten Vorgehens sind:

• - Sehr einfach in der Umsetzung (keine dedizierte Hardware erforderlich)
• - Marker können quasi beliebig auf grüne Wand aufgebracht werden
• - Position der Marker ist nahezu beliebig
• - Keine großen Kenntnisse von Kalibrierverfahren
• - In allen virtuellen Studios einsetzbar

Special advantages of the presented approach are:

• - Very easy to implement (no dedicated hardware required)
• - Markers can be applied almost arbitrarily on a green wall
• - Position of the marker is almost arbitrary
• - No great knowledge of calibration procedures
• - Can be used in all virtual studios

In einem Ausführungsbeispiel weist ein Kalibrier- bzw. Trackingsystem eine Produktions- Videokamera (z.B. eine Broadcast-Kamera), eine Vermessungskamera (kann die Broadcast-Kamera sein, aber eine spezielle Kamera ist vorteilhaft in der Handhabung und für Genauigkeit), Marker, die eine eindeutig aus dem Bild erkennbare Kennzeichnung haben, und eine Verarbeitungseinheit auf. Die Verarbeitungseinheit empfängt die von der Vermessungskamera aufgenommen Bilder mit den in der Szene angeordneten Marker, um deren 3D-Positionen zu bestimmen.In one embodiment, a tracking system includes a production video camera (eg, a broadcast camera), a survey camera (may be the broadcast camera, but a particular camera is advantageous in handling and for accuracy), markers that include a video camera uniquely identifiable from the image, and a processing unit. The processing unit receives the images taken by the surveying camera with the markers located in the scene to determine their 3D positions.

Hierzu sind mindestens 2 Aufnahmen der Marker von unterschiedlichen Kamerapositionen erforderlich, so dass auf allen Aufnahmen alle Marker zu sehen sind. Zur Unterstützung der Positionsbestimmung der Marker kann der reale Abstand zwischen wenigstens 2 Marker gemessen und dem Verfahren zur Verfügung gestellt werden. Anschließend führt die Verarbeitungseinheit eine Structure-From-Motion-Rekonstruktion der 3D-Positionen der Marker (entspricht Stereo mit unbekannten Kamerapositionen) unter Verwendung der 2 oder mehr Aufnahmen und des gemessenen Abstands durch. Weiterhin sind die Parameter einer intrinsischen Kalibrierung der Vermessungskamera erforderlich. Diese kann vor den Aufnahmen der Marker im Studio und unabhängig davon durchgeführt werden. Im Allgemeinen wird die Vermessungskamera einmal kalibriert und die intrinsischen Kalibrierungsparameter bestimmt und abgespeichert. Diese sind nur Eigenschaften der Vermessungskamera, werden vor der Vermessung des Studios in die Verarbeitungseinheit eingegeben und können beliebig oft verwendet werden.For this purpose, at least 2 shots of the markers from different camera positions are required, so that all markers can be seen on all shots. To assist in locating the markers, the real distance between at least 2 markers can be measured and provided to the method. Subsequently, the processing unit performs a structure-from-motion reconstruction of the 3D positions of the markers (corresponds to stereo with unknown camera positions) using the 2 or more shots and the measured distance. Furthermore, the parameters of an intrinsic calibration of the surveying camera are required. This can be done before the recording of markers in the studio and independently. In general, the survey camera is calibrated once and the intrinsic calibration parameters are determined and stored. These are only properties of the survey camera, are entered into the processing unit before the measurement of the studio and can be used as often as desired.

Zur intrinsischen Kalibrierung der Vermessungskamera wird ein Kalibrierobjekt mit bekannten Abmessungen verwendet. Von diesem werden ein oder mehrere Aufnahmen des Kalibrierobjekts mit der Vermessungskamera zur intrinsischen Kalibrierung der Vermessungskamera erstellt. Auf diese Weisen können Kameraparameter, wie Brennweite, optisches Zentrum, eventuell Verzerrungen bestimmt werden, die später zur Stereovermessung mit unbekannter extrinsischer Kamerakalibrierung mittels des sog. „Structure from Motion“-Verfahrens für die Bestimmung der 3D-Positionen der Marker herangezogen werden.For intrinsic calibration of the survey camera, a calibration object of known dimensions is used. From this, one or more images of the calibration object are made with the surveying camera for intrinsic calibration of the surveying camera. In this way, camera parameters, such as focal length, optical center, possibly distortions can be determined, which are later used for stereo measurement with unknown extrinsic camera calibration by means of the so-called "structure from motion" method for determining the 3D positions of the markers.

1 zeigt ein Beispiel für einen Marker mit einer kodierten Kennung. Die Grundform des Markers ist kreisrund mit zwei gegenüberliegenden ausgefüllten Sektoren, die sich in der Kreismitte treffen. Das Detektieren von runden Strukturen in einem Bild ist besonders einfach. Durch die spezielle Gestaltung des Kreises kann der Mittelpunkt sehr präzise bestimmt werden. Um die Grundform des Markers herum sind weitere visuelle Strukturen (Blops), hier ausgefüllte Kreise, angeordnet. Der obere mittige Kreis dient zur Erkennung der Ausrichtung des Markers und markiert dessen Nullposition bzw. -richtung. In dem gezeigten Beispiel wird so die Null-Grad Ausrichtung des Markers gekennzeichnet. Die weiteren Kreise können zur Kodierung der ID des Markers verwendet werden, zum Beispiel mittels einer Binärkodierung. Hier sind 4 Kreise an vorgegebenen Positionen mit 45, 135, 225 und 315 Grad bezüglich der Null-Grad Richtung vorgesehen, so dass der binäre Wert 1111 kodiert wird. Durch vorsehen eines Kreises an einer Position wird der entsprechende binäre Wert auf Eins gesetzt. Selbstverständlich können auch mehr Kodierungspunkte verwendet werden, um eine größer Anzahl von Markern eindeutig zu kennzeichnen. Jedoch wird dann die Erkennungsgenauigkeit für die kodierten Marker-IDs reduziert. Um Fehlerkennungen bei einer größeren Anzahl von Markern zu reduzieren kann das oben beschriebene Master-Slave-Prinzip angewendet werden. Selbstverständlich sind auch andere Gestaltungen der Marker denkbar. In einer Anwendung für ein virtuelles Studio mit Green-Box können die Marker grün-in-grün gestaltet sein, damit sie leicht zusammen mit dem grünen Hintergrund aus den Bilden entfernt werden können. 1 shows an example of a marker with a coded identifier. The basic shape of the marker is circular with two opposite solid sectors meeting at the center of the circle. Detecting round structures in an image is particularly easy. Due to the special design of the circle, the center can be determined very precisely. There are more around the basic shape of the marker visual structures (Blops), here filled circles, arranged. The upper center circle identifies the orientation of the marker and marks its zero position or direction. In the example shown, this marks the zero-degree orientation of the marker. The further circles can be used to encode the ID of the marker, for example by means of a binary coding. Here are 4 circles provided at predetermined positions with 45, 135, 225 and 315 degrees with respect to the zero-degree direction, giving the binary value 1111 is encoded. By providing a circle at a position, the corresponding binary value is set to one. Of course, more coding points can be used to uniquely identify a larger number of markers. However, then the recognition accuracy for the coded marker IDs is reduced. In order to reduce misrecognition for a larger number of markers, the master-slave principle described above can be used. Of course, other designs of the markers are conceivable. In an application for a virtual studio with a green box, the markers can be green-in-green, so they can easily be removed from the shapes along with the green background.

Nachdem die 3D-Positionen der Marker im Studio bestimmt wurden, können diese während der Produktion von Bild-oder Videoinhalten zur Kalibrierung von Position, Orientierung und Zoom der Produktionskamera verwendet werden. Hierzu werden die Bild- oder Videodaten der Produktionskamera mit den aufgenommenen Markern und anderen Bildelementen einer Bildverarbeitungseinheit zugeführt. Diese ermittelt die Markerpositionen in den Bildern, bestimmt deren Kennung und ordnet den Markern im Bild über ihre IDs ihre jeweilige 3D-Position im Raum zu. Die Bildverarbeitungseinheit kann getrennt von der Verarbeitungseinheit sein, die zur Vermessung der 3D-Positionen der Marker verwendet wird. Alternativ können beide Verarbeitungseinheiten durch eine entsprechend eingerichtete Rechnervorrichtung implementiert werden.Once the 3D positions of the markers have been determined in the studio, they can be used during the production of image or video content to calibrate the position, orientation and zoom of the production camera. For this purpose, the image or video data of the production camera with the recorded markers and other picture elements are supplied to an image processing unit. This determines the marker positions in the images, determines their identifier and assigns the markers in the image via their IDs their respective 3D position in space. The image processing unit may be separate from the processing unit used to measure the 3D positions of the markers. Alternatively, both processing units may be implemented by a correspondingly configured computing device.

Aufgrund der bekannten 3D-Position der Marker und ihrer jeweiligen Bildpositionen kann die Aufnahmegeometrie und damit auch die Aufnahmeparameter wie Position, Orientierung und Zoom der Produktionskamera ermittelt werden. Die Marker können anschließend aus den Bildern aufgrund ihrer Farbkodierung wieder entfernt werden. Durch die auf diese Weise (durch die Linse der Produktionskamera) gewonnene Kenntnis der Aufnahmeparameter können unterschiedlichste Bildauswertungen und - vermessungen des produzierten Inhalts ausgeführt werden, zum Beispiel bei der Auswertung von Aufnahmen eines Fahrzeugcrashtests. Da die Aufnahmeparameter in Echtzeit während der Aufnahme der Bild- oder Videodaten mittels der Produktionskamera ermittelt werden, sind diese für dynamische Aufnahmebedingungen, wie bewegte oder verschwenkte Kamera mit Zoom, von besonderer Bedeutung. Sie können in einem virtuellen Studio mit Green-Box verwendet werden, um virtuellen Inhalt mit richtiger Ausrichtung zur Aufnahmesituation optisch korrekt einzublenden.Due to the known 3D position of the markers and their respective image positions, the acquisition geometry and thus also the acquisition parameters such as position, orientation and zoom of the production camera can be determined. The markers can then be removed from the pictures due to their color coding. Through the knowledge of the recording parameters obtained in this way (through the lens of the production camera), a very wide variety of image evaluations and measurements of the produced content can be carried out, for example when evaluating recordings of a vehicle crash test. Since the acquisition parameters are determined in real time during the recording of the image or video data by means of the production camera, these are for dynamic shooting conditions, such as moving or tilted camera with zoom, of particular importance. They can be used in a virtual studio with green box to optically display virtual content with the correct orientation to the recording situation.

Im Folgenden werden Details zur intrinsischen Kalibrierung und zur Rekonstruktion der Markerpositionen beschrieben, wie sie in Ausführungsbeispielen verwendet werden können. Es sei darauf hingewiesen, dass nicht alle Details zur Ausführung der Erfindung erforderlich sind und Ausführungsbeispiele auch ohne diese Details zur Ausführung der Erfindung geeignet sind.Details of intrinsic calibration and marker position reconstruction, as may be used in embodiments, are described below. It should be noted that not all details for carrying out the invention are required and embodiments are suitable without these details for carrying out the invention.

Die intrinsische Kalibrierung ordnet jedem Pixel einer Kamera einen Richtungsvektor zu, wobei das 3D-Koordinatensystem für den Richtungsvektor im Brennpunkt der Kamera verankert ist. Die intrinsische Kalibrierung ist eine Eigenschaft der Kamera unabhängig von ihrer Position oder Ausrichtung in der Welt. Die intrinsische Kalibrierung basiert auf wenigstens einer Aufnahme eines Objekts mit mehreren Kalibrierpunkten und exakt bekannten Abmessungen. 2 zeigt ein CNC-gefertigtes Kalibrierobjekt mit dunklen Kalibrierpunkten (gefüllte Kreise), deren Positionen auf dem Objekt exakt bekannt sind.Intrinsic calibration assigns a directional vector to each pixel of a camera, with the 3D coordinate system for the directional vector anchored in the focal point of the camera. Intrinsic calibration is a feature of the camera regardless of its position or orientation in the world. The intrinsic calibration is based on at least one image of an object with multiple calibration points and exactly known dimensions. 2 shows a CNC-manufactured calibration object with dark calibration points (filled circles), whose positions are exactly known on the object.

Zur Detektion der Kalibrierpunkte werden die dunklen Bereiche der Punkte über ein adaptives Schwellwertverfahren erkannt und in einer Binärmaske gespeichert. Adaptive Schwellwertverfahren arbeiten nicht mit einem festen Schwellwert, sondern finden Bereiche, die in ihrer lokalen Umgebung dunkler sind als die Umgebung. So können Beleuchtungsunterschiede über das Objekt ausgeglichen werden. Alle zusammenhängenden Bereiche in der entstehenden Binärmaske werden dann darauf untersucht, ob sie kreisförmig sind. Hierbei können auch Verzerrungen durch die Projektion der Kreise in Ellipsen berücksichtigt werden. Alle Kreise werden dann nochmals gefiltert. Nur Kreise einer bestimmten Größe und nur Kreisgruppen, deren Abstände zwischen den Kreisen ein bestimmtes Verhältnis zu den Kreisdurchmessern haben werden akzeptiert. Auf diese Weise findet man genau die Kalibrierpunkte auf dem Kalibrierobjekt.To detect the calibration points, the dark areas of the points are detected by an adaptive threshold method and stored in a binary mask. Adaptive threshold methods do not work with a fixed threshold, but find areas that are darker in their local environment than the environment. Thus, differences in illumination across the object can be compensated. All contiguous areas in the resulting binary mask are then examined for circularity. Distortions due to the projection of the circles in ellipses can also be taken into account. All circles are then filtered again. Only circles of a certain size and only circle groups whose distances between the circles have a certain relationship to the circle diameters are accepted. In this way you will find exactly the calibration points on the calibration object.

Die Kalibrierpunkte werden dann entsprechend ihrer Position auf dem Objekt nach Zeilen und Spalten durchnummeriert und es wird ihnen anhand der bekannten Objektabmessungen eine 3D Position zugeordnet. Das zugehörige Weltkoordinatensystem ist hier am Kalibrierobjekt verankert.The calibration points are then numbered according to their position on the object by rows and columns and assigned a 3D position based on the known object dimensions. The associated world coordinate system is anchored here on the calibration object.

Für die intrinsische Kalibrierung wird das Modell einer projektiven Kamera verwendet. Bei einer projektiven Kamera wird ein Weltpunkt X auf den Bildpunkt (u,v) auf dem Bildsensorchip der Kamera abgebildet, der auf einem Strahl zwischen dem Weltpunkt und dem (virtuellen) Brennpunkt der Kamera liegt. Die intrinsischen Kameraparameter sind durch den Brennpunkt festgelegt. Dieser wird durch die Brennweite f (Abstand von der Bildebene) und das optische Zentrum cu, cv (Durchstoßpunkt der optischen Achse, die senkrecht auf der Bildebene steht) beschrieben. 3 illustriert die geometrischen Verhältnisse einer projektiven Kamera. For the intrinsic calibration the model of a projective camera is used. In a projective camera, a world point X is imaged onto the pixel (u, v) on the image sensor chip of the camera, which is located on a beam between the world point and the (virtual) focal point of the camera. The intrinsic camera parameters are determined by the focal point. This is described by the focal length f (distance from the image plane) and the optical center cu, cv (penetration point of the optical axis, which is perpendicular to the image plane). 3 illustrates the geometric relationships of a projective camera.

Im Brennpunkt ist das 3D-Kamerakoordinatensystem verankert. Im Kalibrierobjekt ist das Weltkoordinatensystem verankert. Zwischen beiden transformiert eine Drehmatrix R und ein Translationsvektor T, x = R*X + T, wobei x hier für einen Vektor (x,y,z) in Kamerakoordinaten steht, X für einen Vektor in Weltkoordinaten.At the focal point the 3D camera coordinate system is anchored. The world coordinate system is anchored in the calibration object. Between them, a rotation matrix R and a translation vector T, x = R * X + T, where x stands here for a vector (x, y, z) in camera coordinates, transforms X for a vector in world coordinates.

Aus 3 entnimmt man die geometrische Beziehung $$\mathrm{\lambda }\left(\begin{array}{c}\text{u}\\ \text{v}\\ \text{f}\end{array}\right)=\text{R}\left(\begin{array}{c}\text{X}\\ \text{Y}\\ \text{Z}\end{array}\right)+\text{T}$$

die ausdrückt, dass (in Pixel-Einheiten statt Millimetern) der Vektor (u,v,f) für einen Bildpunkt (u,v) und die Brennweite f, um ein unbekanntes λ-faches verlängert, gleich dem in das Kamerasystem transformierten Weltpunkt ist. u,v bezeichnen hier und im Folgenden Pixelkoordinaten relativ zum optischen Zentrum, d.h. u = ub - cu, v = vb - cv, wobei ub, vb die üblichen Pixel-Bildkoordinaten sind.Out 3 takes the geometric relationship $$\mathrm{\lambda }\left(\begin{array}{c}\text{u}\\ \text{v}\\ \text{f}\end{array}\right)=\text{R}\left(\begin{array}{c}\text{X}\\ \text{Y}\\ \text{Z}\end{array}\right)+\text{T}$$

which expresses that (in units of pixels, rather than millimeters) the vector (u, v, f) for one pixel (u, v) and the focal length f extended by an unknown λ times equals the world point transformed into the camera system , u, v denote here and in the following pixel coordinates relative to the optical center, ie u = ub-cu, v = vb-cv, where ub, vb are the usual pixel image coordinates.

Um sich des unbekannten Faktors λ zu entledigen wird das vektorielle Kreuzprodukt beider Seiten genommen und wir erhalten: $$\left(\begin{array}{c}\text{u}\\ \text{v}\\ \text{f}\end{array}\right)\wedge \left(\text{R}\left(\begin{array}{c}\text{X}\\ \text{Y}\\ \text{Z}\end{array}\right)+\text{T}\right)=0$$

In order to get rid of the unknown factor λ, the vectorial cross product of both sides is taken and we get: $$\left(\begin{array}{c}\text{u}\\ \text{v}\\ \text{f}\end{array}\right)\wedge \left(\text{R}\left(\begin{array}{c}\text{X}\\ \text{Y}\\ \text{Z}\end{array}\right)+\text{T}\right)=0$$

Oder in den Koordinaten ausgeschrieben: $$\text{v}*\left(\text{r}31*\text{X}+\text{r}32*\text{Y}+\text{r}33*\text{Z}+\text{T}3\right)-\text{f}*\left(\text{r}21*\text{X}+\text{r}22*\text{Y}+\text{r}23*\text{Z}+\text{T}2\right)=0$$

$$\text{f}*\left(\text{r1}1*\text{X}+\text{r1}2*\text{Y}+\text{r1}3*\text{Z}+\text{T1}\right)-\text{u}*\left(\text{r3}1*\text{X}+\text{r3}2*\text{Y}+\text{r3}3*\text{Z}+\text{T3}\right)=0$$

$$\text{u}*\left(\text{r2}1*\text{X}+\text{r2}2*\text{Y}+\text{r2}3*\text{Z}+\text{T2}\right)-\text{v}*\left(\text{r1}1*\text{X}+\text{r1}2*\text{Y}+\text{r1}3*\text{Z}+\text{T1}\right)=0$$

wobei r11 etc. die Komponenten der Matrix R, T1,2,3 die Komponenten des Translationsvektors T, f die Brennweite und u,v ein Bildpunkt, und X,Y,Z ein Weltpunkt zu einem der Kalibrierpunkte auf dem Kalibrierobjekt sind. Diese Formeln sind auch unter dem Namen „Direkte Lineare Transformation“ bekannt.Or written out in the coordinates: $$\text{v}*\left(\text{r}31*\text{X}+\text{r}32*\text{Y}+\text{r}33*\text{Z}+\text{T}3\right)-\text{f}*\left(\text{r}21*\text{X}+\text{r}22*\text{Y}+\text{r}23*\text{Z}+\text{T}2\right)=0$$

$$\text{f}*\left(\text{r1}1*\text{X}+\text{r1}2*\text{Y}+\text{r1}3*\text{Z}+\text{T1}\right)-\text{u}*\left(\text{r3}1*\text{X}+\text{r3}2*\text{Y}+\text{r3}3*\text{Z}+\text{T3}\right)=0$$

$$\text{u}*\left(\text{r2}1*\text{X}+\text{r2}2*\text{Y}+\text{r2}3*\text{Z}+\text{T2}\right)-\text{v}*\left(\text{r1}1*\text{X}+\text{r1}2*\text{Y}+\text{r1}3*\text{Z}+\text{T1}\right)=0$$

where r11 etc. the components of the matrix R, T1,2,3 are the components of the translation vector T, f is the focal length and u, v is a pixel, and X, Y, Z is a world point to one of the calibration points on the calibration object. These formulas are also known by the name "direct linear transformation".

Für eine hinreichende Anzahl N Kalibrierpunkte erhält man N Gleichungen (5), aus denen r11, r12, r13, r21, r22, r23, T1,T2 ermittelt werden können. Aus den Orthogonalitätsbedingungen der Drehmatrix erhält man deren restliche Elemente. Die Gleichungen (3) und (4), wieder für N Kalibrierpunkte, können dann zur Berechnung von T3 und f verwendet werden. In Folge können so die Parameter der Vermessungskamera, wie Brennweite, optisches Zentrum, eventuell Verzerrungen, bestimmt werden.
bestimmt werden.For a sufficient number of N calibration points one obtains N equations (5), from which r11, r12, r13, r21, r22, r23, T1, T2 can be determined. From the orthogonality conditions of the rotation matrix one obtains the remaining elements. Equations (3) and (4), again for N calibration points, can then be used to calculate T3 and f. In consequence, the parameters of the surveying camera, such as focal length, optical center, possibly distortions, can be determined.
be determined.

Diese Kalibrierung ist durch lineare Gleichungen bestimmt und daher noch nicht optimal. Zur Erhöhung der Genauigkeit kann eine nichtlineare Optimierung wie beispielsweise ein Gauß-Newton-Verfahren verwendet werden. Beim Gauß-Newton-Verfahren wird iterativ eine Fehlerfunktion folgenden Typs minimiert (siehe z.B. Wikipedia): $${\displaystyle \sum _{i=1}^k{\left(f\left(x_{i\mathrm{,1}},\dots ,x_{i,n}\right)-y_i\right)}^2\to \text{min}!}$$

This calibration is determined by linear equations and therefore not yet optimal. To increase the accuracy, a non-linear optimization such as a Gauss-Newton method can be used. The Gauss-Newton method iteratively minimizes an error function of the following type (see eg Wikipedia): $${\displaystyle \underset{i=1}{\overset{k}{\Sigma }}{\left(f\left(x_{i\mathrm{,1}}.....x_{i.n}\right)-y_i\right)}^2\to \text{min}!}$$

Hierbei sind die xi,1..n die Parameter 1...n der Kalibrierung (also f, cx, cy, R, T); i läuft über die Kalibrierpunkte. Die Funktion f in (6) sind die Abbildungsgleichungen der projektiven Kamera von Weltpunkten auf Bildkoordinaten und die yi entsprechen den gemessenen Bildpunkten (u,v, also 2 Terme pro Bildpunkt).Here, the xi, 1..n are the parameters 1 ... n the calibration (ie f, cx, cy, R, T); i passes over the calibration points. The function f in ( 6 ) are the mapping equations of the projective camera of world points on image coordinates and the yi correspond to the measured pixels (u, v, ie 2 terms per pixel).

Bei dieser Optimierung können für eine höhere Genauigkeit optional auch 2 Verzerrungsparameter der Kamera zugelassen werden, die Bildkoordinaten auf verzerrte Bildkoordinaten abbilden: $$\begin{array}{c}\text{u}\text{'}=\text{u}\left(1+{\text{k}}_1{\text{r}}^2+{\text{k}}_2{\text{r}}^4\right)\\ \text{v}\text{'}=\text{v}\left(1+{\text{k}}_1{\text{r}}^2+{\text{k}}_2{\text{r}}^4\right)\end{array}$$

Optionally, for better accuracy, 2 camera distortion parameters can be allowed for this mapping, which map image coordinates to distorted image coordinates: $$\begin{array}{c}\text{u}\text{'}=\text{u}\left(1+{\text{k}}_1{\text{r}}^2+{\text{k}}_2{\text{r}}^4\right)\\ \text{v}\text{'}=\text{v}\left(1+{\text{k}}_1{\text{r}}^2+{\text{k}}_2{\text{r}}^4\right)\end{array}$$

Nachdem man die Parameter der Vermessungskamera bestimmt hat, können die Markerpositionen mittels des „Structure from Motion“-Verfahrens ermittelt werden. In diesem Fall haben wir N Kalibrierpunkte mit jetzt unbekannten Weltkoordinaten. Diese sind nicht mehr auf einem Präzisions-Kalibrierobjekt angeordnet, sondern z.B. von Hand im Raum verteilt. In den Formeln (3) bis (5) ist dann u,v (für N Punkte) und f bekannt, der Rest unbekannt, also auch die N Weltpunkte (X,Y,Z)i.After determining the parameters of the survey camera, the marker positions can be determined using the "structure from motion" method. In this case, we have N calibration points with now unknown world coordinates. These are no longer arranged on a precision calibration object, but, for example, distributed by hand in the room. In the formulas ( 3 ) to ( 5 ) then u, v (for N points) and f are known, the rest unknown, including the N world points (X, Y, Z) i.

Die Bestimmung der Weltpunkte für die Marker scheint auf den ersten Blick sehr schwierig. Die Geometrie von Kamerabbildungen enthält jedoch sehr starke Strukturen, die man auch hier nutzen kann. Es zeigt sich geometrisch, dass bei Aufnahmen einer Szene von zwei verschiedenen Positionen aus und mit projektiven Kameras, korrespondierende Bildpunkte (u,v)1 und (uv)2 in der ersten und zweiten Aufnahme durch folgenden linearen Zusammenhang verknüpft sind: $$\left({\text{u}}_2{\text{v}}_{2}1\right)\text{F}\left(\begin{array}{c}{\text{u}}_1\\ {\text{v}}_1\\ 1\end{array}\right)=0$$

wobei F, die sogenannte Fundamentalmatrix, eine 3×3 Matrix ist.Determining the world points for the markers seems very difficult at first glance. The geometry of camera images, however, contains very strong structures that can also be used here. It is shown geometrically that when shooting a scene from two different positions from and with projective cameras, corresponding pixels (u, v) 1 and (uv) 2 in the first and second images are linked by the following linear relationship: $$\left({\text{u}}_2{\text{v}}_{2}1\right)\text{F}\left(\begin{array}{c}{\text{u}}_1\\ {\text{v}}_1\\ 1\end{array}\right)=0$$

where F, the so-called fundamental matrix, is a 3x3 matrix.

Für eine ausreichende Zahl korrespondierender Bildpunkte können diese Gleichungssysteme jedoch gelöst werden. Mathematische Verfahren hierzu findet man unter dem Stichwort „Homography Estimation“.For a sufficient number of corresponding pixels, however, these systems of equations can be solved. Mathematical methods can be found under the keyword "Homography Estimation".

Gleichung (1) gibt für projektive Kameras an, wie Weltpunkte und Bildpunkte zusammenhängen. Wendet man dies konsequent von einem Bildpunkt in der Aufnahme 1 zum Weltpunkt und von dort in die Aufnahme 2 an, kann man zeigen, dass für die Matrix F, die diese Bildpunkte verknüpft, folgendes gilt: $$\left(\begin{array}{ccc}0& -{\text{T}}_3& {\text{T}}_2\\ {\text{T}}_3& 0& -{\text{T}}_1\\ -{\text{T}}_2& {\text{T}}_1& 0\end{array}\right)\cdot \text{R}={\text{K}}^{\text{T}}\text{FK}$$

Equation (1) indicates for projective cameras how world points and pixels are related. Turning this consistently from a pixel in the recording 1 to the world point and from there into the reception 2 on, it can be shown that for the matrix F which links these pixels, the following applies: $$\left(\begin{array}{ccc}0& -{\text{T}}_3& {\text{T}}_2\\ {\text{T}}_3& 0& -{\text{T}}_1\\ -{\text{T}}_2& {\text{T}}_1& 0\end{array}\right)\cdot \text{R}={\text{K}}^{\text{T}}\text{FK}$$

Dabei sind R,T die gesuchten extrinsischen Kalibrierparameter aus (1) und K die bekannte Matrix der intrinsischen Kalibrierung (T ist die Transponierte): $$\text{K}=\left(\begin{array}{ccc}\text{f}& 0& {\text{C}}_{\text{x}}\\ 0& \text{f}& {\text{C}}_{\text{y}}\\ 0& 0& 1\end{array}\right)$$

R, T are the sought-after extrinsic calibration parameters ( 1 ) and K is the known matrix of intrinsic calibration (T is the transpose): $$\text{K}=\left(\begin{array}{ccc}\text{f}& 0& {\text{C}}_{\text{x}}\\ 0& \text{f}& {\text{C}}_{\text{y}}\\ 0& 0& 1\end{array}\right)$$

Die rechte Seite in (9) ist somit durch Punktkorrespondenzen zwischen den 2 Aufnahmen ermittelbar. Es zeigt sich nun, dass es Verfahren gibt, mit denen die Faktorisierung von KTFK (auch als Essential-Matrix bezeichnet) in die R und T-Matrix auf der rechten Seite gelingt. Ein solches Verfahren wird z.B. in Richard Hartley, Andrew Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, Kapitel 8.6.2 „Extraction of Cameras from the Essential Matrix“ vorgestellt.The right side in ( 9 ) is thus determined by point correspondences between the 2 recordings. It now turns out that there are procedures that allow for the factorization of KTFK (also called essential matrix) into the R and T matrix on the right side. Such a method is described, for example, in Richard Hartley, Andrew Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, Chapter 8.6.2 "Extraction of Cameras from the Essential Matrix" presented.

Sind damit die beiden Kamerapositionen bekannt, sind auch die 3D-Positionen der Weltpunkte (Marker) durch eine Stereorekonstruktion berechenbar. Aus (1) ergeben sich hierzu direkt zwei Sehstrahlen als Geraden im Raum, die man schneiden kann, um den gesuchten 3D-Punkt zu ermitteln.If the two camera positions are known, the 3D positions of the world points (markers) can also be calculated by a stereo reconstruction. Out ( 1 ) this results directly in two lines of sight as straight lines in the room, which can be cut to determine the desired 3D point.

Mit den nun bekannten Markerpositionen können für eine beliebige Aufnahme mit einer Produktionskamera die Position R,T und die Brennweite der Kamera für diese Aufnahme berechnet werden. Hierfür verwendet man wieder die Formeln (3) bis (5). Es handelt sich im Prinzip um dieselbe Aufgabe wie bei der intrinsischen Kalibrierung. Nur waren R,T dort ein unwichtiges Nebenprodukt der Berechnung, während diese nun die gesuchten Größen sind (zusammen mit der Brennweite).With the marker positions now known, the position R, T and the focal length of the camera for this recording can be calculated for any recording with a production camera. For this one uses again the formulas ( 3 ) to ( 5 ). It is basically the same task as the intrinsic calibration. Only R, T were an unimportant byproduct of the computation while these are now the sought sizes (along with the focal length).

Virtuelle Umgebungen und Objekte werden in einem eigenen virtuellen Koordinatensystem als 3D-Welt erzeugt. Um diese 3D-Welt auf ein 2D-Bild abzubilden, wird diese virtuelle Welt durch eine virtuelle Kamera mit einer bestimmten Position, Ausrichtung und Öffnungswinkel (Zoom) aufgenommen, was als Rendern bezeichnet wird.Virtual environments and objects are created in a separate virtual coordinate system as a 3D world. To map this 3D world to a 2D image, this virtual world is captured by a virtual camera with a specific position, orientation, and opening angle (zoom) called rendering.

Damit die Ansicht der Objekte im gerenderten Bild zur Aufnahme der realen Kamera passt, müssen die beiden Koordinatensysteme verbunden werden. Die virtuellen Objekte erhalten dadurch eine Position und Orientierung in der realen Welt und die Position der virtuellen Kamera zum Rendern entspricht dann der Position der realen Kamera.In order for the view of the objects in the rendered image to match the real camera, the two coordinate systems must be connected. The virtual objects thus receive a position and orientation in the real world, and the position of the virtual camera for rendering then corresponds to the position of the real camera.

Hierzu benötigt man die Definition eines gemeinsamen Koordinatensystems, was über die Kennzeichnung ausgesuchter Marker als Ursprung, X-Achse und Y-Achse geschieht. Der Marker der Y-Achse gibt dabei nur die Ebene der Y-Achse an, die eigentliche Achse wird automatisch senkrecht zur X-Achse berechnet, so dass man nicht unbedingt auf eine genau orthogonale Anordnung der Marker angewiesen ist. Die Z-Achse ist dann durch den Ursprung und die Lage dieser Ebene vorgegeben.This requires the definition of a common coordinate system, which is done by marking selected markers as origin, X-axis and Y-axis. The marker of the Y-axis indicates only the plane of the Y-axis, the actual axis is calculated automatically perpendicular to the X-axis, so that one does not necessarily rely on an exactly orthogonal arrangement of the marker. The Z axis is then dictated by the origin and location of that plane.

Außerdem benötigt man die Position, Ausrichtung, Zoom der realen Kamera im realen Koordinatensystem und, über die Verknüpfung der Koordinatensysteme, damit auch im virtuellen Koordinatensystem. Diese Parameter werden durch den beschriebenen Schritt der extrinsischen Kalibrierung anhand der 3D-vermessenen Marker bereitgestellt.In addition, you need the position, orientation, zoom of the real camera in the real coordinate system and, by linking the coordinate systems, so that in the virtual coordinate system. These parameters are provided by the described step of extrinsic calibration using the 3D-measured markers.

Die obigen Verfahren können mit einer geeignet eingerichteten Rechnervorrichtung, insbesondere eine digitale Bildverarbeitungsvorrichtung, ausgeführt werden, wobei die Berechnung der jeweils gesuchten Parameter mittels Softwareprogrammierung erfolgt. Alternativ können hierzu auch spezielle Hardwareschaltungen oder eine Mischung aus beidem eingesetzt werden. An der Produktionskamera selbst sind gegenüber herkömmlichen Modellen keine Veränderungen erforderlich. Auch die Anforderungen an die Vermessungskamera sind nicht besonders hoch, so dass auch hier herkömmliche Modellen verwendet werden können.The above methods can be carried out with a suitably equipped computer device, in particular a digital image processing device, wherein the calculation of the parameters sought in each case takes place by means of software programming. Alternatively, special hardware circuits or a mixture of both can be used for this purpose. On the production camera itself, no changes are required compared to conventional models. The requirements for the surveying camera are not particularly high, so that conventional models can also be used here.

Es ist zu beachten, dass die Beschreibung und die Figuren lediglich die Prinzipien der vorgeschlagenen Vorrichtung darlegen. Auf Basis der vorliegenden Offenbarung ist es dem Fachmann möglich, diverse Varianten der beschriebenen Ausgestaltungen zu erstellen. Diese Varianten, obwohl nicht ausdrücklich beschrieben, werden ebenfalls von diesem Dokument offenbart und werden von den Ansprüchen umfasst.It should be noted that the description and figures merely set forth the principles of the proposed device. Based on the present disclosure, it is possible for the skilled person to create various variants of the described embodiments. These variations, although not expressly described, are also disclosed by this reference and are covered by the claims.

Claims (15)

Verfahren zur Bestimmung von Kameraparametern anhand von mittels einer Kamera aufgenommenen Bilddaten, mit Aufnehmen mehrerer Bilder einer Szene, wobei die Bilder mehrere in der Szene angeordnete Markierungen enthalten; Ermitteln der Positionen der Markierungen im Raum; Aufnehmen weiterer Bilder der Szene, wobei die weiteren Bilder zumindest einige der in der Szene angeordneten Markierungen enthalten; Zuordnen der Raumpositionen der Markierungen in den weiteren Bildern zu deren jeweiligen Bildpositionen; und Bestimmen der Kameraparameter bei der Aufnahme der weiteren Bilder anhand der zugeordneten Raum-/Bildpositionen der Markierungen in den weiteren Bildern.Method for determining camera parameters based on image data recorded by means of a camera, with Taking a plurality of images of a scene, the images including a plurality of markers arranged in the scene; Determining the positions of the marks in the space; Taking further pictures of the scene, wherein the further pictures contain at least some of the markers arranged in the scene; Assigning the spatial positions of the markers in the further images to their respective image positions; and Determining the camera parameters when taking the additional images based on the assigned space / image positions of the markers in the other images. Verfahren nach Anspruch 1, wobei zumindest einige der Markierungen eine eindeutige Identifikation der jeweiligen Markierung ermöglichen. Method according to Claim 1 , wherein at least some of the markers allow a unique identification of the respective mark. Verfahren nach Anspruch 2, wobei zumindest einige der Markierungen in den weiteren Bildern identifiziert werden, um so ihre zuvor ermittelten Raumpositionen zu bestimmen und den jeweiligen Bildpositionen zuzuordnen.Method according to Claim 2 in which at least some of the markings in the further images are identified so as to determine their previously determined spatial positions and to assign them to the respective image positions. Verfahren nach einem der vorgehenden Ansprüche, wobei das Ermitteln der Positionen der Markierungen im Raum mittels eines „Structure from Motion“-Verfahrens erfolgt.Method according to one of the preceding claims, wherein the determination of the positions of the markers in space by means of a "structure from motion" method. Verfahren nach einem der vorgehenden Ansprüche, wobei die bestimmten Kameraparameter zumindest eines aus Kameraposition, Kameraorientierung und Kamerazoom enthalten.The method of any one of the preceding claims, wherein the determined camera parameters include at least one of camera position, camera orientation, and camera zoom. Verfahren nach einem der vorgehenden Ansprüche, wobei die Bilder der Szene mit einer zuvor kalibrierten Vermessungskamera aufgenommen werden und die weiteren Bilder mit einer Produktionskamera aufgenommen werden.Method according to one of the preceding claims, wherein the images of the scene are taken with a previously calibrated surveying camera and the further images are taken with a production camera. Verfahren nach Anspruch 6, wobei die Vermessungskamera einer intrinsischen Kalibrierung unterzogen wird, um deren Kameraparameter anhand der Aufnahmen eines Kalibrierobjekts mit bekannten Abmessungen zu ermitteln.Method according to Claim 6 wherein the surveying camera is subjected to intrinsic calibration to determine its camera parameters from the images of a calibration object of known dimensions. Verfahren nach einem der vorgehenden Ansprüche, wobei die Markierungen eindeutig identifizierbare Master-Markierungen und Slave-Markierungen aufweisen, deren Kennung nur im räumlichen Bezug zu einer Master-Markierung eindeutig ist.Method according to one of the preceding claims, wherein the markers uniquely identifiable master markers and slave markers whose identifier is unique only in spatial relation to a master mark. Verfahren nach einem der vorgehenden Ansprüche, wobei die Markierungen eine Kodierung ihrer Identifikationsnummer und/oder eine Referenzposition bzw. Richtung enthalten.Method according to one of the preceding claims, wherein the markings include a coding of their identification number and / or a reference position or direction. Verfahren nach einem der vorgehenden Ansprüche, wobei die Markierungen dreidimensional im Raum der Szene angeordnet sind und ihre jeweiligen dreidimensionalen Positionen im Raum ermittelt werden.Method according to one of the preceding claims, wherein the markers are arranged three-dimensionally in the space of the scene and their respective three-dimensional positions in the space are determined. Verfahren nach einem der vorgehenden Ansprüche, wobei mehrere aufgenommene Einzelbilder, die jeweils nur einen Teil der Szene und der darin angeordneten Markierungen enthalten, zu zusammengesetzten Bildern zusammengesetzt werden, um anhand der zusammengesetzten Bildern die Positionen der Markierungen im Raum zu ermitteln.Method according to one of the preceding claims, wherein a plurality of recorded individual images, each containing only a part of the scene and the markers arranged therein, are assembled into composite images in order to determine the positions of the markers in the space from the composite images. Verfahren nach einem der vorgehenden Ansprüche, wobei die Markierungen farblich so gestaltet sind, dass sie aus den weiteren Bildern mittels ihrer Farbkodierung entfernt werden können.Method according to one of the preceding claims, wherein the markings are colored in such a way that they can be removed from the further images by means of their color coding. Verfahren nach einem der vorgehenden Ansprüche, mit dem weiteren Schritt eines Verwendens der bestimmten Kameraparameter zum Einfügen von virtuellem Inhalt in die weiteren Bilder.A method according to any one of the preceding claims, comprising the further step of using the determined camera parameters to insert virtual content into the further images. Vorrichtung zum Durchführen des Verfahrens nach einem der vorherigen Ansprüche.Apparatus for carrying out the method according to one of the preceding claims. System zur Bestimmung von Kameraparametern, mit mindestens einer Kamera zum Aufnehmen von Bildern einer Szene, mehrere in der Szene angeordnete Markierungen, und einer Auswerteeinheit, die mit der mindestens einen Kamera verbunden ist, um die aufgenommenen Bilder zu erhalten und die Positionen der Markierungen im Raum anhand der erhaltenen Bilder zu ermitteln, wobei weitere Bilder der Szene durch die mindestens eine Kamera aufgenommen und der Auswerteeinheit übergeben werden wobei die Auswerteeinheit ausgebildet ist zum Zuordnen der Raumpositionen der Markierungen in den weiteren Bildern zu deren jeweiligen Bildpositionen; und Bestimmen der Kameraparameter bei der Aufnahme der weiteren Bilder anhand der zugeordneten Raum-/Bildpositionen der Markierungen in den weiteren Bildern.System for determining camera parameters, with at least one camera for taking pictures of a scene, several markers arranged in the scene, and an evaluation unit which is connected to the at least one camera in order to obtain the recorded images and to determine the positions of the markings in the space on the basis of the obtained images, wherein additional images of the scene are taken by the at least one camera and transferred to the evaluation unit wherein the evaluation unit is designed for Assigning the spatial positions of the markers in the further images to their respective image positions; and Determining the camera parameters when taking the additional images based on the assigned space / image positions of the markers in the other images.

Images