DE102017128536B4 - Calibration device and calibration method for a camera system - Google Patents

Calibration device and calibration method for a camera system Download PDF

Info

Publication number
DE102017128536B4
DE102017128536B4 DE102017128536.9A DE102017128536A DE102017128536B4 DE 102017128536 B4 DE102017128536 B4 DE 102017128536B4 DE 102017128536 A DE102017128536 A DE 102017128536A DE 102017128536 B4 DE102017128536 B4 DE 102017128536B4
Authority
DE
Germany
Prior art keywords
camera system
reference surface
light
calibration
light sources
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102017128536.9A
Other languages
German (de)
Other versions
DE102017128536A1 (en
Inventor
Thomas Ledwolorz
Oliver Lottner
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PMDtechnologies AG
Original Assignee
PMDtechnologies AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by PMDtechnologies AG filed Critical PMDtechnologies AG
Priority to DE102017128536.9A priority Critical patent/DE102017128536B4/en
Publication of DE102017128536A1 publication Critical patent/DE102017128536A1/en
Application granted granted Critical
Publication of DE102017128536B4 publication Critical patent/DE102017128536B4/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/8943D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06Systems determining position data of a target
    • G01S17/08Systems determining position data of a target for measuring distance only
    • G01S17/32Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S17/36Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Abstract

Kalibriervorrichtung (50) zum Kalibrieren optischer Eigenschaften eines Kamerasystems, insbesondere eines Lichtlaufzeitkamerasystems (1), mit einer bildgebenden Einheit (52), die auf einer Seite eine erste planare Referenzfläche (54.1) sowie schräg oder senkrecht zur ersten planaren Referenzfläche (54.1) wenigstens vier weitere planare Referenzflächen (54.2, 54.3, 54.4, 54,5) bereitstellt und mit einer Kalibriereinheit (60) zum Kalibrieren der optischen Eigenschaften des Kamerasystems (1) aus mittels dieses Kamerasystems (1) erstellten Abbildungen A der Referenzfläche (54), wobei die bildgebende Einheit (52) zum Erstellen von Mustern M auf der Referenzfläche (54) schaltbare Lichtquellen (56) aufweist, wobei die Referenzfläche (54) Lichtaustrittsöffnungen (58) für das Licht der Lichtquellen (56) aufweist und jeder Lichtquelle (56) zumindest eine Lichtaustrittsöffnung (58) zugeordnet ist.

Figure DE102017128536B4_0000
Calibration device (50) for calibrating optical properties of a camera system, in particular a time-of-flight camera system (1), with an imaging unit (52) which has a first planar reference surface (54.1) on one side and at least four oblique or perpendicular to the first planar reference surface (54.1) provides further planar reference surfaces (54.2, 54.3, 54.4, 54,5) and with a calibration unit (60) for calibrating the optical properties of the camera system (1) from images A of the reference surface (54) created by means of this camera system (1), the The imaging unit (52) for creating patterns M on the reference surface (54) has switchable light sources (56), the reference surface (54) having light exit openings (58) for the light from the light sources (56) and each light source (56) having at least one Light exit opening (58) is assigned.
Figure DE102017128536B4_0000

Description

Die Erfindung betrifft eine Kalibriervorrichtung zum Kalibrieren optischer Eigenschaften eines Kamerasystems, mit einer bildgebenden Einheit, die auf einer Seite eine planare und weitere senkrecht dazu angeordnete Referenzflächen bereitstellt und mit einer Kalibriereinheit zum Kalibrieren der optischen Eigenschaften des Kamerasystems aus mittels dieses Kamerasystems erstellten Abbildungen der Referenzfläche.The invention relates to a calibration device for calibrating optical properties of a camera system, with an imaging unit that provides a planar and further reference surfaces arranged perpendicular to it on one side and with a calibration unit for calibrating the optical properties of the camera system from images of the reference surface created by means of this camera system.

Die Erfindung betrifft weiterhin die Verwendung einer solchen Vorrichtung zum Kalibrieren optischer Eigenschaften eines Kamerasystems und ein entsprechendes Verfahren zum Kalibrieren optischer Eigenschaften eines Kamerasystems, insbesondere eines Lichtlaufzeitkamerasystems, mittels einer bildgebenden Einheit, die auf einer Seite eine planare Referenzfläche bereitstellt, wobei die optischen Eigenschaften des Kamerasystems über Abbildungen der Referenzfläche der bildgebenden Einheit, die mittels dieses Kamerasystems erstellt sind, kalibriert werden.The invention further relates to the use of such a device for calibrating optical properties of a camera system and a corresponding method for calibrating optical properties of a camera system, in particular a time-of-flight camera system, by means of an imaging unit that provides a planar reference surface on one side, the optical properties of the camera system can be calibrated via images of the reference surface of the imaging unit, which are created by means of this camera system.

Mit Kamerasystem sind nicht nur 2D-Kameras, sondern insbesondere auch Lichtlaufzeitkamerasysteme umfasst sein, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u.a. in der DE 197 04 496 A1 beschrieben und beispielsweise von der Firma ‚ifm electronic GmbH‘ oder ‚pmdtechnologies ag‘ als Frame-Grabber O3D bzw. als „CamBoard pico flexx“ zu beziehen sind. Ebenso sollen Kamerasysteme mit umfasst sein, die eine Entfernungsinformation durch Erfassen eines ausgesendeten strukturierten Lichts gewinnen.The camera system includes not only 2D cameras, but also, in particular, time-of-flight camera systems that obtain transit time information from the phase shift of an emitted and received radiation. PMD cameras with photonic mixer detectors (PMD) are particularly suitable as the time of flight or 3D TOF cameras, as they are, inter alia, in FIG DE 197 04 496 A1 and can be obtained, for example, from the company 'ifm electronic GmbH' or 'pmdtechnologies ag' as frame grabber O3D or as “CamBoard pico flexx”. Likewise, camera systems should also be included that obtain distance information by detecting an emitted structured light.

Die Druckschrift DE 10 2011 122 335 A1 zeigt eine Kalibriervorrichtung für ein Kamerasystem, wobei diese Kalibriervorrichtung planare Prüfplatten mit Testbildern sowie eine Kalibriereinheit zum Kalibrieren der optischen Eigenschaften des Kamerasystems aus mittels dieses Kamerasystems erstellten Aufnahmen der Testbilder der Prüfplatten umfasst. Das Kamerasystem ist dabei insbesondere ein binokulares Kameramodul mit einer binokularen Bildaufnahmeeinheit. Ein solches binokulare Kameramodul wird auch als eine Art 3D-Kamera bezeichnet. Die Druckschrift beschreibt weiterhin ein entsprechendes Vorgehen zum Kalibrieren optischer Eigenschaften des Kamerasystems.The pamphlet DE 10 2011 122 335 A1 shows a calibration device for a camera system, this calibration device comprising planar test plates with test images and a calibration unit for calibrating the optical properties of the camera system from recordings of the test images of the test plates made by means of this camera system. The camera system is in particular a binocular camera module with a binocular image recording unit. Such a binocular camera module is also referred to as a type of 3D camera. The document also describes a corresponding procedure for calibrating optical properties of the camera system.

Aus der DE 10 2015 205 174 A1 ist ferner eine Vorrichtung und ein Verfahren zum gleichzeitigen Kalibrieren einer Mehrzahl von Kameras, insbesondere Stereokameras, bekannt, bei dem die Kameras entlang einer Achse angeordnet sind und einen Teilbereich eines vor den Kameras angeordneten Kalibriermuster erfassen. Dieses Kalibriermuster ist dabei auf zwei zueinander V-förmig angeordneten Kalibrierflächen vor den zu kalibrierenden Kameras angeordnet.From the DE 10 2015 205 174 A1 Furthermore, a device and a method for the simultaneous calibration of a plurality of cameras, in particular stereo cameras, are known, in which the cameras are arranged along an axis and capture a partial area of a calibration pattern arranged in front of the cameras. This calibration pattern is arranged in front of the cameras to be calibrated on two calibration surfaces arranged in a V-shape to one another.

Aus der DE 10 2016 221 184 A1 ist bereits eine Vorrichtung zum Kalibrieren eine TOF-Kamera bekannt, bei der ein planares LED-Muster im Sichtfeld der TOF-Kamera angeordnet wird.From the DE 10 2016 221 184 A1 a device for calibrating a TOF camera is already known in which a planar LED pattern is arranged in the field of view of the TOF camera.

Aufgabe der Erfindung ist es, eine Kalibriervorrichtung und ein Verfahren zum Kalibrieren der optischen Eigenschaften eines Kamerasystems anzugeben, die ein möglichst einfaches Kalibrieren ermöglichen. Das Kalibrieren ermöglicht es dann die Genauigkeit eines Kamerasystems zu verbessern.The object of the invention is to specify a calibration device and a method for calibrating the optical properties of a camera system which enable calibration to be as simple as possible. The calibration then makes it possible to improve the accuracy of a camera system.

Die Aufgabe wird in vorteilhafter Weise durch die Kalibriervorrichtung und das Verfahren mit den Merkmalen der unabhängigen Ansprüche gelöst.The object is achieved in an advantageous manner by the calibration device and the method with the features of the independent claims.

Bei der Kalibriervorrichtung ist erfindungsgemäß vorgesehen, dass die bildgebende Einheit zum Erstellen von Mustern auf der Referenzfläche schaltbare Lichtquellen aufweist, wobei die Referenzfläche Lichtaustrittsöffnungen für das Licht der Lichtquellen aufweist und jeder Lichtquelle zumindest eine, insbesondere genau eine, Lichtaustrittsöffnung zugeordnet ist. Die Lichtquellen sind bevorzugt LEDs (LED: Light Emitting Diodes). Auf diese Weise können schaltbare, selbstleuchtende Marker erstellt werden, die die Muster M bilden. Durch diese Maßnahme ist ein Musterwechsel (im einfachsten Fall: Muster an/Muster aus) ohne mechanischen Eingriff möglich, was eine präzise Kalibrierung ermöglicht.In the calibration device, the invention provides that the imaging unit for creating patterns on the reference surface has switchable light sources, the reference surface having light exit openings for the light from the light sources and each light source being assigned at least one, in particular exactly one, light exit opening. The light sources are preferably LEDs (LED: Light Emitting Diodes). In this way, switchable, self-illuminating markers can be created that show the patterns M. form. This measure enables a pattern change (in the simplest case: pattern on / pattern off) without mechanical intervention, which enables precise calibration.

Die Marker können prinzipiell zwei unterschiedliche Funktionen haben. Zum einen können die Marker als reine Positionsmarker genutzt werden, also zur Bestimmung der Position und Ausrichtung der Referenzfläche relativ zu der Kameraoptik des Kamerasystems. Die eigentlichen (Testbild-)Strukturen der Referenzfläche zur Kalibration können von anderen Elementen gebildet sein. Zum anderen können aber auch die durch die Marker gebildeten Muster selbst diese eigentlichen Strukturen zur Kalibration bilden.In principle, the markers can have two different functions. On the one hand, the markers can be used purely as position markers, that is to say to determine the position and alignment of the reference surface relative to the camera optics of the camera system. The actual (test image) structures of the reference surface for calibration can be formed by other elements. On the other hand, however, the patterns formed by the markers can themselves form these actual structures for calibration.

Prinzipiell können die Lichtquellen abseits der Referenzfläche angeordnet sein und deren Licht -beispielsweise per Lichtwellenleiter- zu den entsprechenden Lichtaustrittsöffnungen geleitet werden. Gemäß einer bevorzugten Ausgestaltung der Erfindung ist jedoch vorgesehen, dass die schaltbaren Lichtquellen im Bereich der Lichtaustrittsöffnungen so angeordnet sind, dass an der Seite der Referenzfläche Licht dieser Lichtquellen austreten kann.In principle, the light sources can be arranged away from the reference surface and their light can be guided, for example by optical waveguides, to the corresponding light exit openings. According to a preferred embodiment of the invention, however, it is provided that the switchable light sources are arranged in the area of the light exit openings in such a way that light from these light sources can exit on the side of the reference surface.

Insbesondere ist vorgesehen, dass die schaltbaren Lichtquellen auf der der planaren Referenzfläche gegenüberliegenden Seite der bildgebenden Einheit angeordnet sind. In particular, it is provided that the switchable light sources on the planar Reference surface opposite side of the imaging unit are arranged.

Gemäß einer weiteren bevorzugten Ausgestaltung der Erfindung ist vorgesehen, dass die das Muster bestimmende Anordnung der Lichtaustrittsöffnungen derart ausgebildet ist, dass über eine Mustererkennung die Position einer Lichtöffnung eindeutig bestimmbar ist. Die Mustererkennung ist bevorzugt in der Kalibriereinheit implementiert.According to a further preferred embodiment of the invention, it is provided that the arrangement of the light exit openings which determines the pattern is designed in such a way that the position of a light opening can be clearly determined via pattern recognition. The pattern recognition is preferably implemented in the calibration unit.

Vorteilhaft ist eine Kalibriervorrichtung für ein Kamerasystem, mit einer ersten planaren Referenzfläche wobei schräg oder senkrecht zur der ersten planaren Referenzfläche wenigstens eine zweite planare Referenzfläche vorzugsweise vier weitere planare Referenzflächen bereitstellt werden, wobei die Referenzflächen mehrere Lichtaustrittsöffnungen aufweist, mit schaltbaren Lichtquellen, die im Bereich der Lichtaustrittsöffnungen derart angeordnet sind, dass an einer Oberseite der Referenzfläche Licht dieser Lichtquellen austreten kann, wobei die Anordnung der Lichtaustrittsöffnungen derart ausgebildet ist, dass über eine Mustererkennung die Position einer Lichtöffnung eindeutig bestimmbar ist.A calibration device for a camera system with a first planar reference surface is advantageous, with at least one second planar reference surface being provided obliquely or perpendicular to the first planar reference surface, preferably four further planar reference surfaces, the reference surface having several light exit openings, with switchable light sources that are located in the area of the Light exit openings are arranged such that light from these light sources can exit on an upper side of the reference surface, the arrangement of the light exit openings being designed such that the position of a light opening can be clearly determined via pattern recognition.

Dieses Vorgehen hat den Vorteil, dass insbesondere für Linsen/Objektive mit sehr großem Sehfeld (Weitwinkel) eine räumlich begrenzte Referenzfläche zur Verfügung gestellt werden kann.This procedure has the advantage that a spatially limited reference surface can be made available, particularly for lenses / objectives with a very large field of view (wide angle).

Gemäß noch einer weiteren bevorzugten Ausgestaltung der Erfindung ist vorgesehen, dass die Kalibriervorrichtung zumindest einen Diffusor aufweist, der an der Seite der Referenzfläche angeordnet ist. Der Diffusor ist beispielsweise als folienförmiger Diffusor, also als diffus streuende Folie, ausgebildet.According to yet another preferred embodiment of the invention, it is provided that the calibration device has at least one diffuser which is arranged on the side of the reference surface. The diffuser is designed, for example, as a film-shaped diffuser, that is to say as a diffusely scattering film.

Weiterhin ist mit Vorteil vorgesehen, dass die Lichtaustrittsöffnung kleiner ist als der Durchmesser einer Austrittslinse der Lichtquelle. Die Größe der Marker ergibt sich unabhängig von den Maßen der Lichtquellen durch die Größe der Öffnungen.Furthermore, it is advantageously provided that the light exit opening is smaller than the diameter of an exit lens of the light source. The size of the markers is independent of the dimensions of the light sources due to the size of the openings.

Gemäß einer bevorzugten Ausgestaltung der Erfindung weist die Kalibriervorrichtung weiterhin eine Steuereinheit zum Ansteuern der Lichtquellen auf. Dabei steht die Steuereinheit bevorzugt in signaltechnischer Verbindung mit der Kalibriereinheit oder ist sogar Teil der Kalibriereinheit. Durch die Steuereinheit werden die Muster vorgegeben.According to a preferred embodiment of the invention, the calibration device also has a control unit for controlling the light sources. The control unit is preferably in signaling connection with the calibration unit or is even part of the calibration unit. The patterns are specified by the control unit.

Bei der erfindungsgemäßen Verwendung der Kalibriervorrichtung zum Kalibrieren optischer Eigenschaften eines Kamerasystems ist vorgesehen, dass diese Kalibriervorrichtung als vorstehend beschriebene Vorrichtung ausgebildet ist.When the calibration device is used according to the invention for calibrating optical properties of a camera system, it is provided that this calibration device is designed as the device described above.

Gemäß einer bevorzugten Ausgestaltung der erfindungsgemäßen Verwendung wird das zu kalibrierende Kamerasystem in eine eindeutige Messposition in Relation zur planaren Referenzfläche gebracht und die Messposition so gewählt, dass der Sensor des zu kalibrierenden Kamerasystems alle Lichtaustrittsöffnungen der Referenzfläche erfasst.According to a preferred embodiment of the use according to the invention, the camera system to be calibrated is brought into a clear measurement position in relation to the planar reference surface and the measurement position is selected so that the sensor of the camera system to be calibrated detects all light exit openings of the reference surface.

Bei dem erfindungsgemäßen Verfahren zum Kalibrieren optischer Eigenschaften eines Kamerasystems, insbesondere eines Lichtlaufzeitkamerasystems, ist vorgesehen, dass die bildgebende Einheit zum Erstellen von Mustern auf der Referenzfläche schaltbare Lichtquellen aufweist und die durch das Licht der Lichtquellen erstellten Muster zur Kalibrierung genutzt werden.In the method according to the invention for calibrating optical properties of a camera system, in particular a time-of-flight camera system, the imaging unit has switchable light sources for creating patterns on the reference surface and the patterns created by the light from the light sources are used for calibration.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.The invention is explained in more detail below on the basis of exemplary embodiments with reference to the drawings.

Es zeigen:

  • 1 schematisch ein Lichtlaufzeitkamerasystem,
  • 2 eine modulierte Integration erzeugter Ladungsträger,
  • 3 eine Anordnung des Lichtlaufzeitkamerasystems und einer Kalibriervorrichtung gemäß einer bevorzugten Ausführungsform der Erfindung ,
  • 4 einen Ausschnitt der Referenzfläche einer bildgebenden Einheit der Kalibriervorrichtung,
  • 5 ein auf der Referenzfläche erstelltes LED-Muster und
  • 6 eine Aufnahme des Musters gemäß 5,
  • 7 eine Kalibrierbox mit zusätzlichen senkrechten Referenzflächen,
  • 8 eine Aufnahme des Musters gemäß 7.
Show it:
  • 1 schematically a time-of-flight camera system,
  • 2 a modulated integration of generated charge carriers,
  • 3 an arrangement of the time-of-flight camera system and a calibration device according to a preferred embodiment of the invention,
  • 4th a section of the reference surface of an imaging unit of the calibration device,
  • 5 an LED pattern created on the reference surface and
  • 6th a recording of the sample according to 5 ,
  • 7th a calibration box with additional vertical reference surfaces,
  • 8th a recording of the sample according to 7th .

Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.In the following description of the preferred embodiments, the same reference symbols designate the same or comparable components.

1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einem Lichtlaufzeitkamerasystem 1, wie es beispielsweise aus der DE 197 04 496 A1 bekannt ist. 1 shows a measurement situation for an optical distance measurement with a time-of-flight camera system 1 , as it is for example from the DE 197 04 496 A1 is known.

Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Kameraoptik (Empfangsoptik) 25 und einem Lichtlaufzeitsensor 22.The time-of-flight camera system 1 comprises a transmission unit or a lighting module 10 with a lighting 12th and associated beam-shaping optics 15 and a receiving unit or time-of-flight camera 20th with a camera lens (Receiving optics) 25th and a time of flight sensor 22nd .

Der Lichtlaufzeitsensor 22 weist mindestens ein Laufzeitpixel, vorzugsweise auch ein Pixel-Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 kann beispielsweise als Reflektor oder Linsenoptik ausgebildet sein. In einer sehr einfachen Ausgestaltung kann ggf. auch auf optische Elemente sowohl empfangs- als auch sendeseitig verzichtet werden.The time of flight sensor 22nd has at least one transit time pixel, preferably also a pixel array, and is designed in particular as a PMD sensor. The receiving optics 25th typically consists of several optical elements to improve the imaging properties. The beam-shaping optics 15 of the transmission unit 10 can for example be designed as a reflector or lens optics. In a very simple embodiment, it is also possible, if necessary, to dispense with optical elements on both the receiving and transmitting sides.

Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 30 gemeinsam mit einem bestimmten Modulationssignal Mo mit einer Basisphasenlage φ0 beaufschlagt. Im dargestellten Beispiel ist ferner zwischen dem Modulator 30 und der Lichtquelle 12 ein Phasenschieber 35 vorgesehen, mit dem die Basisphase φ0 des Modulationssignals M0 der Lichtquelle 12 um definierte Phasenlagen φvar verschoben werden kann. Für typische Phasenmessungen werden vorzugsweise Phasenlagen von φvar = 0°, 90°, 180°, 270° verwendet.The measuring principle of this arrangement is essentially based on the fact that, based on the phase shift of the emitted and received light, the transit time and thus the distance covered by the received light can be determined. For this purpose, the light source 12th and the time of flight sensor 22nd via a modulator 30th together with a specific modulation signal M o with a basic phase position φ 0 applied. In the example shown, there is also between the modulator 30th and the light source 12th a phase shifter 35 provided with the basic phase φ 0 of the modulation signal M 0 of the light source 12th around defined phase positions φ var can be moved. For typical phase measurements, phase positions of φ var = 0 °, 90 °, 180 °, 270 ° used.

Entsprechend des eingestellten Modulationssignals sendet die Lichtquelle 12 ein intensitätsmoduliertes Signal Sp1 mit der ersten Phasenlage p1 bzw. p1 = φ0 + φvar aus. Dieses Signal Sp1 bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben Δφ(tL) mit einer zweiten Phasenlage p2 = φ0 + φvar + Δφ(tL) als Empfangssignal Sp2 auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal M0 mit dem empfangenen Signal Sp2 gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.The light source sends according to the set modulation signal 12th an intensity-modulated signal S p1 with the first phase position p1 respectively. p1 = φ 0 + φ var the end. This signal Sp 1 or the electromagnetic radiation is generated by an object in the illustrated case 40 reflects and hits accordingly out of phase due to the distance covered Δφ (t L ) with a second phase position p2 = φ 0 + φ var + Δφ (t L ) as the received signal S p2 on the time of flight sensor 22nd . In the time of flight sensor 22nd the modulation signal M 0 is mixed with the received signal S p2 , the phase shift or the object distance from the resulting signal d is determined.

Als Beleuchtungsquelle bzw. Lichtquelle 12 eignen sich vorzugsweise Infrarot-Leuchtdioden. Selbstverständlich sind auch andere Strahlungsquellen in anderen Frequenzbereichen denkbar, insbesondere kommen auch Lichtquellen im sichtbaren Frequenzbereich in Betracht.As an illumination source or light source 12th Infrared light-emitting diodes are particularly suitable. Of course, other radiation sources in other frequency ranges are also conceivable, in particular light sources in the visible frequency range are also possible.

Das Grundprinzip der Phasenmessung ist schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Modulationssignals Mo mit der die Beleuchtung 12 und der Lichtlaufzeitsensor 22 angesteuert werden. Das vom Objekt 40 reflektierte Licht trifft als Empfangssignal Sp2 entsprechend seiner Lichtlaufzeit tL phasenverschoben Δφ(tL) auf den Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 sammelt die photonisch erzeugten Ladungen q über mehrere Modulationsperioden in der Phasenlage des Modulationssignals M0 in einem ersten Akkumulationsgate Ga und in einer um 180° verschobenen Phasenlage Mo + 180° in einem zweiten Akkumulationsgate Gb. Aus dem Verhältnis der im ersten und zweiten Gate Ga, Gb gesammelten Ladungen qa, qb lässt sich die Phasenverschiebung Δφ(tL) und somit eine Entfernung d des Objekts bestimmen.The basic principle of phase measurement is schematically shown in 2 shown. The upper curve shows the course of the modulation signal over time Mon with the lighting 12th and the time of flight sensor 22nd can be controlled. That from the object 40 reflected light hits the received signal S p2 in a phase-shifted manner in accordance with its light transit time t L Δφ (t L ) on the time of flight sensor 22nd . The time of flight sensor 22nd collects the photonically generated charges q over several modulation periods in the phase position of the modulation signal M 0 in a first accumulation gate Ga and in a phase position shifted by 180 ° Mon + 180 ° in a second accumulation gate Gb . From the ratio of those in the first and second gate Ga , Gb collected charges qa, qb can be the phase shift Δφ (t L ) and thus a distance d of the object.

Die 3 zeigt eine Anordnung des bereits in 1 gezeigten Lichtlaufzeitkamerasystems 1 und einer Kalibriervorrichtung 50 zum Kalibrieren von optischen Eigenschaften des Kamerasystems 1. Diese Kalibriervorrichtung 50 umfasst eine bildgebende Einheit 52, die auf einer Seite eine planare Referenzfläche 54 bereitstellt. Diese bildgebende Einheit 52 weist zum Erstellen von Mustern M auf der Referenzfläche 54 schaltbare Lichtquellen 56 auf. Die Referenzfläche 54 weist ihrerseits (in 4 im Detail gezeigte) Lichtaustrittsöffnungen 58 für das Licht der Lichtquellen 56 auf, wobei jeder Lichtquelle 56 genau eine Lichtaustrittsöffnung 58 zugeordnet ist. Dazu sind die schaltbaren Lichtquellen 56 im Bereich der Lichtaustrittsöffnungen 58 derart angeordnet, dass an der Seite der Referenzfläche 54 Licht dieser Lichtquellen 56 austreten kann. Die Kalibriervorrichtung 50 umfasst weiterhin eine Kalibriereinheit 60 zum Kalibrieren der optischen Eigenschaften des Kamerasystems 1 aus den mittels dieses Kamerasystems 1 erstellten Abbildungen A der Referenzfläche 54. Die Kalibriereinheit 60 ist signal- bzw. datenübertragungstechnisch an das Lichtlaufzeitkamerasystem 1 angeschlossen. Schließlich weist die Kalibriervorrichtung 50 noch eine Steuereinheit 62 zum Ansteuern der Lichtquellen 56 auf. Die Steuereinheit 62 steht in signaltechnischer Verbindung mit der Kalibriereinheit 60.the 3 shows an arrangement of the already in 1 Time-of-flight camera system shown 1 and a calibration device 50 for calibrating optical properties of the camera system 1 . This calibration device 50 includes an imaging unit 52 that have a planar reference surface on one side 54 provides. This imaging unit 52 instructs to create patterns M. on the reference surface 54 switchable light sources 56 on. The reference area 54 for its part (in 4th light exit openings shown in detail 58 for the light of the light sources 56 on, being any light source 56 exactly one light exit opening 58 assigned. There are also switchable light sources 56 in the area of the light exit openings 58 arranged such that on the side of the reference surface 54 Light from these light sources 56 can emerge. The calibration device 50 further comprises a calibration unit 60 for calibrating the optical properties of the camera system 1 from the means of this camera system 1 created images A of the reference surface 54 . The calibration unit 60 is signal or data transmission to the time-of-flight camera system 1 connected. Finally, the calibration device 50 another control unit 62 to control the light sources 56 on. The control unit 62 is in signaling connection with the calibration unit 60 .

Es ergibt sich die folgende Funktion:

  • Zum Kalibrieren optischer Eigenschaften des Kamerasystems 1 (kurz: dem Kalibrieren des Kamerasystems 1) mittels der Kalibriervorrichtung 50 wird per bildgebender Einheit 52 eine planare Referenzfläche 54 mit unterschiedlichen Mustern M bereitstellt, die über an- und abschaltbare, selbstleuchtende Marker erstellt werden. Die Muster M werden dabei von der Kalibriervorrichtung 50 vorgegeben. Zum Erstellen der Muster M weist die bildgebende Einheit 52 die schaltbaren Lichtquellen 56 und die Öffnungen 58 der Referenzfläche 54 auf. Die bildgebende Einheit 52 wird durch die Steuereinheit (das Steuergerät der bildgebenden Einheit) 62 angesteuert. Zur Kalibrierung des Kamerasystems werden diese durch das Licht der Lichtquellen 56 erstellten Muster M genutzt, indem von diesen Mustern M mittels der Kamera 20 des Kamerasystems 1 Aufnahmen A gemacht werden. Anschließend werden mittels der Kalibriereinheit 60 die optischen Eigenschaften des Kamerasystems 1 aus den Abbildungen A der Referenzfläche 54 der bildgebenden Einheit 52 kalibriert. Durch die Kalibration können Abbildungsfehler der Kameraoptik 25 korrigiert werden.
The result is the following function:
  • For calibrating the optical properties of the camera system 1 (in short: calibrating the camera system 1 ) by means of the calibration device 50 is per imaging unit 52 a planar reference surface 54 with different patterns M. that are created using self-illuminating markers that can be switched on and off. The sample M. are thereby from the calibration device 50 given. To create the pattern M. assigns the imaging unit 52 the switchable light sources 56 and the openings 58 the reference area 54 on. The imaging unit 52 is activated by the control unit (the control device of the imaging unit) 62. To calibrate the camera system, these are carried out by the light from the light sources 56 created template M. exploited by of these patterns M. by means of the camera 20th of the camera system 1 Recordings A. be made. Then the calibration unit 60 the optical properties of the camera system 1 from figures A of the reference surface 54 the imaging unit 52 calibrated. The calibration can cause imaging errors in the camera optics 25th Getting corrected.

Das durch die Öffnungen 58 austretende Licht der Lichtquellen 56 dient als Marker für die Kalibrierung. Im gezeigten Beispiel bilden LEDs die schaltbaren Lichtquellen 56. Schaltbare LEDs als Marker lassen sich durch einfachste Algorithmen sehr robust detektieren. Eine für eine Linsenkalibration notwendige eindeutige Zuordnung kann durch unterschiedliche LED-Schaltgruppen gewährleistet werden. Die Intensitätsverteilungen der einzelnen LED-Spots im Bild ermöglichen Sub-Pixel-genaue Detektion. Ein signifikanter Vorteil entsteht für die Kalibration von 3D-Kameras, die z.B. nach dem „ToF“- oder dem „Structured Light“-Prinzip arbeiten, da durch LED-Marker die tatsächlichen 3D-Absolut-Koordinaten präzise ermittelt werden können, diese Marker dann aber nicht in einer 3D-Kalibration stören, da sie ohne mechanische Veränderung instantan entfernt werden können.That through the openings 58 light emitted by the light sources 56 serves as a marker for the calibration. In the example shown, LEDs form the switchable light sources 56 . Switchable LEDs as markers can be detected very robustly using the simplest of algorithms. A clear assignment necessary for a lens calibration can be guaranteed by different LED switching groups. The intensity distributions of the individual LED spots in the image enable detection with sub-pixel accuracy. A significant advantage arises for the calibration of 3D cameras that work, for example, according to the “ToF” or the “Structured Light” principle, since the actual 3D absolute coordinates can be determined precisely using LED markers, and these markers then but do not interfere with a 3D calibration, as they can be removed instantaneously without mechanical changes.

Eine Linsen-Kalibration erfolgt typischerweise über Marker im Bild wie z.B. schwarze Kreise, Schachbrett-Muster, oder Linien. Eine Kalibration von 3D-Kameras mit aktiver Beleuchtung wie Time-of-Flight oder Structured Light wird durch Marker in der Szene negativ beeinflusst.Lens calibration is typically done using markers in the image such as black circles, checkerboard patterns, or lines. A calibration of 3D cameras with active lighting such as time-of-flight or structured light is negatively influenced by markers in the scene.

Zur Überwindung dieser Nachteile ist erfindungsgemäß eine planare Referenzfläche vorgesehen, die von der Rückseite mit LEDs bestückt wird, die einzeln oder in Gruppen geschaltet werden können. Die LEDs können durch die Referenzfläche 54 an präzise positionierten Stellen durch die Referenzfläche 54 hindurchleuchten. Das kann durch kleine Öffnungen 58, insbesondere CNC-gebohrte Löcher, in der Referenzfläche 54 geschehen. Die Öffnungen/Löcher 58 können mit einer als Diffusor 64 agierenden Schicht geschlossen sein (beispielsweise Folie, Papier, Tapete, Farbe).To overcome these disadvantages, a planar reference surface is provided according to the invention, which is equipped with LEDs from the rear that can be switched individually or in groups. The LEDs can go through the reference surface 54 at precisely positioned points through the reference surface 54 shine through. This can be done through small openings 58 , especially CNC drilled holes, in the reference surface 54 happen. The openings / holes 58 can use one as a diffuser 64 acting layer must be closed (e.g. film, paper, wallpaper, paint).

Eine oder mehrere Kamerasysteme 1 werden mechanisch präzise bezüglich des LED-Musters ausgerichtet. Die durch die LEDs erzeugten Bildpunkte in den Kameras 20 können durch zwei Aufnahmen (LED an/LED aus) robust und durch einfachste Algorithmen vom Hintergrund separiert werden.One or more camera systems 1 are mechanically precisely aligned with respect to the LED pattern. The pixels generated by the LEDs in the cameras 20th can be robustly separated from the background using two recordings (LED on / LED off) using the simplest of algorithms.

Durch Schalten einzelner LEDs oder LED-Gruppen ist eine robuste, eindeutige Zuordnung gegenüber einem Muster mit sämtlichen Referenzpunkten vereinfacht möglich.By switching individual LEDs or LED groups, a robust, unambiguous assignment to a pattern with all reference points is possible in a simplified manner.

Die Projektionen der LED-Spots dürfen auch kleiner sein, als ein Pixel auflösen kann, da durch die oft vorhandene Rest-Unschärfe, die auf verschiedene Ursachen zurückgeführt werden kann, dennoch oft mehrere Pixel Licht-Intensität detektieren können. Durch Bildung eines lokalen, mit der Intensität gewichteten Mittelwertes lässt sich die LED-Projektion in der Bildebene mit einer höheren als Pixel-genauen Auflösung bestimmen (Sub-Pixel-Genauigkeit).The projections of the LED spots may also be smaller than a pixel can resolve, since the often existing residual blurring, which can be attributed to various causes, can often detect several pixels of light intensity. By forming a local mean value weighted with the intensity, the LED projection in the image plane can be determined with a resolution greater than that of the pixel (sub-pixel accuracy).

Die Farben der LEDs (sichtbar. infra-rot, UV) sind beliebig mischbar. So lässt sich z.B. eine RGB-Kamera zusammen mit einer IR-Kamera kalibrieren.The colors of the LEDs (visible, infra-red, UV) can be mixed as desired. For example, an RGB camera can be calibrated together with an IR camera.

Ein signifikanter Vorteil entsteht für die Kalibration von 3D-Kameras, die z.B. nach dem „ToF“- oder dem „Structured Light“-Prinzip arbeiten, da durch LED-Marker die tatsächlichen 3D-Absolut-Koordinaten präzise ermittelt werden können, diese Marker dann aber nicht in einer 3D-Kalibration stören, da sie ohne mechanische Veränderung instantan entfernt werden können.A significant advantage arises for the calibration of 3D cameras that work, for example, according to the “ToF” or the “Structured Light” principle, since the actual 3D absolute coordinates can be determined precisely using LED markers, and these markers then but do not interfere with a 3D calibration, as they can be removed instantaneously without mechanical changes.

Einen großen Einfluss auf die Datenqualität von 3D-Kameras haben Drifteffekte. Beispielsweise durch Temperaturänderungen können sich die mechanischen Geometrien, wie auch die elektrischen Eigenschaften der einzelnen Kamerakomponenten verändern. Die für die oben beschriebene Methodik benötigte starre mechanische Konstruktion ermöglicht eine präzise Kalibration dieser Drift-Effekte. Für die Datenaufnahme kann zum einen die Selbsterwärmung der Kamera genutzt werden, zum anderen ist es möglich, die Temperatur der Kameraaufnahme aktiv zu regeln.Drift effects have a major influence on the data quality of 3D cameras. For example, changes in temperature can change the mechanical geometries as well as the electrical properties of the individual camera components. The rigid mechanical construction required for the method described above enables these drift effects to be precisely calibrated. On the one hand, the self-heating of the camera can be used for data acquisition, on the other hand it is possible to actively regulate the temperature of the camera recording.

4 zeigt einen Ausschnitt der Referenzplatte der bildgebenden Einheit 52 im Bereich einer Lichtaustrittsöffnung 58 beziehungsweise LED-Position. Der Durchmesser der Lichtaustrittsöffnung 58 ist hierbei deutlich kleiner als die Abmessung bzw. Austrittslinse der Lichtquelle 56 (hier also der LED). Bei einem LED-Durchmesser von beispielsweise 5 mm ist die Bohrung der Lichtaustrittsöffnung 58 vorzugsweise kleiner 3 mm und besonders bevorzugt kleiner oder gleich 1 mm ausgeführt. 4th shows a section of the reference plate of the imaging unit 52 in the area of a light exit opening 58 or LED position. The diameter of the light exit opening 58 is significantly smaller than the dimension or exit lens of the light source 56 (here the LED). With an LED diameter of 5 mm, for example, the hole is the light exit opening 58 preferably less than 3 mm and particularly preferably less than or equal to 1 mm.

Oberhalb der Lichtaustrittsöffnung 58 ist ein Diffusor 64 angeordnet. Dieser folienartige Diffusor 64 ist vorzugsweise insbesondere in Dicke und/oder Streueigenschaften so ausgeführt, dass die Lichtaustrittsöffnungen 58 von Seiten der zu kalibrierenden Kamera 20 bei abgeschalteter Lichtquelle 56 nicht sichtbar sind. Vorzugsweise ist der Diffusor 64 an der Oberseite matt ausgeführt.Above the light exit opening 58 is a diffuser 64 arranged. This foil-like diffuser 64 is preferably designed in particular in terms of thickness and / or scattering properties so that the light exit openings 58 on the part of the camera to be calibrated 20th with the light source switched off 56 are not visible. Preferably the diffuser is 64 matt finish on the top.

Diese Ausgestaltung hat den Vorteil, dass bei abgeschalteten (Punkt-)Muster M die Referenzfläche 54 als Abstandreferenzfläche genutzt werden kann.This configuration has the advantage that when the (point) pattern M is switched off, the reference surface 54 can be used as a distance reference surface.

In 5 ist ein mögliches Muster M (LED-Muster) dargestellt. Die LEDs sind auf der Referenzfläche 54 positioniert. Das Raster weist eine regelmäßige Struktur auf und ist beispielsweise mit Hilfe einer CNC-Maschine präzise gebohrt und beliebig bestückt. Im dargestellten Fall repräsentieren die schwarzen Punkte eine IR-LED. Um die Ausrichtung eines zu kalibrierenden Kamerasystems 1 zu vereinfachen, ist im Zentrum des Musters M, hier mit „x“ markiert, eine LED oder sonstige Lichtquelle 56 mit einem sichtbaren Spektrum, beispielsweise rot vorgesehen.In 5 is a possible pattern M. (LED pattern) shown. The LEDs are on the reference surface 54 positioned. The grid has a regular structure and is, for example, precisely drilled with the help of a CNC machine and equipped as required. In the case shown, the black dots represent an IR LED. To align a camera system to be calibrated 1 Simplifying is at the center of the pattern M. , here marked with "x", an LED or other light source 56 provided with a visible spectrum, for example red.

Für das Verfahren sind generell beliebige LED-Positionen nutzbar. Durch geschickte Wahl des LED-Musters M kann jedoch die für die Kalibration relevante Eins-zu-eins-Zuordnung durch Mustererkennungs-Algorithmen in einer einzigen Aufnahme erfolgen. In dem hier dargestellten Muster wird die LED-Dichte zu den Rändern hin geringer. Hierdurch wird gewährleistet, dass die projizierten LEDs in der Bildebene trotz hoher Verzeichnung separierbar bleiben.Any LED positions can generally be used for the process. By cleverly choosing the LED pattern M. however, the one-to-one assignment relevant for the calibration can be carried out in a single recording using pattern recognition algorithms. In the pattern shown here, the LED density decreases towards the edges. This ensures that the projected LEDs remain separable in the image plane despite the high level of distortion.

6 zeigt beispielhaft eine Aufnahme A des gemäß 5 projizierten Lichtmusters M, die durch die aufnehmende Kamera 20 verzerrt wurde. Die LED-Positionen lassen sich durch übliche Mustererkennungs-Algorithmen (von der Kalibriereinheit 60) eindeutig zuordnen,. sodass hiernach Bild- und/oder Abstandsfehler korrigiert werden können. 6th shows an example of a recording A. according to 5 projected light pattern M. by the recording camera 20th was distorted. The LED positions can be determined using standard pattern recognition algorithms (from the calibration unit 60 ) clearly assign. so that image and / or spacing errors can then be corrected.

7 zeigt eine weitere Ausgestaltung bei der zusätzlich zu der ersten planaren Referenzfläche 54 vier weitere planare Referenzflächen 54, 54.3, 54.4, 54.5 schräg oder senkrecht zur ersten planaren Referenzflächen 54 angeordnet sind. Die fünf Referenzflächen 54 - 54.5 werden in Form einer Box angeordnet. Dabei bildet die erste Referenzfläche 54 die Grundfläche und die vier weiteren Referenzflächen 54 - 54.5 die Seitenwände der Box. Die Kamera wird gegenüber der Grundfläche (erste Referenzfläche 54) so ausgerichtet, dass die LED Muster von Grundfläche und Wänden das gesamte Sichtfeld der Linse ausfüllt. Durch das Aufnehmen von Bildern mit ein- und ausgeschalteten LEDs können die LED-Positionen mit Hilfe von Algorithmen eindeutig bestimmt werden. Dies ermöglicht eine präzise Kalibration der Linse. 7th shows a further embodiment in addition to the first planar reference surface 54 four more planar reference surfaces 54 , 54.3, 54.4, 54.5 obliquely or perpendicular to the first planar reference surfaces 54 are arranged. The five reference surfaces 54 - 54.5 are arranged in the form of a box. This forms the first reference surface 54 the base and the four other reference surfaces 54 - 54.5 the side walls of the box. The camera is opposite the base area (first reference area 54 ) aligned so that the LED pattern of the base and walls fills the entire field of view of the lens. By taking pictures with the LEDs switched on and off, the LED positions can be clearly determined with the help of algorithms. This enables precise calibration of the lens.

Zur Ansteuerung der LEDs und Kalibrierung der Kamera ist wie in den vorgenannten Beispielen eine Kalibriereinheit 60 bevorzugt mit einer Steuereinheit 62 zum Ansteuern der LEDs vorgesehen.As in the examples mentioned above, there is a calibration unit for controlling the LEDs and calibrating the camera 60 preferably with a control unit 62 intended to control the LEDs.

Die fünf planare Referenzflächen 54 - 54.5 sind grundsätzlich wie in den vorgenannten Beispielen ausgebildet und werden vorzugsweise von der Rückseite mit LEDs bestückt, die einzeln oder in Gruppen geschaltet werden können. Die LEDs können durch die Referenzflächen an präzise positionierten Stellen durch die Referenzfläche hindurchleuchten. Das kann durch kleine, CNC-gebohrte Löcher, in der Referenzfläche geschehen. Die Löcher können mit einer als Diffusor agierenden Schicht geschlossen sein (beispielsweise Folie, Papier, Tapete, Farbe).The five planar reference surfaces 54 - 54.5 are basically designed as in the aforementioned examples and are preferably equipped with LEDs from the rear, which can be switched individually or in groups. The LEDs can shine through the reference surfaces at precisely positioned points through the reference surface. This can be done through small, CNC-drilled holes in the reference surface. The holes can be closed with a layer acting as a diffuser (for example foil, paper, wallpaper, paint).

Durch die Anordnung der LED-Muster auf den Seitenwänden der Box ergibt sich insbesondere ein Vorteil bei der Kalibration von Linsen mit großem Sichtfeld. Da das zur Kalibration verwendete Muster das gesamte Sichtfeld der Linsen ausfüllen muss, sind für Weitwinkellinsen normalerweise großflächige Muster notwendig. Durch die Anordnung der LED Muster auf den Seitenwänden der Box kann auch auf kleinem Raum eine Kalibration von Weitwinkellinsen durchgeführt werden.The arrangement of the LED patterns on the side walls of the box is particularly advantageous when calibrating lenses with a large field of view. Since the pattern used for calibration has to fill the entire field of view of the lenses, large-area patterns are usually necessary for wide-angle lenses. The arrangement of the LED patterns on the side walls of the box means that wide-angle lenses can be calibrated even in a small space.

In 8 ist exemplarisch und schematisch eine Punktewolke gezeigt, die ausgehend von der in 7 dargestellten Vorrichtung, von einer Kamera erfasst werden kann.In 8th a point cloud is shown as an example and schematically, based on the in 7th device shown, can be detected by a camera.

Wie in den vorgenannten Beispielen kann dann ausgehend von dem Unterschied zwischen erwarteter und erfasster Position der Bildpunkte/ des Musters eine Kalibrierung der Kamera vorgenommen werden.As in the aforementioned examples, the camera can then be calibrated on the basis of the difference between the expected and detected position of the image points / the pattern.

BezugszeichenlisteList of reference symbols

11
LichtlaufzeitkamerasystemTime-of-flight camera system
1010
BeleuchtungsmodulLighting module
1212th
Beleuchtunglighting
2020th
Empfänger, LichtlaufzeitkameraReceiver, time-of-flight camera
2222nd
LichtlaufzeitsensorTime of flight sensor
2525th
Kameraoptik (Lichtlaufzeitkamera)Camera optics (time-of-flight camera)
3030th
Modulatormodulator
3535
Phasenschieber, BeleuchtungsphasenschieberPhase shifter, lighting phase shifter
4040
Objektobject
5050
KalibriervorrichtungCalibration device
5252
Einheit, bildgebendUnity, imaging
5454
Referenzfläche, planarReference surface, planar
5656
LichtquelleLight source
5858
Öffnungopening
6060
KalibriereinheitCalibration unit
6262
SteuereinheitControl unit
6464
Diffusor, folienartigDiffuser, foil-like
φ, Δφ(tL)φ, Δφ (tL)
laufzeitbedingte Phasenverschiebungphase shift due to runtime
φvarφvar
PhasenlagePhasing
φ0φ0
BasisphaseBase phase
MoMon
ModulationssignalModulation signal
p1p1
erste Phasefirst phase
p2p2
zweite Phasesecond phase
Sp1Sp1
Sendesignal mit erster PhaseTransmission signal with first phase
Sp2Sp2
Empfangssignal mit zweiter PhaseReceived signal with second phase
Ga, GbGa, Gb
IntegrationsknotenIntegration node
dd
Obj ektdistanzObject distance
qq
Ladungcharge
MM.
Mustertemplate
AA.
AbbildungIllustration

Claims (10)

Kalibriervorrichtung (50) zum Kalibrieren optischer Eigenschaften eines Kamerasystems, insbesondere eines Lichtlaufzeitkamerasystems (1), mit einer bildgebenden Einheit (52), die auf einer Seite eine erste planare Referenzfläche (54.1) sowie schräg oder senkrecht zur ersten planaren Referenzfläche (54.1) wenigstens vier weitere planare Referenzflächen (54.2, 54.3, 54.4, 54,5) bereitstellt und mit einer Kalibriereinheit (60) zum Kalibrieren der optischen Eigenschaften des Kamerasystems (1) aus mittels dieses Kamerasystems (1) erstellten Abbildungen A der Referenzfläche (54), wobei die bildgebende Einheit (52) zum Erstellen von Mustern M auf der Referenzfläche (54) schaltbare Lichtquellen (56) aufweist, wobei die Referenzfläche (54) Lichtaustrittsöffnungen (58) für das Licht der Lichtquellen (56) aufweist und jeder Lichtquelle (56) zumindest eine Lichtaustrittsöffnung (58) zugeordnet ist.Calibration device (50) for calibrating optical properties of a camera system, in particular a time-of-flight camera system (1), with an imaging unit (52) which has a first planar reference surface (54.1) on one side and at least four oblique or perpendicular to the first planar reference surface (54.1) provides further planar reference surfaces (54.2, 54.3, 54.4, 54,5) and with a calibration unit (60) for calibrating the optical properties of the camera system (1) from images A of the reference surface (54) created by means of this camera system (1), the The imaging unit (52) for creating patterns M on the reference surface (54) has switchable light sources (56), the reference surface (54) having light exit openings (58) for the light from the light sources (56) and each light source (56) having at least one Light exit opening (58) is assigned. Kalibriervorrichtung nach Anspruch 1, wobei die schaltbaren Lichtquellen (56) im Bereich der Lichtaustrittsöffnungen (58) derart angeordnet sind, dass an der Seite der Referenzfläche (54) Licht dieser Lichtquellen (56) austreten kann.Calibration device according to Claim 1 , the switchable light sources (56) being arranged in the area of the light exit openings (58) in such a way that light from these light sources (56) can exit on the side of the reference surface (54). Kalibriervorrichtung nach Anspruch 1 oder 2, wobei die schaltbaren Lichtquellen (56) auf der der planaren Referenzfläche (54) gegenüberliegenden Seite der bildgebenden Einheit (52) angeordnet sind.Calibration device according to Claim 1 or 2 wherein the switchable light sources (56) are arranged on the side of the imaging unit (52) opposite the planar reference surface (54). Kalibriervorrichtung nach einem der vorhergehenden Ansprüche, wobei die das Muster M bestimmende Anordnung der Lichtaustrittsöffnungen (58) derart ausgebildet ist, dass über eine Mustererkennung die Position einer Lichtaustrittsöffnung (58) eindeutig bestimmbar ist.Calibration device according to one of the preceding claims, wherein the arrangement of the light exit openings (58) determining the pattern M is designed in such a way that the position of a light exit opening (58) can be clearly determined via pattern recognition. Kalibriervorrichtung nach einem der vorhergehenden Ansprüche, bei der an der Seite der Referenzfläche (54) zumindest ein Diffusor (64) angeordnet ist.Calibration device according to one of the preceding claims, in which at least one diffuser (64) is arranged on the side of the reference surface (54). Kalibriervorrichtung nach einem der vorhergehenden Ansprüche, bei dem die Lichtaustrittsöffnung (58) kleiner ist als der Durchmesser einer Austrittslinse der Lichtquelle (56).Calibration device according to one of the preceding claims, in which the light exit opening (58) is smaller than the diameter of an exit lens of the light source (56). Kalibriervorrichtung nach einem der vorhergehenden Ansprüche, mit einer Steuereinheit (62) zum Ansteuern der Lichtquellen (56), wobei die Steuereinheit (62) in signaltechnischer Verbindung mit der Kalibriereinheit (60) steht.Calibration device according to one of the preceding claims, with a control unit (62) for controlling the light sources (56), the control unit (62) being in signal connection with the calibration unit (60). Verwendung der Kalibriervorrichtung (50) nach einem der vorhergehenden Ansprüche zum Kalibrieren optischer Eigenschaften eines Kamerasystems (1).Use of the calibration device (50) according to one of the preceding claims for calibrating optical properties of a camera system (1). Verwendung nach Anspruch 8, wobei das zu kalibrierende Kamerasystem (1) in eine eindeutige Messposition in Relation zur ersten planaren Referenzfläche (54.1) gebracht wird, und die Messposition so gewählt ist, dass der Sensor (22) des zu kalibrierenden Kamerasystems (1) alle Lichtaustrittsöffnungen (58) der ersten und allen weiteren Referenzflächen (54.1 - 54.5) erfasst.Use after Claim 8 , wherein the camera system (1) to be calibrated is brought into a clear measuring position in relation to the first planar reference surface (54.1), and the measuring position is selected so that the sensor (22) of the camera system (1) to be calibrated all light exit openings (58) of the first and all further reference areas (54.1 - 54.5) are recorded. Verfahren zum Kalibrieren optischer Eigenschaften eines Kamerasystems (1), insbesondere eines Lichtlaufzeitkamerasystems, mittels einer bildgebenden Einheit (52), die auf einer Seite eine erste planare Referenzfläche (54) sowie schräg oder senkrecht zur ersten planaren Referenzfläche (54.1) wenigstens vier weitere planare Referenzflächen (54.2, 54.3, 54.4, 54,5) bereitstellt, wobei die optischen Eigenschaften des Kamerasystems (1) über Abbildungen A der Referenzflächen (54.1 - 54.5) der bildgebenden Einheit (52), die mittels dieses Kamerasystems (1) erstellt sind, kalibriert werden, dadurch gekennzeichnet, dass die bildgebende Einheit (52) zum Erstellen von Mustern M auf der Referenzfläche (54) schaltbare Lichtquellen (56) aufweist und zur Kalibrierung die durch das Licht der Lichtquellen (56) erstellten Muster M genutzt werden.Method for calibrating optical properties of a camera system (1), in particular a time-of-flight camera system, by means of an imaging unit (52) which has a first planar reference surface (54) on one side and at least four further planar reference surfaces at an angle or perpendicular to the first planar reference surface (54.1) (54.2, 54.3, 54.4, 54.5), the optical properties of the camera system (1) being calibrated using images A of the reference surfaces (54.1 - 54.5) of the imaging unit (52) created using this camera system (1) , characterized in that the imaging unit (52) has switchable light sources (56) for creating patterns M on the reference surface (54) and the patterns M created by the light from the light sources (56) are used for calibration.
DE102017128536.9A 2017-12-01 2017-12-01 Calibration device and calibration method for a camera system Active DE102017128536B4 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017128536.9A DE102017128536B4 (en) 2017-12-01 2017-12-01 Calibration device and calibration method for a camera system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017128536.9A DE102017128536B4 (en) 2017-12-01 2017-12-01 Calibration device and calibration method for a camera system

Publications (2)

Publication Number Publication Date
DE102017128536A1 DE102017128536A1 (en) 2019-06-06
DE102017128536B4 true DE102017128536B4 (en) 2021-11-25

Family

ID=66548113

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017128536.9A Active DE102017128536B4 (en) 2017-12-01 2017-12-01 Calibration device and calibration method for a camera system

Country Status (1)

Country Link
DE (1) DE102017128536B4 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2806669C1 (en) * 2023-05-02 2023-11-02 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" Test object for assessing radial and tangential distortion coefficients

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496A1 (en) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
DE102011122335A1 (en) 2011-09-30 2013-04-04 Samsung Electro-Mechanics Co., Ltd. Calibration device for a camera module
DE102015205174A1 (en) 2015-03-23 2016-09-29 Conti Temic Microelectronic Gmbh Apparatus and method for simultaneously calibrating a plurality of cameras
DE102016221184A1 (en) 2015-10-30 2017-05-04 pmdtechnologies ag Calibration device and calibration method for a camera system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19704496A1 (en) 1996-09-05 1998-03-12 Rudolf Prof Dr Ing Schwarte Method and device for determining the phase and / or amplitude information of an electromagnetic wave
DE102011122335A1 (en) 2011-09-30 2013-04-04 Samsung Electro-Mechanics Co., Ltd. Calibration device for a camera module
DE102015205174A1 (en) 2015-03-23 2016-09-29 Conti Temic Microelectronic Gmbh Apparatus and method for simultaneously calibrating a plurality of cameras
DE102016221184A1 (en) 2015-10-30 2017-05-04 pmdtechnologies ag Calibration device and calibration method for a camera system

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2806669C1 (en) * 2023-05-02 2023-11-02 Федеральное государственное бюджетное образовательное учреждение высшего образования "Рязанский государственный радиотехнический университет имени В.Ф. Уткина" Test object for assessing radial and tangential distortion coefficients

Also Published As

Publication number Publication date
DE102017128536A1 (en) 2019-06-06

Similar Documents

Publication Publication Date Title
DE3642051A1 (en) METHOD FOR THREE-DIMENSIONAL INFORMATION PROCESSING AND DEVICE FOR RECEIVING THREE-DIMENSIONAL INFORMATION ABOUT AN OBJECT
DE102015119707B3 (en) Method for aligning a laser scanner and laser scanner arrangement
EP3167260B1 (en) Method for the direction-dependent measurement of at least one lighting or radiometric characteristic variable of an optical radiation source
DE2431860A1 (en) FOCUSING SYSTEM FOR OPTICAL DEVICES
DE102016221184A1 (en) Calibration device and calibration method for a camera system
DE102018108154B4 (en) Calibration device and calibration method for a camera system
DE102015205615A1 (en) Optical coordinate measuring device
DE102009047303A1 (en) Device for calibrating sensors e.g. two-dimensional laser scanners, in vehicle, has reflector module with matrix-like reflector elements, and faceplate mask arranged at optical path between linear detection and ranging sensor and module
DE102017116758B4 (en) Method and device for scanning surfaces with a stereo camera
WO2017157643A1 (en) Device and method for calibrating a light propagation time camera
DE202021101693U1 (en) Photoelectric sensor for detecting an object
DE102017003634A1 (en) Apparatus and method for calibrating optical sensors
DE102016115277A1 (en) Optical device
DE102010043723B4 (en) time-of-flight camera system
DE102020206006A1 (en) Method for calibrating and / or adjusting and control unit for a LiDAR system, LiDAR system and working device
DE102019123449A1 (en) Time-of-flight camera system with a high dynamic range
WO2018024550A1 (en) Apparatus and method for determining a double image angle and/or a viewing angle
DE102017128536B4 (en) Calibration device and calibration method for a camera system
CH697319B1 (en) Method and apparatus for geometric calibration of optoelectronic measuring cameras.
DE102015205927B4 (en) Distance measurement system with time-of-flight measurement and triangulation
DE102017205720A1 (en) Integrated calibration body
DE102016219518B4 (en) Time of flight camera system
DE102008022292A1 (en) Device for detecting or determining diffuse or arranged reflection portion of objects, has photography unit, particularly camera, multiple light sources and diffusion body illuminated by light sources
DE102015105128B4 (en) Method and device for measuring the degree of gloss and/or mattness of objects
DE4308456A1 (en) Device for determining the position of a positioning body relative to a reference body

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R083 Amendment of/additions to inventor(s)
R016 Response to examination communication
R081 Change of applicant/patentee

Owner name: PMDTECHNOLOGIES AG, DE

Free format text: FORMER OWNER: PMDTECHNOLOGIES AG, 57076 SIEGEN, DE

R082 Change of representative

Representative=s name: SCHUHMANN, JOERG, DIPL.-PHYS. DR. RER. NAT., DE

R018 Grant decision by examination section/examining division
R020 Patent grant now final