DE102014204423B4 - Time of flight camera system - Google Patents

Abstract

Verfahren zum Betreiben eines Lichtlaufzeitkamerasystems,bei dem eine Objektentfernung anhand einer Phasenverschiebung eines emittierten und empfangenen Modulationssignals ermittelt wird,wobei ein Erfassungsbereich des Lichtlaufzeitkamerasystems sich über mindestens zwei Eindeutigkeitsbereiche (Zn), die sich aus der Wellenlänge des Modulationssignals ergeben, erstreckt,und wobei in einer Initialisierungsphase mit unterschiedlichen Modulationsfrequenzen ein 3D-Modell der Umgebung und der darin befindlichen Objekte (40) erfasst wird, wobei die im Erfassungsbereich erkannten Objekte (40) im Erfassungsbereich dem jeweiligen Eindeutigkeitsbereichen (Zn) zugeordnet werden,und wobei neben der Objektentfernung mindestens ein Parameter (ParObj, hObj, rimax, refObj) entfernungsrelevanter Obj ektattribute für jedes erkannte Objekt (40) erfasst wird, und eine der Initialisierungsphase nachfolgende Positionsbestimmung der Objekte mit folgenden Schritten durchgeführt wird:a) Ermittlung von Entfernungswerten (d, Δφ(tL)) nur mit einer Modulationsfrequenz,b) Ermittlung von Raumpositionen (Px) der erkannten Objekte (40),c) Erfassung des mindestens einen Parameters (hObj, ri,maxrefObj) der entfernungsrelevanten Objektattribute der erkannten Objekte (40),d) Überprüfung, ob der Parameter (hObj, ri) der entfernungsrelevanten Objektattribute für die Raumposition des Objekts (40) plausibel ist,e) Ausgabe einer gültigen Raumposition (Px), wenn die Raumposition (Px) plausibel ist.A method for operating a time-of-flight camera system in which an object distance is determined on the basis of a phase shift of an emitted and received modulation signal, a detection area of the time-of-flight camera system extending over at least two unambiguous areas (Zn) resulting from the wavelength of the modulation signal, and in one Initialization phase with different modulation frequencies, a 3D model of the environment and the objects (40) located therein is recorded, the objects (40) recognized in the detection area being assigned to the respective uniqueness areas (Zn) in the detection area, and where, in addition to the object distance, at least one parameter ( ParObj, hObj, rimax, refObj) distance-relevant object attributes are recorded for each recognized object (40), and a position determination of the objects following the initialization phase is carried out with the following steps: a) Determination of distance gs values (d, Δφ (tL)) only with one modulation frequency, b) determination of spatial positions (Px) of the detected objects (40), c) detection of the at least one parameter (hObj, ri, maxrefObj) of the distance-relevant object attributes of the detected objects ( 40), d) Check whether the parameter (hObj, ri) of the distance-relevant object attributes is plausible for the spatial position of the object (40), e) Output of a valid spatial position (Px) if the spatial position (Px) is plausible.

Description

Die Erfindung betrifft ein Lichtlaufzeitkamerasystem und ein Verfahren zum Betreiben eines solchen nach Gattung der unabhängigen Ansprüche.The invention relates to a time-of-flight camera system and a method for operating such a system according to the preamble of the independent claims.

Mit Lichtlaufzeitkamerasystemen sollen nicht nur Systeme umfasst sein, die Entfernungen direkt aus der Lichtlaufzeit ermitteln, sondern insbesondere auch alle Lichtlaufzeit- bzw. 3D-TOF-Kamerasysteme, die eine Laufzeitinformation aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit bzw. 3D-TOF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u.a. in den Anmeldungen EP 1 777 747 A1 , US 6 587 186 B2 und auch DE 197 04 496 A1 beschrieben und beispielsweise von der Firma ‚ifm electronic GmbH‘ oder ‚PMD-Technologies GmbH‘ als Frame-Grabber O3D bzw. als CamCube zu beziehen sind. Die PMD-Kamera erlaubt insbesondere eine flexible Anordnung der Lichtquelle und des Detektors, die sowohl in einem Gehäuse als auch separat angeordnet werden können.Time-of-flight camera systems should not only include systems that determine distances directly from the time of flight, but in particular also all time-of-flight or 3D TOF camera systems that obtain transit time information from the phase shift of an emitted and received radiation. PMD cameras with photonic mixer detectors (PMD) are particularly suitable as time of flight or 3D TOF cameras, such as those described in the applications EP 1 777 747 A1 , US 6 587 186 B2 and also DE 197 04 496 A1 and can be obtained, for example, from the company 'ifm electronic GmbH' or 'PMD-Technologies GmbH' as a frame grabber O3D or as a CamCube. The PMD camera allows in particular a flexible arrangement of the light source and the detector, which can be arranged both in a housing and separately.

Die EP 1 927 867 A1 beschäftigt sich mit einem optoelektronischen Sensor, der mittels einer Vielzahl von Lichtempfangselementen mehrere nicht überlappende Ebenen eines Überwachungsbereichs erfasst. Hierbei spannt jedes Lichtempfangselement eine eigene Ebene im Überwachungsbereich auf.The EP 1 927 867 A1 deals with an optoelectronic sensor that uses a large number of light receiving elements to detect several non-overlapping planes of a monitored area. Each light receiving element spans its own level in the monitoring area.

Aus der DE 10 2013 207 650 A1 ist ein Verfahren zum Betreiben eines Lichtlaufzeitkamerasystems bekannt, das mit mindestens drei Modulationsfrequenzen betreibbar ist, wobei in einem Distanzmesszyklus zwei Entfernungswerte ermittelt werden. Das Verfahren ermittelt Distanzwerte durch Verwenden mehrerer Modulationsfrequenzpaarungen und ein Distanzmesswert wird nur dann als gültig ausgegeben, wenn er am häufigsten auftritt.From the DE 10 2013 207 650 A1 a method for operating a time-of-flight camera system is known which can be operated with at least three modulation frequencies, two distance values being determined in a distance measurement cycle. The method determines distance values by using several modulation frequency pairings and a measured distance value is only output as valid if it occurs most frequently.

Die DE 10 2010 003 409 A1 zeigt ebenfalls ein Verfahren, bei dem Entfernungen mittels drei verschiedener Modulationsfrequenzen ermittelt werden, wobei hierzu Differenzen der Phasenverschiebungen benachbarter Modulationsfrequenzen bestimmt und ausgewertet werden. The DE 10 2010 003 409 A1 also shows a method in which distances are determined by means of three different modulation frequencies, differences in the phase shifts of adjacent modulation frequencies being determined and evaluated for this purpose.

Aufgabe der Erfindung ist es, die Entfernungsmessung eines Lichtlaufzeitkamerasystems zu verbessern.The object of the invention is to improve the distance measurement of a time-of-flight camera system.

Die Aufgabe wird in vorteilhafter Weise durch das erfindungsgemäße Verfahren und Lichtlaufzeitkamerasystem nach Gattung der unabhängigen Ansprüche gelöst.The object is achieved in an advantageous manner by the method and time-of-flight camera system according to the invention according to the preamble of the independent claims.

Vorteilhaft ist ein Verfahren zum Betreiben eines Lichtlaufzeitkamerasystems vorgesehen, bei dem eine Objektentfernung anhand einer Phasenverschiebung eines emittierten und empfangenen Modulationssignals ermittelt wird, wobei ein Erfassungsbereich des Lichtlaufzeitkamerasystems sich über mindestens zwei Eindeutigkeitsbereiche, die sich aus der Wellenlänge des Modulationssignals ergeben, erstreckt, und wobei in einer Initialisierungsphase Objekte im Erfassungsbereich erkannt und den jeweiligen Eindeutigkeitsbereichen zugeordnet werden, und wobei mindestens ein entfernungsabhängiger Parameter für jedes erkannte Objekt erfasst wird. Nach der Initialisierungsphase wird die Position der Objekte bestimmt, indem Entfernungswerte ausgehend von den erfassten Phasenverschiebungen ermittelt werden. Hiernach wird mindestens ein entfernungsabhängiger Parameter der erkannten Objekte erfasst, wobei die Raumposition als plausibel ausgegeben wird, wenn der entfernungsabhängige Parameter plausibel ist.A method for operating a time-of-flight camera system is advantageously provided in which an object distance is determined on the basis of a phase shift of an emitted and received modulation signal, a detection area of the time-of-flight camera system extending over at least two uniqueness areas resulting from the wavelength of the modulation signal, and in an initialization phase, objects are recognized in the detection area and assigned to the respective uniqueness areas, and at least one distance-dependent parameter is detected for each detected object. After the initialization phase, the position of the objects is determined in that distance values are determined on the basis of the detected phase shifts. At least one distance-dependent parameter of the detected objects is then recorded, the spatial position being output as plausible if the distance-dependent parameter is plausible.

Dieses Vorgehen hat den Vorteil, dass so genannte Überreichweiten, d.h. eine Zuordnung eines Objektes in einen falschen Entfernungsbereich ohne zusätzliche Entfernungsmessungen erkannt werden können.This procedure has the advantage that so-called overreaches, i.e. an assignment of an object to an incorrect distance range, can be recognized without additional distance measurements.

Vorteilhaft wird als entfernungsabhängiger Parameter eine Dimensionsgröße der erkannten Objekte verwendet.A dimension size of the recognized objects is advantageously used as a distance-dependent parameter.

In einer weiteren Ausgestaltung ist es vorgesehen, dass einer der entfernungsabhängigen Parameter ein Richtungsvektor oder der Abstand zwischen zwei Raumpositionen eines Objekts in aufeinanderfolgenden 3D-Bildern ist. Durch dieses Vorgehen ist in gewissen Grenzen auch eine Prädiktion der Raumposition möglich.In a further embodiment it is provided that one of the distance-dependent parameters is a direction vector or the distance between two spatial positions of an object in successive 3D images. This procedure also enables the spatial position to be predicted within certain limits.

Ferner ist es nützlich, die letzte ermittelte Raumposition nur dann als plausibel zu bewerten, wenn die Länge des Richtungsvektors einen maximalen Abstandswert nicht überschreitet. Hierdurch ist es in einfacher Art und Weise möglich zu erkennen, ob ein Objekt einen zugeordneten Eindeutigkeitsbereich verlässt.It is also useful to assess the last determined spatial position as plausible only if the length of the direction vector does not exceed a maximum distance value. This makes it possible to identify in a simple manner whether an object is leaving an assigned uniqueness area.

Vorteilhaft lässt sich der maximale Abstandswert aus den Bildfolgenraten und einer maximal möglichen Geschwindigkeit der zu messenden Objekte ableitet.The maximum distance value can advantageously be derived from the image sequence rates and a maximum possible speed of the objects to be measured.

Auch ist es denkbar, den maximalen Abstandswert aus der Bildfolgenrate und einer maximal möglichen Beschleunigung der zu messenden Objekte abzuleiten.It is also conceivable to derive the maximum distance value from the image sequence rate and a maximum possible acceleration of the objects to be measured.

Ferner kann der maximale Abstand zusätzlich oder alternativ anhand der Reflektivität ref_Obj der zu messenden Objekte bestimmt werden.Furthermore, the maximum distance can additionally or alternatively on the basis of the reflectivity ref _obj of the objects to be measured can be determined.

In einer weiteren vorteilhaften Ausgestaltung ist es vorgesehen, die Grenzen der Eindeutigkeitsbereiche derart zu verschieben, dass die erfassten Objekte einen maximalen Abstand zu den Grenzen des ihnen zugeordneten Eindeutigkeitsbereichs aufweisen. Durch dieses Vorgehen wird vermieden, dass im üblichen Aktionsradius der Objekte ein Wechsel des Eindeutigkeitsbereichs stattfindet.A further advantageous embodiment provides for the boundaries of the unambiguous areas to be shifted in such a way that the detected objects are at a maximum distance from the boundaries of the unambiguous area assigned to them. This procedure avoids a change in the uniqueness area in the usual action radius of the objects.

Ebenso vorteilhaft ist es, wenn die Länge der Eindeutigkeitsbereiche durch Ändern der Modulationswellenlänge des Modulationssignals derart verändert wird, dass alle erkannten Objekte im geänderten Eindeutigkeitsbereich liegen.It is also advantageous if the length of the uniqueness areas is changed by changing the modulation wavelength of the modulation signal in such a way that all recognized objects lie in the changed uniqueness area.

In einer weiteren Ausgestaltung ist es vorgesehen, eine Querbewegung der Objekte und/oder eine Drehbewegung des Lichtlaufzeitkamerasystems zu ermitteln und bei der Plausibilisierung der Raumposition zu berücksichtigen.In a further embodiment, it is provided that a transverse movement of the objects and / or a rotary movement of the time-of-flight camera system is determined and taken into account in the plausibility check of the spatial position.

Von Vorteil ist ebenso ein Lichtlaufzeitkamerasystem mit einem Lichtlaufzeitsensor, einer Beleuchtung und einem Modulator, der mit dem Lichtlaufzeitsensor und der Beleuchtung verbunden ist, und mit einer Auswerteeinheit, die zur Durchführung eines der vorgenannten Verfahren ausgebildet ist.A time-of-flight camera system with a time-of-flight sensor, lighting and a modulator, which is connected to the time-of-flight sensor and the lighting, and with an evaluation unit that is designed to carry out one of the aforementioned methods is also advantageous.

Nachfolgend wird die Erfindung anhand von Ausführungsbeispielen unter Bezugnahme auf die Zeichnungen näher erläutert.The invention is explained in more detail below on the basis of exemplary embodiments with reference to the drawings.

Es zeigen:

• 1 schematisch das grundlegende Prinzip der Photomischdetektion,
• 2 eine Ladungsverteilung aufgrund der Phasenverschiebung,
• 3 eine Distanzmessung mit einer Wellenlänge,
• 4 eine Messung mit mehreren Eindeutigkeitsbereichen,
• 5 eine mögliche Bestimmung einer Entfernung anhand der Objekthöhe,
• 6 eine Objekttracking mit Wechsel des Eindeutigkeitsbereichs,
• 7 ein mögliches Ablaufschema einer Entfernungsmessung,
• 8 eine Anpassung der Grenzen der Eindeutigkeitsbereiche anhand der Objektposition,
• 9 eine Erfassungssituation in einer Automobilanwendung.

Show it:

• 1 schematically the basic principle of photonic mixing detection,
• 2 a charge distribution due to the phase shift,
• 3rd a distance measurement with a wavelength,
• 4th a measurement with several uniqueness areas,
• 5 a possible determination of a distance based on the object height,
• 6th an object tracking with a change in the uniqueness area,
• 7th a possible flow chart of a distance measurement,
• 8th an adaptation of the boundaries of the uniqueness areas based on the object position,
• 9 a detection situation in an automotive application.

Bei der nachfolgenden Beschreibung der bevorzugten Ausführungsformen bezeichnen gleiche Bezugszeichen gleiche oder vergleichbare Komponenten.In the following description of the preferred embodiments, the same reference symbols designate the same or comparable components.

1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einer Lichtlaufzeitkamera, wie sie beispielsweise aus der DE 197 04 496 A1 bekannt ist. 1 shows a measurement situation for an optical distance measurement with a time-of-flight camera, as it is, for example, from FIG DE 197 04 496 A1 is known.

Das Lichtlaufzeitkamerasystem 1 umfasst eine Sendeeinheit bzw. ein Beleuchtungsmodul 10 mit einer Beleuchtung 12 und einer dazugehörigen Strahlformungsoptik 15 sowie eine Empfangseinheit bzw. Lichtlaufzeitkamera 20 mit einer Empfangsoptik 25 und einem Lichtlaufzeitsensor 22.The time-of-flight camera system 1 comprises a transmission unit or a lighting module 10 with a lighting 12th and associated beam shaping optics 15th as well as a receiving unit or time-of-flight camera 20th with a receiving optics 25th and a time of flight sensor 22nd .

Der Lichtlaufzeitsensor 22 weist mindestens ein Laufzeitpixel, vorzugsweise auch ein Pixel-Array auf und ist insbesondere als PMD-Sensor ausgebildet. Die Empfangsoptik 25 besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 15 der Sendeeinheit 10 kann beispielsweise als Reflektor oder Linsenoptik ausgebildet sein. In einer sehr einfachen Ausgestaltung kann ggf. auch auf optische Elemente sowohl empfangs- als auch sendeseitig verzichtet werden.The time of flight sensor 22nd has at least one transit time pixel, preferably also a pixel array, and is designed in particular as a PMD sensor. The receiving optics 25th typically consists of several optical elements to improve the imaging properties. The beam shaping optics 15th the transmitter unit 10 can for example be designed as a reflector or lens optics. In a very simple embodiment, it is also possible, if necessary, to dispense with optical elements on both the receiving and transmitting sides.

Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasenverschiebung des emittierten und empfangenen Lichts die Laufzeit und somit die zurückgelegte Wegstrecke des empfangenen Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle 12 und der Lichtlaufzeitsensor 22 über einen Modulator 30 gemeinsam mit einem bestimmten Modulationssignal M_o mit einer Basisphasenlage φ₀ beaufschlagt. Im dargestellten Beispiel ist ferner zwischen dem Modulator 30 und der Lichtquelle 12 ein Phasenschieber 35 vorgesehen, mit dem die Basisphase φ₀ des Modulationssignals M₀ der Lichtquelle 12 um definierte Phasenlagen φ_var verschoben werden kann. Für typische Phasenmessungen werden vorzugsweise Phasenlagen von φ_var = 0°, 90°, 180°, 270° verwendet.The measuring principle of this arrangement is essentially based on the fact that, based on the phase shift of the emitted and received light, the transit time and thus the distance covered by the received light can be determined. For this purpose, the light source 12th and the time of flight sensor 22nd via a modulator 30th together with a specific modulation signal M _o with a basic phase position φ ₀ applied. In the example shown, there is also between the modulator 30th and the light source 12th a phase shifter 35 provided with the basic phase φ ₀ of the modulation signal M ₀ the light source 12th around defined phase positions φ _var can be moved. For typical phase measurements, phase positions of φ _var = 0 °, 90 °, 180 °, 270 ° used.

Entsprechend des eingestellten Modulationssignals sendet die Lichtquelle 12 ein intensitätsmoduliertes Signal S_p1 mit der ersten Phasenlage p1 bzw. p1 = φ₀ + φ_var aus. Dieses Signal S_p1 bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 40 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben Δφ(t_L) mit einer zweiten Phasenlage p2 = φ₀ + ϕ_var + Δφ(t_L) als Empfangssignal S_p2 auf den Lichtlaufzeitsensor 22. Im Lichtlaufzeitsensor 22 wird das Modulationssignal M_o mit dem empfangenen Signal S_p2 gemischt, wobei aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung d ermittelt wird.The light source sends according to the set modulation signal 12th an intensity-modulated signal S _p1 with the first phase position p1 or. p1 = φ ₀ + φ _var out. This signal S _p1 or the electromagnetic radiation is reflected by an object 40 in the illustrated case and hits correspondingly out of phase due to the distance covered Δφ (t _L ) with a second phase position p2 = φ ₀ + ϕ _var + Δφ (t _L ) as a received signal S _p2 on the time-of-flight sensor 22nd . In the time of flight sensor 22nd the modulation signal M _{o is} mixed with the received signal S _p2 , the phase shift or the object distance from the resulting signal d is determined.

Als Beleuchtungsquelle bzw. Lichtquelle 12 eignen sich vorzugsweise Infrarot-Leuchtdioden. Selbstverständlich sind auch andere Strahlungsquellen in anderen Wellenlängenbereichen denkbar.As an illumination source or light source 12th Infrared light-emitting diodes are preferably suitable. Of course, other radiation sources in other wavelength ranges are also conceivable.

Das Grundprinzip der Phasenmessung ist schematisch in 2 dargestellt. Die obere Kurve zeigt den zeitlichen Verlauf des Modulationssignals M₀ mit der die Beleuchtung 12 und der Lichtlaufzeitsensor 22 angesteuert werden. Das vom Objekt 40 reflektierte Licht trifft als Empfangssignal S_p2 entsprechend seiner Lichtlaufzeit t_L phasenverschoben Δφ(t_L) auf den Lichtlaufzeitsensor 22. Der Lichtlaufzeitsensor 22 sammelt die photoelektrisch erzeugten Ladungen q über mehrere Modulationsperioden in der Phasenlage des Modulationssignals M₀ in einem ersten Akkumulationsgate Ga und in einer um 180° verschobenen Phasenlage M₀ + 180° in einem zweiten Akkumulationsgate Gb. Aus der Differenz Δq der im ersten und zweiten Gate Ga, Gb gesammelten Ladungen qa, qb lässt sich die Phasenverschiebung Δφ(t_L) und somit eine Entfernung d des Objekts bestimmen.The basic principle of phase measurement is schematically shown in 2 shown. The upper curve shows the course of the modulation signal over time M ₀ with the lighting 12th and the time of flight sensor 22nd can be controlled. The light reflected by the object 40 hits the received signal S p2 with a phase _{shift in} accordance with its light transit time t _L Δφ (t _L ) on the time of flight sensor 22nd . The time of flight sensor 22nd collects the photoelectrically generated charges q over several modulation periods in the phase position of the modulation signal M ₀ in a first accumulation gate Ga and in a phase position shifted by 180 ° M ₀ + 180 ° in a second accumulation gate Gb. The phase shift can be determined from the difference Δq between the charges qa, qb collected in the first and second gate Ga, Gb Δφ (t _L ) and thus a distance d of the object.

Zur genaueren Phasenbestimmung und zur Abdeckung des vollen 360°-Winkelbereiches wird vorzugsweise eine zweite Messung mit einem um 90° verschobenen Modulationssignal durchgeführt. Hierbei wird entweder der Sensor oder die Beleuchtung um diesen Winkel in der Phase verschoben. Der Phasenwinkel bzw. die laufzeitbedingten Phasenverschiebung Δφ(t_L) lässt sich dann, wie beispielsweise in der DE 197 04 496 A1 beschrieben, über eine arctan-Funktion bzw. arctan2-Funktion bestimmen.For a more precise phase determination and to cover the full 360 ° angle range, a second measurement is preferably carried out with a modulation signal shifted by 90 °. Either the sensor or the lighting is shifted in phase by this angle. The phase angle or the phase shift due to the running time Δφ (t _L ) can then, as for example in the DE 197 04 496 A1 as described, can be determined using an arctan function or arctan2 function.

Aus der laufzeitbedingten Phasenverschiebung Δφ(t_L) lässt sich in bekannter Weise der zwischen Sender und Empfänger zurückgelegte Weg D wie folgt bestimmen: $$D=\Delta \phi \left(t_L\right)\frac{\lambda }{2\pi }$$

From the runtime-related phase shift Δφ (t _L ) the distance D covered between transmitter and receiver can be determined in a known manner as follows: $$\mathrm{D.}=\Delta \phi \left(t_{\mathrm{L.}}\right)\frac{\lambda }{2\pi }$$

Der Abstand d des Objekts, an dem das Licht reflektiert wird, ist dementsprechend halb so groß: $$D=\Delta \phi \left(t_L\right)\frac{\lambda }{2\pi }\cdot \frac{1}{2}$$

The distance d of the object on which the light is reflected is accordingly half the size: $$\mathrm{D.}=\Delta \phi \left(t_{\mathrm{L.}}\right)\frac{\lambda }{2\pi }\cdot \frac{1}{2}$$

Wie in 3 dargestellt, ist dieser Entfernungswert d nur für Objektabstände a < λ/2 eindeutig.As in 3rd shown is this distance value d only for object distances a < λ / 2 clearly.

Um auch für größere Objektabstände a > λ/2 Entfernungen bestimmen zu können, werden typischerweise mindestens zwei Messungen mit unterschiedlichen Modulationsfrequenzen durchgeführt. Beispielsweise kann mit einer niedrigen Modulationsfrequenz und somit langen Wellenlänge die Objektentfernung grob ermittelt und mit einer höheren Modulationsfrequenz die Auflösung verbessert werden.To also for larger object distances a > λ / 2 To be able to determine distances, at least two measurements are typically carried out with different modulation frequencies. For example, the object distance can be roughly determined with a low modulation frequency and thus a long wavelength, and the resolution can be improved with a higher modulation frequency.

Erfindungsgemäß ist jedoch vorgesehen, vorzugsweise nur mit einer Modulationsfrequenz zu messen und zur exakten Entfernungsbestimmung a priori bekannte Parameter über die zu messenden Objekte zu berücksichtigen.According to the invention, however, it is provided, preferably to measure with only one modulation frequency and to determine the exact distance a priori known parameters about the objects to be measured must be taken into account.

In 4 ist die grundsätzliche Problematik einer Entfernungsmessung mit einer Modulationsfrequenz dargestellt. Der Sender 10 emittiert ein Modulationssignal mit einer Wellenlänge λ. Entfernungswerte d sind, wie bereits erläutert, maximal bis zur halben Wellenlänge eindeutig. Die halbe Wellenlänge λ/2 kann somit auch als Eindeutigkeitsbereich d_EB betrachtet werden. Aufgrund der Periodizität des Modulationssignals weisen Objekte 40.0, 40.1, 40.3, deren Abstand a sich um ein ganzzahliges Vielfaches n des Eindeutigkeitsbereichs d_EB unterscheidet, die gleichen Entfernungswerte d auf. Wenn es möglich ist, die Anzahl n der bereits durchlaufenden Perioden zu bestimmen, lässt sich der tatsächliche Abstand a des Objekts 40 ohne weiteres wie folgt bestimmen: $$a=n\cdot d_{EB}+d=n\cdot \frac{\lambda }{2}+\Delta \phi \left(t_L\right)\frac{\lambda }{2\pi }\cdot \frac{1}{2}=\left(n+\frac{\Delta \phi }{2\pi }\right)\frac{\lambda }{2}$$

In 4th the basic problem of distance measurement with a modulation frequency is shown. The transmitter 10 emits a modulation signal with a wavelength λ . Distance values d are, as already explained, unambiguous up to a maximum of half the wavelength. Half the wavelength λ / 2 can therefore also be used as a uniqueness area d _EB to be viewed as. Due to the periodicity of the modulation signal, objects 40.0, 40.1, 40.3 have their spacing a is an integer multiple n of the uniqueness range d _EB differs, the same distance values d on. If it is possible to determine the number n of periods that have already passed through, the actual distance can be determined a of the object 40 easily determine as follows: $$a=n\cdot d_{\mathrm{E.}\mathrm{B.}}+d=n\cdot \frac{\lambda }{2}+\Delta \phi \left(t_{\mathrm{L.}}\right)\frac{\lambda }{2\pi }\cdot \frac{1}{2}=\left(n+\frac{\Delta \phi }{2\pi }\right)\frac{\lambda }{2}$$

Eine mögliche Abschätzung der bereits durchlaufenden Perioden kann beispielsweise anhand einer bekannten Objektdimension erfolgen.A possible estimation of the periods that have already passed through can be made, for example, on the basis of a known object dimension.

In 5 ist dieser Ansatz näher erläutert. Der Erfassungsbereich des Lichtlaufzeitkamerasystems kann grundsätzlich in Zonen Z_n bzw. Eindeutigkeitsbereiche mit einem Radius von λ/2 aufgeteilt werden. Im dargestellten Beispiel befindet sich ein Objekt 40.1 im zweiten Eindeutigkeitsbereich Z₁. Die Höhe h_Obj des Objekts 40.1 wird auf dem Sensor 22 als Bildhöhe y abgebildet. Bei bekannter Höhe des Objekts 40.1 kann der tatsächliche Abstand a des Objekts wie folgt bestimmt werden: $$a=h_{Obj}\frac{f}{y}=\frac{h_{Obj}}{\text{tan}\left(\alpha \right)}$$

In 5 this approach is explained in more detail. The detection area of the time-of-flight camera system can basically be divided into zones Z _n or uniqueness areas with a radius of λ / 2 are divided. In the example shown, an object 40.1 is located in the second uniqueness area Z ₁ . The height h _obj of the object 40.1 is on the sensor 22nd as picture height y pictured. If the height of the object 40.1 is known, the actual distance a of the object can be determined as follows: $$a=H_{Obj}\frac{f}{y}=\frac{H_{Obj}}{\text{tan}\left(\alpha \right)}$$

Ferner lässt sich aus dem folgenden Zusammenhang $$tan\left(\alpha \right)=\frac{y}{f}=\frac{h_{Obj}}{n\cdot d_{EB}+d}$$

wie folgt die jeweilige Zone bestimmen: $$n=\frac{\frac{h_{Obj}\cdot f}{y}-d}{d_{EB}}=\frac{a-d}{d_{EB}}$$

Furthermore, from the following context $$tan\left(\alpha \right)=\frac{y}{f}=\frac{H_{Obj}}{n\cdot d_{\mathrm{E.}\mathrm{B.}}+d}$$

determine the respective zone as follows: $$n=\frac{\frac{H_{Obj}\cdot f}{y}-d}{d_{\mathrm{E.}\mathrm{B.}}}=\frac{a-d}{d_{\mathrm{E.}\mathrm{B.}}}$$

Statt der Höhe h_Obj des Objekts 40 kann selbstverständlich jede erfassbare Dimension des Objektes verwendet werden.Instead of the height h _obj of the object 40, any detectable dimension of the object can of course be used.

In einem typischen Anwendungsfall kann die Lichtlaufzeitkamera beispielsweise mit einer Modulationsfrequenz von 75 MHz und somit einem Modulationswellenlänge von 4 m betrieben werden. Für die Entfernungsmessung ist dem Kamerasystem die Größe einer Person mit beispielsweise 1,80 m bekannt. Diese Person wird im Erfassungsbereich der Lichtlaufzeitkamera erfasst und aus den ermittelten Messgrößen, beispielsweise Entfernungswert d = 1 m und Abbildungswinkel α von 31° gemäß obiger Formeln, ein Abstand a zur Person von 3 m ermittelt. Ferner ist durch die Abstandsermittlung bekannt, in welcher Zone sich die Person befindet, nämlich im vorliegenden Beispiel in der zweiten Zone Z₁.In a typical application, the time-of-flight camera can be operated, for example, with a modulation frequency of 75 MHz and thus a modulation wavelength of 4 m. For distance measurement, the camera system knows the height of a person, for example 1.80 m. This person is recorded in the detection range of the time-of-flight camera and from the determined measured variables, for example the distance value d = 1 m and imaging angle α of 31 ° according to the above formulas, a distance a to the person of 3 m determined. Furthermore, from the distance determination, it is known in which zone the person is located, namely in the present example in the second zone Z ₁ .

Die Genauigkeit der geometrischen Bestimmung des Abstands hängt jedoch maßgeblich davon ab, ob die Objekthöhe während den Messungen konstant bleibt. Bei sich bewegenden Personen ist dies nicht der Fall, insofern dient die geometrische Betrachtung vornehmlich nur zur Abschätzung. Die exakte Entfernungsbestimmung erfolgt über das Lichtlaufzeitverfahren. However, the accuracy of the geometric determination of the distance depends largely on whether the object height remains constant during the measurements. This is not the case with moving people, so the geometrical consideration is primarily only used for estimation. The exact distance is determined using the time-of-flight method.

Besonders vorteilhaft lässt sich dieses Verfahren für Computerspiele und Spielekonsolen zur Erkennung von Spielerpersonen im Raum einsetzen. Vorzugsweise wird in einer Initialisierungsphase die Standorte P₀ einer oder mehrerer Personen und ggf. Gegenstände im Raum erfasst. Ausgehend von diesem 3D-Modell können alle weiteren 3D-Positionen P_0+dt beispielsweise mit Hilfe eines Objekttrackings gekoppelt werden.This method can be used particularly advantageously for computer games and game consoles for recognizing players in the room. _{The locations P 0 of} one or more people and possibly objects in the room are preferably recorded in an initialization phase. Starting from this 3D model, all further 3D positions P _{0 + dt} can be coupled, for example with the aid of object tracking.

Ein derartiges Vorgehen ist beispielhaft in 6 gezeigt. Zu einem Initialisierungszeitpunkt t₀ befindet sich ein Objekt 40 in einer Initialposition P₀ in der zweiten Zone Z₁. In den nachfolgenden Messungen ist es vorgesehen, mit jedem erfassten 3D-Bild bzw. Frame i die relative Positionsveränderung Δd des Objekts 40 zu bestimmen und mit der Initialposition P₀ bzw. der Position des vorhergehenden Frames i-1 zu koppeln: $$a=a\left(P_0\right)+{\displaystyle \sum \Delta d_i}=n_0\cdot d_{EB}+d_0+{\displaystyle \sum \Delta d_i}$$

Such a procedure is exemplified in 6th shown. At an initialization time t ₀ , an object 40 is in an initial position P ₀ in the second zone Z ₁ . In the following measurements, it is intended to determine the relative position change Δd of the object 40 with each acquired 3D image or frame i and _{to couple it with the initial position P 0} or the position of the previous frame i-1: $$a=a\left({\mathrm{P.}}_0\right)+{\displaystyle \sum \Delta d_i}={\mathrm{<figure-callout\; id="0"\; label="n"\; filenames="DE102014204423B4\_0012.png,DE102014204423B4\_0014.png"\; state="\{\{state\}\}">n</figure-callout>}}_0\cdot d_{\mathrm{E.}\mathrm{B.}}+{\mathrm{<figure-callout\; id="0"\; label="d"\; filenames="DE102014204423B4\_0012.png,DE102014204423B4\_0014.png"\; state="\{\{state\}\}">d</figure-callout>}}_0+{\displaystyle \sum \Delta d_i}$$

Alternativ zum Koppeln kann auch immer der aktuelle Entfernungswert d_i verwendet werden: $$a=n_0\cdot d_{EB}+d_i$$

As an alternative to coupling, the current distance value d _i can always be used: $$a={\mathrm{<figure-callout\; id="0"\; label="n"\; filenames="DE102014204423B4\_0012.png,DE102014204423B4\_0014.png"\; state="\{\{state\}\}">n</figure-callout>}}_0\cdot d_{\mathrm{E.}\mathrm{B.}}+d_i$$

Diese Form der Entfernungsberechnung ist grundsätzlich anwendbar für Positionsänderungen innerhalb einer Zone. Im dargestellten Beispiel verlässt jedoch das Objekt 40 bei der Bewegung von der dritten auf die vierte Position P₄ den initialen Eindeutigkeitsbereich Z_i und befindet sich dann im dritten Eindeutigkeitsbereich Z₂. Mit der reinen Wegkopplung der Daten wird jedoch eine scheinbare vierte Position P'₄ innerhalb des initialen zweiten Eindeutigkeitsbereichs Z₁ ermittelt.This form of distance calculation can basically be used for position changes within a zone. In the example shown, however, when moving from the third to the fourth position P ₄ , the object 40 leaves the initial uniqueness area Z _i and is then located in the third uniqueness area Z ₂ . With the pure coupling of the data, however, an apparent fourth position P ' _{4 is determined} within the initial second uniqueness area Z ₁ .

Um derartige Unstimmigkeiten erkennen zu können, sind verschiedene Herangehensweisen denkbar.Various approaches are conceivable for identifying such inconsistencies.

Ein mögliches Vorgehen ist, die Richtungsvektoren r_i bzw. Abstände |r_i| zwischen zwei aufeinander folgende Punkte auf Plausibilität zu prüfen. Ausgehend vom Beispiel einer sich bewegenden Person kann davon ausgegangen werden, dass keine Geschwindigkeiten größer als 10 m/s erreicht werden. Bei einer Framerate von 50 Hz bedeutet dies, dass zwischen zwei aufeinanderfolgenden Frames i und i+1 maximal 0,2 m zurückgelegt werden können. Der Richtungsvektor r'₄ im skizzierten Fall wäre dann deutlich länger als 0,2 m und insofern unplausibel. Bei Vorliegen eines unplausiblen Werts könnte dann beispielsweise geprüft werden, ob ein Zonenwechsel vorliegt. Nach erneutem Berechnen der Position mit dem nächst höheren ,Zonenfaktor' n + 1 läge die Länge des Richtungsvektors r₄ unterhalb des Grenzwertes und wäre somit plausibel und die berechnete Position P₄ könnte als gültig ausgegeben werden.One possible procedure is to use the direction vectors r _i or distances | r _i | to check for plausibility between two successive points. Based on the example of a moving person, it can be assumed that no speeds greater than 10 m / s can be achieved. At a frame rate of 50 Hz, this means that a maximum of 0.2 m can be covered between two consecutive frames i and i + 1. The direction vector r ' ₄ in the sketched case would then be significantly longer than 0.2 m and therefore implausible. If there is an implausible value, it could then be checked, for example, whether a zone change has occurred. After recalculating the position with the next higher 'zone factor' n + 1, the length of the direction vector r _{4 would be} below the limit value and would therefore be plausible and the calculated position P ₄ could be output as valid.

Eine weitere Möglichkeit der Kontrolle besteht darin, ausgehend von dem ermittelten Abstand eine Objektdimension vorzugsweise die Objekthöhe h_Obj zu bestimmen. Ausgehend von dem oben beschriebenen Beispiel einer Person mit 1,80 m Körpergröße und einem Eindeutigkeitsbereich d_EB von 2 m wäre folgende Analyse möglich:A further possibility of checking consists in starting an object dimension, preferably the object height, based on the determined distance h _obj to determine. Based on the example described above of a person who is 1.80 m tall and has a range of uniqueness d _EB from 2 m the following analysis would be possible:

Angenommen die Person im Punkt P₄ ist tatsächlich 4,1 m vom Kamerasystem entfernt. Für diese Entfernung ermittelt das Kamerasystem einen Entfernungswert von 0,1 m. Mit der zuvor beschriebenen Methode würde dann ein Abstand a von 1*2m + 0,1 m = 2,1 m bestimmt werden.Assuming the person in point P ₄ is actually 4.1 m away from the camera system. The camera system determines a distance value of 0.1 m for this distance, which would then be a distance using the method described above a of 1 * 2m + 0.1 m = 2.1 m can be determined.

Ob dieser Entfernungswert plausibel ist, lässt sich besonders vorteilhaft durch Rückrechnen der Körpergröße überprüfen: $$h_{Obj}=a\cdot \frac{y}{f}=a\cdot \text{tan}\left(\alpha \right)$$

Whether this distance value is plausible can be checked particularly advantageously by back-calculating the body size: $$H_{Obj}=a\cdot \frac{y}{f}=a\cdot \text{tan}\left(\alpha \right)$$

Die Kameradaten y und f sind im vorliegenden Beispiel zwar nicht bekannt aber die Winkelbeziehung tan(α) ergibt sich ohne weiteres aus den getroffenen Annahmen, hieraus folgt für die zu berechnende Objekthöhe $$h_{Obj}=\mathrm{2,1}\cdot \frac{\mathrm{1,8}}{\mathrm{4,1}}=\mathrm{0,92}\ne \mathrm{1,8}$$

The camera data y and f are not known in the present example, but the angular relationship tan (α) results from the assumptions made, from which it follows for the object height to be calculated $$H_{Obj}=2.1\cdot \frac{1.8}{4.1}=0.92\ne 1.8$$

Die ermittelte Position P'₄ ist somit aufgrund der unplausiblen Objektdimension ungültig.The determined position P ' ₄ is therefore invalid due to the implausible object dimension.

Prinzipiell sind vielfältige Objektattribute denkbar, deren Auswertung zur Prädiktion des Eindeutigkeitsbereichs bzw. des Übergangs zwischen den Eindeutigkeitsbereichen bzw. Zonen verwendet werden können.In principle, diverse object attributes are conceivable, the evaluation of which can be used to predict the uniqueness area or the transition between the uniqueness areas or zones.

Neben der reinen Positionserkennung kann auch ein Geschwindigkeitsvektor des Objekts bestimmt werden, um so beispielsweise ein Verlassen des Eindeutigkeitsbereichs vorherzusagen.In addition to the pure position detection, a speed vector of the object can also be determined in order to predict, for example, an exit from the unambiguous range.

Des Weiteren kann auch eine ermittelte Beschleunigung der Objekte nur in bestimmten Eindeutigkeitsbereichen plausibel sein.Furthermore, a determined acceleration of the objects can only be plausible in certain unambiguous areas.

Auch über das Reflektionsvermögen ref_Obj lässt sich ein Plausibilitätsparameter Par_obj ableiten.Also about the reflectivity ref _obj a plausibility _parameter Par obj can be derived.

Zur Bestimmung des gültigen Eindeutigkeitsbereichs können somit eine Vielzahl charakteristischer Eigenschaften der detektierten Objekte genutzt werden. Die Plausiblilisierung wird damit in einen „Objektraum“ bzw. „Attributraum“ der Objekte verschoben. Dieses Vorgehen hat den Vorteil, dass die Attribute parallel zur Entfernungsmessung ohne zusätzliche Messzeit erfasst und verarbeitet werden können. Dabei ist zu beachten, dass die Attribute der Objekte in der Regel nicht statisch über deren Lebensdauer sind. Die Prädiktion ist im Allgemeinen unscharf und kann somit in der Regel nicht allein für eine Entfernungsbestimmung herangezogen werden.A large number of characteristic properties of the detected objects can thus be used to determine the valid uniqueness range. The plausibility is thus shifted to an “object space” or “attribute space” of the objects. This procedure has the advantage that the attributes can be recorded and processed parallel to the distance measurement without additional measurement time. It should be noted that the attributes of the objects are usually not static over their lifetime. The prediction is generally fuzzy and can therefore usually not be used solely to determine the distance.

In einer bevorzugten Ausführung ist es denkbar, in einer Initialisierungsphase quasi in einem ,key frame' ein 3D-Modell der Umgebung und der darin befindlichen detektierbaren Objekte zu erfassen. In dieser Initialisierungsphase können ggf. zusätzliche Messmethoden zur Entfernungsbestimmung herangezogen werden, um ein möglichst exaktes 3D-Modell erstellen zu können. Insbesondere kann die Initialisierungsphase mit unterschiedlichen Modulationsfrequenzen durchgeführt werden.In a preferred embodiment, it is conceivable, in an initialization phase, to acquire a 3D model of the environment and the detectable objects located therein, quasi in a 'key frame'. In this initialization phase, additional measurement methods can possibly be used to determine the distance in order to be able to create a 3D model that is as precise as possible. In particular, the initialization phase can be carried out with different modulation frequencies.

Ausgehend von den in der Initialisierungsphase erfassten Informationen können vorzugsweise applikationsabhängig geeignete Objektattribute für die spätere Plausibilisierung oder dem Objekttracking ausgewählt werden. Insbesondere können ausgehend von dem ersten initialen 3D-Modell Objektdimensionen bestimmt und den jeweiligen Objekten zugeordnet werden.On the basis of the information recorded in the initialization phase, suitable object attributes can preferably be selected, depending on the application, for the later plausibility check or object tracking. In particular, object dimensions can be determined on the basis of the first initial 3D model and assigned to the respective objects.

Gelangen während der Messungen weitere Objekte in den Erfassungsbereich der Lichtlaufzeitkamera kann es ggf. notwendig sein, die Initialisierung erneut durchzuführen. Grundsätzlich ist es auch denkbar, nach einer bestimmten Anzahl von Messungen die Initialisierung unabhängig von der Messsituation durchzuführen, um erst gar keine Inkonsistenz aufkommen zu lassen. Ebenso können Initialmessungen immer erst dann durchgeführt werden, wenn die Anzahl der unplausiblen Positionsmessungen einen Grenzwert überschreiten.If further objects come into the detection range of the time-of-flight camera during the measurements, it may be necessary to carry out the initialization again. In principle, it is also conceivable to carry out the initialization independently of the measurement situation after a certain number of measurements in order to avoid any inconsistencies at all. Likewise, initial measurements can only be carried out if the number of implausible position measurements exceeds a limit value.

In 7 ist ein möglicher Ablauf des erfindungsgemäßen Vorgehens dargestellt. In einer Initialisierungsphase werden beispielsweise über eine Mehrfrequenzentfernungsmessung für die im Erfassungsbereich liegenden und erkannten Objekte 40 deren Position P₀, Eindeutigkeitsbereich Z_n und Parameter Par_Obj der entfernungsrelevanten Objektattribute erfasst. Gegebenenfalls können bestimmte Angaben auch manuell eingegeben werden.In 7th a possible sequence of the procedure according to the invention is shown. In an initialization phase, for example, a multi-frequency distance measurement is used to determine the position P ₀ , unambiguous area of the objects 40 located in the detection area and recognized Z _n and parameter Par _{Obj of} the distance-relevant object attributes recorded. If necessary, certain information can also be entered manually.

Die ermittelten Objekte werden vorzugsweise in Objektlisten OL mitsamt allen relevanten Daten und Parametern gelistet. Nach der Initialisierung ist das System bereit zur Durchführung von Entfernungsmessungen.The objects determined are preferably listed in object lists OL together with all relevant data and parameters. After initialization, the system is ready to take distance measurements.

In einem ersten Schritt a) werden entfernungsrelevante Größen insbesondere eine laufzeitbedingte Phasenverschiebung Δφ(t_L) und/oder Entfernungswerte d ermittelt. Ausgehend von diesen Daten werden in einem zweiten Schritt b) die Positionen P_x der erfassten und bekannten Objekte berechnet. Zeitgleich oder in einem nachfolgenden dritten Schritt c) werden die entfernungsrelevanten Parameter Par_OBj der erfassten Objekte ermittelt. Stimmen diese Parameter mit der ermittelten Objektposition P_x plausibel überein (Schritt d), wird diese Objektposition als gültig in einem Schritt e) ausgegeben.In a first step a ), distance-relevant variables are, in particular, a phase shift due to the running time Δφ (t _L ) and / or distance values d determined. On the basis of this data, the positions P _{x of} the detected and known objects are calculated in a second step b). At the same time or in a subsequent third step c), the distance- _{relevant parameters Par OBj of} the detected objects are determined. Do these parameters plausibly match the determined object position P _{x (step} d ), this object position is output as valid in step e).

Ist die Objektposition P_x unplausibel kann je nach Applikation vorgesehen sein, den Wert als ungültig auszugeben oder es besteht die Möglichkeit die Objektposition P_x auf einen plausiblen Wert zu korrigieren. Zur Korrektur stehen, wie bereits beschrieben, unterschiedliche Methoden zur Verfügung, beispielsweise kann die Korrektur über einen Wechsel des Eindeutigkeitsbereich Z erfolgen. Mit dieser Korrektur werden für die betroffenen Objekte die Positionen P_x neu berechnet und mit den entfernungsrelevanten Parametern auf Plausibilität geprüft. Ob ggf. eine weitere Korrekturschleife erlaubt ist, hängt im Wesentlichen davon ab, wie zeitkritisch die Messaufgabe ist.If the object position P _{x is} implausible, provision can be made, depending on the application, to output the value as invalid, or it is possible _{to correct the object position P x} to a plausible value. As already described, different methods are available for correction, for example the correction can be made by changing the uniqueness area Z. With this correction, the positions P _{x are} recalculated for the objects concerned and checked for plausibility with the distance-relevant parameters. Whether a further correction loop is permitted depends essentially on how time-critical the measurement task is.

Nach Ermittlung der Positionen oder auch parallel zur den Positionsberechnungen können weitere Entfernungsmessungen durchgeführt. Die Positionen der Objekte und ggf. weitere Objektattribute können über Objektlisten einer nachfolgenden Applikation zur Verfügung gestellt werden.After determining the positions or in parallel with the position calculations, further distance measurements can be carried out. The positions of the objects and possibly other object attributes can be made available to a subsequent application via object lists.

In einer weiteren Ausgestaltung gemäß 8 ist es denkbar, den Eindeutigkeitsbereich Z in Abhängigkeit der Position der relevanten Objekte 40 derart zu verschieben, dass die Objekte 40 möglichst weit von den Grenzen des Eindeutigkeitsbereichs entfernt sind. Wie in 8 a) gezeigt befindet sich das Objekt 40.1 in einem hinteren Bereich des zweiten Eindeutigkeitsbereich Z₁. Bereits kleine Distanzänderung können zu einem Verlassen des Eindeutigkeitsbereichs Z₁ führen.In a further embodiment according to 8th it is conceivable to shift the uniqueness area Z as a function of the position of the relevant objects 40 in such a way that the objects 40 are as far away as possible from the boundaries of the uniqueness area. As in 8 a) shown, the object 40.1 is located in a rear area of the second uniqueness area Z ₁ . Even small changes in distance can lead to a departure from the uniqueness range Z ₁ .

Erfindungsgemäß ist es vorgesehen, beispielsweise durch Verändern der Phasenlage φ der Beleuchtung 10 oder des Sensors 22 die Grenzen der Eindeutigkeitsbereiche Z zu verschieben. In erster Näherung kann eine optimale Verschiebung d(cp) wie folgt bestimmt werden: $$d\left(\phi \right)=d-\frac{d_{EB}}{2}$$

According to the invention, it is provided, for example, by changing the phase position φ of the lighting 10 or the sensor 22nd to move the boundaries of the uniqueness areas Z. As a first approximation, an optimal displacement d (cp) can be determined as follows: $$d\left(\phi \right)=d-\frac{d_{\mathrm{E.}\mathrm{B.}}}{2}$$

Bei mehreren Objekten können andere bewährte Optimierungs-Verfahren, beispielweise „least square“-Algorithmen, zur Anwendung kommen.In the case of several objects, other proven optimization methods, for example “least square” algorithms, can be used.

Sind Objekte über mehrere Eindeutigkeitsbereiche verteilt, kann es zusätzlich zur Verschiebung der Eindeutigkeitsgrenzen auch vorgesehen sein, die Modulationsfrequenz und somit die Länge d_EB der Eindeutigkeitsbereiche Z derart zu verändern, dass alle Objekte in einem Eindeutigkeitsbereich liegen.If objects are distributed over several uniqueness areas, the modulation frequency and thus the length can also be provided in addition to shifting the uniqueness limits d _EB to change the uniqueness areas Z in such a way that all objects lie in a uniqueness area.

Eine weitere Anwendung ist in 9 gezeigt, bei der das Lichtlaufzeitkamerasystem beispielsweise an einem Fahrzeug angeordneten ist und einen vorausliegenden Straßenbereich erfasst. Innerhalb des Erfassungsbereiches liegen die Straße selbst, ein Verkehrsschild 40.a, ein Fahrzeug 40.b und mehrere Leitpfosten 40.c am Straßenrand.Another application is in 9 in which the time-of-flight camera system is arranged, for example, on a vehicle and detects a road area ahead. The road itself, a traffic sign 40.a, a vehicle 40.b and several delineator posts 40.c are located on the roadside within the detection area.

Für eine Automobilanwendung ist es notwendig, Objektentfernungen auch über größere Distanzen sicher zu erkennen, insofern ist es in der Regel erforderlich, wenigstens zwei Modulationsfrequenz für die Erweiterung des Eindeutigkeitsbereichs zu verwenden. Beispielsweise ergibt sich für Modulationssignale mit den Wellenlängen 11 m und 20 m ein gemeinsamer Eindeutigkeitsbereich von 220 m. Mit dem erfindungsgemäßen Vorgehen ist es nun möglich, für bestimmte, vorbekannte Objekte die Entfernungsmessung zu vereinfachen.For an automobile application, it is necessary to reliably detect object distances even over greater distances, so it is generally necessary to use at least two modulation frequencies to expand the uniqueness range. For example, a common uniqueness range of 220 m results for modulation signals with the wavelengths 11 m and 20 m. With the procedure according to the invention, it is now possible to simplify the distance measurement for certain previously known objects.

Bei den in 9 dargestellten Objekten handelt es sich um applikationsrelevante Objekte, die sich dadurch auszeichnen, dass bestimmte entfernungsrelevante Attribute genormt oder innerhalb enger Toleranzen bekannt sind. So sind beispielsweise die Größen von Verkehrsschildern 40.a und Leitpfosten 40.b genormt und können bereits im Vorfeld in einem Speicher des Lichtlaufzeitkamerasystems hinterlegt werden. Ebenso bewegen sich die typischen Fahrzeugbreiten innerhalb bestimmter Toleranzen und können ggf. auch in einem Speicher hinterlegt werden.The in 9 objects shown are application-relevant objects that are characterized by the fact that certain distance-relevant attributes are standardized or known within narrow tolerances. For example, the sizes of traffic signs 40.a and delineator posts 40.b are standardized and can already be stored in advance in a memory of the time-of-flight camera system. The typical vehicle widths also move within certain tolerances and can, if necessary, also be stored in a memory.

Für die Erzeugung eines 3D-Bildes werden mehrere Aufnahmebilder bzw. Frames mit unterschiedlichen Phasenlagen und Modulationsfrequenzen aufgenommen. Anhand des erzeugten 3D-Bildes werden über Objekterkennungsverfahren einzelne Objekte identifiziert, deren Dimensionen und 3D-Positionen bestimmt. Diese Daten werden vorzugsweise in Objektlisten zusammengefasst.To generate a 3D image, several recorded images or frames with different phase positions and modulation frequencies are recorded. Based on the generated 3D image, individual objects are identified using object recognition processes, and their dimensions and 3D positions are determined. These data are preferably summarized in object lists.

Für die Objekte, deren Attribute vorbekannt sind, ist es nun vorgesehen, zumindest für eine bestimmte Anzahl von Frames, die Entfernungsmessung zu vereinfachen, indem die Entfernung vornehmlich anhand der Veränderung der Parameter der entfernungsrelevanten Attribute bestimmt wird. Als entfernungsrelevante Attribute können beispielsweise Größe h_Obj oder Reflektivität ref_Obj der Objekte herangezogen.For the objects whose attributes are previously known, provision is now made for the distance measurement to be simplified, at least for a certain number of frames, in that the distance is primarily determined on the basis of the change in the parameters of the distance-relevant attributes. For example, size h _obj or reflectivity ref _obj of the objects used.

BezugszeichenlisteList of reference symbols

1010

BeleuchtungsmodulLighting module

1212th

Beleuchtunglighting

2222nd

LichtlaufzeitsensorTime of flight sensor

3030th

Modulatormodulator

3535

Phasenschieber, BeleuchtungsphasenschieberPhase shifter, lighting phase shifter

Δφ(tL)Δφ (tL)

laufzeitbedingte Phasenverschiebungphase shift due to runtime

φvarφvar

PhasenlagePhasing

φ0φ0

BasisphaseBase phase

M0M0

ModulationssignalModulation signal

p1p1

erste Phasefirst phase

p2p2

zweite Phasesecond phase

Sp1Sp1

Sendesignal mit erster PhaseTransmission signal with first phase

Sp2Sp2

Empfangssignal mit zweiter PhaseReceived signal with second phase

λλ

Wellenlängewavelength

aa

ObjektabstandObject distance

dd

Objektdistanz, Distanz im EindeutigkeitsbereichObject distance, distance in the uniqueness area

dEBdEB

Länge EindeutigkeitsbereichLength of uniqueness area

hObjhObj

Objekthöhe, ObjektdimensionObject height, object dimension

refObjrefObj

Reflektivität eines ObjektsReflectivity of an object

ff

BrennweiteFocal length

yy

BildhöheImage height

PP.

RaumpositionSpatial position

ZnZn

Zone, EindeutigkeitsbereichZone, uniqueness area

Claims (11)

Verfahren zum Betreiben eines Lichtlaufzeitkamerasystems, bei dem eine Objektentfernung anhand einer Phasenverschiebung eines emittierten und empfangenen Modulationssignals ermittelt wird, wobei ein Erfassungsbereich des Lichtlaufzeitkamerasystems sich über mindestens zwei Eindeutigkeitsbereiche (Z_n), die sich aus der Wellenlänge des Modulationssignals ergeben, erstreckt, und wobei in einer Initialisierungsphase mit unterschiedlichen Modulationsfrequenzen ein 3D-Modell der Umgebung und der darin befindlichen Objekte (40) erfasst wird, wobei die im Erfassungsbereich erkannten Objekte (40) im Erfassungsbereich dem jeweiligen Eindeutigkeitsbereichen (Z_n) zugeordnet werden, und wobei neben der Objektentfernung mindestens ein Parameter (Par_Obj, h_Obj, r_imax, ref_Obj) entfernungsrelevanter Obj ektattribute für jedes erkannte Objekt (40) erfasst wird, und eine der Initialisierungsphase nachfolgende Positionsbestimmung der Objekte mit folgenden Schritten durchgeführt wird: a) Ermittlung von Entfernungswerten (d, Δφ(t_L)) nur mit einer Modulationsfrequenz, b) Ermittlung von Raumpositionen (P_x) der erkannten Objekte (40), c) Erfassung des mindestens einen Parameters (h_Obj, r_i,max ref_Obj) der entfernungsrelevanten Objektattribute der erkannten Objekte (40), d) Überprüfung, ob der Parameter (h_Obj, r_i) der entfernungsrelevanten Objektattribute für die Raumposition des Objekts (40) plausibel ist, e) Ausgabe einer gültigen Raumposition (P_x), wenn die Raumposition (P_x) plausibel ist.A method for operating a time-of-flight camera system in which an object distance is determined on the basis of a phase shift of an emitted and received modulation signal, a detection area of the time-of-flight camera system extending over at least two unambiguous areas (Z _n ) resulting from the wavelength of the modulation signal, and in In an initialization phase with different modulation frequencies, a 3D model of the environment and the objects (40) located therein is recorded, the objects (40) recognized in the detection area being assigned to the respective uniqueness areas (Z _n ) in the detection area, and in addition to the object distance, at least one Parameter (Par _Obj , h _Obj , r _imax , ref _Obj ) of distance-relevant object attributes is recorded for each recognized object (40), and a position determination of the objects following the initialization phase is carried out with the following steps: a) Determine Measurement of distance values (d, Δφ (t _L )) only with one modulation frequency, b) determination of spatial positions (P _x ) of the detected objects (40), c) detection of the at least one parameter (h _obj , r _{i, max} ref _obj ) the distance-relevant object attributes of the detected objects (40), d) checking whether the parameter (h _Obj , r _i ) of the distance-relevant object attributes is plausible for the spatial position of the object (40), e) output of a valid spatial position (P _x ), if the spatial position (P _x ) is plausible. Verfahren nach Anspruch 1, bei dem der entfernungsabhängige Parameter eine Dimensionsgröße (h_Obj) der erkannten Objekte (40) ist.Procedure according to Claim 1 , in which the distance-dependent parameter is a dimension size (h _Obj ) of the detected objects (40). Verfahren nach einem der vorhergehenden Ansprüche, bei dem einer der entfernungsabhängigen Parameter ein Richtungsvektor (r_i) oder der Abstand (Inl) zwischen zwei Raumpositionen (P_x) eines Objekts (40) in aufeinanderfolgenden 3D-Bildern (i) ist.Method according to one of the preceding claims, in which one of the distance-dependent parameters is a direction vector (r _i ) or the distance (Inl) between two spatial positions (P _x ) of an object (40) in successive 3D images (i). Verfahren nach Anspruch 3, bei dem die letzte ermittelte Raumposition (P_x) nur dann plausibel ist, wenn die Länge des Richtungsvektors (r_i) einen maximalen Abstandswert nicht überschreitet.Procedure according to Claim 3 , for which the last determined spatial position (P _x ) is only plausible if the length of the direction vector (r _i ) does not exceed a maximum distance value. Verfahren nach Anspruch 4, bei dem sich der maximale Abstandswert aus der Bildfolgenraten und einer maximal möglichen Geschwindigkeit der zu messenden Objekte ableitet.Procedure according to Claim 4 , for which the maximum distance value is derived from the image sequence rates and a maximum possible speed of the objects to be measured. Verfahren nach Anspruch 4 oder 5, bei dem sich der maximale Abstandswert aus der Bildfolgenrate und einer maximal möglichen Beschleunigung der zu messenden Objekte ableitet.Procedure according to Claim 4 or 5 , for which the maximum distance value is derived from the image sequence rate and a maximum possible acceleration of the objects to be measured. Verfahren nach einem der Ansprüche 4 bis 5, bei dem der maximale Abstand anhand der Reflektivität der zu messenden Objekte bestimmt wird.Method according to one of the Claims 4 to 5 , at which the maximum distance is determined based on the reflectivity of the objects to be measured. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Grenzen der Eindeutigkeitsbereiche (Z) derart verschoben werden, dass die erfassten Objekte (40) einen maximalen Abstand zu den Grenzen des ihnen zugeordneten Eindeutigkeitsbereich (Z) aufweisen.Method according to one of the preceding claims, in which the boundaries of the uniqueness areas (Z) are shifted in such a way that the detected objects (40) are at a maximum distance from the boundaries of the uniqueness area (Z) assigned to them. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die Länge der Eindeutigkeitsbereiche (Z) durch Ändern der Modulationswellenlänge des Modulationssignals derart verändert wird, dass alle erkannten Objekte (40) im geänderten Eindeutigkeitsbereich (Z) liegen.Method according to one of the preceding claims, in which the length of the uniqueness areas (Z) is changed by changing the modulation wavelength of the modulation signal in such a way that all recognized objects (40) lie in the changed uniqueness area (Z). Verfahren nach einem der vorhergehenden Ansprüche, bei dem eine Querbewegung der Objekte und/oder eine Drehbewegung des Lichtlaufzeitkamerasystems ermittelt und bei der Plausibilisierung der Raumposition (Px) berücksichtigt werden.Method according to one of the preceding claims, in which a transverse movement of the objects and / or a rotary movement of the time-of-flight camera system is determined and taken into account in the plausibility check of the spatial position (Px). Lichtlaufzeitkamerasystem (1) mit einem Lichtlaufzeitsensor (22), einer Beleuchtung (10) und einem Modulator (30), der mit dem Lichtlaufzeitsensor (22) und der Beleuchtung (10) verbunden ist, und mit einer Auswerteeinheit (27), die zur Durchführung eines Verfahren nach einem der vorhergehenden Ansprüche ausgebildet ist.Time-of-flight camera system (1) with a time-of-flight sensor (22), lighting (10) and a modulator (30), which is connected to the time-of-flight sensor (22) and the lighting (10), and with an evaluation unit (27) which is used to carry out of a method according to one of the preceding claims.

Images