DE102022131218A1 - Camera system with cross-talk compensation - Google Patents

Abstract

Kamerasystem mit einem Sensor, bestehend aus einem oder mehreren für elektromagnetische Strahlung empfindliche Pixel,mit einer Beleuchtung zur Aussendung einer elektromagnetischen Strahlung,und mit einer Auswerteeinheit,wobei der Sensor und die Beleuchtung hinter einer semitransparenten Schicht angeordnet sind,und über die semitransparente Schicht ein Teil der Strahlung der Beleuchtung als Cross-Talk-Signal zum Sensor gelangt,wobei das Kamerasystem als Time-of-Flight Kamerasystem nach dem Phasenmessprinzip ausgebildet ist,mit einer Auswerteeinheit zur Erfassung einer Phasendifferenz zwischen dem ausgesendeten und empfangenen Licht,wobei im Betrieb des Kamerasystems am Sensor ein Mischsignal aus dem Cross-Talk-Signal und einer von einer Szenerie reflektierten Strahlung am Sensor anliegt,wobei aus den Mischsignalen einer oder mehrerer Messungen ein Aufnahmesignal ermittelt wird,wobei die Pixel des Sensors wenigstens zwei Taps bzw. zwei Integrationsknoten aufweisen,wobei in einem Speicher der Auswerteeinheit wenigstens ein Cross-Talk-Referenzsignal für wenigstens einen Aufnahme-Parameter hinterlegt ist,wobei die Auswerteeinheit derart ausgestaltet ist,dass zur Bildung einer korrigierten Aufnahmedas Cross-Talk-Referenzsignal von dem Aufnahmesignal abgezogen wird.Camera system with a sensor consisting of one or more pixels sensitive to electromagnetic radiation, with lighting for emitting electromagnetic radiation, and with an evaluation unit, the sensor and the lighting being arranged behind a semi-transparent layer, and a part over the semi-transparent layer of the radiation from the lighting reaches the sensor as a cross-talk signal,where the camera system is designed as a time-of-flight camera system based on the phase measurement principle,with an evaluation unit for detecting a phase difference between the emitted and received light,wherein the operation of the camera system on sensor, a mixed signal from the cross-talk signal and radiation reflected from a scene is present at the sensor, with a recording signal being determined from the mixed signals of one or more measurements, with the pixels of the sensor having at least two taps or two integration nodes, with in at least one crosstalk reference signal for at least one recording parameter is stored in a memory of the evaluation unit, the evaluation unit being designed such that the crosstalk reference signal is subtracted from the recording signal to form a corrected recording.

Description

Die Erfindung geht aus von einem Kamerasystem mit einer Cross-Talk-Kompensation nach Gattung des unabhängigen Anspruchs.The invention is based on a camera system with cross-talk compensation according to the species of the independent claim.

Befindet sich ein Display (oder Coverglas, o.Ä.) vor einer Kamera mit einer Beleuchtung, wird am Display ein Teil des Lichtes der Beleuchtung reflektiert und gelangt direkt zurück zum Sensor, ohne in die Szene zu gelangen. Dieses Cross-Talk-Signal vermischt sich mit dem Nutzsignal und verfälscht damit die Messung. Das Problem wird dadurch behoben, dass das Cross-Talk-Signal im Vorhinein (z.B. in einem Kalibrationsschritt) bestimmt wird und zur Laufzeit auf Rohdatenbasis (z.B. Re, Im) abgezogen wird.If there is a display (or cover glass, or similar) in front of a camera with lighting, part of the light from the lighting is reflected on the display and goes straight back to the sensor without getting into the scene. This cross-talk signal mixes with the useful signal and thus falsifies the measurement. The problem is solved by determining the cross-talk signal in advance (e.g. in a calibration step) and subtracting it at runtime based on the raw data (e.g. Re, Im).

Das erfindungsgemäße Vorgehen geht aus von beispielsweise einem Kamerasystem mit modulierter Beleuchtung und einer PMD-Kamera z.B. gemäß der DE 19 704 496 C2 oder einem System gemäß einem Structured-Light-Prinzip, oder einer Kamera mit einer/m unmodulierten Beleuchtung/Sensor, bei der Beleuchtung und Kamera hinter einer semitransparenten Schicht (z.B. ein Display oder Cover-Glas) angeordnet sind.The procedure according to the invention is based on, for example, a camera system with modulated illumination and a PMD camera, for example according to FIG DE 19 704 496 C2 or a system based on a structured light principle, or a camera with an unmodulated lighting/sensor, in which the lighting and camera are arranged behind a semi-transparent layer (eg a display or cover glass).

Hier können auf verschiedene Weisen Messfehler entstehen, die darauf beruhen, dass sich der gewünschte Lichtpfad mit ungewünschten Lichtpfaden überlagert. Z.B. wird bei Multipath-Interferenz (MPI) (siehe beispielsweise WO 2015 102 847 A1 ) der direkte Lichtpfad mit Pfaden gemischt, die an anderen Objekten in der Szene reflektieren, bevor sie das gewünschte Objekt treffen, wodurch ein längerer Lichtpfad als der gewünschte suggeriert wird. Bei Streulicht wird z.B. durch Streuung an der Linse Licht von einem Objekt, das für einen bestimmten Pixel vorgesehen war, zu einem anderen Pixel geleitet.Measurement errors can arise here in various ways, which are based on the fact that the desired light path is superimposed on undesired light paths. For example, with multipath interference (MPI) (see for example WO 2015 102 847 A1 ) the direct light path mixed with paths reflecting off other objects in the scene before hitting the desired object, suggesting a longer light path than desired. In the case of scattered light, light from an object that was intended for a specific pixel is guided to another pixel, for example by scattering at the lens.

In der vorliegenden Erfindung wird ein Teil des Lichts der Beleuchtung nicht in die Szene ausgesandt, sondern aufgrund der semitransparenten Schicht direkt zurück zum Sensor geleitet. Dies geschieht z.B. durch Reflexion, oder durch Lichtleitung innerhalb der Strukturen des Displays. Anders als bei den vorstehend genannten Beispielen gelangt hierbei ein Teil des Beleuchtungslichtes nicht in die zu vermessende Szene. Dieses Licht ist im Allgemeinen unerwünscht, denn es überlagert sich mit dem Signal der eigentlich zu vermessenden Szene.In the present invention, part of the light from the illumination is not emitted into the scene, but is guided directly back to the sensor due to the semi-transparent layer. This happens, for example, through reflection or through the conduction of light within the structure of the display. In contrast to the examples mentioned above, part of the illumination light does not reach the scene to be measured. This light is generally undesirable because it overlaps with the signal of the scene that is actually to be measured.

In der US 2021 165 085 A1 wird dieses Problem durch Verwendung von polarisiertem Licht reduziert. Dies ist allerdings mit erhöhten Produktionskosten verbunden und kann die Reflexionen nur teilweise verhindern.In the U.S. 2021 165 085 A1 this problem is reduced by using polarized light. However, this is associated with increased production costs and can only partially prevent the reflections.

Bei SPAD-, oder direct Time-of-Flight (dToF) Systemen, bei denen die verschiedenen möglichen Entfernungen der Objekte verschiedenen Histogramm-Bins zugeordnet werden, kann das Cover-Glas einem im Vorhinein festgelegten Bin-Bereich des Histogramms zugeordnet werden ( US20200271765A1 ), was eine Trennung der Objekte möglich macht.In SPAD, or direct Time-of-Flight (dToF) systems, where the different possible distances of the objects are assigned to different histogram bins, the cover glass can be assigned to a predetermined bin range of the histogram ( US20200271765A1 ), which makes it possible to separate the objects.

Die vorliegende Erfindung bezieht sich hingegen auf Sensoren, bei denen das Signal der Aufnahme der Menge des empfangenen Lichts entspricht. Hierfür werden typischerweise n-Tap Pixel (z.B. n = 2, 3, 4, ... für indirect Time-of-Flight-Systeme oder n = 1 für IR-Grauwert-Kameras oder Structured Light Kameras) verwendet. Die Bezeichnung Tap beschreibt typischerweise einen Integrationsknoten zur Akkumulation von Ladungsträger. Bei den betrachteten Verfahren wird das Signal vom Cover-Glas und dem zu vermessenden Objekt als gemeinsames Mischsignal und unterscheidet sich somit grundsätzlich von einem dToF-Histogramm-Verfahren.The present invention, on the other hand, relates to sensors in which the signal of the reception corresponds to the amount of light received. Typically, n-tap pixels (e.g. n = 2, 3, 4, ... for indirect time-of-flight systems or n = 1 for IR gray value cameras or structured light cameras) are used for this. The term tap typically describes an integration node for the accumulation of charge carriers. In the methods considered, the signal from the cover glass and the object to be measured is a common mixed signal and thus differs fundamentally from a dToF histogram method.

Aufgabe der Erfindung ist es, ein optisches Übersprechen von einer Beleuchtung auf einen Sensor, die gemeinsam unter einer semitransparenten Schicht angeordnet sind, zu kompensieren.The object of the invention is to compensate for optical crosstalk from an illumination to a sensor, which are arranged together under a semi-transparent layer.

Die Aufgabe wird durch das erfindungsgemäße Vorgehen gelöst.The task is solved by the procedure according to the invention.

Vorteilhaft vorgeschlagen wird ein Kamerasystem vorgeschlagen mit einem Sensor, bestehend aus einem oder mehreren für elektromagnetische Strahlung empfindliche Pixel,
mit einer Beleuchtung zur Aussendung einer elektromagnetischen Strahlung,
und mit einer Auswerteeinheit,
wobei der Sensor und die Beleuchtung hinter einer semitransparenten Schicht angeordnet sind,
und über die semitransparente Schicht ein Teil der Strahlung der Beleuchtung als Cross-Talk-Signal zum Sensor gelangt,
wobei das Kamerasystem als Time-of-Flight Kamerasystem nach dem Phasenmessprinzip ausgebildet ist,
mit einer Auswerteeinheit zur Erfassung einer Phasendifferenz zwischen dem ausgesendeten und empfangenen Licht,
wobei im Betrieb des Kamerasystems am Sensor ein Mischsignal aus dem Cross-Talk-Signal und einer von einer Szenerie reflektierten Strahlung am Sensor anliegt, wobei aus den Mischsignalen einer oder mehrerer Messungen ein Aufnahmesignal ermittelt wird,
wobei die Pixel des Sensors wenigstens zwei Taps bzw. zwei Integrationsknoten aufweisen,
wobei in einem Speicher der Auswerteeinheit wenigstens ein Cross-Talk-Referenzsignal für wenigstens einen Aufnahme-Parameter hinterlegt ist,
wobei die Auswerteeinheit derart ausgestaltet ist,
dass zur Bildung einer korrigierten Aufnahme
das Cross-Talk-Referenzsignal von dem Aufnahmesignal abgezogen wird.A camera system is advantageously proposed with a sensor consisting of one or more pixels sensitive to electromagnetic radiation,
with lighting for emitting electromagnetic radiation,
and with an evaluation unit,
where the sensor and the lighting are arranged behind a semi-transparent layer,
and part of the radiation from the lighting reaches the sensor as a cross-talk signal via the semi-transparent layer,
wherein the camera system is designed as a time-of-flight camera system based on the phase measurement principle,
with an evaluation unit for detecting a phase difference between the transmitted and received light,
wherein during operation of the camera system a mixed signal from the cross-talk signal and radiation reflected from a scene is present at the sensor, wherein a recording signal is determined from the mixed signals of one or more measurements,
the pixels of the sensor having at least two taps or two integration nodes,
wherein in a memory of the evaluation unit at least one cross-talk reference signal for at least one recording parameter is stored,
the evaluation unit being designed in such a way
that to form a corrected recording
the cross-talk reference signal is subtracted from the recording signal.

Dieses Vorgehen hat den Vorteil, dass in einer Referenzmessung ein Cross-Talk-Signal ohne Objektlicht als Referenzsignal hinterlegt und im Messbetrieb vom Mischsignal abgezogen werden kann.This procedure has the advantage that a cross-talk signal without object light is stored as a reference signal in a reference measurement and can be subtracted from the mixed signal during measurement.

Vorteilhaft werden als Mischsignal nicht die Rohdaten, sondern bereits vorverarbeitete Rohdaten herangezogen.It is advantageous not to use the raw data as the mixed signal, but raw data that have already been preprocessed.

Dieses Vorgehen hat den Vorteil, dass die Vorverarbeitung derart erfolgen kann, dass die Subtraktion des Cross-Talk-Referenzsignals erleichtert erfolgen kann.This procedure has the advantage that the pre-processing can be carried out in such a way that the subtraction of the cross-talk reference signal can be carried out more easily.

Die Erfindung wird anhand von Ausführungsbeispielen näher erläutert.The invention is explained in more detail using exemplary embodiments.

Es zeigen schematisch

• 1 eine Anordnung einer Beleuchtung und einer Kamera unterhalb einer semitransparenten Schicht,
• 2 ein Mischsignal aus Objekt- und Cross-Talksignal in einer Phasendarstellung,
• 3 ein Ablaufschema des erfindungsgemäßen Vorgehens

It show schematic

• 1 an arrangement of lighting and a camera underneath a semi-transparent layer,
• 2 a mixed signal of object and cross-talk signal in a phase display,
• 3 a flow chart of the procedure according to the invention

1 zeigt schematisch ein Beispiel einer Kamera (1) im Sinne der Erfindung. Die Beleuchtung (12) sendet Licht aus, das über den Pfad S_p1 zu einem Objekt (40) in der Szene gelangt und über den Pfad S_p2 zurück zum Sensor (22). Gleichzeitig gelangt ein Teil des Lichts der Beleuchtung (12) über den Pfad S_p,int zurück zum Sensor (22), ohne in die Szene zu gelangen. Dies geschieht z.B. durch Reflexionen an der semitransparenten Schicht (45) (durchgezogene Linien), oder durch Lichtleitung innerhalb der semitransparenten Schicht (45) (gestrichelte Linien). Dieser Effekt wird im Folgenden als Cross-Talk bezeichnet. 1 shows schematically an example of a camera (1) according to the invention. The illuminator (12) emits light that travels to an object (40) in the scene via path S _p1 and back to the sensor (22) via path S _p2 . At the same time, part of the light from the illumination (12) returns to the sensor (22) via the path S _p ,int without entering the scene. This occurs, for example, through reflections on the semi-transparent layer (45) (continuous lines), or through the conduction of light within the semi-transparent layer (45) (dashed lines). This effect is referred to below as cross-talk.

Im Fall von Distanzbildern nach dem indirect Time-of-Flight (iToF) Prinzip führt der Cross-Talk zu Mischsignalen zwischen Display und tatsächlich zu vermessendem Objekt und daher zu verfälschten Distanzen.In the case of distance images based on the indirect time-of-flight (iToF) principle, the cross-talk leads to mixed signals between the display and the object to be measured and therefore to incorrect distances.

Die Korrektur des Cross-Talks besteht im Wesentlichen darin, das Cross-Talk Signal von den aufgenommenen Bildern abzuziehen. Dies kann auf den direkt aufgenommenen Rohdaten geschehen, oder auf vorprozessierten Bildern. Beispielsweise können die Bilder bereits um das Fixed-Pattern-Noise (FPN) bereinigt sein, oder tote Pixel durch Nachbarpixel ersetzt worden sein. Im Fall von indirect Time-of-Flight (iToF) Messungen werden typischerweise vier Aufnahmen, D₀, D₉₀, D₁₈₀, D₂₇₀, angefertigt und daraus z.B. Re = D₀ - D₁₈₀ und Im = D₉₀- D₂₇₀ berechnet. In diesem Fall ist es z.B. vorteilhaft, das Cross-Talk Signal auf Basis von Re und Im zu bestimmen (Re_XTalk, Im_XTalk) und von Re und Im der zu korrigierenden Aufnahme (Re_Aufn, Im_Aufn) abzuziehen: $${\text{RE}}_{\text{corr}}={\text{Re}}_{\text{Aufn}}-{\text{Re}}_{\text{XTalk}},$$

$${\text{Im}}_{\text{corr}}={\text{Im}}_{\text{Aufn}}-{\text{Im}}_{\text{XTalk}}.$$

Correcting cross-talk basically consists of subtracting the cross-talk signal from the captured images. This can be done on the raw data recorded directly, or on pre-processed images. For example, the images may have already been cleaned of the Fixed Pattern Noise (FPN), or dead pixels may have been replaced by neighboring pixels. In the case of indirect time-of-flight (iToF) measurements, typically four recordings, D ₀ , D ₉₀ , D ₁₈₀ , D ₂₇₀ , are taken and, for example, Re=D ₀ -D ₁₈₀ and Im=D ₉₀ -D ₂₇₀ are calculated from them . In this case it is advantageous, for example, to determine the cross-talk signal on the basis of Re and Im (Re _XTalk , Im _XTalk ) and to subtract from Re and Im of the recording to be corrected (Re _Aufn , Im _Aufn ): $${\text{RE}}_{\text{correct}}={\text{re}}_{\text{rec}}-{\text{re}}_{\text{XTalk}},$$

$${\text{In the}}_{\text{correct}}={\text{In the}}_{\text{rec}}-{\text{In the}}_{\text{XTalk}}.$$

Im Fall von Grauwert-Bildern (Amplitude / Intensität) führt der Cross-Talk zu Bildbereichen, die meist durch das zusätzliche, unerwünschte Licht (S_p,int) zu hell dargestellt werden.In the case of gray value images (amplitude/intensity), the cross-talk leads to image areas that are usually displayed too brightly due to the additional, unwanted light (S _p,int ).

Aufnahmen, bei denen der Sensor nicht moduliert wird, werden im Folgenden als Intensitäts-Bilder (I) bezeichnet. Hierzu kann z.B. ein 2-Tap Pixel bzw. ein Pixel mit zwei Integrationsknoten verwendet werden, das so konfiguriert ist, dass nur einer der beiden Taps bzw. Integrationsknoten benutzt wird, oder auch ein Pixel mit nur einem Tap / Integrationsknoten. Hierbei ist es vorteilhaft, die Intensitäts-Bilder des Cross-Talk-Signals (I_XTalk) zu kennen und die Korrektur auf die Intensitäts-Aufnahmen (I_Aufn) anzuwenden: $${\text{I}}_{\text{corr}}={\text{I}}_{\text{Aufn}}-{\text{I}}_{\text{CTalk}\text{.}}$$

Images in which the sensor is not modulated are referred to below as intensity images (I). A 2-tap pixel or a pixel with two integration nodes can be used for this purpose, which is configured in such a way that only one of the two taps or integration nodes is used, or a pixel with only one tap / integration node. Here it is advantageous to know the intensity images of the cross-talk signal (I _XTalk ) and to apply the correction to the intensity images (I _rec ): $${\text{I}}_{\text{correct}}={\text{I}}_{\text{rec}}-{\text{I}}_{\text{CTalk}\text{.}}$$

Auch hier kann die Korrektur auf Rohdaten oder auf vorprozessierten Bildern geschehen. Das Cross-Talk-Signal (I_XTalk) einer homogenen Beleuchtung unterscheidet sich hierbei grundsätzlich von dem einer strukturierten Beleuchtung, jedoch ist die Anwendung der Korrektur identisch.Here, too, the correction can be done on raw data or on pre-processed images. The cross-talk signal (I _XTalk ) of a homogeneous illumination differs fundamentally from that of a structured illumination, but the application of the correction is identical.

Für die Korrektur muss das Cross-Talk Signal bekannt sein. Dies kann z.B. in einem Kalibrationsschritt bestimmt werden, in dem eine oder mehrere Referenzmessungen angefertigt werden.The cross-talk signal must be known for the correction. This can be determined, for example, in a calibration step in which one or more reference measurements are made.

Dafür kann die Kamera in einer Szenerie platziert werden, die möglichst wenig Licht reflektiert, um möglichst ausschließlich das Cross-Talk Signal zu erfassen. Beispielsweise kann ein dunkler Stoff verwendet werden, der in möglichst großer Entfernung platziert ist.To do this, the camera can be placed in a setting that reflects as little light as possible in order to capture only the cross-talk signal. For example, a dark fabric placed as far away as possible can be used.

Grundsätzlich kann es vorteilhaft sein, mehrere Referenzmessungen zu mitteln, z.B. um ein rauscharmes Cross-Talk Signal zu erhalten.In principle, it can be advantageous to average several reference measurements, e.g. to obtain a low-noise cross-talk signal.

Sofern die Beleuchtung (12) und der Sensor (22) modulierbar ist, besteht die Möglichkeit, eine Aufnahme nach dem indirect Time-of-Flight Prinzip anzufertigen und ein Objekt (40) derart zu platzieren, dass die Entfernung zwischen dem Display (45) und dem Objekt (40) einer Phasen-Verschiebung von 90° entspricht.If the lighting (12) and the sensor (22) can be modulated, there is the possibility of a Making a recording according to the indirect time-of-flight principle and placing an object (40) in such a way that the distance between the display (45) and the object (40) corresponds to a phase shift of 90°.

Eine derartige Messung ist in 2 illustriert. Hierbei addieren sich die Signale des Objekts (z_o) und des Displays (Z_D) zu dem gemessenen Wert (z_gem) vektoriell. Ist die Entfernung, und damit die Phase (φ_D), des Displays bekannt, kann das Signal des Displays durch Projektion des gemessenen Wertes (z_gem) auf die Gerade, die der Phase (φ_D) des Displays entspricht, erhalten werden (gestrichelte Linie).Such a measurement is 2 illustrated. Here, the signals of the object (z _o ) and the display (Z _D ) add up vectorially to the measured value (z _gem ). If the distance, and thus the phase (φ _D ), of the display is known, the display signal can be obtained by projecting the measured value (z _gem ) onto the straight line that corresponds to the phase (φ _D ) of the display (dashed line Line).

Eine weitere Möglichkeit besteht darin, teils semitransparente Objekte (z.B. eine Glasscheibe) derart in der Szene zu platzieren, so dass die vektorielle Addition der Signale aus der Szene Null ergibt und daher bei der Messung nur das Cross-Talk Signal übrigbleibt.Another possibility is to place partly semi-transparent objects (e.g. a pane of glass) in the scene in such a way that the vectorial addition of the signals from the scene results in zero and therefore only the cross-talk signal remains in the measurement.

Sofern die Beleuchtung (12) und der Sensor (22) modulierbar ist, besteht eine andere Möglichkeit darin, durch Verwendung einer PN-Folge bestimmte Distanzbereiche auszublenden (wie in DE 10 2018 131 580 A1 beschrieben) und ein Objekt (40) in einem ausgeblendeten Distanzbereich zu platzieren, so dass das gemessene Signal ausschließlich dem Cross-Talk Signal entspricht.If the lighting (12) and the sensor (22) can be modulated, another option is to use a PN sequence to hide certain distance ranges (as in DE 10 2018 131 580 A1 described) and to place an object (40) in a hidden distance range, so that the measured signal corresponds exclusively to the cross-talk signal.

Eine weitere Möglichkeit besteht darin, eine Szene zu verwenden, in der sämtliche Objekte so weit entfernt sind, dass unabhängig von deren Reflektivität das reflektierte, zurückkehrende Licht (S_p2) vernachlässigbar ist, beispielsweise ein Sternenhimmel.Another possibility is to use a scene in which all objects are so far away that, regardless of their reflectivity, the reflected, returning light (S _p2 ) is negligible, for example a starry sky.

Eine weitere Möglichkeit nutzt die Tatsache aus, dass für Aufnahmen zur Laufzeit das Cross-Talk Signal grundsätzlich näherungsweise unverändert bleibt, während sich das Signal der Szene typischerweise ändert. Ist nun z.B. das gemittelte, nicht Cross-Talk behaftete Signal für typische Szenen für die Verwendung des Kameramoduls bekannt, kann dieses von den gemittelten, Cross-Talk behafteten Signalen subtrahiert werden und dadurch näherungsweise das Cross-Talk Signal erhalten werden.Another possibility exploits the fact that the cross-talk signal basically remains approximately unchanged for recordings at runtime, while the signal of the scene typically changes. If, for example, the averaged, cross-talk-free signal for typical scenes for the use of the camera module is known, this can be subtracted from the averaged, cross-talk-affected signals and the cross-talk signal can thus be approximately obtained.

Bestimmte Parameter der Aufnahme können das Cross-Talk Signal beeinflussen, wie beispielsweise die Belichtungszeit, also die Zeit, in der die Beleuchtung (12) aktiv ist, die Sensitivität bzw. ISO-Lichtempfindlichkeit des Sensors (22), oder die Temperatur des Kameramoduls (1). Um dies bei der Korrektur zu berücksichtigen, werden besagte Referenzmessungen vorteilhafterweise mit verschiedenen Parametern angefertigt. Bei der Korrektur werden dann diejenigen Referenzmessungen verwendet, die am ehesten den Parameter entsprechen, bei der zu korrigierenden Aufnahme verwendet wurden. Sollten Referenzmessungen für die gewünschten Parameter nicht vorliegen, kann durch Kombination von Referenzmessungen mit ähnlichen Parametern (z.B. Interpolation) eine gute Abschätzung für die gewünschte Referenzmessung bestimmt werden.Certain parameters of the recording can influence the cross-talk signal, such as the exposure time, i.e. the time during which the lighting (12) is active, the sensitivity or ISO light sensitivity of the sensor (22), or the temperature of the camera module ( 1). In order to take this into account during the correction, said reference measurements are advantageously made with different parameters. The correction then uses those reference measurements that most closely correspond to the parameters used in the recording to be corrected. If reference measurements are not available for the desired parameters, a good estimate for the desired reference measurement can be determined by combining reference measurements with similar parameters (e.g. interpolation).

Bei bestimmten Parametern ist deren Einfluss auf das Cross-Talk Signal elementar. Beispielsweise skaliert die Stärke des Cross-Talk Signals in guter Näherung linear mit der Belichtungszeit. Weiterhin verursacht ein Temperaturunterschied im Fall der indirekten Time-of-Flight Methode eine meist bekannte Phasenverschiebung der Messung. In solchen Fällen können mehrere Referenzmessungen mit verschiedenen Parametern (z.B. mit Belichtungszeiten von 100µs, 200µs, 300µs, ...) aufgenommen werden, auf ein Referenz-Parameter umgerechnet werden (für eine Referenz-Belichtungszeit von 100µs müssten die Referenzmessungen dann mit 1, ½, ⅓, ... malgenommen werden) und diese umgerechneten Referenzmessungen gemittelt werden. Zur Korrektur einer späteren Aufnahme muss die Referenzmessung auf die Parameter der zu korrigierenden Aufnahme umgerechnet werden. (Für eine Belichtungszeit von 729 µs müsste die mit 100 µs referenzierte Referenzmessung mit 7.29 malgenommen werden.)With certain parameters, their influence on the cross-talk signal is elementary. For example, to a good approximation, the strength of the cross-talk signal scales linearly with the exposure time. Furthermore, in the case of the indirect time-of-flight method, a temperature difference causes a well-known phase shift in the measurement. In such cases, several reference measurements with different parameters (e.g. with exposure times of 100µs, 200µs, 300µs, ...) can be recorded, converted to a reference parameter (for a reference exposure time of 100µs, the reference measurements would then have to be multiplied by 1.½ , ⅓, ... are multiplied) and these converted reference measurements are averaged. To correct a later recording, the reference measurement must be converted to the parameters of the recording to be corrected. (For an exposure time of 729 µs, the reference measurement referenced at 100 µs would have to be multiplied by 7.29.)

3 zeigt ein Flussdiagramm für ein mögliches Setup im Sinne dieser Erfindung, in dem eine Kamera nach dem indirect Time-of-Flight Prinzip verwendet wird. Der erste Teil, Bestimmung des Referenzsignals, kann im Zuge einer Kalibration ausgeführt werden. Der zweite Teil, Aufnahmen und Korrektur zur Laufzeit, wird ausgeführt, wann immer eine Korrektur des Cross-Talks für die gemessene Szene erwünscht ist. 3 shows a flowchart for a possible setup within the meaning of this invention, in which a camera is used according to the indirect time-of-flight principle. The first part, determination of the reference signal, can be carried out in the course of a calibration. The second part, capture and run-time correction, is performed whenever cross-talk correction is desired for the measured scene.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

• DE 19704496 C2 [0003]DE 19704496 C2 [0003]
• WO 2015102847 A1 [0004]WO 2015102847 A1 [0004]
• US 2021165085 A1 [0006]US2021165085A1 [0006]
• US 20200271765 A1 [0007]US20200271765A1 [0007]
• DE 102018131580 A1 [0029]DE 102018131580 A1 [0029]

Claims (10)

Kamerasystem (1), mit einer Beleuchtung (12) zur Aussendung eines modulierten Lichts, und einem Sensor (22), bestehend aus einem oder mehreren Pixel zum Empfang des ausgesendeten und von einer Szenerie reflektierten Lichts (S_p2), wobei der Sensor (22) und die Beleuchtung (12) hinter einer semitransparenten Schicht (45) angeordnet sind, und über die semitransparente Schicht (45) ein Teil der Strahlung der Beleuchtung (12) als Cross-Talk-Signal (S_p,int) zum Sensor (22) gelangt, wobei das Kamerasystem (1) als Time-of-Flight Kamerasystem nach dem Phasenmessprinzip ausgebildet ist, mit einer Auswerteeinheit zur Erfassung einer Phasendifferenz zwischen dem ausgesendeten (S_p1) und empfangenen Licht (S_p2), wobei im Betrieb des Kamerasystems am Sensor ein Mischsignal aus dem Cross-Talk-Signal (S_p,int) und einer von einer Szenerie reflektierten Strahlung (S_p2) am Sensor (22) anliegt, wobei aus den Mischsignalen einer oder mehrerer Messungen ein Aufnahmesignal (Re_Aufn, Im_Aufn) ermittelt wird, wobei die Pixel des Sensors (22) wenigstens zwei Taps bzw. zwei Integrationsknoten aufweisen, wobei in einem Speicher der Auswerteeinheit wenigstens ein Cross-Talk-Referenzsignal (Rex_Talk, Im_xTalk) für wenigstens einen Aufnahme-Parameter hinterlegt ist, wobei die Auswerteeinheit derart ausgestaltet ist, dass zur Bildung einer korrigierten Aufnahme (Re_corr, Im_corr) das Cross-Talk-Referenzsignal (Rex_Talk, lm_xTalk) von dem Aufnahmesignal (Re_Aufn, Im_Aufn) abgezogen wird.Camera system (1), with lighting (12) for emitting a modulated light, and a sensor (22), consisting of one or more pixels for receiving the emitted light (S _p2 ) and reflected by a scene, the sensor (22 ) and the lighting (12) are arranged behind a semi-transparent layer (45), and via the semi-transparent layer (45) part of the radiation from the lighting (12) as a cross-talk signal (S _p,int ) to the sensor (22 ) arrives, with the camera system (1) being designed as a time-of-flight camera system based on the phase measurement principle, with an evaluation unit for detecting a phase difference between the emitted (S _p1 ) and received light (S _p2 ), with the operation of the camera system on sensor, a mixed signal from the cross-talk signal (S _p,int ) and radiation (S _p2 ) reflected by a scene is present at the sensor (22), with the mixed signals of one or more measurements producing a recording signal (Re _Aufn , Im _Aufn ) is determined, with the pixels of the sensor (22) having at least two taps or two integration nodes, with at least one cross-talk reference signal (Rex _Talk , Im _xTalk ) for at least one recording parameter being stored in a memory of the evaluation unit, wherein the evaluation unit is designed such that to form a corrected recording (Re _corr , Im _corr ), the cross-talk reference signal (Rex _Talk , lm _xTalk ) is subtracted from the recording signal (Re _Aufn , Im _Aufn ). Kamerasystem (1) nach Anspruch 1, bei dem das zur Cross-Talk-Korrektur herangezogene Aufnahmesignal (Re_Aufn, Im_Aufn) durch Vorverarbeitungsschritte aus den Rohdaten der Aufnahme oder aus Rohdaten, die der Aufnahme entsprechen, hervorgeht.Camera system (1) according to claim 1 , in which the recording signal used for cross-talk correction (Re _recording , Im _recording ) results from pre-processing steps from the raw data of the recording or from raw data that correspond to the recording. Kamerasystem (1) nach Anspruch 1 oder 2, wobei das Cross-Talk-Referenzsignal (Re_Talk, Im_xTalk) durch Umrechnung von einem oder mehreren zuvor aufgenommenen Cross-Talk Signalen (S_p,int) auf die Parameter der Aufnahme entsteht.Camera system (1) according to claim 1 or 2 , whereby the cross-talk reference signal (Re _Talk , Im _xTalk ) is created by converting one or more previously recorded cross-talk signals (S _p,int ) to the parameters of the recording. Kamerasystem (1) nach einem der vorherigen Ansprüche, bei dem aus dem Aufnahmesignal (Re_Aufn, Im_Aufn) ein Grauwertbild berechnet wird, das die Reflektivität der aufgenommenen Szene widerspiegelt.Camera system (1) according to one of the preceding claims, in which a gray value image is calculated from the recording signal (Re _Aufn , Im _Aufn ), which reflects the reflectivity of the recorded scene. Kamerasystem (1) nach Anspruch 1-4, bei dem zumindest ein Teil des Sensors nicht moduliert wird und das Signal der Aufnahme der Gesamtmenge der empfangenen elektromagnetischen Strahlung im jeweiligen Pixel entspricht.Camera system (1) according to claim 1 - 4 , in which at least part of the sensor is not modulated and the signal of the recording corresponds to the total amount of electromagnetic radiation received in the respective pixel. Kamerasystem (1) nach einem der vorherigen Ansprüche, bei dem das Cross-Talk-Referenzsignal (Rex_Talk, Im_xTalk) durch Mittelung der Signale mehrerer Referenzmessungen entstanden ist, wobei die Signale der mehreren Referenzmessungen mit verschiedenen Aufnahme-Parametern (z.B. Belichtungszeit, Temperatur) aufgenommen sein können und die Signale vor der Mittelung auf Referenz-Parameter umgerechnet werden können.Camera system (1) according to one of the preceding claims, in which the cross-talk reference signal (Rex _Talk , Im _xTalk ) was created by averaging the signals of several reference measurements, the signals of the several reference measurements with different recording parameters (e.g. exposure time, temperature ) can be recorded and the signals can be converted to reference parameters before averaging. Kamerasystem (1) nach einem der vorherigen Ansprüche, bei dem für die Aufnahme des Cross-Talk-Referenzsignal (Rex_Talk, Im_XTalk) eine Szene verwendet wird, in der sämtliche Objekte so weit entfernt sind, dass das reflektierte, zurückkehrende Licht (S_p2) vernachlässigbar ist.Camera system (1) according to one of the preceding claims, in which a scene in which all objects _are so far away that the reflected, returning light ( _{S p2} ) is negligible. Kamerasystem (1) nach einem der vorherigen Ansprüche, bei dem für die Aufnahme des Cross-Talk-Referenzsignal (Rex_Talk, lm_xTalk) ein Pseudo-Noise (PN) Modulationsschema verwendet wurde und die für die Aufnahme relevanten Objekte sich in ausgeblendeten Distanzbereichen befinden.Camera system (1) according to one of the preceding claims, in which a pseudo-noise (PN) modulation scheme was used to record the cross-talk reference signal (Rex _Talk , lm _xTalk ) and the objects relevant to the recording are located in hidden distance ranges . Kamerasystem (1) nach einem der vorherigen Ansprüche, bei dem das Cross-Talk-Referenzsignal (Re_Talk, Im_xTalk) aus der Analyse der vergangenen Messungen des Kamerasystems (1) gewonnen wird.Camera system (1) according to one of the preceding claims, in which the cross-talk reference signal (Re _Talk , Im _xTalk ) is obtained from the analysis of past measurements of the camera system (1). Kamerasystem (1) nach einem der vorherigen Ansprüche, bei dem für die Aufnahme des Cross-Talk-Referenzsignals (Re_Talk, Im_XTalk) eine Szene verwendet wird, deren vektoriell addiertes Signal gegenüber dem Cross-Talk Signal vernachlässigbar ist, oder sich durch Projektion auf das Cross-Talk Signal beseitigen lässt.Camera system (1) according to one of the preceding claims, in which a scene is used for recording the cross-talk reference signal (Re _Talk , Im _XTalk ), the vectorially added signal of which is negligible compared to the cross-talk signal, or by projection on the cross-talk signal can be eliminated.

Images