DE102019008081A1 - Method for a camera-based three-dimensional reconstruction - Google Patents

Method for a camera-based three-dimensional reconstruction Download PDF

Info

Publication number
DE102019008081A1
DE102019008081A1 DE102019008081.5A DE102019008081A DE102019008081A1 DE 102019008081 A1 DE102019008081 A1 DE 102019008081A1 DE 102019008081 A DE102019008081 A DE 102019008081A DE 102019008081 A1 DE102019008081 A1 DE 102019008081A1
Authority
DE
Germany
Prior art keywords
camera
depth
relation
reconstruction
camera image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102019008081.5A
Other languages
German (de)
Inventor
Christian Schneider
Michael Malik
Benedikt Neher
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102019008081.5A priority Critical patent/DE102019008081A1/en
Publication of DE102019008081A1 publication Critical patent/DE102019008081A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zu einer kamerabasierten dreidimensionalen Rekonstruktion einer Szene mittels einer Monokamera (2). Erfindungsgemäß wird zur dreidimensionalen Rekonstruktion eine Tiefenrekonstruktion einer Umgebung der Monokamera (2) basierend auf zuvor gelernten Unschärferelationen durchgeführt und es werden eine Relation zwischen einer Distanz eines Umgebungsobjekts (O, O1 bis O9) zu einer Kamerabildebene und ein Grad einer Unschärfe (B, Bbis B) des Umgebungsobjekts (O, O1 bis O9) auf der Kamerabildebene ausgewertet.The invention relates to a method for camera-based three-dimensional reconstruction of a scene using a mono camera (2). According to the invention, a depth reconstruction of an environment of the mono camera (2) based on previously learned uncertainty relations is carried out for three-dimensional reconstruction and a relation between a distance of an environmental object (O, O1 to O9) to a camera image plane and a degree of uncertainty (B, B to B ) of the surrounding object (O, O1 to O9) are evaluated on the camera image level.

Description

Die Erfindung betrifft ein Verfahren zu einer kamerabasierten dreidimensionalen Rekonstruktion einer Szene mittels einer Monokamera.The invention relates to a method for a camera-based three-dimensional reconstruction of a scene by means of a mono camera.

Aus der US 10,179,543 B2 ist ein Verfahren zum Zusammenfügen von Bildern, die von mehreren Kameras eines Erfassungssystems eines Fahrzeugs erfasst wurden, bekannt. Die Kameras weisen Erfassungsbereiche auf, welche sich teilweise überlappen. Dabei werden mittels eines Prozessors von den Kameras erfasste Bilddaten verarbeitet, um Objekte zu erfassen, die in einem Überlappungsbereich der Erfassungsbereiche vorhanden sind, und um Eigenschaften von Merkmalen dieser Objekte zu bestimmen. Weiterhin wird eine dreidimensionale Topographie der Welt innerhalb einer Szene in einem automobilen Bildverarbeitungssystem unter Verwendung einer Monokamera und eines dreidimensionalen Erkennungsverfahrens ermittelt.From the US 10,179,543 B2 a method for combining images that have been captured by a plurality of cameras of a detection system of a vehicle is known. The cameras have detection areas that partially overlap. Image data captured by the cameras are processed by means of a processor in order to capture objects that are present in an overlapping area of the capture areas and to determine properties of features of these objects. Furthermore, a three-dimensional topography of the world within a scene is determined in an automotive image processing system using a mono camera and a three-dimensional recognition method.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zu einer kamerabasierten dreidimensionalen Rekonstruktion einer Szene mittels einer Monokamera anzugeben.The invention is based on the object of specifying a method, which is improved over the prior art, for a camera-based three-dimensional reconstruction of a scene by means of a mono camera.

Die Aufgabe wird erfindungsgemäß gelöst durch ein Verfahren, welches die im Anspruch 1 angegebenen Merkmale aufweist.The object is achieved according to the invention by a method which has the features specified in claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous configurations of the invention are the subject of the subclaims.

In einem Verfahren zu einer kamerabasierten dreidimensionalen Rekonstruktion einer Szene mittels einer Monokamera wird erfindungsgemäß zur dreidimensionalen Rekonstruktion eine Tiefenrekonstruktion einer Umgebung der Monokamera basierend auf zuvor gelernten Unschärferelationen durchgeführt und eine Relation zwischen einer Distanz eines Umgebungsobjekts zu einer Kamerabildebene und ein Grad einer Unschärfe des Umgebungsobjekts auf der Kamerabildebene werden ausgewertet.In a method for a camera-based three-dimensional reconstruction of a scene by means of a mono camera, according to the invention, for three-dimensional reconstruction, a depth reconstruction of an environment of the mono camera based on previously learned uncertainty relations is carried out and a relation between a distance of an environmental object to a camera image plane and a degree of blurring of the environmental object on the Camera image level are evaluated.

Das Verfahren ermöglicht eine kamerabasierte Tiefenrekonstruktion aufgrund der Verwendung der Unschärferelationen auch in einem unbewegten Fahrzeugzustand. Das heißt, das Verfahren ermöglicht eine dreidimensionale Rekonstruktion auch im Stillstand des Fahrzeugs. Beispielsweise kann so erkannt werden, wie weit sich eine Person während eines Fahrzeugstillstandes in Richtung desselben bewegt hat und von diesem entfernt ist. Somit ist es möglich, bereits bei Stillstand des Fahrzeugs eine Entscheidung zu treffen, ob das Fahrzeug ohne Kollisionsgefahr anfahren kann.The method enables a camera-based depth reconstruction due to the use of the uncertainty relations even when the vehicle is stationary. This means that the method enables a three-dimensional reconstruction even when the vehicle is stationary. For example, it can thus be recognized how far a person has moved in the direction of the vehicle while the vehicle is stationary and how far away from it. It is thus possible to make a decision as soon as the vehicle is at a standstill as to whether the vehicle can start moving without the risk of a collision.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:

  • 1 schematisch einen Ablauf eines Verfahrens zu einer kamerabasierten dreidimensionalen Rekonstruktion einer Szene mittels einer Monokamera,
  • 2 schematisch eine detaillierte Darstellung von Verfahrensschritten des Verfahrens gemäß 1,
  • 3 schematisch eine detaillierte Darstellung weiterer Verfahrensschritte des Verfahrens gemäß 1,
  • 4 schematisch ein mittels einer Monokamera erfasstes Kamerabild und
  • 5 schematisch eine Relation zwischen einer Distanz von auf dem Kamerabild gemäß 4 dargestellten Umgebungsobjekten zu einer Kamerabildebene und eines Grads einer jeweiligen Unschärfe der Umgebungsobjekte auf der Kamerabildebene.
Show:
  • 1 schematically a sequence of a method for a camera-based three-dimensional reconstruction of a scene by means of a mono camera,
  • 2 schematically a detailed representation of method steps of the method according to FIG 1 ,
  • 3 schematically a detailed representation of further method steps of the method according to FIG 1 ,
  • 4th schematically a camera image captured by means of a mono camera and
  • 5 schematically a relation between a distance from on the camera image according to FIG 4th surrounding objects shown for a camera image plane and a degree of a respective blurring of the surrounding objects on the camera image plane.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided with the same reference symbols in all figures.

In 1 ist ein Ablauf eines möglichen Ausführungsbeispiels eines Verfahrens zu einer kamerabasierten dreidimensionalen Rekonstruktion einer Szene mittels einer Monokamera 2 dargestellt. Das Verfahren wird beispielsweise in einem Fahrzeug 1 ausgeführt, wobei die Monokamera 2 eine fahrzeugeigene Kamera ist. Weiterhin zeigen die 2 und 3 schematisch detaillierte Darstellungen von Verfahrensschritten VS1 bis VS5 des Verfahrens gemäß 1, wobei ein Fahrzeug 1 mittels der Monokamera 2 jeweils ein Umgebungsobjekt O in unterschiedlichen Entfernungen erfasst. In 4 ist ein mittels einer Monokamera 2 erfasstes Kamerabild B dargestellt und 5 zeigt schematisch eine Relation zwischen einer Distanz von auf dem Kamerabild B gemäß 4 dargestellten Umgebungsobjekten O1 bis O9 zu einer Kamerabildebene und eines Grads einer jeweiligen Unschärfe BCRx der Umgebungsobjekte O1 bis O9 auf der Kamerabildebene, wobei die 4 und 5 Verfahrensschritte VS6 und VS7 des Verfahrens veranschaulichen.In 1 is a sequence of a possible embodiment of a method for a camera-based three-dimensional reconstruction of a scene by means of a mono camera 2 shown. The method is carried out in a vehicle, for example 1 running with the mono camera 2 is an on-board camera. Furthermore show the 2 and 3 schematically detailed representations of process steps VS1 to VS5 the procedure according to 1 , being a vehicle 1 by means of the mono camera 2 one environment object each O captured at different distances. In 4th is a means of a mono camera 2 captured camera image B. shown and 5 shows schematically a relation between a distance from on the camera image B. according to 4th depicted surrounding objects O1 to O9 to a camera image plane and a degree of respective blurring B CRx of the surrounding objects O1 to O9 at the camera image level, where the 4th and 5 Procedural steps VS6 and VS7 of the procedure.

Das Verfahren umfasst einen Lernabschnitt und einen Ausführungsabschnitt, wobei der Lernabschnitt die Verfahrensschritte VS1 bis VS4 und der Ausführungsabschnitt den Verfahrensschritt VS1 und die Verfahrensschritte VS4 bis VS7 umfasst.The method comprises a learning section and an execution section, the learning section comprising the method steps VS1 to VS4 and the execution section the method step VS1 and the process steps VS4 to VS7 includes.

Im Lernabschnitt des Verfahrens wird zunächst im ersten Verfahrensschritt VS1 mittels der Monokamera 2 ein Kamerabild B, auch als Kamerarohbild bezeichnet, erfasst. Die Ausführung dieses Verfahrensschritts VS1 erfolgt insbesondere im Fahrzeug 1.The first step in the learning section of the procedure is VS1 by means of the mono camera 2 a camera image B. , also as Camera raw image referred to, recorded. The execution of this procedural step VS1 takes place in particular in the vehicle 1 .

Anschließend wird in einem zweiten Verfahrensschritt VS2 eine Tiefenberechnung des Kamerabildes B durchgeführt. Diese Tiefenberechnung erfolgt anhand von während einer Bewegung des Fahrzeugs 1 zeitlich nacheinander erfassten Kamerarohbildern in einer beliebigen Tiefenrekonstruktion, beispielsweise einem so genannten Structure-from-Motion-Verfahren, einem so genannten Stereo-Vision-Verfahren, einer aktiven Triangulation oder mittels Convolutional Neural Network. Hierbei wird eine Tiefenkarte erzeugt, wobei eine Entfernung, d. h. ein Tiefenwert Pz , für einzelne Punkte des Umgebungsobjekts O ermittelt wird. Die Ausführung dieses Verfahrensschritts VS2 erfolgt insbesondere im Fahrzeug 1 und es werden beispielsweise eine so genannte Structure-from-Motion-Algorithmik sowie eine intrinsische und extrinsische Kamerakalibrierung berücksichtigt.Then in a second process step VS2 a depth calculation of the camera image B. carried out. This depth calculation is carried out using while the vehicle is moving 1 camera raw images captured one after the other in any depth reconstruction, for example a so-called structure-from-motion method, a so-called stereo vision method, active triangulation or by means of convolutional neural network. A depth map is generated here, with a distance, ie a depth value P z , for individual points of the surrounding object O is determined. The execution of this procedural step VS2 takes place in particular in the vehicle 1 and so-called structure-from-motion algorithms and intrinsic and extrinsic camera calibration are taken into account, for example.

Anschließend wird in einem dritten Verfahrensschritt VS3 eine Regionenbildung über die im zweiten Verfahrensschritt VS2 ermittelten Structure-from-Motion-Tiefenwerte in der Tiefenkarte durchgeführt. Das heißt, es werden um die Tiefenwerte P2 Regionen R gebildet. Die Ausführung dieses Verfahrensschritts VS3 erfolgt insbesondere im Fahrzeug 1 und es werden Structure-from-Motion-Weltpunkte berücksichtigt.Then in a third process step VS3 a region formation over the in the second process step VS2 determined structure-from-motion depth values in the depth map. That is, it will be about the depth values P 2 Regions R. educated. The execution of this procedural step VS3 takes place in particular in the vehicle 1 and structure-from-motion world points are taken into account.

Anschließend erfolgt in einem vierten Verfahrensschritt VS4 eine Berechnung von Unschärferelationen über die im dritten Verfahrensschritt VS3 ermittelten Regionen R. Auch die Ausführung dieses Verfahrensschritts VS4 erfolgt insbesondere im Fahrzeug 1.This is followed by a fourth process step VS4 a calculation of uncertainty relations using the third step VS3 identified regions R. . Also the execution of this process step VS4 takes place in particular in the vehicle 1 .

In dem Ausführungsabschnitt des Verfahrens erfolgt im vierten Verfahrensschritt VS4 unmittelbar nach der Erfassung des Kamerabildes B im ersten Verfahrensschritt VS1 eine Tiefenberechnung oder Tiefenrekonstruktion der Umgebung der Monokamera 2 basierend auf den zuvor gelernten Unschärferelationen, wobei hierzu die Relation zwischen der Distanz eines Umgebungsobjekts O zu der Kamerabildebene und der Grad einer Unschärfe BCRx des Umgebungsobjekts O auf der Kamerabildebene ausgewertet werden. Zu der Bestimmung der Relation zwischen der Distanz des Umgebungsobjekts O zu der Kamerabildebene wird die Tiefenkarte verwendet, welche anhand des Structure-from-Motion-Verfahrens aus den zeitlich nacheinander erfassten Kamerabildern B ermittelt wurde. Zur Bestimmung der Relation zwischen der Distanz des Umgebungsobjekts O zu der Kamerabildebene wird beispielsweise die so genannte Shape-from-Focus-Methode verwendet. Diese beruht auf dem Ansatz, dass Umgebungsobjekte O in einem definierten Abstand von einer Kamerabildebene unter Voraussetzung einer festen Brennweite der Monokamera 2 auf dieser als scharfes bzw. fokussiertes Umgebungsobjekt O abgebildet werden. Bewegt sich das Umgebungsobjekt O aus einem Fokuspunkt der Monokamera 2, wird es als verschwommenes Umgebungsobjekt 0 auf der Kamerabildebene dargestellt. Hierzu besteht nach der Abbildungsgleichung eine Relation zwischen einer Objekttiefe, d. h. einer Objektdistanz zur Kamerabildebene, und einem Grad der Unschärfe BCRx auf der Kamerabildebene. Alternativ oder zusätzlich ist auch die Verwendung der so genannten Shape-from-Defocus-Methode zur Bestimmung der Relation zwischen der Distanz des Umgebungsobjekts O zu der Kamerabildebene möglich.In the execution section of the method takes place in the fourth method step VS4 immediately after the camera image has been captured B. in the first process step VS1 a depth calculation or depth reconstruction of the surroundings of the mono camera 2 based on the previously learned uncertainty relations, with the relation between the distance of an environmental object O to the camera image plane and the degree of blurring B CRx of the surrounding object O can be evaluated at the camera image level. To determine the relation between the distance of the surrounding object O the depth map is used for the camera image plane, which is based on the structure-from-motion method from the camera images captured one after the other B. was determined. To determine the relation between the distance of the surrounding object O The so-called shape-from-focus method, for example, is used for the camera image plane. This is based on the approach that surrounding objects O at a defined distance from a camera image plane, provided that the mono camera has a fixed focal length 2 on this as a sharp or focused surrounding object O be mapped. The surrounding object moves O from a focal point of the mono camera 2 , it will appear as a blurry surrounding object 0 shown on the camera image level. For this purpose, according to the imaging equation, there is a relation between an object depth, ie an object distance to the camera image plane, and a degree of blurring B CRx at the camera image level. Alternatively or additionally, the so-called shape-from-defocus method can also be used to determine the relation between the distance of the surrounding object O possible to the camera image plane.

Die Bestimmung der Relation aus der Tiefenkarte erfolgt mittels einer in einem fünften Verfahrensschritt VS5 ermittelten Übertragungsfunktion von Tiefenwerten Pz der Tiefenkarte zur Unschärferelation im Bereich eines rekonstruierten Umgebungsobjekts O, wobei hierzu im fünften Verfahrensschritt VS5 eine Modellbildung der Unschärferelation zur Tiefenwahrnehmung erfolgt. Die Modellbildung kann dabei getrennt für eine Monokamera 2 mit einem nach vorn gerichteten Erfassungsbereich und eine nicht näher dargestellte Monokamera mit einem nach hinten gerichteten Erfassungsbereich erfolgen. Auch die Ausführung dieses Verfahrensschritts VS5 erfolgt insbesondere im Fahrzeug 1.The relationship is determined from the depth map by means of a fifth method step VS5 determined transfer function of depth values P z the depth map for the uncertainty relation in the area of a reconstructed surrounding object O , with this in the fifth process step VS5 a model of the uncertainty relation for depth perception takes place. The modeling can be done separately for a mono camera 2 with a forward-facing detection area and a mono camera (not shown) with a rearward-facing detection area. Also the execution of this process step VS5 takes place in particular in the vehicle 1 .

Anschließend erfolgt in einem sechsten Verfahrensschritt VS6 eine Applikation der Übertragungsfunktion zur Tiefenrekonstruktion und anschließend in einem siebten Verfahrensschritt VS7 eine Transformation dieser Tiefenrekonstruktion in ein Fahrzeugkoordinatensystem. Bei dieser Transformation der Tiefenrekonstruktion in das Fahrzeugkoordinatensystem wird die extrinsische Kamerakalibrierung berücksichtigt. Auch die Ausführung der Verfahrensschritte VS6 und VS7 erfolgt insbesondere im Fahrzeug 1.This is followed by a sixth process step VS6 an application of the transfer function for depth reconstruction and then in a seventh process step VS7 a transformation of this depth reconstruction into a vehicle coordinate system. The extrinsic camera calibration is taken into account in this transformation of the depth reconstruction into the vehicle coordinate system. Also the execution of the procedural steps VS6 and VS7 takes place in particular in the vehicle 1 .

Das heißt, um die Relation von Tiefe zum Grad der Unschärfe BCRx zu bestimmen, wird beispielhaft in einem Online-Kalibrierschritt die berechnete Tiefenkarte aus einer existenten Structure-from-Motion genutzt und entsprechend die Übertragungsfunktion von Tiefenwerten Pz zur Unschärferelation im Bereich der Umgebungsobjekte O berechnet. Nachführend zur Online-Kalibrierung können durch Auswertung der Unschärferelation in definierten Bildbereichen die Tiefenwerte Pz für diese Segmente sowohl im statischen wie auch dynamischen Fahrzustand rekonstruiert werden. Für die Auswertung der Unschärferelation ist eine Berücksichtigung geeigneter Metriken vorgesehen. Hierfür wird beispielsweise eine so gennannte „No-Reference Perceptual Blur Metric“ von Crete-Roffet verwendet.That is, the relationship between depth and degree of blurring B CRx To determine this, the calculated depth map from an existing structure-from-motion is used as an example in an online calibration step and, accordingly, the transfer function of depth values Pz for the uncertainty relation in the area of surrounding objects O calculated. As a follow-up to the online calibration, the depth values can be evaluated by evaluating the uncertainty relation in defined image areas P z can be reconstructed for these segments in both static and dynamic driving conditions. Suitable metrics are to be taken into account for the evaluation of the uncertainty relation. For example, a so-called “No-Reference Perceptual Blur Metric” from Crete-Roffet is used for this.

Die 4 und 5 veranschaulichen die Verfahrensschritte VS6 und VS7, wobei 4 ein mittels einer Monokamera 2 erfasstes Kamerabild B einer Fahrzeugumgebung mit mehreren Umgebungsobjekten O1 bis O9 dargestellt. Die Umgebungsobjekte O1 bis O9 stellen dabei Teilbereiche von Objekten dar. The 4th and 5 illustrate the procedural steps VS6 and VS7 , in which 4th one by means of a mono camera 2 captured camera image B. a vehicle environment with several surrounding objects O1 to O9 shown. The surrounding objects O1 to O9 represent sub-areas of objects.

Jedes Umgebungsobjekt O1 bis O9 weist eine Unschärfe BCRx,1 bis BCRx,9 auf, wobei mittels der gelernten Unschärferelation und der jeweiligen Unschärfe BCRx,1 bis BCRx,9 die zugehörigen Tiefenwerte Pz,1 bis Pz,9 für die Umgebungsobjekte O1 bis O9 gemäß 5 ermittelt werden.Any surrounding object O1 to O9 exhibits a blurring B CRx, 1 to B CRx, 9 on, using the learned uncertainty relation and the respective uncertainty B CRx, 1 to B CRx, 9 the associated depth values P z, 1 to P z, 9 for the surrounding objects O1 to O9 according to 5 be determined.

Somit erlaubt das Verfahren eine segmentierbare Tiefenrekonstruktion, wobei intrinsische Kameravariationen durch Online-Kalibrierung aufbauend auf Structure-from-Motion-Distanzwerten berücksichtigt werden. Dabei ist das Verfahren mittels Monokamerasystemen ausführbar, eine Sensorfusion ist nicht notwendig. Weiterhin ist das Verfahren unabhängig vom Ladezustand eines Fahrzeugs 1, da ein Neigungsausgleich der Monokamera 2 durch eine Online-Kalibrierung durchführbar ist.The method thus allows a segmentable depth reconstruction, with intrinsic camera variations being taken into account by online calibration based on structure-from-motion distance values. The process can be carried out using mono camera systems; sensor fusion is not necessary. Furthermore, the method is independent of the state of charge of a vehicle 1 , because a tilt compensation of the mono camera 2 can be carried out by online calibration.

BezugszeichenlisteList of reference symbols

11
Fahrzeugvehicle
22
Monokamera Mono camera
BB.
KamerabildCamera image
BCRx B CRx
UnschärfeBlur
BCRx,1 bis BCRx,9 B CRx, 1 to B CRx, 9
UnschärfeBlur
OO
UmgebungsobjektEnvironment object
O1 bis O9O1 to O9
UmgebungsobjektEnvironment object
P2 P 2
TiefenwertDepth value
Pz,1 bis Pz,9 P z, 1 to P z, 9
TiefenwertDepth value
RR.
Regionregion
VS1 bis VS7VS1 to VS7
VerfahrensschrittProcess step

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • US 10179543 B2 [0002]US 10179543 B2 [0002]

Claims (5)

Verfahren zu einer kamerabasierten dreidimensionalen Rekonstruktion einer Szene mittels einer Monokamera (2), dadurch gekennzeichnet, dass zur dreidimensionalen Rekonstruktion - eine Tiefenrekonstruktion einer Umgebung der Monokamera (2) basierend auf zuvor gelernten Unschärferelationen durchgeführt wird und - eine Relation zwischen einer Distanz eines Umgebungsobjekts (O, O1 bis O9) zu einer Kamerabildebene und ein Grad einer Unschärfe (BCRx, BCRx,1 bis BCRx,9) des Umgebungsobjekts (O, O1 bis O9) auf der Kamerabildebene ausgewertet werden.A method for a camera-based three-dimensional reconstruction of a scene by means of a mono camera (2), characterized in that for the three-dimensional reconstruction - a depth reconstruction of an environment of the mono camera (2) is carried out based on previously learned uncertainty relations and - a relation between a distance of an environmental object (O , O1 to O9) to a camera image plane and a degree of blurring (B CRx , B CRx, 1 to B CRx, 9 ) of the surrounding object (O, O1 to O9) on the camera image plane can be evaluated. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zu einer Bestimmung der Relation zwischen der Distanz des Umgebungsobjekts (O, O1 bis O9) zu der Kamerabildebene eine Tiefenkarte verwendet wird, welche anhand einer Tiefenrekonstruktion aus zeitlich nacheinander erfassten Kamerabildern (B) ermittelt wird.Procedure according to Claim 1 , characterized in that a depth map is used to determine the relationship between the distance of the surrounding object (O, O1 to O9) to the camera image plane, which is determined on the basis of a depth reconstruction from camera images (B) captured one after the other. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die Bestimmung der Relation aus der Tiefenkarte anhand einer Übertragungsfunktion von Tiefenwerten (Pz, Pz,1 bis Pz,9) der Tiefenkarte zur Unschärferelation im Bereich eines rekonstruierten Umgebungsobjekts (O, O1 bis O9) erfolgt.Procedure according to Claim 2 , characterized in that the relation is determined from the depth map using a transfer function of depth values (P z , P z, 1 to P z, 9 ) of the depth map for the uncertainty relation in the area of a reconstructed surrounding object (O, O1 to O9). Verfahren nach Anspruch 2 oder 3, dadurch gekennzeichnet, dass die Bestimmung der Relation in einer Online-Kalibrierung durchgeführt wird.Procedure according to Claim 2 or 3 , characterized in that the determination of the relation is carried out in an online calibration. Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass die Tiefenrekonstruktion mittels eines Structure-from-Motion-Verfahrens durchgeführt wird.Method according to one of the Claims 2 to 4th , characterized in that the depth reconstruction is carried out by means of a structure-from-motion method.
DE102019008081.5A 2019-11-21 2019-11-21 Method for a camera-based three-dimensional reconstruction Withdrawn DE102019008081A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019008081.5A DE102019008081A1 (en) 2019-11-21 2019-11-21 Method for a camera-based three-dimensional reconstruction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019008081.5A DE102019008081A1 (en) 2019-11-21 2019-11-21 Method for a camera-based three-dimensional reconstruction

Publications (1)

Publication Number Publication Date
DE102019008081A1 true DE102019008081A1 (en) 2020-08-13

Family

ID=71739040

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019008081.5A Withdrawn DE102019008081A1 (en) 2019-11-21 2019-11-21 Method for a camera-based three-dimensional reconstruction

Country Status (1)

Country Link
DE (1) DE102019008081A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021133091A1 (en) 2021-12-14 2023-06-15 Cariad Se Method for determining an alignment of a camera unit of a detection device, detection device and vehicle

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021133091A1 (en) 2021-12-14 2023-06-15 Cariad Se Method for determining an alignment of a camera unit of a detection device, detection device and vehicle

Similar Documents

Publication Publication Date Title
DE102018116111B4 (en) A unified deep convolutional neural network for free space estimation, object recognition estimation, and object pose estimation
DE102009005861A1 (en) Vehicle environment recognition system
WO2005048195A2 (en) Method for the analysis of correspondences in image data sets
DE102013205854B4 (en) Method for detecting a free path using temporary coherence
DE102015003666A1 (en) Method for processing acquired measured data of a sensor
DE102019008081A1 (en) Method for a camera-based three-dimensional reconstruction
EP3278318A1 (en) Method for supplying, on a communication interface, height data about an object located in the surroundings of a motor vehicle, sensor device, processing device and motor vehicle
DE102012211961A1 (en) Method and apparatus for calculating a change in a magnification of an object
EP1352363B1 (en) Method and device for compensating for the maladjustment of an image producing device
DE102019218479A1 (en) Method and device for classifying objects on a roadway in the surroundings of a vehicle
EP3924932A1 (en) Modular inpainting method
DE102019208507A1 (en) Method for determining the degree of overlap between an object and a lane
EP3714398A1 (en) Method for object detection for a vehicle having a thermographic camera and modified noise-suppression filters
DE102018114229A1 (en) Method for determining a movement state of an object depending on a movement mask and a generated boundary frame, driver assistance system and motor vehicle
DE102007027958A1 (en) Method for optimizing a stereoscopic image
DE102020001195A1 (en) Method for object detection and localization
DE102014219418B4 (en) Process for the stereo rectification of stereo camera images and driver assistance system
DE102017117594A1 (en) Automated detection of headlight misalignment
DE112020003788T5 (en) Peripheral video generation apparatus, peripheral video generation method, and program
DE102020003465A1 (en) Method for the detection of objects in monocular RGB images
DE102019008892A1 (en) Method for operating a camera system with camera-based image stitching or feature-based image stitching, as well as camera system
DE102019206233A1 (en) Method for providing training data for adaptable situation recognition algorithms and methods for automated situation recognition of operating situations of a vehicle for public passenger transport
DE102020005600A1 (en) Method for determining a size of an area of an object
DE102019102423A1 (en) Method for live annotation of sensor data
DE102018222526A1 (en) Method and control device for detecting an object

Legal Events

Date Code Title Description
R230 Request for early publication
R081 Change of applicant/patentee

Owner name: DAIMLER AG, DE

Free format text: FORMER OWNER: DAIMLER AG, 70327 STUTTGART, DE

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee