DE102016225066A1 - Rundumsichtsystem für ein Fahrzeug - Google Patents

Rundumsichtsystem für ein Fahrzeug Download PDF

Info

Publication number
DE102016225066A1
DE102016225066A1 DE102016225066.3A DE102016225066A DE102016225066A1 DE 102016225066 A1 DE102016225066 A1 DE 102016225066A1 DE 102016225066 A DE102016225066 A DE 102016225066A DE 102016225066 A1 DE102016225066 A1 DE 102016225066A1
Authority
DE
Germany
Prior art keywords
real camera
image
camera
vehicle
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102016225066.3A
Other languages
English (en)
Inventor
Georg Arbeiter
Stefan Milz
Johannes Petzold
Jörg Schrepfer
Sudhan Dhana Sekaran
Rodrigo Garcia Marques
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102016225066.3A priority Critical patent/DE102016225066A1/de
Priority to US16/469,330 priority patent/US10904432B2/en
Priority to CN201780076469.5A priority patent/CN110073415B/zh
Priority to DE112017004931.8T priority patent/DE112017004931A5/de
Priority to EP17807696.4A priority patent/EP3555843A1/de
Priority to KR1020197014361A priority patent/KR102315748B1/ko
Priority to JP2019528435A priority patent/JP2020502640A/ja
Priority to PCT/DE2017/200113 priority patent/WO2018108213A1/de
Publication of DE102016225066A1 publication Critical patent/DE102016225066A1/de
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/02—Affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/102—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using 360 degree surveillance camera system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

Die Erfindung betrifft ein Rundumsichtsystem für ein Fahrzeug. Das Rundumsichtsystem umfasst wenigstens eine reale Kamera (2) zur Aufnahme eines Bilds einer Umgebung des Fahrzeugs aus einer nicht-zentrierten Position, eine virtuelle Kamera (7), eine Bildverarbeitungseinheit und eine Anzeigeeinheit, welche eingerichtet ist zur projizierten Darstellung des von der realen Kamera (2) aufgenommenen Bilds und wenigstens einer geometrischen Form (11 bis 13) als Overlay über dem von der realen Kamera (2) aufgenommenen Bild. Die Bildverarbeitungseinheit ist dazu eingerichtet, das von der realen Kamera (2) aufgenommene Bild auf eine erste Ebene (9) zu projizieren, welche senkrecht zu der realen Kamera (2) steht, sodass in dem von der realen Kamera (2) aufgenommenen Bild perspektivische Verzerrungen, welche sich aus der nicht-zentrierten Position der realen Kamera (2) ergeben, entzerrt werden, und die wenigstens eine geometrische Form (11 bis 13) auf eine zweite Ebene (10) zu projizieren, welche senkrecht zu der virtuellen Kamera (7) steht, sodass die wenigstens eine geometrische Form (11 bis 13) unverzerrt auf der Anzeigeeinheit (4) dargestellt wird. Weiterhin ist die Bildverarbeitungseinheit dazu eingerichtet, eine affine Transformation (T) zwischen der ersten Ebene (9) und der zweiten Ebene (10) mittels einer Delta-Transformation zwischen der realen Kamera (2) und der virtuellen Kamera (7) zu finden, und die gefundene affine Transformation (T) auf die erste Ebene (9) anzuwenden, welche das von der realen Kamera (2) aufgenommene, projizierte und entzerrte Bild (8') von der realen Kamera (2) enthält, sodass eine modifizierte Darstellung (8") des entzerrten Bilds (8') der realen Kamera (2) mit der wenigstens einen unverzerrten geometrischen Form (11 bis 13) in der zweiten Ebene (10) ausgerichtet ist.

Description

  • Die Erfindung betrifft ein Rundumsichtsystem für ein Fahrzeug. Ferner betrifft die Erfindung ein Verfahren zur Rundumsicht-Darstellung einer Umgebung des Fahrzeugs. Weitere Ansprüche sind auf ein Programmelement und ein computerlesbares Medium zur Ausführung des Verfahrens gerichtet.
  • Darstellungen auf Anzeigeeinheiten eines Rundumsichtsystems beinhalten typischerweise ein projiziertes Bild einer realen Kamera, welches an einem Fahrzeug montiert ist und Aufnahmen der Umgebung des Fahrzeugs macht. Weiterhin sind geometrische Formen als Overlay über das projizierte Bild der Kamera gelegt, wobei es sich bei den geometrischen Formen z.B. um eine Trajektorie des Fahrzeugs handeln kann. Dabei muss das projizierte Bild der Kamera zu dem Overlay passen. Sofern die Kamera jedoch nicht-zentrisch an dem Fahrzeug montiert ist, sieht entweder der Overlay oder das Bild der Kamera verzerrt aus. Ein derartiges verzerrtes Aussehen ist unerwünscht.
  • Es ist daher die Aufgabe der vorliegenden Erfindung, ein Rundumsichtsystem und ein Verfahren der eingangs genannten Art bereitzustellen, welche ermöglichen, dass sowohl der Overlay als auch das Bild der Kamera unverzerrt und in vorgesehener Weise zueinander ausgerichtet auf einer Anzeigeeinheit des Fahrzeugs dargestellt werden können.
  • Die Aufgabe wird gelöst durch die Gegenstände der unabhängigen Patentansprüche. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche, der folgenden Beschreibung sowie der Figuren.
  • Gemäß einem ersten Aspekt der Erfindung wird ein Rundumsichtsystem für ein Fahrzeug bereitgestellt.
  • Das Rundumsichtsystem umfasst wenigstens eine physische bzw. reale Kamera zur Aufnahme eines Bilds einer Umgebung des Fahrzeugs aus einer nicht-zentrierten Position. Bei der realen Kamera handelt es sich bevorzugt um eine digitale Kamera, welche Bildaufnahmen oder Filmaufnahmen von der Umgebung des Fahrzeugs machen kann und die Bildaufnahmen bzw. Filmaufnahmen repräsentierende Daten speichern, ausgeben und übertragen kann. Das Rundumsichtsystem kann auch mehrere, z.B. vier reale Kameras umfassen, welche derart an dem Fahrzeug montiert werden können, dass einzelne Bilder der mehreren realen Kameras zu einem Gesamt-Rundumbild (z.B. einem 360°-Rundumbild des Fahrzeugs) zusammengesetzt werden können. Die wenigstens eine reale Kamera ist insbesondere dazu eingerichtet, eine Vielzahl von Bildern der Umgebung des Fahrzeugs aus einer nicht zentrierten Position aufzunehmen. Auch wenn die vorliegende Erfindung im Zusammenhang mit der Aufnahme eines einzigen Bilds einer einzigen Kamera erläutert ist, so gelten die Erläuterungen nichtsdestotrotz auch für die aus der nicht-zentrierten Position von der Umgebung des Fahrzeugs anderen Bilder der Vielzahl von Bildern, die mittels wenigstens einer realen Kamera aufgenommen werden können. Unter dem Merkmal der „nicht-zentrierten Position“ kann in diesem Zusammenhang insbesondere verstanden werden, dass die Kamera bezüglich einer gedachten Längsachse des Fahrzeugs außermittig und schräg an oder in dem Fahrzeug montiert ist und einen Vorausbereich des Fahrzeugs erfassen kann.
  • Weiterhin umfasst das Rundumsichtsystem eine virtuelle Kamera, eine Bildverarbeitungseinheit und eine Anzeigeeinheit. Die Bildverarbeitungseinheit ist einerseits kommunikativ mit der realen Kamera verbunden. Andererseits ist die Bildverarbeitungseinheit auch kommunikativ mit der Anzeigeeinheit verbunden. Auf diese Weise kann insbesondere die reale Kamera Bilddaten an die Bildverarbeitungseinheit übermitteln, die Bildverarbeitungseinheit kann die Bilddaten verarbeiten und die verarbeiteten Bilddaten an die Anzeigeeinheit übertragen. Die Bildverarbeitungseinheit kann softwarebasiert implementiert sein.
  • Die Anzeigeeinheit ist einerseits dazu eingerichtet, das von der realen Kamera aufgenommene Bild projiziert darzustellen. Andererseits ist die Anzeigeeinheit ebenfalls dazu eingerichtet, wenigstens eine geometrische Form als Overlay über dem von der realen Kamera aufgenommenen Bild projiziert darzustellen.
  • Die Bildverarbeitungseinheit ist dazu eingerichtet, das von der realen Kamera aufgenommene Bild auf eine erste Oberfläche oder Ebene zu projizieren, welche senkrecht zu der realen Kamera steht, sodass in dem von der realen Kamera aufgenommenen Bild perspektivische Verzerrungen, welche sich aus der nicht-zentrierten Position der realen Kamera ergeben, entzerrt werden.
  • Weiterhin ist die Bildverarbeitungseinheit dazu eingerichtet, die wenigstens eine geometrische Form auf eine zweite Oberfläche oder Ebene zu projizieren, welche senkrecht zu der virtuellen Kamera steht, sodass die wenigstens eine geometrische Form unverzerrt auf der Anzeigeeinheit dargestellt wird. Die reale Kamera ist somit strukturell körperlich vorhanden, wohingegen die virtuelle Kamera lediglich gedacht ist bzw. Eingang in das auf der Anzeigeeinheit dargestellte Bild findet und eine virtuelle Perspektive eines Nutzers des erfindungsgemäßen Rundumsichtsystems bzw. eines Fahrzeugs mit dem erfindungsgemäßen Rundumsichtsystem repräsentiert. Die zweite Ebene ist diejenige Ebene, welche auf der Anzeigeeinheit dargestellt wird, z.B. auf einem Monitor im Bereich des Armaturenbretts des Fahrzeugs, und für einen Nutzer des Fahrzeugs sichtbar ist.
  • Ferner ist die Bildverarbeitungseinheit dazu eingerichtet, eine affine Transformation zwischen der ersten Ebene und der zweiten Ebene mittels einer Delta-Transformation zwischen der realen Kamera und der virtuellen Kamera zu finden, und die gefundene affine Transformation auf die erste Ebene anzuwenden, welche das von der realen Kamera aufgenommene, projizierte und entzerrte Bild von der realen Kamera enthält, sodass eine modifizierte Darstellung des entzerrten Bilds (welches in der ersten Ebene enthalten ist) der realen Kamera mit der wenigstens einen unverzerrten geometrischen Form in der zweiten Ebene ausgerichtet ist.
  • Die Delta-Transformation berücksichtigt die Abweichungen der realen Kamera von der virtuellen Kamera bezüglich der extrinsischen Kameraparameter und der intrinsischen Kameraparameter. Damit Objekte innerhalb des Bilds, das von der realen Kamera aufgenommen wird, in der zweiten Ebene nicht schräg dargestellt werden, was perspektivisch korrekt wäre, wird bei der Delta-Transformation insbesondere berücksichtigt, dass die reale Kamera nicht-zentrisch an dem Fahrzeug montiert ist.
  • Mittels der affinen Transformation wird das Bild der Kamera, welches auf die erste Ebene entzerrt projiziert worden ist, auf diese Weise künstlich derart verzerrt, als hätte man es von einer Position der virtuellen Kamera aus aufgenommen. Dadurch wird ermöglicht, Objekte, welche in dem von der realen Kamera aufgenommenen Bild enthalten sind, in der zweiten Ebene entzerrt darzustellen und gleichzeitig eine unverzerrte Darstellung wenigstens einer geometrischen Form, z.B. einer Trajektorie des Fahrzeugs, als Overlay in der zweiten Ebene zu ermöglichen, wobei die Objekte und die wenigstens eine geometrische Form in der zweiten Ebene zueinander korrekt ausgerichtet sind.
  • Gemäß einem zweiten Aspekt der Erfindung wird ein Fahrzeug bereitgestellt, welches ein Rundumsichtsystem gemäß dem ersten Aspekt der Erfindung umfasst, wobei die reale Kamera nicht-zentriert an dem Fahrzeug montiert ist. Bei dem Fahrzeug handelt es sich beispielsweise um ein Kraftfahrzeug, wie Auto, Bus oder Lastkraftwagen, oder aber auch um ein Schienenfahrzeug, ein Schiff, ein Luftfahrzeug, wie Helikopter oder Flugzeug, oder beispielsweise um ein Fahrrad.
  • Gemäß einem dritten Aspekt der Erfindung wird ein Verfahren zur Rundumsicht-Darstellung einer Umgebung eines Fahrzeugs nach dem zweiten Aspekt der Erfindung bereitgestellt. Das Verfahren umfasst ein Aufnehmen eines Bilds der Umgebung des Fahrzeugs mittels der realen Kamera und ein Projizieren des von der realen Kamera aufgenommenen Bilds auf die erste Ebene, welche senkrecht zu der realen Kamera steht, sodass in dem von der realen Kamera aufgenommenen Bild perspektivische Verzerrungen, welche sich aus der nicht-zentrierten Position der realen Kamera ergeben, entzerrt werden. Weiterhin erfolgt ein Projizieren der wenigstens einen geometrischen Form als Overlay auf die zweite Ebene, welche senkrecht zu der virtuellen Kamera steht, sodass die wenigstens eine geometrische Form unverzerrt auf der Anzeigeeinheit dargestellt wird. Ferner wird eine affine Transformation zwischen der ersten Ebene und der zweiten Ebene mittels einer Delta-Transformation zwischen der realen Kamera und der virtuellen Kamera gefunden, und die gefundene affine Transformation auf die erste Ebene angewendet, welche das von der realen Kamera aufgenommene, projizierte und entzerrte Bild von der realen Kamera enthält, sodass eine modifizierte Darstellung des entzerrten Bilds (welches in der ersten Ebene enthalten ist) der realen Kamera mit der wenigstens einen unverzerrten geometrischen Form in der zweiten Ebene ausgerichtet ist.
  • Gemäß einem vierten Aspekt der Erfindung wird ein Programmelement bereitgestellt das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte gemäß dem Verfahren nach dem dritten Aspekt der Erfindung durchzuführen.
  • Gemäß einem fünften Aspekt der Erfindung wird ein computerlesbares Medium bereitgestellt, auf dem ein Programmelement gemäß dem vierten Aspekt der Erfindung gespeichert ist, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte gemäß dem Verfahren nach dem dritten Aspekt der Erfindung durchzuführen.
  • Im Folgenden werden Ausführungsbeispiele der Erfindung anhand der schematischen Zeichnung näher erläutert. Hierbei zeigt
    • 1 eine Seitenansicht eines Fahrzeugs mit einem Ausführungsbeispiel eines erfindungsgemäßen Rundumsichtsystems,
    • 2 eine stark vereinfachte Draufsicht auf das Fahrzeug nach 1 und
    • 3 eine prinzipielle Darstellung einer möglichen Arbeitsweise des Rundumsichtsystems nach 1.
  • 1 und 2 zeigen ein Fahrzeug 1 in Form eines Kraftfahrzeugs. Das Fahrzeug 1 umfasst wenigstens eine digitale physische bzw. reale Kamera 2, eine Bildverarbeitungseinheit 3 und eine Anzeigeeinheit 4 in Form eines Monitors innerhalb des Fahrzeugs 1 in einem Sichtbereich eines nicht gezeigten Nutzers. Die Bildverarbeitungseinheit 3 ist kommunikativ mit der realen Kamera 2 und mit der Anzeigeeinheit 4 verbunden, sodass die reale Kamera 2 aufgenommene Bilder repräsentierende Bilddaten an die Bildverarbeitungseinheit 3 übermitteln kann, welche wiederum die empfangenen Bilddaten verarbeiten und die verarbeiteten Bilddaten an die Anzeigeeinheit 4 übertragen kann. Die Bildverarbeitungseinheit 3 alternativ auch in die reale Kamera 2 oder die Anzeigeeinheit 4 integriert sein.
  • Das Fahrzeug 1 bewegt sich auf einer Straße 5 und die reale Kamera 2 ist derart an dem Fahrzeug 1 montiert, dass die reale Kamera 2 Bilder von einem Vorausbereich 6 in einer äußeren Umgebung des Fahrzeugs 1 machen kann. Wie aus 2 ersichtlich, ist die reale Kamera 2 nicht-zentriert an dem Fahrzeug 1 montiert. In 2 ist eine Längsachse L des Fahrzeugs 1 dargestellt, wobei die reale Kamera 2 seitlich versetzt neben der Längsachse L des Fahrzeugs 1 an dem Fahrzeug 1 montiert ist. 2 zeigt weiterhin, dass die reale Kamera 2 schräg, d.h. nicht parallel zur Längsachse L des Fahrzeugs 1 an dem Fahrzeug montiert sein kann. Die reale Kamera 2, die Bildverarbeitungseinheit 3 und die Anzeigeeinheit 4 bilden gemeinsam das Rundumsichtsystem des Fahrzeugs 1, wobei die Bildverarbeitungseinheit 3 zusätzlich eine nicht vorhandene, virtuelle Kamera 7 erzeugt.
  • 3 zeigt, wie ein von der realen Kamera 2 aufgenommenes Bild der Umgebung 6 des Fahrzeugs 1 verarbeitet werden kann, um auf der Anzeigeeinheit 4 des Fahrzeugs 1 in einem Rundumbild des Fahrzeugs 1 dargestellt zu werden. Das von der realen Kamera 2 aufgenommene Bild enthält mehrere Objekte, wobei in 3 eines dieser Objekte 8 stark schematisch dargestellt ist. Bei dem Objekt 8 kann es sich beispielsweise um eine Stoßstange eines weiteren Fahrzeugs (nicht dargestellt) in dem Vorausbereich des Fahrzeugs 1 handeln. Obwohl die Arbeitsweise des Rundumsichtsystems im Folgenden anhand des Objekts 8 erläutert wird, gelten diese Erläuterungen ebenso für die übrigen Objekte (nicht gezeigt), welche in dem von der realen Kamera 2 aufgenommenen Bild enthalten sind.
  • Das von der realen Kamera 2 aufgenommene Bild mit dem Objekt 8 wird auf eine erste Oberfläche oder Ebene 9 projiziert, welche senkrecht zu der realen Kamera 2 steht, sodass in dem von der realen Kamera 2 aufgenommenen Bild perspektivische Verzerrungen, welche sich aus der nicht-zentrierten Position der realen Kamera 2 ergeben, entzerrt werden. Auf diese Weise entsteht eine erste modifizierte Darstellung 8' des Objekts 8 innerhalb der ersten Ebene 9. Die Bildinhalte der ersten Ebene 9 werden nicht auf der Anzeigeeinheit 4 des Fahrzeugs 1 dargestellt, sondern die Bildinhalte einer zweiten Ebene 10, welche im Folgenden erläutert wird.
  • Die Bildverarbeitungseinheit 3 projiziert wenigstens eine geometrische Form 11 bis 13 als Overlay auf die zweite Ebene 10, welche senkrecht zu der virtuellen Kamera 7 steht, sodass die zweite Ebene 10 mit der wenigstens einen geometrischen Form 11 bis 13 unverzerrt auf der Anzeigeeinheit 4 des Fahrzeugs 1 dargestellt wird. In 3 sind beispielhaft drei geometrische Formen gezeigt, welche eine vorgesehene Trajektorie des Fahrzeugs 1 beschreiben.
  • Weiterhin findet die Bildverarbeitungseinheit 3 eine affine Transformation T zwischen der ersten Ebene 9 und der zweiten Ebene 10 mittels einer Delta-Transformation zwischen der realen Kamera 2 und der virtuellen Kamera 7 und wendet die gefundene affine Transformation T auf die erste Ebene 9 an, welche die erste modifizierte Darstellung 8' des Objekts 8 enthält. Auf diese Weise entsteht eine zweite modifizierte Darstellung 8" des Objekts 8 innerhalb der zweiten Ebene 10, wobei diese zweite modifizierte Darstellung 8" mit der wenigstens einen unverzerrten geometrischen Form 11 bis 13 in der zweiten Ebene 10 ausgerichtet ist. Die zweite Ebene mit der modifizierten Darstellung 8" des Objekt 8 und den geometrischen Formen 11 bis 13 wird auf der Anzeigeeinheit 4 dargestellt.

Claims (5)

  1. Rundumsichtsystem für ein Fahrzeug (1), das Rundumsichtsystem umfassend wenigstens eine reale Kamera (2) zur Aufnahme eines Bilds einer Umgebung (6) des Fahrzeugs (1) aus einer nicht-zentrierten Position, eine virtuelle Kamera (7), eine Bildverarbeitungseinheit (3) und eine Anzeigeeinheit (4), wobei die Anzeigeeinheit (4) eingerichtet ist zur projizierten Darstellung - des von der realen Kamera (2) aufgenommenen Bilds und - wenigstens einer geometrischen Form (11 bis 13) als Overlay über dem von der realen Kamera (2) aufgenommenen Bild, und wobei die Bildverarbeitungseinheit (3) dazu eingerichtet ist, - das von der realen Kamera (2) aufgenommene Bild auf eine erste Ebene (9) zu projizieren, welche senkrecht zu der realen Kamera (2) steht, sodass in dem von der realen Kamera (2) aufgenommenen Bild perspektivische Verzerrungen, welche sich aus der nicht-zentrierten Position der realen Kamera (2) ergeben, entzerrt werden, - die wenigstens eine geometrische Form (11 bis 13) auf eine zweite Ebene (10) zu projizieren, welche senkrecht zu der virtuellen Kamera (7) steht, sodass die wenigstens eine geometrische Form (11 bis 13) unverzerrt auf der Anzeigeeinheit (4) dargestellt wird, - eine affine Transformation (T) zwischen der ersten Ebene (9) und der zweiten Ebene (10) mittels einer Delta-Transformation zwischen der realen Kamera (2) und der virtuellen Kamera (7) zu finden, und - die gefundene affine Transformation (T) auf die erste Ebene (9) anzuwenden, welche das von der realen Kamera (2) aufgenommene, projizierte und entzerrte Bild (8') von der realen Kamera (2) enthält, sodass eine modifizierte Darstellung (8") des entzerrten Bilds (8') der realen Kamera (2) mit der wenigstens einen unverzerrten geometrischen Form (11 bis 13) in der zweiten Ebene (10) ausgerichtet ist.
  2. Fahrzeug (1) umfassend ein Rundumsichtsystem nach Anspruch 1, wobei die reale Kamera (2) nicht-zentriert an dem Fahrzeug (1) montiert ist.
  3. Verfahren zur Rundumsicht-Darstellung einer Umgebung (6) eines Fahrzeugs (1) nach Anspruch 2, das Verfahren umfassend die Schritte: - Aufnehmen eines Bilds der Umgebung (6) des Fahrzeugs (1) mittels der realen Kamera (2), - Projizieren des von der realen Kamera (2) aufgenommenen Bilds auf die erste Ebene (9), welche senkrecht zu der realen Kamera (2) steht, sodass in dem von der realen Kamera (2) aufgenommenen Bild perspektivische Verzerrungen, welche sich aus der nicht-zentrierten Position der realen Kamera (2) ergeben, entzerrt werden, - Projizieren der wenigstens einen geometrischen Form (11 bis 13) als Overlay auf die zweite Ebene (9), welche senkrecht zu der virtuellen Kamera (7) steht, sodass die wenigstens eine geometrische Form (11 bis 13) unverzerrt auf der Anzeigeeinheit (4) dargestellt wird, - Finden einer affinen Transformation (T) zwischen der ersten Ebene (9) und der zweiten Ebene (10) mittels einer Delta-Transformation zwischen der realen Kamera (2) und der virtuellen Kamera (7), und - Anwenden der gefundenen affinen Transformation (T) auf die erste Ebene (9), welche das von der realen Kamera (2) aufgenommene, projizierte und entzerrte Bild von der realen Kamera (2) enthält, sodass eine modifizierte Darstellung (8") des entzerrten Bilds (8 `) der realen Kamera (2) mit der wenigstens einen unverzerrten geometrischen Form (11 bis 13) in der zweiten Ebene (10) ausgerichtet ist.
  4. Programmelement, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte nach Anspruch 3 durchzuführen.
  5. Computerlesbares Medium, auf dem ein Programmelement gespeichert ist, das, wenn es auf einem Prozessor ausgeführt wird, den Prozessor anleitet, die Verfahrensschritte nach Anspruch 3 durchzuführen.
DE102016225066.3A 2016-12-15 2016-12-15 Rundumsichtsystem für ein Fahrzeug Withdrawn DE102016225066A1 (de)

Priority Applications (8)

Application Number Priority Date Filing Date Title
DE102016225066.3A DE102016225066A1 (de) 2016-12-15 2016-12-15 Rundumsichtsystem für ein Fahrzeug
US16/469,330 US10904432B2 (en) 2016-12-15 2017-10-25 Panoramic view system for a vehicle
CN201780076469.5A CN110073415B (zh) 2016-12-15 2017-10-25 用于交通工具的全景环视***
DE112017004931.8T DE112017004931A5 (de) 2016-12-15 2017-10-25 Rundumsichtsystem für ein Fahrzeug
EP17807696.4A EP3555843A1 (de) 2016-12-15 2017-10-25 Rundumsichtsystem für ein fahrzeug
KR1020197014361A KR102315748B1 (ko) 2016-12-15 2017-10-25 차량용 어라운드 뷰 시스템
JP2019528435A JP2020502640A (ja) 2016-12-15 2017-10-25 乗物用サラウンドビューシステム
PCT/DE2017/200113 WO2018108213A1 (de) 2016-12-15 2017-10-25 Rundumsichtsystem für ein fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102016225066.3A DE102016225066A1 (de) 2016-12-15 2016-12-15 Rundumsichtsystem für ein Fahrzeug

Publications (1)

Publication Number Publication Date
DE102016225066A1 true DE102016225066A1 (de) 2018-06-21

Family

ID=60515069

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102016225066.3A Withdrawn DE102016225066A1 (de) 2016-12-15 2016-12-15 Rundumsichtsystem für ein Fahrzeug
DE112017004931.8T Pending DE112017004931A5 (de) 2016-12-15 2017-10-25 Rundumsichtsystem für ein Fahrzeug

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE112017004931.8T Pending DE112017004931A5 (de) 2016-12-15 2017-10-25 Rundumsichtsystem für ein Fahrzeug

Country Status (7)

Country Link
US (1) US10904432B2 (de)
EP (1) EP3555843A1 (de)
JP (1) JP2020502640A (de)
KR (1) KR102315748B1 (de)
CN (1) CN110073415B (de)
DE (2) DE102016225066A1 (de)
WO (1) WO2018108213A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091494A (zh) * 2018-10-24 2020-05-01 纬创资通股份有限公司 影像拼接处理方法以及其***

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016211227A1 (de) 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug
DE102018203590A1 (de) 2018-03-09 2019-09-12 Conti Temic Microelectronic Gmbh Surroundview-System mit angepasster Projektionsfläche
WO2020068960A1 (en) * 2018-09-26 2020-04-02 Coherent Logix, Inc. Any world view generation
KR20230067218A (ko) 2021-11-09 2023-05-16 에이엠알오 주식회사 안전비행을 위한 항공기의 3d 영상표시 시스템
CN114633692B (zh) * 2022-03-14 2023-10-03 深圳市艾为智能有限公司 一种偏心镜头在cms***中的应用方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010038939A1 (de) * 2009-08-06 2011-02-10 DENSO CORPORATION, Kariya-shi Bildkorrekturvorrichtung und -verfahren und Verfahren zur Herstellung einer Transformationskarte hierfür
US20160311374A1 (en) * 2015-04-21 2016-10-27 Magna Electronics Inc. Vehicle vision system with overlay calibration

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3624769B2 (ja) 1999-09-30 2005-03-02 株式会社豊田自動織機 車両後方監視装置用画像変換装置
JP2002083285A (ja) 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP4195966B2 (ja) 2002-03-05 2008-12-17 パナソニック株式会社 画像表示制御装置
JP3871614B2 (ja) 2002-06-12 2007-01-24 松下電器産業株式会社 運転支援装置
JP4642723B2 (ja) * 2006-09-26 2011-03-02 クラリオン株式会社 画像生成装置および画像生成方法
DE102007044535B4 (de) 2007-09-18 2022-07-14 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Fahrerinformation in einem Kraftfahrzeug
JP4751939B2 (ja) * 2009-03-31 2011-08-17 アイシン精機株式会社 車載カメラの校正装置
JP2012244600A (ja) 2011-05-24 2012-12-10 Fujitsu Ten Ltd 画像表示システム、画像処理装置、及び、画像表示方法
WO2013016409A1 (en) 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
DE102011115739A1 (de) * 2011-10-11 2013-04-11 Daimler Ag Verfahren zur Integration von virtuellen Objekten in Fahrzeuganzeigen
DE112012003549A5 (de) 2011-10-28 2014-05-08 Continental Teves Ag & Co. Ohg Gitterbasiertes Umfeldmodell für ein Fahrzeug
KR101339121B1 (ko) * 2011-12-08 2013-12-09 ㈜베이다스 다중 룩업 테이블을 이용한 차량 어라운드 뷰 영상 생성장치
KR101469717B1 (ko) * 2012-05-30 2014-12-05 동의대학교 산학협력단 광각 카메라를 이용한 영상 시스템 및 그 방법
US9225942B2 (en) * 2012-10-11 2015-12-29 GM Global Technology Operations LLC Imaging surface modeling for camera modeling and virtual view synthesis
US20140114534A1 (en) * 2012-10-19 2014-04-24 GM Global Technology Operations LLC Dynamic rearview mirror display features
US9445011B2 (en) * 2012-10-22 2016-09-13 GM Global Technology Operations LLC Dynamic rearview mirror adaptive dimming overlay through scene brightness estimation
DE102013203404A1 (de) * 2013-02-28 2014-08-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur dreidimensionalen Abbildung zumindest eines Teilbereichs eines Fahrzeugumfelds
US8892358B2 (en) 2013-03-14 2014-11-18 Robert Bosch Gmbh System and method for distortion correction in three-dimensional environment visualization
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
TWI528325B (zh) 2013-10-18 2016-04-01 財團法人資訊工業策進會 影像處理方法及應用影像處理方法之系統
US20150109444A1 (en) * 2013-10-22 2015-04-23 GM Global Technology Operations LLC Vision-based object sensing and highlighting in vehicle image display systems
JP6096155B2 (ja) 2014-09-12 2017-03-15 アイシン精機株式会社 運転支援装置及び運転支援システム
JP6276719B2 (ja) * 2015-02-05 2018-02-07 クラリオン株式会社 画像生成装置、座標変換テーブル作成装置および作成方法
DE102015206477A1 (de) 2015-04-10 2016-10-13 Robert Bosch Gmbh Verfahren zur Darstellung einer Fahrzeugumgebung eines Fahrzeuges
CN104851076B (zh) * 2015-05-27 2018-10-09 武汉理工大学 用于商用车的全景环视泊车辅助***及摄像头安装方法
US9866752B2 (en) * 2015-06-02 2018-01-09 Qualcomm Incorporated Systems and methods for producing a combined view from fisheye cameras
DE102016211227A1 (de) 2016-06-23 2017-12-28 Conti Temic Microelectronic Gmbh Verfahren und Fahrzeugsteuersystem zum Erzeugen von Abbildungen eines Umfeldmodells und entsprechendes Fahrzeug

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010038939A1 (de) * 2009-08-06 2011-02-10 DENSO CORPORATION, Kariya-shi Bildkorrekturvorrichtung und -verfahren und Verfahren zur Herstellung einer Transformationskarte hierfür
US20160311374A1 (en) * 2015-04-21 2016-10-27 Magna Electronics Inc. Vehicle vision system with overlay calibration

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111091494A (zh) * 2018-10-24 2020-05-01 纬创资通股份有限公司 影像拼接处理方法以及其***
CN111091494B (zh) * 2018-10-24 2023-10-13 纬创资通股份有限公司 影像拼接处理方法以及其***

Also Published As

Publication number Publication date
KR20190096970A (ko) 2019-08-20
KR102315748B1 (ko) 2021-10-20
EP3555843A1 (de) 2019-10-23
US20200112675A1 (en) 2020-04-09
US10904432B2 (en) 2021-01-26
CN110073415A (zh) 2019-07-30
CN110073415B (zh) 2023-08-22
DE112017004931A5 (de) 2019-06-13
WO2018108213A1 (de) 2018-06-21
JP2020502640A (ja) 2020-01-23

Similar Documents

Publication Publication Date Title
DE102016225066A1 (de) Rundumsichtsystem für ein Fahrzeug
DE102012001835B4 (de) Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
DE102014108684B4 (de) Fahrzeug mit Umfeldüberwachungseinrichtung sowie Verfahren zum Betreiben einer solchen Überwachungseinrichtung
WO2011015283A1 (de) Verfahren zur überwachung einer umgebung eines fahrzeugs
EP2934947A1 (de) Kraftfahrzeug mit kamera-monitor-system
DE102012001858A1 (de) Verfahren zur Kalibrierung mehrerer Bilderfassungseinheiten einer Bilderfassungsvorrichtung
DE102014012250B4 (de) Verfahren zur Bilderverarbeitung und -darstellung
DE102008030104A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102015105529A1 (de) Verfahren zum Transformieren eines Bildes einer virtuellen Kamera, Computerprogrammprodukt, Anzeigesystem und Kraftfahrzeug
DE102011010859B4 (de) Verfahren zum Betreiben eines Kamerasystems in einem Kraftfahrzeug, Kamerasystem und Kraftfahrzeug
DE102016218123A1 (de) Verfahren zur Bildverarbeitung in einem Fortbewegungsmittel
DE102017000307A1 (de) Verfahren zum Kalibrieren einer Kamera für ein Kraftfahrzeug unter Berücksichtigung eines Kalibrierfehlers, Kamera sowie Kraftfahrzeug
DE102008041761A1 (de) Verfahren und Vorrichtung zur Ermittlung eines relativen Gierwinkels
EP3106349B1 (de) Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels
DE102016117518A1 (de) Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug
DE102015016943A1 (de) Verfahren zur Selbstlokalisation eines Fahrzeugs
DE102020109789A1 (de) Verfahren zum Durchführen einer Selbstlokalisierung eines Fahrzeugs auf der Grundlage einer reduzierten digitalen Umgebungskarte, Computerprogrammprodukt sowie ein Selbstlokalisierungssystem
DE102015006637A1 (de) Verfahren zur Entzerrung von Bildern
DE102013020949A1 (de) Verbessertes Alpha-Blending von Bildern eines Kamerasystems eines Kraftfahrzeugs
EP3833576A1 (de) Kameraüberwachungssystem
WO2018188700A1 (de) Surround-view-system für ein fahrzeug
DE102012016865A1 (de) Verbessertes Alpha-Blending von Bildern eines Kamerasystems eines Kraftfahrzeugs
DE102018121034A1 (de) Verfahren zum Betreiben eines elektronischen Fahrzeugführungssystems eines Kraftfahrzeugs mit zwei konvertierten Bildern von einer Fischaugenkamera, elektronisches Fahrzeugführungssystem und Kraftfahrzeug
WO2019121820A1 (de) Verfahren und vorrichtung zum betreiben eines kamera-monitor-systems für ein kraftfahrzeug
DE102012024972A1 (de) Verfahren zum zweistufigen Angleichen von Bildparametern beim Erzeugen einer Gesamtdarstellung aus Bildern einer Vielzahl von Kameras, Multikamerasystem und Kraftfahrzeug

Legal Events

Date Code Title Description
R163 Identified publications notified
R118 Application deemed withdrawn due to claim for domestic priority