DE102023002809A1 - Process for improving the image quality of a multi-camera system - Google Patents
Process for improving the image quality of a multi-camera system Download PDFInfo
- Publication number
- DE102023002809A1 DE102023002809A1 DE102023002809.6A DE102023002809A DE102023002809A1 DE 102023002809 A1 DE102023002809 A1 DE 102023002809A1 DE 102023002809 A DE102023002809 A DE 102023002809A DE 102023002809 A1 DE102023002809 A1 DE 102023002809A1
- Authority
- DE
- Germany
- Prior art keywords
- cameras
- camera
- vehicle
- image
- image features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000007613 environmental effect Effects 0.000 claims description 2
- 238000001228 spectrum Methods 0.000 claims description 2
- 238000002604 ultrasonography Methods 0.000 claims description 2
- 238000012800 visualization Methods 0.000 claims description 2
- 238000012805 post-processing Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 238000005282 brightening Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- BUHVIAUBTBOHAG-FOYDDCNASA-N (2r,3r,4s,5r)-2-[6-[[2-(3,5-dimethoxyphenyl)-2-(2-methylphenyl)ethyl]amino]purin-9-yl]-5-(hydroxymethyl)oxolane-3,4-diol Chemical compound COC1=CC(OC)=CC(C(CNC=2C=3N=CN(C=3N=CN=2)[C@H]2[C@@H]([C@H](O)[C@@H](CO)O2)O)C=2C(=CC=CC=2)C)=C1 BUHVIAUBTBOHAG-FOYDDCNASA-N 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003707 image sharpening Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Die Erfindung betrifft ein Verfahren zur Verbesserung der Bildqualität eines Multikamerasystems eines Fahrzeugs, das für eine Umgebungserfassung und Anzeige virtueller Ansichten einer Fahrzeugumgebung ausgebildet ist.Die Erfindung ist dadurch gekennzeichnet, dass Videoströme mehrerer Kameras des Multikamerasystems auf Basis vorbestimmte Bildmerkmale analysiert werden, wobei eine virtuelle Kamera definiert wird, wobei Bildmerkmale der mehreren Kameras an Werte der Bildmerkmale der virtuellen Kamera angepasst werden.The invention relates to a method for improving the image quality of a multi-camera system of a vehicle, which is designed for detecting the surroundings and displaying virtual views of a vehicle environment. The invention is characterized in that video streams from a number of cameras in the multi-camera system are analyzed on the basis of predetermined image features, with a virtual camera is defined, wherein image features of the plurality of cameras are adjusted to values of the image features of the virtual camera.
Description
Die Erfindung betrifft ein Verfahren zur Verbesserung der Bildqualität eines Multikamerasystems.The invention relates to a method for improving the image quality of a multi-camera system.
An Fahrzeugen sind mehrere Kameras verbaut, welche zur Aufnahme der Umgebung eines Fahrzeugs ausgebildet sind. Die unterschiedlichen Kameras dienen beispielsweise zur Unterstützung beim Einparken bzw. beim allgemeinen Rückwärtsfahren.Several cameras are installed on vehicles, which are designed to record the surroundings of a vehicle. The different cameras are used, for example, to provide support when parking or when reversing in general.
Aus dem Stand der Technik ist weiterhin bekannt, eine virtuelle Aufnahme des Fahrzeugs von außen zu erzeugen, wobei die am Fahrzeug verbauten Kameras eingesetzt werden.It is also known from the prior art to generate a virtual recording of the vehicle from the outside, with the cameras installed on the vehicle being used.
Aus der
Die Anpassung der einzelnen Bildparameter ist schwierig, da die unterschiedlichen Kameras an unterschiedlich ausgerichteten Positionen und Orientierungen um das Fahrzeug herum angeordnet sind. So sind die Kameras an den Seitenspiegeln oftmals eher nach unten zur Straße ausgerichtet, die Frontkamera beziehungsweise die Heckkamera hingegen in Richtung Horizont. Insbesondere die Helligkeit der aufgenommenen Bilder variiert demnach erheblich, da einige Kameras in Richtung Sonne ausgerichtet sind. Dies ist insbesondere dann der Fall, wenn die Bildregelung (Rückkopplung ISP -> Bildsensor, etwa Auto Exposure Control (Belichtungszeiten, Gain), Tonwertkurven, Automatischer Weißabgleich) per Kamera rein auf die jeweilige Szene optimiert ist und so beispielsweise den Dynamikumfang des Sensors optimal nutzt (und Über-/Unterbelichtungen zu vermeiden). Die entstehenden Bilder sind jedoch ohne Wissen um die virtuelle Kamera entstanden, und müssen daher erfindungsgemäß invertiert und harmonisiert werden. Hierzu wird erfindungsgemäß Metainformation entlang der Bildpipeline mit übertragen (etwa durch Embedded Line Registerwerte von Imager und ISP, ebenso EEPROM-Information der kamerasample-spezifischen Bildqualitätswerte aus der Kameraproduktion (Schärfewerte). Mit diesen Informationen kann der resultierende Bildstrom interpretiert werden und zur Harmonisierung invertiert werden, bevor die Eigenschaften der virtuellen Kamera stattdessen angewandt werden. Die Invertierung und anschließende Anwendung von Effekten (etwa Bildaufhellung und anschließende -abdunklung) können erfindungsgemäß in einem Schritt durchgeführt werden indem nur das resultierende Delta per Kamera angewandt wird.Adjusting the individual image parameters is difficult because the different cameras are arranged in different aligned positions and orientations around the vehicle. The cameras on the side mirrors are often aimed downwards towards the road, while the front camera or rear camera is aimed towards the horizon. In particular, the brightness of the recorded images varies considerably because some cameras are oriented towards the sun. This is particularly the case when the image control (ISP feedback -> image sensor, such as Auto Exposure Control (exposure times, gain), tone value curves, automatic white balance) is optimized per camera for the respective scene and thus makes optimal use of the dynamic range of the sensor, for example (and avoid over/underexposure). However, the resulting images were created without knowledge of the virtual camera and therefore have to be inverted and harmonized according to the invention. For this purpose, according to the invention, meta information is also transmitted along the image pipeline (e.g. through embedded line register values from imager and ISP, as well as EEPROM information of the camera sample-specific image quality values from camera production (sharpness values). With this information, the resulting image stream can be interpreted and inverted for harmonization before the properties of the virtual camera are applied instead The inversion and subsequent application of effects (such as image brightening and subsequent image darkening) can be performed in one step according to the invention by only applying the resulting delta per camera.
Ein Beispiel ist im Bereich Belichtungsregelung / Tonwertkurven: Die resultierenden Intensitätswerte im Bild von Kamera #i (z.B. Helligkeit 80 DN) vs. Kamera #j (Helligkeit 100 DN, also heller) bedeutet nicht zwingend, dass Kamera #j abgedunkelt werden muss. Hingegen muss die Tonwertkurve verwendet werden um die Helligkeitswerte in einer vereinheitlichten Skala hoher Bittiefe (ähnlich einer Lux-Skala) eingeordnet werden können. Erst hierin wird die Harmonisierung durchgeführt werden.An example is in the area of exposure control / tone value curves: The resulting intensity values in the image from camera #i (e.g. brightness 80 DN) vs. camera #j (brightness 100 DN, i.e. brighter) does not necessarily mean that camera #j has to be darkened. On the other hand, the tone value curve must be used in order to be able to classify the brightness values in a unified scale with a high bit depth (similar to a lux scale). Only then will the harmonization be carried out.
Weiterhin nachteilig ist eine Ausleuchtung um das Fahrzeug sehr inhomogen, was auch als sogenannter Lichtteppich bezeichnet werden kann. Dies wirkt sich insbesondere im Dunkeln auf eine Schärfe der erzeugten Bilder aus, wobei ein Rauschverhalten zu beobachten ist. Dunkelheit kann ebenso in einem Tunnel oder in einer Garage zum Problem werden, wenn beispielsweise die Frontkamera in Richtung Tunnel ausgerichtet ist, und die Heckkamera in Richtung der Tunneleinfahrt und damit einem hellen Bereich, oder andersherum. Andere Beispiele sind denkbar, bei welchen eine Kamera in einem Kunstlichtbereich angeordnet ist, und eine weitere Kamera eine Sonnenlichteinstrahlung erfährt. Insbesondere wirkt sich dies auf die Farbtemperatur der unterschiedlichen Kamerabilder aus. Es ist weiterhin denkbar, dass Pixelregionen der einzelnen Kameras geometrisch unterschiedlich transformiert bzw. skaliert werden, wodurch die genannten Effekte weiter verstärkt werden.Another disadvantage is the very inhomogeneous illumination around the vehicle, which can also be referred to as a so-called carpet of light. This affects the sharpness of the images generated, particularly in the dark, with noise behavior being observed. Darkness can also become a problem in a tunnel or in a garage, for example if the front camera is aimed in the direction of the tunnel and the rear camera in the direction of the tunnel entrance and thus a bright area, or vice versa. Other examples are conceivable, in which a camera is arranged in an artificial light area and another camera is exposed to sunlight. In particular, this affects the color temperature of the different camera images. It is also conceivable that pixel regions of the individual NEN cameras are transformed or scaled differently geometrically, whereby the mentioned effects are further intensified.
Die Aufgabe der vorliegenden Erfindung besteht nun darin, ein Verfahren anzugeben, welches die oben genannten Nachteile überwindet.The object of the present invention consists in specifying a method which overcomes the disadvantages mentioned above.
Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1, und hier insbesondere im kennzeichnenden Teil des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Unteransprüchen.According to the invention, this object is achieved by a method having the features in claim 1, and here in particular in the characterizing part of claim 1. Advantageous refinements and developments result from the dependent subclaims.
Im Kern des erfindungsgemäßen Verfahrens werden Videoströme mehrerer Kameras des Multikamerasystems auf Basis vorbestimmte Bildmerkmale analysiert, wobei durch eine angeforderte virtuelle Sicht eine virtuelle Kamera definiert wird, wobei die Bildmerkmale der mehreren Kameras durch Werte der Bildmerkmale der virtuellen Kamera angeglichen werden. Dadurch können sich die Bildmerkmale der virtuellen Kamera definieren, Die Bildmerkmale der virtuellen Kamera können als Ziel-Bildmerkmale bezeichnet werden, Die Ziel-Bildmerkmale können aus Mittelwerten der Bildmerkmale von zumindest einer Einzelkameras, oder auch aus Mittelwerten der Bildmerkmale von zwei oder mehr Kameras bestimmt werden. Dazu werden zunächst die Einzelkameras hinsichtlich der Bildmerkmale analysiert, wobei insbesondere Metadaten der Kameras verwendet werden können. Diese Metadaten können beispielsweise bildsynchron übertragen werden. Die Bildmerkmale können beispielsweise über ein Postprozessing auf die Werte der Ziel-Bilddaten der virtuellen Kamera angepasst werden.At the core of the method according to the invention, video streams from a number of cameras in the multi-camera system are analyzed on the basis of predetermined image features, with a virtual camera being defined by a requested virtual view, with the image features of the number of cameras being adjusted by values of the image features of the virtual camera. This allows the image features of the virtual camera to be defined. The image features of the virtual camera can be referred to as target image features. The target image features can be determined from mean values of the image features of at least one individual camera, or from mean values of the image features of two or more cameras . For this purpose, the individual cameras are first analyzed with regard to the image features, it being possible in particular to use metadata from the cameras. This metadata can, for example, be transmitted synchronously with the image. The image features can be adjusted to the values of the target image data of the virtual camera via post-processing, for example.
Das Verfahren ist zur Verbesserung der Bildqualität eines Multikamerasystems eines Fahrzeugs ausgebildet, wobei das Multikamerasystem für eine Umgebungserfassung und Anzeige virtueller Ansichten einer Fahrzeugumgebung dient. Dadurch kann insbesondere die Illusion einer Kamera erzeugt werden, die wie eine virtuelle Drohne auf das Fahrzeug ausgerichtet ist. Die Kamerabilder der einzelnen Kameras werden dabei zu einer neuen Ansicht kombiniert, die insbesondere auch aus der Vogelperspektive das Fahrzeug darstellen kann.The method is designed to improve the image quality of a multi-camera system of a vehicle, with the multi-camera system being used for detecting the surroundings and displaying virtual views of a vehicle's surroundings. In particular, this can create the illusion of a camera that is aimed at the vehicle like a virtual drone. The camera images from the individual cameras are combined to form a new view, which can also show the vehicle from a bird's eye view.
Bevorzugt wird zwischen geometrischen Eigenschaften der virtuellen Kamer, sogenannter „Kalibrierungswerte“, und inhaltlichen Bildeigenschaften, sogenannter „Bildmerkmale“ bzw. Bildqualität, unterschieden. Geometrisch kann die virtuelle Kamera durch die Kundenanwendung definiert werden, wobei ein gewünschter Blickwinkel gewählt werden kann. Die Bildmerkmale sollten hingegen harmonisiert werden, um die Illusion der fliegenden virtuellen Kamera zu erzeugen, auch wenn die Fahrzeugkameras aus ihrem beschränkten Blickwinkel die virtuelle Kamera nicht kennen und damit die Fahrzeugkameraströme sich angleichen müssen.A distinction is preferably made between geometric properties of the virtual camera, so-called “calibration values”, and content-related image properties, so-called “image features” or image quality. The virtual camera can be defined geometrically by the customer application, whereby a desired viewing angle can be selected. On the other hand, the image features should be harmonized to create the illusion of the flying virtual camera, even if the vehicle cameras do not know the virtual camera from their limited angle of view and the vehicle camera streams must therefore be aligned.
In einer Anwendung aus dem Stand der Technik kann die Verwendung einer der Fahrzeugkameras zur Festlegung von Ziel-Bildmerkmalen (etwa die Frontkamera) zu teils schlechten Harmonisierungsergebnissen führen, da diese nicht immer repräsentativ ist („Blick in Garage“) und sich alle anderen Kameras hierzu anpassen müssen. Dies kann zu einem Informationsverlust und Verlust der Bildqualität führen. Erfindungsgemäß wird hingegen ein Verfahren vorgeschlagen, welche hinsichtlich Bildmerkmale eine optimale virtuelle Kamera festlegt, bevorzugt genau die Kamera die für die virtuelle Ansicht verwendet wird. Wesentlicher Bestandteil der Erfindung ist jedoch die Harmonisierung zu dieser virtuellen Kamera.In an application from the prior art, the use of one of the vehicle cameras to define target image features (e.g. the front camera) can sometimes lead to poor harmonization results, since this is not always representative ("view into the garage") and all other cameras are related to this have to adjust. This can lead to loss of information and loss of image quality. According to the invention, on the other hand, a method is proposed which defines an optimal virtual camera with regard to image features, preferably exactly the camera that is used for the virtual view. However, an essential part of the invention is the harmonization of this virtual camera.
Bevorzugt kann eine 3D-Position und 3D-Orientierung (extrinsische Kalibrierwerte - „Blickwinkel“) der virtuellen Kamera relativ zum Fahrzeug durch den gewünschten Blickwinkel definiert werden (etwa vom Anwender), dies gilt ebenso für die intrinsischen Kalibrierwerte der virtuellen Kamera (etwa Brennweite).Preferably, a 3D position and 3D orientation (extrinsic calibration values - "viewing angle") of the virtual camera relative to the vehicle can be defined by the desired viewing angle (e.g. by the user), this also applies to the intrinsic calibration values of the virtual camera (e.g. focal length) .
In einer bevorzugten Ausführung ist die virtuelle Kamera geometrisch mittig über dem Fahrzeug mit dem Blick nach unten definiert („Top View“), wobei bevorzugt die Bildmerkmale rein von den Inhalten der Fahrzeugkameras abhängen. Insbesondere wird erfindungsgemäß der Kameraflug der virtuellen Kamera und somit auch die geometrischen Unterschiede zu den Fahrzeugkameras jedoch laufend verändert.In a preferred embodiment, the virtual camera is defined geometrically in the center above the vehicle looking downwards (“top view”), with the image features preferably depending purely on the content of the vehicle cameras. In particular, however, the camera flight of the virtual camera and thus also the geometric differences to the vehicle cameras are continuously changed according to the invention.
Bevorzugt können Ziel-Bildmerkmale der Kameras in einer anschließenden Harmonisierung weiter an Umgebungsbedingungen der virtuellen Kamera angepasst werden. In einer derartigen gemeinsamen Anpassung bzw. gemeinsamen Harmonisierung von Bildmerkmalen der einzelnen Kameras sowie der virtuellen Kamera kann die Bildqualität weiter optimiert werden. Dieser Schritt der Harmonisierung ist insbesondere vor dem zuvor genannten Anpassungsschritt der Kamerabilder an die virtuelle Kamera entkoppelt, und kann daher separat durchgeführt werden.Target image features of the cameras can preferably be further adapted to environmental conditions of the virtual camera in a subsequent harmonization. The image quality can be further optimized in such a joint adaptation or joint harmonization of image features of the individual cameras and of the virtual camera. This harmonization step is decoupled from the virtual camera, in particular before the aforementioned adjustment step of the camera images, and can therefore be carried out separately.
Gemäß einer sehr vorteilhaften Weiterbildung der Idee kann es dabei vorgesehen sein, dass Überlappungsbereiche in Bildausschnitten der mehreren Kameras analysiert werden, wobei in den Überlappungsbereichen die Bildmerkmale analysiert und Unterschiede minimiert werden. Dadurch kann insbesondere die Bildqualität verbessert werden.According to a very advantageous development of the idea, it can be provided that overlapping areas in image sections of the multiple cameras are analyzed, with the image features being analyzed in the overlapping areas and differences being minimized. In this way, the image quality in particular can be improved.
Die einfache Minimierung der Unterschiede auf 2D-Bildebene kann fehlschlagen, insbesondere da die Kameras die Umgebung aus unterschiedlichen geometrischen Positionen betrachten, die Reflexionseigenschaften der Umgebung jedoch nicht immer diffus sind. Beispielsweise bei Nässe kann dies zu deutlich anderen (korrekten) Ansichten führen. Dies soll insbesondere nicht durch Harmonisierung entfernt werden. Die einfache Minimierung der Unterschiede auf 2D-Bildebene kann weiterhin fehlschlagen, da die extrinsische / intrinsische Kalibrierung der Kameras zueinander (etwa über das Fahrzeugkoordinatensystem) nicht immer korrekt ist Die einfache Minimierung der Unterschiede auf 2D-Bildebene kann weiterhin fehlschlagen, da das 3D-Umgebungsmodell inkorrekt / zu primitiv ist (einfache Straßenebene, oder statische Bowl). Erfindungsgemäß wird bevorzugt ein texturierte 3D-Modell als Basis verwendet, in welches die Fahrzeugkameras Textur hinzufügen und auf welches die virtuelle Kamera wiederum blickt.Simply minimizing the differences at the 2D image plane can fail, especially since the cameras view the environment from different geometric positions, but the reflective properties of the environment are not always diffuse. For example, when it is wet, this can lead to significantly different (correct) views. In particular, this should not be removed through harmonization. The simple minimization of the differences on the 2D image plane can still fail because the extrinsic / intrinsic calibration of the cameras to each other (e.g. via the vehicle coordinate system) is not always correct. The simple minimization of the differences on the 2D image plane can still fail because the 3D environment model is incorrect / too primitive (simple street level, or static bowl). According to the invention, a textured 3D model is preferably used as the basis, into which the vehicle cameras add texture and which the virtual camera in turn looks at.
Dabei kann es gemäß einer vorteilhaften Ausgestaltung vorgesehen sein, dass es sich bei den Bildmerkmalen um einen Farbton, eine Helligkeit, eine Farbtemperatur, eine Tonwertkurve, einem Schärfewert/Schärfekurve, einem Rauschwert/Rauschspektrum, einem Kontrastwert, ein SNR-Wert und/oder eine Belichtungszeit handelt. So kann beispielsweise eine Belichtungszeit der jeweiligen Kamera durch ein Postprocessing auf die Werte der virtuellen Kamera angepasst werden, was beispielsweise durch eine Bildaufhellung oder eine Bildabdunkelung erfolgen kann.According to an advantageous embodiment, it can be provided that the image features are a hue, a brightness, a color temperature, a tone value curve, a sharpness value/sharpness curve, a noise value/noise spectrum, a contrast value, an SNR value and/or a exposure time. For example, an exposure time of the respective camera can be adjusted to the values of the virtual camera by post-processing, which can be done, for example, by brightening or darkening the image.
Eine weitere vorteilhafte Ausgestaltung kann es vorsehen, dass bereits im Fahrzeug verbaute Kameras verwendet werden. So können beispielsweise die Kameras an den Außenspiegeln, die Frontkamera sowie die Heckkamera verwendet werden. Andere am Fahrzeug verbaute Kameras, welche die Außenumgebung des Fahrzeugs zeigen, können ebenso eingesetzt werden.A further advantageous embodiment can provide that cameras already installed in the vehicle are used. For example, the cameras on the exterior mirrors, the front camera and the rear camera can be used. Other cameras installed on the vehicle, which show the outside environment of the vehicle, can also be used.
Eine weitere vorteilhafte Ausgestaltung kann es vorsehen, dass Metainformation der Kameras verwendet werden. Dies beinhaltet insbesondere Informationen des Bildsensors und/oder eines ISP und ermöglicht die Interpretation der Bildmerkmale der jeweiligen Kamera, insbesondere um erfindungsgemäße Effekte zu invertieren.A further advantageous refinement can provide for meta information from the cameras to be used. This includes in particular information from the image sensor and/or an ISP and enables the interpretation of the image features of the respective camera, in particular in order to invert effects according to the invention.
Dies umfasst insbesondere Belichtungszeiten, Gain-Werte, Tonwertkurven/ Compandingkurven/ ALTM-Kurven, Weißabgleich-Statistiken, geschätzte Farbtemperaturen, Sensortemperatur und/oder jegliche Konfiguration, welche die Nachverarbeitung im ISP betrifft (etwa Bildschärfung, Entrauschungs-Filter-Parameter). Zudem können insbesondere Parameter verwendet werden welche bei der Produktion der Kamera bekannt oder vermessen wurden (etwa Alignment-Werte, Schärfewerte über Feldwinkel) um auch diese Sample-spezifischen Eigenschaften zu invertieren. Insbesondere jegliche Kommunikation (Embedded Line, I2C etc.) sollen verwendet werden.In particular, this includes exposure times, gain values, tone curves/companding curves/ALTM curves, white balance statistics, estimated color temperatures, sensor temperature and/or any configuration that affects post-processing in the ISP (e.g. image sharpening, denoising filter parameters). In addition, parameters that are known or measured during the production of the camera (e.g. alignment values, sharpness values via field angle) can be used in particular to invert these sample-specific properties. In particular, any communication (embedded line, I2C etc.) should be used.
Eine weitere vorteilhafte Ausgestaltung kann es vorsehen, dass weitere Informationen aus dem Internet/Cloud/vom Fahrzeug verwendet werden, insbesondere Tageszeit, Sonnenstand, Wetter, Information weiterer Sensoren des Fahrzeugs (LIDAR, RADAR, Ultraschall, Regen-/Lichtsensor, weitere Kameras, welche nicht Teil der Visualisierung sind)A further advantageous embodiment can provide that further information from the Internet/cloud/from the vehicle is used, in particular time of day, position of the sun, weather, information from other sensors in the vehicle (LIDAR, RADAR, ultrasound, rain/light sensor, other cameras, which are not part of the visualization)
Eine weitere vorteilhafte Ausgestaltung kann es vorsehen, dass auf Architekturebene (logisch gesehen) ein ISP verwendet wird welcher die ISPs pro Kamera ersetzt und stattdessen die realen Kameras regelt und/oder verarbeitet, wobei die realen Kameras als Teilregionen (ROIs) eines vereinheitlichen virtuellen Bildes aufgefasst und harmonisiert werden.A further advantageous embodiment can provide that at the architecture level (seen logically) an ISP is used which replaces the ISPs per camera and instead regulates and/or processes the real cameras, with the real cameras being understood as sub-regions (ROIs) of a unified virtual image and be harmonized.
Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figur näher dargestellt ist.Further advantageous refinements of the method according to the invention also result from the exemplary embodiment which is illustrated in more detail below with reference to the figure.
Dabei zeigt:
-
1 eine schematische Darstellung eines Ablaufdiagramms des Verfahrens.
-
1 a schematic representation of a flowchart of the method.
In der Darstellung der
Eine weitere Angleichung der unterschiedlichen Bildaufnahmen kann anschließend in einem gemeinsamen Modul Harmonisierung_B erfolgen, welches unabhängig von und von dem Modul Harmonisierung_A durchgeführt werden kann. Das anschließend generierte Bild kann in einer Anzeige angezeigt werden. Dabei kann es sich um eine 3d-Darstellung handeln, welche eine Illusion einer Luftaufnahme zeigt, die beispielsweise von einer Drohne hätte aufgenommen werden können.A further adjustment of the different image recordings can then take place in a common module harmonization_B, which is independent of and from the module Harmonization_A can be carried out. The subsequently generated image can be displayed in a display. This can be a 3D representation that shows an illusion of an aerial view that could have been recorded by a drone, for example.
Des Weiteren können weitere Hardware-Komponenten umfasst sein, die in der Darstellung nicht gezeigt sind. So können beispielsweise ein Serializer/Deserializer, Encoder/Decoder oder weitere Filter eingesetzt werden. Des Weiteren kann eine Aufteilung in weitere Hardware-Komponenten, eine sogenannte Partitionierung, enthalten sein. So können beispielsweise manche Komponenten der Module dezentral in Kameraköpfen angeordnet sein, andere in ECUs oder in einem zentralen Domänenrechner, einem sogenannten Car Computer.Furthermore, other hardware components that are not shown in the illustration can be included. For example, a serializer/deserializer, encoder/decoder or other filters can be used. Furthermore, a division into further hardware components, a so-called partitioning, can be included. For example, some components of the modules can be arranged decentrally in camera heads, others in ECUs or in a central domain computer, a so-called car computer.
Eine bevorzugte Ausführung kann als „ISP der Virtuellen Kamera“ bezeichnet werden. Die Problemstellung lässt sich in folgende Teilbereiche aufteilen:
- (1) Unterschiede aufgrund der getrennten Bildpfade (Bildsensor + ISP) pro Kamera, d.h. szenenadaptive, untereinander unterschiedliche Bildregelung + Nachverarbeitung für den jeweiligen Kamerablickwinkel . Kann erfindungsgemäß durch Übertragung der Metainformation und Invertierung/Angleich an die virtuelle Kamera durchgeführt werden. Dies kann erfindungsgemäß durch Postprocessing durchgeführt werden, kann erfindungsgemäß aber auch durch Anpassung der Bildregelungsparameter passieren (auf Kosten von Latenz).
- (2) Unterschiede aufgrund der unterschiedlichen Perspektiven der 3D-Szene, d.h. unterschiedliche Reflektivität bei nicht-diffusen Oberflächen und unvollständigem/ inkorrektem 3D-Modell (fehlerhafte Kalibrierung, fehlerhafte/ unvollständiges 3D-Modell etc.). Ebenso inhomogene Szenenausleuchtung/Lichtteppich. Dies kann ebenso für die virtuelle Kamera harmonisiert werden (Überlappbereich zentral).
- (1) Differences due to the separate image paths (image sensor + ISP) per camera, ie scene-adaptive, mutually different image control + post-processing for the respective camera viewing angle. Can be carried out according to the invention by transferring the meta information and inverting/adjusting to the virtual camera. According to the invention, this can be carried out by post-processing, but can also happen according to the invention by adapting the image control parameters (at the expense of latency).
- (2) Differences due to the different perspectives of the 3D scene, ie different reflectivity with non-diffuse surfaces and incomplete/incorrect 3D model (incorrect calibration, incorrect/incomplete 3D model etc.). Likewise inhomogeneous scene illumination/light carpet. This can also be harmonized for the virtual camera (central overlap area).
In dieser bevorzugten Ausführung kann Problem (1) wie folgt gelöst werden:
- Zentraler ISP der die virtuelle Kamera repräsentiert und hierfür Bildfilter/ Bildverbesserungen durchführt. Die realen Kameras sind hier direkt angeschlossen und aufzufassen als Regions of Interest (ROIs) einer viel größeren 3D-Szene. Statt also per Kamera zunächst zu verarbeiten und anschließend wieder teils zu invertieren, wird direkt auf das Ausgabebild zugearbeitet.
- Central ISP that represents the virtual camera and carries out image filters/image enhancements for this. The real cameras are directly connected here and can be understood as regions of interest (ROIs) of a much larger 3D scene. So instead of first processing with the camera and then partially inverting again, work is done directly on the output image.
Dies ist mit heutigen/zukünftigen Sensoren mit besonders hohem Dynamikumfang (HDR, etwa 140dB) sogar durch reines Postprocessing, d.h. ohne Rückkopplung zum Kamerasensor möglich. So wie bestehende ISPs bereits eine gewichtete ROI für AEC und für AWB anbieten („Scheuklappen“, etwa um Fahrzeugteile auszumaskieren) kann erfindungsgemäß dies auf die Blickbereiche der angeschlossenen Kameras erweitert werden und letztlich die angeschlossenen Kameras als ein großer („löchriger“) Sensor der virtuellen Kamera aufgefasst und zentral verarbeitet und harmonisiert werden.With current/future sensors with a particularly high dynamic range (HDR, around 140dB), this is even possible through pure post-processing, i.e. without feedback to the camera sensor. Just as existing ISPs already offer a weighted ROI for AEC and for AWB ("blinders", for example to mask out vehicle parts), this can be extended to the viewing areas of the connected cameras and ultimately the connected cameras as a large ("holey") sensor of the virtual camera and processed and harmonized centrally.
ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturPatent Literature Cited
- DE 102019207415 A1 [0004]DE 102019207415 A1 [0004]
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102023002809.6A DE102023002809A1 (en) | 2023-07-10 | 2023-07-10 | Process for improving the image quality of a multi-camera system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102023002809.6A DE102023002809A1 (en) | 2023-07-10 | 2023-07-10 | Process for improving the image quality of a multi-camera system |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102023002809A1 true DE102023002809A1 (en) | 2023-09-07 |
Family
ID=87572161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102023002809.6A Pending DE102023002809A1 (en) | 2023-07-10 | 2023-07-10 | Process for improving the image quality of a multi-camera system |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102023002809A1 (en) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019207415A1 (en) | 2019-05-21 | 2020-11-26 | Conti Temic Microelectronic Gmbh | Method for generating an image of a vehicle environment and device for generating an image of a vehicle environment |
-
2023
- 2023-07-10 DE DE102023002809.6A patent/DE102023002809A1/en active Pending
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019207415A1 (en) | 2019-05-21 | 2020-11-26 | Conti Temic Microelectronic Gmbh | Method for generating an image of a vehicle environment and device for generating an image of a vehicle environment |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE112017007579T5 (en) | Process and system for automatic coloring of night vision images | |
EP2266073A1 (en) | Traffic object detection system, method for detecting a traffic object, and method for setting up a traffic object detection system | |
DE102008062121A1 (en) | A vehicle unit having a vehicle corridor display function, a method for displaying a predicted vehicle trajectory, and a system for generating vehicle corridor marks | |
EP3291172B1 (en) | Method for calculating final image data | |
DE102010062496A1 (en) | Method and device for processing image information of two sensors suitable for image acquisition of a stereo sensor system | |
DE102020215860A1 (en) | Correction of images from an all-round view camera system in the event of rain, light and dirt | |
DE102013020611B4 (en) | An approach to camera control | |
DE102017114611A1 (en) | Method for generating at least one merged perspective image of a motor vehicle and a surrounding area of the motor vehicle, camera system and motor vehicle | |
DE102013220013A1 (en) | Method for displaying captured image on display device, used in vehicle for displaying image around vehicle, involves projecting image formed on non-planar imaging surface of virtual camera to virtual image display device | |
DE102013220839B4 (en) | A method of dynamically adjusting a brightness of an image of a rear view display device and a corresponding vehicle imaging system | |
DE102023002809A1 (en) | Process for improving the image quality of a multi-camera system | |
DE102017210415B4 (en) | A method for providing an image mask for the delineation of a region of interest in a camera image of an environment camera of a motor vehicle and control device, environment camera and motor vehicle | |
WO2022128013A1 (en) | Correction of images from a camera in case of rain, incident light and contamination | |
DE102013011844A1 (en) | Method for adjusting a gamma curve of a camera system of a motor vehicle, camera system and motor vehicle | |
DE102017117212A1 (en) | System and method for stereotriangulation | |
DE102018113281A1 (en) | Image harmonization method, computer program product, camera system and motor vehicle | |
DE102015118474A1 (en) | Method for adjusting a camera parameter and / or an image, computer program product, camera system, driver assistance system and motor vehicle | |
DE112020003339T5 (en) | Image processing device and image processing program | |
WO2020119996A1 (en) | Transfer of additional information between camera systems | |
DE102015016943A1 (en) | Method for self-localization of a vehicle | |
DE102018212179A1 (en) | IMAGE PROCESSING APPARATUS AND METHOD FOR IMAGE PROCESSING | |
DE102022211182A1 (en) | Method and device for determining a lighting parameter | |
EP2507765A1 (en) | Method and device for adapting image information of an optical system | |
DE102022212679A1 (en) | Method for operating an image recording system; image recording system; computer program product | |
DE102017206175A1 (en) | Surround view system for one vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R230 | Request for early publication |