DE102017210415B4 - A method for providing an image mask for the delineation of a region of interest in a camera image of an environment camera of a motor vehicle and control device, environment camera and motor vehicle - Google Patents

Abstract

Verfahren zum Bereitstellen einer Bildmaske (21), mittels welcher in einem Kamerabild (17) einer Umfeldkamera (11) eines Kraftfahrzeugs (10) eine Bildauswertung auf eine Interessensregion (ROI) beschränkt wird, wobei- Kalibrierdaten (28) der Umfeldkamera (11), Referenzkalibrierdaten (27) einer Referenzkamera (11') eines Referenzfahrzeugs (10') sowie eine Referenzmaske (22), welche für die Referenzkamera (11') in dem Referenzfahrzeug (10') die Interessensregion (ROI) beschreibt, empfangen werden, und- auf der Grundlage der Kalibrierdaten (28) und der Referenzkalibrierdaten (27) eine Transformation (26) ermittelt wird,- auf der Grundlage von Maskenknoten (23) der Referenzbildmaske (22) mittels der Transformation (26) verschobene Maskenknoten (23') ermittelt werden und- auf der Grundlage der verschobenen Maskenknoten (23') die Bildmaske (21) gebildet wird,dadurch gekennzeichnet, dass- die Referenzkalibrierdaten (27) eine Bildverzerrung der Referenzkamera (11') beschreiben und in einem Vorverarbeitungsschritt (29) der Transformation (26) bei den Maskenknoten (23) die Bildverzerrung der Referenzkamera (11') rückgängig gemacht wird, und/oder- die Referenzkalibrierdaten (27) eine Rotationsmatrix (36) der Referenzkamera (11') und/oder zumindest eine Kameraeinstellung (37) der Referenzkamera (11') beschreiben und in einem Vorverarbeitungsschritt (30) der Transformation (26) Sichtstrahlen (45), die in eine Kameraumgebung (46) der Referenzkamera (11') weisen, berechnet werden, und/oder- zumindest ein zusätzlicher Maskenknoten, welcher einen Bildpunkt einer Kamerahalterung (20) der Referenzkamera (11') beschreibt, ermittelt wird und dieser als Fixknoten (34) unverschoben in der Bildmaske (21) beibehalten wird.Method for providing an image mask (21) by means of which an image evaluation in a camera image (17) of an environment camera (11) of a motor vehicle (10) is restricted to a region of interest (ROI), wherein calibration data (28) of the environment camera (11), Referenzkalibrierdaten (27) of a reference camera (11 ') of a reference vehicle (10') and a reference mask (22) for the reference camera (11 ') in the reference vehicle (10') describes the region of interest (ROI) are received, and- a transformation (26) is determined on the basis of the calibration data (28) and the reference calibration data (27), - determined on the basis of mask nodes (23) of the reference image mask (22) by means of the mask nodes (23 ') shifted by the transformation (26) and the image mask (21) is formed on the basis of the displaced mask nodes (23 '), characterized in that the reference calibration data (27) describe image distortion of the reference camera (11') and are recorded in a V orverarbeitungsschritt (29) of the transformation (26) at the mask nodes (23) the image distortion of the reference camera (11 ') is reversed, and / or the Referenzkalibrierdaten (27) a rotation matrix (36) of the reference camera (11') and / or describe at least one camera setting (37) of the reference camera (11 ') and in a preprocessing step (30) of the transformation (26) visual beams (45) pointing into a camera environment (46) of the reference camera (11') are calculated, and / or - at least one additional mask node, which describes a pixel of a camera mount (20) of the reference camera (11 ') is determined and this is maintained as a fixed node (34) unshifted in the image mask (21).

Description

Die Erfindung betrifft ein Verfahren zum Bereitstellen einer Bildmaske für die Verarbeitung von Kamerabildern einer Umfeldkamera eines Kraftfahrzeugs. Mittels der Bildmaske wird eine Bildauswertung in den Kamerabildern auf eine Interessensregion (ROI - Region of Interest) beschränkt. Zu der Erfindung gehören auch eine Steuervorrichtung für die Umfeldkamera, die Umfeldkamera sowie ein Kraftfahrzeug mit zumindest einer Umfeldkamera der genannten Art.The invention relates to a method for providing an image mask for processing camera images of an environment camera of a motor vehicle. By means of the image mask, an image evaluation in the camera images is limited to a region of interest (ROI). The invention also includes a control device for the surrounding camera, the surrounding camera and a motor vehicle with at least one surrounding camera of the type mentioned.

In einem automatisierten Fahrerassistenzsystem kann eine Umfeldkamera vorgesehen sein, deren Erfassungsbereich in das Umfeld oder die Umgebung des Kraftfahrzeugs ausgerichtet ist. Im Kamerabild einer solchen Umfeldkamera ist wegen ihrer Weitwinkeleigenschaften, die teilweise Winkelbereiche von mehr als 180 Grad abdecken, für gewöhnlich nicht nur ein Ausschnitt des Umfelds selbst zu sehen, sondern auch ein Teil oder mehrere Teile des Kraftfahrzeugs selbst und/oder der Halterung der Kamera. Deshalb kann für ein Kamerabild eine Interessensregion definiert werden, die den eigentlichen, vom Fahrerassistenzsystem zu nutzenden Bildinhalt von der Kamerahalterung und/oder dem Kraftfahrzeug unterscheidet. Hierdurch wird es einem Bildverarbeitungsalgorithmus ermöglicht, zum Beispiel Spiegelungen und/oder Lichtveränderungen am Kraftfahrzeug auszublenden.In an automated driver assistance system, an environment camera may be provided whose detection range is oriented in the environment or surroundings of the motor vehicle. In the camera image of such an environment camera is because of their wide-angle properties that cover partially angular ranges of more than 180 degrees, usually not only a section of the environment itself to see, but also a part or more parts of the motor vehicle itself and / or the holder of the camera. Therefore, a region of interest can be defined for a camera image, which distinguishes the actual image content to be used by the driver assistance system from the camera mount and / or the motor vehicle. This makes it possible for an image processing algorithm to hide, for example, reflections and / or light changes on the motor vehicle.

Da in jedem Kraftfahrzeug die Umfeldkamera in Bezug auf die Einbauposition und Einbaulage mit einer Toleranz eingebaut wird, ergibt sich durch leicht unterschiedliche Einbaulagen in Serienfahrzeugen die Notwendigkeit, die Interessensregion derart klein zu wählen, dass sie für alle erlaubten Einbaulagen garantiert nur den Bildinhalt des Umfelds ohne die Kamerahalterung und/oder das Kraftfahrzeug beinhaltet.Since the environment camera is installed in each vehicle with respect to the installation position and installation position with a tolerance, resulting from slightly different mounting positions in production vehicles, the need to choose the region of interest so small that it guarantees only the image content of the environment without for all permitted mounting positions includes the camera mount and / or the motor vehicle.

Wenn aber die Interessensregion zum Kompensieren der Einbautoleranz entsprechend klein gewählt wird, wird in dem Kamerabild auch ein Teil des Bildinhalts des Umfelds ausgespart, also ein wertvoller Bildinhalt, der eigentlich auch für die Nutzung durch das Fahrerassistenzsystem geeignet ist. Wünschenswert ist es daher, einen größeren Bildausschnitt als Interessensregion wählen und hierbei aber die aktuelle Einbaulage der Umfeldkamera im Kraftfahrzeug berücksichtigen zu können, damit der Bildausschnitt weiterhin ausschließlich das im Kamerabild sichtbare Umfeld zeigt.However, if the region of interest for compensating the installation tolerance is selected to be correspondingly small, a portion of the image content of the environment is omitted in the camera image, ie a valuable image content which is actually also suitable for use by the driver assistance system. It is therefore desirable to be able to select a larger image section as a region of interest and to be able to take into account the current mounting position of the surrounding camera in the motor vehicle so that the image section continues to show exclusively the environment visible in the camera image.

Aus der DE 10 2013 209 415 A1 ist eine Umfeldkamera für ein Kraftfahrzeug bekannt, bei welcher in einem Kamerabild sowohl ein Ausschnitt des Umfelds als auch ein Teil des Kraftfahrzeugs selbst erkennbar ist. Mittels einer Bildmaske wird eine Bildregion abgegrenzt, die für eine Anzeige auf einer Ausgabeeinrichtung im Innenraum des Kraftfahrzeugs ausgewählt wird. Des Weiteren wird auch eine Bildverzerrung, wie sie sich in dem Kamerabild aufgrund der Kameraoptik ergibt, kompensiert. Durch die Bildverzerrung werden beispielsweise horizontale und vertikale gerade Linien, wie sie im Umfeld sichtbar sind, im Kamerabild gekrümmt abgebildet.From the DE 10 2013 209 415 A1 an environment camera for a motor vehicle is known, in which in a camera image, both a section of the environment and a part of the motor vehicle itself is recognizable. By means of an image mask, an image region is selected, which is selected for display on an output device in the interior of the motor vehicle. Furthermore, an image distortion, as it results in the camera image due to the camera optics compensated. The image distortion, for example, horizontal and vertical straight lines, as they are visible in the environment, shown in the camera image curved.

DE 10 2014 219 422 A1 offenbart ein Fahrerassistenzsystem für ein Fahrzeug mit einer ersten Kamera zur Erzeugung eines ersten Bildes. Das Fahrerassistenzsystem weist ferner eine Recheneinheit auf, die dazu ausgeführt ist, eine Ausrichtung der ersten Kamera zu bestimmen und daraus eine Position eines Referenzobjekts innerhalb des von der ersten Kamera erzeugten ersten Bildes zu bestimmen. Die erste Kamera und/oder die Recheneinheit sind dazu ausgeführt, einen ersten Bildbereich aus dem ersten Bild auszuwählen. Die Recheneinheit ist ferner dazu ausgeführt, den ersten Bildbereich in seinen Abmessungen und/oder seiner Position innerhalb des ersten Bildes derart anzupassen, dass die Position des Referenzobjekts in Bezug auf den ersten Bildbereich über einen vorgegebenen Zeitraum konstant ist. DE 10 2014 219 422 A1 discloses a driver assistance system for a vehicle having a first camera for generating a first image. The driver assistance system further has a computing unit which is designed to determine an orientation of the first camera and to determine therefrom a position of a reference object within the first image generated by the first camera. The first camera and / or the arithmetic unit are designed to select a first image area from the first image. The arithmetic unit is further designed to adapt the first image area in terms of its dimensions and / or its position within the first image such that the position of the reference object with respect to the first image area is constant over a predetermined period of time.

Der Erfindung liegt die Aufgabe zugrunde, für eine Umfeldkamera eines Kraftfahrzeugs die Bildmaske, mittels welcher im Kamerabild die Interessensregion für eine Bildauswertung beschränkt wird, an die tatsächlichen Sichtverhältnisse der Umfeldkamera in einem gegebenen Kraftfahrzeug anzupassen.The invention is based on the object for an environment camera of a motor vehicle, the image mask, by means of which the interest region for image analysis is limited in the camera image, to adapt to the actual visibility of the surrounding camera in a given motor vehicle.

Die Aufgabe wird durch die Gegenstände des Patentanspruch 1 sowie der nebengeordneten Patentansprüche 6 bis 8 gelöst. Vorteilhafte Weiterbildungen der Erfindung ergeben sich durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren.The object is achieved by the subject matters of claim 1 and the independent claims 6 to 8. Advantageous developments of the invention will become apparent from the dependent claims, the following description and the figures.

Durch die Erfindung ist ein Verfahren zum Bereitstellen der Bildmaske gegeben. Mittels der Bildmaske wird in bekannter Weise in einem Kamerabild einer Umgebungskamera oder Umfeldkamera eines Kraftfahrzeugs eine Bildauswertung auf eine Interessensregion beschränkt. Ist also in dem Kamerabild sowohl ein sichtbarer Bereich der Umgebung oder des Umfelds als auch ein Teil des Kraftfahrzeugs selbst, beispielsweise ein Stoßfänger oder ein Nummernschild, und/oder ein Teil der Halterung der Kamera selbst erkennbar, so grenzt die Bildmaske den sichtbaren Bereich des Umfelds als Interessensregion ab. Eine Bildauswertung, beispielsweise eine automatische Objekterkennung, kann dann auf die Interessensregion beschränkt werden. Die Bildauswertung kann in bekannter Weise durch ein Fahrerassistenzsystem durchgeführt werden.The invention provides a method for providing the image mask. By means of the image mask, image evaluation in a camera image of an ambient camera or environment camera of a motor vehicle is limited to a region of interest. Thus, if both a visible region of the surroundings or of the surroundings and also a part of the motor vehicle itself, for example a bumper or license plate, and / or a part of the holder of the camera itself are recognizable in the camera image, then the image mask delimits the visible region of the surroundings as a region of interest. An image analysis, for example, an automatic object recognition, can then be limited to the area of interest. The image evaluation can be carried out in a known manner by a driver assistance system.

Um nun die Bildmaske beispielsweise an die aktuelle Einbaulage der Umfeldkamera im Kraftfahrzeug anzupassen, wird von einer Referenzmaske ausgegangen, die beispielsweise manuell für ein Referenzfahrzeug mit einer darin eingebauten Referenzkamera angepasst wurde. Welche Einbaulage oder allgemein welche Sichtverhältnisse sich für die Referenzkamera in dem Referenzfahrzeug ergeben, ist durch Referenzkalibrierdaten der Referenzkamera beschrieben. Genauso ist auch für die aktuell zu kalibrierende Umfeldkamera selbst durch Kalibrierdaten der Umfeldkamera beschrieben, welche Einbaulage oder allgemein welche Sichtverhältnisse sich für die Umfeldkamera in ihrem Kraftfahrzeug ergeben. Wie man solche Referenzkalibrierdaten und Kalibrierdaten für eine Kamera in einem Kraftfahrzeug ermittelt, ist nicht Teil dieser Erfindung. Hierzu sind aus dem Stand der Technik Verfahren bekannt, um beispielsweise eine Einbaulage und/oder eine Rotationsposition oder Drehlage einer Kamera in einem Kraftfahrzeug zu ermittelt. Die Kalibrierdaten der Umfeldkamera können eine Rotationsmatrix der Umfeldkamera beschreiben, die also eine Drehlage oder einen Drehwinkel der Umfeldkamera beispielsweise um ihr Kamerazentrum beschreiben (Extrinsik der Kamera). Zusätzlich oder alternativ dazu können die Kalibrierdaten der Umfeldkamera zumindest eine Kameraeinstellung der Kamera, beispielsweise ihre Brennweite, beschreiben (Intrinsik der Kamera). Entsprechendes gilt für die Referenzkamera und deren Referenzkalibrierdaten. In order to adapt the image mask, for example, to the current installation position of the surrounding camera in the motor vehicle, the starting point is a reference mask which, for example, has been adapted manually for a reference vehicle with a reference camera installed therein. Which mounting position or generally which viewing conditions arise for the reference camera in the reference vehicle is described by Referenzkalibrierdaten the reference camera. In the same way, even for the currently to be calibrated environment camera itself is described by calibration data of the environment camera, which mounting position or generally what visibility results for the environment camera in their motor vehicle. How to determine such Referenzkalibrierdaten and calibration data for a camera in a motor vehicle is not part of this invention. For this purpose, methods are known from the prior art, for example, to determine an installation position and / or a rotational position or rotational position of a camera in a motor vehicle. The calibration data of the surrounding camera can describe a rotation matrix of the surrounding camera, which thus describe a rotational position or a rotation angle of the surrounding camera, for example around its camera center (extrinsic of the camera). Additionally or alternatively, the calibration data of the surrounding camera can describe at least one camera setting of the camera, for example its focal length (intrinsic of the camera). The same applies to the reference camera and its Referenzkalibrierdaten.

In einem ersten Verfahrensschritt des erfindungsgemäßen Verfahrens werden diese Kalibrierdaten der Umfeldkamera selbst, die Referenzkalibrierdaten der Referenzkamera des Referenzfahrzeugs sowie die Referenzmaske empfangen. Die Referenzmaske beschreibt für die Referenzkamera in dem Referenzfahrzeug die Interessensregion. Das Verfahren geht davon aus, dass das Referenzfahrzeug vom selben Fahrzeugtyp wie das Kraftfahrzeug selbst ist. Somit sind also die störenden Bauteile des Kraftfahrzeugs, wie sie im Kamerabild zusätzlich zum sichtbaren Teil des Umfeldes enthalten sein können, dieselben wie im zu kalibrierenden Kraftfahrzeug.In a first method step of the method according to the invention, these calibration data of the surrounding camera itself, the reference calibration data of the reference camera of the reference vehicle and the reference mask are received. The reference mask describes the region of interest for the reference camera in the reference vehicle. The method assumes that the reference vehicle is of the same vehicle type as the motor vehicle itself. Thus, therefore, the disturbing components of the motor vehicle, as they may be included in the camera image in addition to the visible part of the environment, the same as in the motor vehicle to be calibrated.

Auf der Grundlage der Kalibrierdaten und der Referenzkalibrierdaten kann nun eine Transformation ermittelt werden. Mit anderen Worten kann durch Vergleichen der Einbaulagen oder Sichtverhältnisse der Referenzkamera im Referenzfahrzeug einerseits und der Umfeldkamera im Kraftfahrzeug andererseits ermittelt werden, welcher Unterschied sich in der Abbildung des Umfelds zwischen den Kamerabildern der beiden Kameras ergibt. Hieraus kann dann die Transformation ermittelt werden, die beschreibt, wie ein gegebener Punkt im Kamerabild der Referenzkamera verschoben wird, welche Position er also im Kamerabild der Umfeldkamera einnehmen würde, wenn man die Referenzkamera in die Position oder Lage der Umfeldkamera verschieben oder bewegen würde.Based on the calibration data and the reference calibration data, a transformation can now be determined. In other words, by comparing the mounting positions or visibility of the reference camera in the reference vehicle on the one hand and the surrounding camera in the motor vehicle on the other hand can be determined, which difference results in the mapping of the environment between the camera images of the two cameras. From this, the transformation can then be determined, which describes how a given point in the camera image of the reference camera is moved, which position it would occupy in the camera image of the surrounding camera if the reference camera were moved or moved in the position or position of the surrounding camera.

Die Referenzbildmaske und die Bildmaske kann jeweils eine Binärmaske oder eine Konturbeschreibung sein. Sie kann durch sogenannte Maskenknoten beschrieben sein, welche den geometrischen Verlauf des Rands der Maske beschreiben. Die Maskenknoten können beispielsweise Stützpunkte an einem Rand der jeweiligen Maske sein, also beispielsweise einen Polygonzug beschreiben, welcher die Grenze oder den Rand beschreibt. Gesucht sind also die Maskenknoten der Bildmaske. Hierzu werden aus den Maskenknoten der Referenzbildmaske mittels der besagten Transformation verschobene Maskenknoten ermittelt. Auf der Grundlage der verschobenen Maskenknoten kann dann die Bildmaske gebildet werden, wie sie für das Kamerabild der Umfeldkamera zum Abgrenzen der Interessensregion verwendet werden kann.The reference image mask and the image mask may each be a binary mask or a contour description. It can be described by so-called mask nodes, which describe the geometric shape of the edge of the mask. For example, the mask nodes may be vertices at an edge of the respective mask, eg, describe a polygon that describes the boundary or edge. We are looking for the mask nodes of the image mask. For this purpose, mask nodes shifted from the mask nodes of the reference image mask are determined by means of said transformation. On the basis of the displaced mask nodes, the image mask can then be formed, as can be used for the camera image of the surrounding camera for delimiting the region of interest.

Durch die Erfindung ergibt sich der Vorteil, dass in einem Kamerabild einer Referenzkamera eine Interessenregion definiert oder vorgegeben werden kann, die nicht auf eine Einbautoleranz Rücksicht nehmen muss, da sie nur für eine konkrete Referenzkamera in einer konkreten Einbaulage definiert sein muss. Anstatt nun für eine weitere Umfeldkamera die Einbautoleranz durch Verkleinern der Referenzmaske zu kompensieren, wird stattdessen der sich aufgrund der Einbautoleranz ergebende Unterschied zwischen den Referenzkalibrierdaten und den Kalibrierdaten ermittelt und daraus eine geometrische Transformation gebildet, die es ermöglicht, die Referenzmaske derart zu verformen und/oder zu verschieben, dass daraus die Bildmaske gebildet werden kann, die wiederum individuell an die Umfeldkamera angepasst ist. Ist also beispielsweise die Referenzbildmaske maximal groß gewählt, so wird sich auch für die Umfeldkamera eine maximal große Bildmaske ergeben. Somit steht einer Objekterkennung eine größere Interessensregion für eine Objekterkennung zur Verfügung als für den Fall, dass eine Bildmaske verwendet würde, die klein genug ist, um für alle Einbaulagen verwendet werden zu können. Die Erfindung ist hier und im Folgenden nur für eine einzelne Bildmaske beschrieben. Sie kann auch zum Anpassen mehrerer Bildmasken verwendet werden, wenn mehrere Interessensregionen für die Kamera definiert werden sollen. Es kann beispielsweise eine weitere Bildmaske nur für einen „Ganz-nah-Bereich“ definiert werden. Das Verfahren lässt sich dabei in der beschriebenen Weise für jede Bildmaske getrennt durchführen.The invention provides the advantage that in a camera image of a reference camera an interest region can be defined or specified, which does not have to take into account a mounting tolerance, since it only needs to be defined for a specific reference camera in a specific installation position. Instead of compensating for the installation tolerance for a further environment camera by reducing the reference mask, the difference between the reference calibration data and the calibration data resulting from the installation tolerance is instead determined and a geometric transformation is formed from this, which makes it possible to deform the reference mask and / or to shift that from the image mask can be formed, which in turn is individually adapted to the environment camera. If, for example, the reference image mask is chosen to be maximally large, a maximum large image mask will also result for the surroundings camera. Thus, object recognition has a wider area of interest for object recognition than would be the case if an image mask small enough to be used for all mounting positions were used. The invention is described here and below only for a single image mask. It can also be used to customize multiple image masks when defining multiple interest regions for the camera. For example, another image mask can only be defined for a "near-far area". The method can be carried out separately in the manner described for each image mask.

Gemäß einem Aspekt der Erfindung wird beim Übertragen der Referenzmaske auf die Umfeldkamera des Kraftfahrzeugs nicht nur der Unterschied in den Einbaulagen, sondern auch eine unterschiedliche Bildverzerrung der Kameras (Umfeldkamera und Referenzkamera) kompensiert. Gemäß einer Weiterbildung beschreiben hierzu die Referenzkalibrierdaten eine Bildverzerrung der Referenzkamera. Eine solche Bildverzerrung kann beispielsweise als Verzerrung eines Gittermusters aus geraden Linien beschrieben werden, wie es eingangs im Zusammenhang mit dem Stand der Technik beschrieben wurde. In einem Vorverarbeitungsschritt der besagten Transformation wird dann bei den Maskenknoten der Referenzbildmaske die Bildverzerrung der Referenzkamera rückgängig gemacht (Entzerrung). Hierdurch ist der Einfluss der Bildverzerrung der Referenzkamera auf die Bildposition oder Koordinaten der Maskenknoten kompensiert.According to one aspect of the invention, when transferring the reference mask to the surrounding camera of the motor vehicle not only the difference in the mounting positions, but also a different image distortion of the cameras (environment camera and Reference camera) compensated. According to a further development, the reference calibration data describe an image distortion of the reference camera. Such an image distortion can be described, for example, as a distortion of a grid pattern from straight lines, as has been described at the outset in connection with the prior art. In a preprocessing step of the said transformation, the image distortion of the reference camera is then undone at the mask nodes of the reference image mask (equalization). This compensates for the influence of the image distortion of the reference camera on the image position or coordinates of the mask nodes.

Gemäß einem zusätzlichen oder alternativen Aspekt der Erfindung beschreiben die Referenzkalibrierdaten eine Rotationsmatrix der Referenzkamera. Die Rotationsmatrix beschreibt einen Drehwinkel oder eine Drehlage der Kamera um ein vorbestimmtes Kamerazentrum, z.B. den Schwerpunkt der Referenzkamera. Das Kamerazentrum ist ein beliebiger Referenzpunkt für Positions- und/oder Winkelangaben. Somit kann also eine verdrehte Einbaulage, also die Abweichung beispielsweise der Kamera-Hochachse von der Vertikalen, beschrieben werden. Zusätzlich oder alternativ dazu können die Referenzkalibrierdaten zumindest eine Kameraeinstellung der Referenzkamera, beispielsweise die Brennweite, beschreiben. In einem weiteren Vorverarbeitungsschritt der Transformation werden dann ausgehend von den Maskenknoten der Referenzbildmaske Sichtstrahlen berechnet, die in eine Kameraumgebung der Referenzkamera weisen. Ein Maskenknoten ist ein Bildpunkt auf dem Kamerabild der Referenzkamera. Ausgehend von der Bildebene des Kamerabilds der Referenzkamera kann also durch die Blende der Referenzkamera oder durch das Kamerazentrum hindurch ein Sichtstrahl definiert werden, der in die Kameraumgebung weist. Hierdurch ist man nun unabhängig von der Referenzkamera, da ein Sichtstrahl im Raum definiert ist. Falls zunächst die beschriebene Entzerrung angewendet wird, gehen die Sichtstrahlen natürlich jeweils von einem entzerrten Maskenknoten aus.According to an additional or alternative aspect of the invention, the reference calibration data describes a rotation matrix of the reference camera. The rotation matrix describes a rotation angle or position of the camera about a predetermined camera center, e.g. the focus of the reference camera. The camera center is any reference point for position and / or angle information. Thus, therefore, a twisted mounting position, so the deviation, for example, the camera vertical axis of the vertical, are described. Additionally or alternatively, the reference calibration data may describe at least one camera setting of the reference camera, for example the focal length. In a further preprocessing step of the transformation, visual beams are then calculated starting from the mask nodes of the reference image mask and point in a camera environment of the reference camera. A mask node is a pixel on the camera image of the reference camera. Starting from the image plane of the camera image of the reference camera, a viewing beam can therefore be defined through the aperture of the reference camera or through the camera center, which points into the camera environment. As a result, one is now independent of the reference camera, since a visual beam is defined in space. Of course, if the described equalization is applied, the visual rays will always emanate from an equalized mask node.

Es ist aber nicht immer vorteilhaft, alle Maskenknoten zu verschieben. In der Referenzbildmaske wird zumindest ein zusätzlicher Maskenknoten ermittelt, welcher einen Bildpunkt der Kamerahalterung der Referenzkamera beschreibt. Mit anderen Worten kann die Referenzbildmaske so groß sein, dass sie an einem Rand der Kamerahalterung endet oder diesen berührt. Ein solcher Maskenknoten bleibt konstant, da die Kamerahalterung bei einer Veränderung der Einbaulage der Referenzkamera ebenfalls ihre Position oder Lage ändert. Ein solcher zusätzlicher Maskenknoten wird deshalb als Fixknoten unverschoben in der Bildmaske beibehalten.However, it is not always advantageous to move all mask nodes. In the reference image mask, at least one additional mask node is determined, which describes a pixel of the camera mount of the reference camera. In other words, the reference image mask may be so large that it ends at or touches an edge of the camera mount. Such a mask node remains constant since the camera mount also changes its position or position when the mounting position of the reference camera changes. Such an additional mask node is therefore maintained as a fixed node unshifted in the image mask.

Gemäß einem zusätzlichen oder alternativen Aspekt kann die Bildmaske also nun aus den verschobenen Maskenknoten und zusätzlich aus zumindest einem Fixknoten gebildet sein. Die verschobenen Maskenknoten und der zumindest eine Fixknoten (falls vorhanden) können zusammen beispielsweise den Rand der Bildmaske definieren, beispielsweise als Polygonzug.According to an additional or alternative aspect, the image mask can thus now be formed from the shifted mask nodes and additionally from at least one fixed node. The shifted mask nodes and the at least one fix node (if present) can together define, for example, the edge of the image mask, for example as a polygon.

Zu der Erfindung gehören auch Weiterbildungen, durch die sich zusätzliche Vorteile ergeben.The invention also includes refinements, resulting in additional benefits.

Dieser Sichtstrahl kann dann auf ein Objekt in der Kameraumgebung treffen, welches im Kamerabild abgebildet war, oder z.B. in den Himmel zeigen. Es kann sein, dass der Abstand des Objekts zur Referenzkamera bekannt ist, weil es z.B. zum Referenzfahrzeug gehört. Ist also zu zumindest einem der Sichtstrahlen jeweils ein Abstand angegeben, in welchem der Sichtstrahl in der Kameraumgebung auf ein Objekt auftrifft, so werden für diesen Sichtstrahl jeweils Koordinaten des Auftreffpunkts ermittelt. Hierdurch ist dann nicht ein Sichtstrahl selbst, sondern ein Auftreffpunkt in der Kameraumgebung definiert, an welchem man sich dann später zum Definieren der verschobenen Maskenknoten orientieren kann. Dies ist insbesondere relevant, wenn Fahrzeuganteile, die dem Kamerazentrum nahe sind, im Bild dargestellt sind, und eine Unsicherheit oder Toleranz der Kamera nicht nur bezüglich der Winkelrotationen, sondern auch bezüglich der Translation gegeben ist. Leichte Höhenunterschiede führen dann, wenn man nur mit Sichtstrahlen arbeitet, zu Ungenauigkeiten in der transformierten Maske.This visual beam may then encounter an object in the camera environment that was imaged in the camera image, or e.g. show in the sky. It may be that the distance of the object to the reference camera is known because it is e.g. belongs to the reference vehicle. Thus, if in each case a distance is specified for at least one of the visual beams in which the viewing beam impinges on an object in the camera environment, coordinates of the point of impingement are determined in each case for this visual beam. This does not define a visual beam itself, but rather a point of impact in the camera environment, at which point it can then be oriented later to define the shifted mask nodes. This is particularly relevant when vehicle parts that are close to the camera center are shown in the image, and there is an uncertainty or tolerance of the camera not only with respect to the angular rotations, but also with respect to the translation. Slight height differences, when working only with visible rays, lead to inaccuracies in the transformed mask.

Durch die beschriebenen Vorverarbeitungsschritte ist man nun unabhängig von der Referenzkamera, da nun Sichtstrahlen und/oder Auftreffpunkte im Raum definiert sind. Daraus kann man durch Nachstellen des Abbildungsvorgangs rekonstruieren, wie die Sichtstrahlen und/oder Auftreffpunkte auf das Kamerabild der Umfeldkamera abgebildet oder projiziert werden. So können die zugehörigen verschobenen Maskenknoten konstruiert werden.By means of the described preprocessing steps, one is now independent of the reference camera, since visual beams and / or impingement points are now defined in space. This can be reconstructed by adjusting the imaging process as the visual beams and / or impact points are imaged or projected onto the camera image of the surrounding camera. This allows the associated moved mask nodes to be constructed.

Hierzu beschreiben die Kalibrierdaten der Umfeldkamera bevorzugt die Einbaulage der Umfeldkamera in dem Kraftfahrzeug. Die Einbaulage kann die Einbauposition (z.B. 3D-Koordinaten z.B. des Kamerazentrums) und/oder die Orientierung oder Einbaulage im Raum (3D-Vektor) angeben. In einem Transformationsschritt der Transformation wird dann ausgehend von den besagten Auftreffpunkten jeweils ein zu der Umfeldkamera weisender Sichtstrahl berechnet. Jeder so berechnete Sichtstrahl weist also jeweils von einem Auftreffpunkt hin zur Blende oder zum Kamerazentrum der Umfeldkamera. Eine andere Bezeichnung für diesen Verfahrensschritt ist „extrinsische Kalibrierung“, d.h. es werden die äußeren, extrinsischen Parameter der Kamera berücksichtigt. Die Berücksichtigung der Intrinsik, also der inneren Parameter der Kamera (z.B. Brennweite), wird intrinsische Kalibrierung bezeichnet.For this purpose, the calibration data of the surrounding camera preferably describe the installation position of the surrounding camera in the motor vehicle. The installation position can indicate the installation position (eg 3D coordinates eg of the camera center) and / or the orientation or installation position in the room (3D vector). In a transformation step of the transformation, a viewing beam pointing to the surrounding camera is then calculated on the basis of said impact points. Each calculated visual beam thus has in each case from a point of impact to the aperture or the camera center of the surrounding camera. Another name for this process step is "extrinsic calibration", ie the outer, extrinsic parameters of the camera are taken into account. The consideration of intrinsics, ie the internal parameters of the camera (eg focal length), is called intrinsic calibration.

Somit benötigt man die Auftreffpunkte nicht mehr, da man aus diesen wieder Sichtstrahlen gebildet hat.Thus, the impact points are no longer needed, since one has again formed visual beams from these.

Es gilt dann also Sichtstrahlen, zu denen nie ein Auftreffpunkt definiert wurde, und Sichtstrahlen, die aus Auftreffpunkten generiert wurden.It then applies visual beams to which a point of impact has never been defined, and visual rays that were generated from impact points.

In einem weiteren Schritt der Transformation können dann die Sichtstrahlen jeweils auf eine Bildebene des Kamerabildes projiziert werden, wodurch sich Bildpunkte der Sichtstrahlen im Kamerabild ergeben. Die Sichtstrahlen werden also weiter in die Kamera verlängert, wo sie dann auf die Bildebene des Kamerabildes treffen und somit einen Bildpunkt definieren. Die Bildebene kann durch den Sensorchip der Umfeldkamera gebildet sein. Die Abbildung der Sichtstrahlen auf die Bildebene ist durch die Rotationsmatrix und/oder die Kalibrierdaten bestimmt.In a further step of the transformation, the visual beams can then each be projected onto an image plane of the camera image, resulting in pixels of the visual beams in the camera image. The visual beams are thus extended further into the camera, where they then hit the image plane of the camera image and thus define a pixel. The image plane can be formed by the sensor chip of the surrounding camera. The image of the visual rays on the image plane is determined by the rotation matrix and / or the calibration data.

Auch die Umfeldkamera ist aber nicht ideal, sondern kann eine Bildverzerrung aufweisen. Die Kalibrierdaten der Umfeldkamera können entsprechend die Bildverzerrung der Umfeldkamera beschreiben. Dies kann wieder in der besagten Weise als Verzerrung eines Gittermusters beschrieben sein (auch als nicht-linearer intrinsischer Parameter bezeichnet). In einem weiteren Transformationsschritt der Transformation kann dann auf die Bildpunkte der Sichtstrahlen die Bildverzerrung der Umfeldkamera angewendet werden. Hierdurch ergeben sich dann schließlich verschobene oder verzerrte Bildpunkte, die aber auch den verschobenen Maskenknoten entsprechen, da die Bildpunkte über die Sichtstrahlen aus den Maskenknoten der Referenzbildmaske generiert wurden.However, the environment camera is not ideal, but may have a picture distortion. The calibration data of the surrounding camera can accordingly describe the image distortion of the surrounding camera. This may again be described in the manner described as distortion of a grid pattern (also referred to as non-linear intrinsic parameter). In a further transformation step of the transformation, the image distortion of the surrounding camera can then be applied to the pixels of the visual beams. This then finally results in shifted or distorted pixels, which however also correspond to the shifted mask nodes, since the pixels were generated via the visual beams from the mask nodes of the reference image mask.

Somit liegen dann also die verschobenen Maskenknoten vor. Sie beschreiben die gesuchte Bildmaske.Thus, then there are the shifted mask nodes. They describe the searched image mask.

Um das erfindungsgemäße Verfahren durchzuführen, ist durch die Erfindung eine Steuervorrichtung für eine Umfeldkamera eines Kraftfahrzeuges bereitgestellt. Die Steuervorrichtung kann eine Recheneinrichtung aufweisen, die dazu eingerichtet ist, eine Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Die Recheneinrichtung kann hierzu einen Mikroprozessor oder einen Mikrocontroller aufweisen. Die Verfahrensschritte des Verfahrens können beispielsweise mittels eines Programmcodes realisiert werden, der in einem Datenspeicher der Recheneinrichtung gespeichert sein kann.In order to carry out the method according to the invention, a control device for an environment camera of a motor vehicle is provided by the invention. The control device can have a computing device which is set up to carry out an embodiment of the method according to the invention. The computing device may have a microprocessor or a microcontroller for this purpose. The method steps of the method can be realized for example by means of a program code which can be stored in a data memory of the computing device.

Zu der Erfindung gehört auch eine Umfeldkamera für ein Kraftfahrzeug. Die Umfeldkamera weist eine Ausführungsform der erfindungsgemäßen Steuervorrichtung auf. Somit kann bei der Umfeldkamera deren Bildmaske zum Abgrenzen einer Interessensregion im Kamerabild aus einer vorgegebenen Referenzmaske gebildet werden.The invention also includes an environment camera for a motor vehicle. The surrounding camera has an embodiment of the control device according to the invention. Thus, in the environment camera whose image mask for delimiting a region of interest in the camera image from a predetermined reference mask can be formed.

Zu der Erfindung gehört schließlich auch ein Kraftfahrzeug mit zumindest einer erfindungsgemäßen Umfeldkamera. Das Kraftfahrzeug kann ein Kraftwagen oder eine Drohne oder ein Unterwasserfahrzeug sein.Finally, the invention also includes a motor vehicle with at least one environmental camera according to the invention. The motor vehicle may be a motor vehicle or a drone or an underwater vehicle.

Mit mehreren Umfeldkameras kann in dem Kraftfahrzeug beispielsweise eine sogenannte künstliche Vogelperspektive (TVI - Top View Image) berechnet werden, ohne dass störende Bildanteile, wie beispielsweise ein Bauteil des Kraftfahrzeugs selbst und/oder einer Kamerahalterung einer der Umfeldkameras, in dem berechneten Bild zu sehen sind.With a plurality of surrounding cameras, for example, a so-called artificial bird's eye view (TVI - Top View Image) can be calculated in the motor vehicle without disturbing image components, such as a component of the motor vehicle itself and / or a camera mount of one of the surrounding cameras, being visible in the calculated image ,

Im Folgenden ist ein Ausführungsbeispiel der Erfindung beschrieben. Hierzu zeigt:

• 1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs;
• 2 eine schematische Darstellung eines Kamerabildes, wie es durch eine Umfeldkamera des Kraftfahrzeugs von 1 erfasst sein kann;
• 3 eine Skizze mit Kamerabildern, in denen Maskenknoten einer jeweiligen Bildmaske dargestellt sind, sowie die Transformation der Referenzmaske auf das aktuelle Kamerabild;
• 4 ein Flussschaudiagramm einer Ausführungsform des erfindungsgemäßen Verfahrens;
• 5 ein Flussschaudiagramm mit Vorverarbeitungsschritten des Verfahrens von 4; und
• 6 ein Flussschaudiagramm mit Transformationsschritten des Verfahrens von 4;
• 7 eine Skizze zur Veranschaulichung von Verfahrensschritten des Verfahrens von 4.

In the following an embodiment of the invention is described. This shows:

• 1 a schematic representation of an embodiment of the motor vehicle according to the invention;
• 2 a schematic representation of a camera image, as shown by an environment camera of the motor vehicle of 1 can be detected;
• 3 a sketch with camera images in which mask nodes of a respective image mask are shown, as well as the transformation of the reference mask on the current camera image;
• 4 a Flußschaudiagramm an embodiment of the method according to the invention;
• 5 a Flussschaudiagramm with pre-processing steps of the method of 4 ; and
• 6 a Flussschaudiagramm with transformation steps of the method of 4 ;
• 7 a sketch illustrating process steps of the method of 4 ,

Bei dem im Folgenden erläuterten Ausführungsbeispiel handelt es sich um eine bevorzugte Ausführungsform der Erfindung. Bei dem Ausführungsbeispiel stellen die beschriebenen Komponenten der Ausführungsform jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren ist die beschriebene Ausführungsform auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiment explained below is a preferred embodiment of the invention. In the exemplary embodiment, the described components of the embodiment each represent individual features of the invention that are to be considered independently of one another, which also each independently further develop the invention and thus also individually or in a different combination than the one shown as part of the invention. Furthermore, the described embodiment can also be supplemented by further features of the invention already described.

In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.In the figures, functionally identical elements are each provided with the same reference numerals.

1 zeigt aus einer Vogelperspektive ein Kraftfahrzeug 10, welches eine oder mehrere Umfeldkameras 11 aufweisen kann, deren jeweiliger Erfassungsbereich 12 in eine Umgebung oder in ein Umfeld 13 des Kraftfahrzeugs 10 ausgerichtet sein kann. Mit anderen Worten weisen optische Achsen 14 der Umfeldkameras 11 von dem Kraftfahrzeug 10 weg. Jede Kamera 11 kann ihre Bilddaten an eine Steuervorrichtung 15 bereitstellen, die aus dem jeweiligen Kamerabild jeder Umfeldkamera 11 eine Interessensregion isolieren oder auswählen kann, welche dann beispielsweise einem Fahrerassistenzsystem 16 zur Bildauswertung, beispielsweise zur Objekterkennung, bereitgestellt werden kann. Das Fahrerassistenzsystem 16 kann beispielsweise das Kraftfahrzeug 10 automatisiert führen, das heißt eine Längsführung und/oder Querführung für das Kraftfahrzeug 10 durchführen. Die Steuervorrichtungen 15 und das Fahrerassistenzsystem 16 können auch gemeinsam Teil eines zentralen Fahrerassistenz-Steuergerätes sein. 1 shows a bird's eye view of a motor vehicle 10 which one or more environment cameras 11 may have their respective detection range 12 in an environment or in an environment 13 of the motor vehicle 10 can be aligned. In other words, have optical axes 14 the surrounding cameras 11 from the motor vehicle 10 path. Every camera 11 can send their image data to a control device 15 provide that from the respective camera image of each environment camera 11 Isolate or select a region of interest, which then, for example, a driver assistance system 16 for image analysis, for example, for object detection, can be provided. The driver assistance system 16 For example, the motor vehicle 10 automatically lead, that is, a longitudinal guide and / or transverse guide for the motor vehicle 10 carry out. The control devices 15 and the driver assistance system 16 can also be part of a central driver assistance control unit together.

Jedes Kamerabild kann natürlich ein Bewegbild sein, das heißt sich mit der Zeit verändern und hierdurch die Veränderung im Umfeld 13 abbilden.Of course, each camera image can be a moving image, which means that it changes with time and thus the change in the environment 13 depict.

2 veranschaulicht für eine der Umfeldkameras 11 beispielhaft ein Kamerabild 17. In dem Kamerabild 17 kann zum einen der sichtbare Ausschnitt 18 aus dem Umfeld 13 abgebildet oder dargestellt sein. Des Weiteren kann aber auch zumindest ein Bauteil 19 des Kraftfahrzeugs 10 im Kamerabild 17 abgebildet sein. Schließlich kann auch ein Teil einer Kamerahalterung 20 in dem Kamerabild 17 abgebildet sein. Bei einer Bewegung des Kraftfahrzeugs 10 verändert sich der Bildausschnitt 18 des Umfelds 13. Aber auch auf den Fahrzeugteilen finden Änderungen im Bild statt, durch Spiegelungen, Regen, und dies nicht in unerheblichen Maß. Wo im Kamerabild 17 sich das Bauteil 19 befindet oder es abgebildet ist, hängt von einer Einbaulage der Kamera 11 im Kraftfahrzeug 10 ab. Entsprechend ist auch der Bildausschnitt 18 von der Einbaulage abhängig. Unabhängig von der Einbaulage kann die Kamerahalterung 20 stets im selben Bereich des Kamerabildes 17 abgebildet sein. Somit ergeben sich also drei Regionen, nämlich der Bildausschnitt 18, die Abbildung des Kraftfahrzeug-Bauteils 19 und die Abbildung der Kamerahalterung 20. 2 illustrated for one of the environment cameras 11 an example of a camera picture 17 , In the camera picture 17 can on the one hand the visible section 18 from the environment 13 be shown or represented. Furthermore, but also at least one component 19 of the motor vehicle 10 in the camera picture 17 be pictured. Finally, part of a camera mount can also be used 20 in the camera picture 17 be pictured. During a movement of the motor vehicle 10 the picture changes 18 of the environment 13 , But also on the vehicle parts changes take place in the picture, by reflections, rain, and not to an insignificant extent. Where in the camera picture 17 the component 19 or it is displayed, depends on a mounting position of the camera 11 in the motor vehicle 10 from. The picture is also corresponding 18 depends on the installation position. Regardless of the mounting position, the camera mount 20 always in the same area of the camera image 17 be pictured. Thus, this results in three regions, namely the image section 18 , the illustration of the motor vehicle component 19 and the picture of the camera mount 20 ,

3 veranschaulicht, wie nun der Bildausschnitt 18, der für das Fahrerassistenzsystem 16 identifiziert oder kenntlich gemacht werden soll, als Interessensregion ROI durch eine Bildmaske 21 abgegrenzt ist. Durch die Bildmaske 21 sind die Bauteile 19 des Kraftfahrzeugs und die Kamerahalterung 20 ausgegrenzt (siehe 3, Teilbild c). In 3 ist veranschaulicht, wie die Bildmaske 21 aus einer Referenzbildmaske 22 gebildet werden kann, die für ein Referenzfahrzeug 10' und eine darin eingebaute Referenzkamera 11' beispielsweise manuell erzeugt worden sein kann. Die Referenzbildmaske 22 kann beispielsweise durch Maskenknoten 23 definiert sein, die in 3, Teilbild a mit den Nummern 0 bis 20 versehen sind. Das Bezugszeichen 23 ist nur für einige der Maskenknoten angegeben, um die Übersichtlichkeit zu wahren. Durch die Referenzmaske 22 ist eine gewünschte oder vorgegebene Interessensregion ROI' in einem Kamerabild 17' der Referenzkamera 11' abgegrenzt. Die Referenzmaske 22 ist gültig für die Referenzkamera 11' bei einer Einbaulage 24 der Referenzkamera 11' im Referenzfahrzeug 10'. 3 illustrates how now the picture detail 18 , who is responsible for the driver assistance system 16 should be identified or identified, as an area of interest ROI through a picture mask 21 is delimited. Through the picture mask 21 are the components 19 of the motor vehicle and the camera mount 20 excluded (see 3 , Sub-picture c). In 3 is illustrated as the image mask 21 from a reference image mask 22 can be formed for a reference vehicle 10 ' and a built-in reference camera 11 ' For example, it may have been generated manually. The reference image mask 22 can for example through mask nodes 23 be defined in 3 , Partial image a with the numbers 0 to 20 are provided. The reference number 23 is given only for some of the mask nodes for clarity. Through the reference mask 22 is a desired or given ROI interest region in a camera image 17 ' the reference camera 11 ' demarcated. The reference mask 22 is valid for the reference camera 11 ' in a mounting position 24 the reference camera 11 ' in the reference vehicle 10 ' ,

Die Umfeldkamera 11 im Kraftfahrzeug 10 weist dagegen eine Einbaulage 25 auf (siehe 3, Teilbild b), die verschieden von der Einbaulage 24 sein kann. Wird nun die Referenzmaske 22 auf das Kamerabild 17 der Umfeldkamera 11 angewendet, so wird der Bildausschnitt 18 nicht korrekt abgegrenzt, sondern auch ein Bereich der Bauteile 19 des Kraftfahrzeugs 10 kann miterfasst sein. Daher werden die Maskenknoten 23 der Referenzmaske 22 mittels einer Transformation 26 derart transformiert, dass sich verschobene Maskenpunkte 23' ergeben, aus denen die Bildmaske 21 gebildet werden kann. Die verschobenen Maskenpunkte 23' grenzen im Ausschnitt 18 eine Interessensregion ROI ab, die der für die Referenzkamera 11' vorgegebenen Referenz-Interessensregion ROI' entspricht.The environment camera 11 in the motor vehicle 10 has a mounting position 25 on (see 3 , Partial image b), which differ from the installation position 24 can be. Now becomes the reference mask 22 on the camera picture 17 the surrounding camera 11 applied, so is the picture detail 18 not correctly demarcated, but also a range of components 19 of the motor vehicle 10 can be included. Therefore, the mask nodes become 23 the reference mask 22 by means of a transformation 26 transformed so that shifted mask points 23 ' result from which the picture mask 21 can be formed. The moved mask points 23 ' borders in the clipping 18 a ROI of interest, the one for the reference camera 11 ' predetermined reference area of interest ROI '.

4 veranschaulicht die Transformation 26. 4 illustrates the transformation 26 ,

Die Transformation 26 wandelt die Referenzmaske 20 mit den Maskenpunkten 23 in die Bildmaske 21 mit den verschobenen Maskenpunkten 23' um. Die Transformation 26 weist dabei eine Vorverarbeitungsstufe PRE und eine anschließende Transformationsstufe TRANS auf. Als weitere Eingangsdaten werden Referenzkalibrierdaten 27 für die Vorverarbeitungsstufe PRE und Kalibrierdaten 28 (CAL) für die Transformationsstufe TRANS empfangen (RCAL).The transformation 26 converts the reference mask 20 with the mask points 23 in the picture mask 21 with the moved mask points 23 ' around. The transformation 26 has a preprocessing stage PRE and a subsequent transformation stage TRANS on. Further input data are reference calibration data 27 for the preprocessing stage PRE and calibration data 28 (CAL) for the transformation stage TRANS receive (RCAL).

Die Vorverarbeitungsstufe PRE kann einen Vorverarbeitungsschritt 29 zum Entzerren und einen nachfolgenden Vorverarbeitungsschritt 30 zum Berechnen von Sichtstrahlen und 3D-Auftreffpunkten aufweisen. In der nachfolgenden Transformationsstufe TRANS kann in einem Transformationsschritt 31 eine Projektion der Sichtstrahlen und 3D-Auftreffpunkte erfolgen. In einem nachfolgenden Transformationsschritt 32 kann eine Kameraverzerrung der Umfeldkamera 11 nachgebildet werden. In einem nachfolgenden Transformationsschritt 33 können noch Fixpunkte 34 aus der Referenzmaske 22 übertragen werden, sodass die Bildmaske 31 aus verschobenen Maskenknoten 23' und Fixpunkten 34 gebildet sein kann. Die Punktpunkte 34 sind nicht notwendig. Es kann auch einen einzelnen Fixpunkt oder gar keinen Fixpunkt geben.The preprocessing stage PRE may be a preprocessing step 29 for equalizing and a subsequent preprocessing step 30 for calculating visual rays and 3D impact points. In the subsequent transformation stage TRANS can in a transformation step 31 a projection of the visual rays and 3D impact points made. In a subsequent transformation step 32 may cause a camera distortion of the surrounding camera 11 be reproduced. In a subsequent transformation step 33 can still fixpoints 34 from the reference mask 22 be transferred so that the image mask 31 from moved mask nodes 23 ' and fixed points 34 can be formed. The dots 34 are not necessary. There may also be a single fixed point or no fixed point.

5 veranschaulicht Details der Vorverarbeitungsstufe PRE. Es wird im Weiteren auf 7 verwiesen, die im oberen Teil die Referenzkamera 11' in ihrer Einbaulage 24 beschreibt. 5 illustrates details of the pre-processing stage PRE , It will be further on 7 referenced, in the upper part the reference camera 11 ' in their installation position 24 describes.

Die Referenzkalibrierdaten 27 können Verzerrungsdaten 35, Rotationsmatrix-Daten 36, Kamerakonfigurationsdaten 37 und/oder Kamerapositionsdaten 38, welche die Einbaulage 24 beschreiben, enthalten.The reference calibration data 27 can distortion data 35 , Rotation matrix data 36 , Camera configuration data 37 and / or camera position data 38 which the mounting position 24 describe, included.

In einem Prüfungsschritt 39 kann für die Referenzmaske 22 überprüft werden, ob in deren Maskenknoten ein Fixknoten 34 enthalten ist, der unverändert für die Umfeldkamera 11 beibehalten werden soll. In diesem Fall wird der Fixknoten 34 an die Transformationsstufe TRANS weitergeleitet. Im anderen Fall werden die übrigen, transformierbaren oder verschiebbaren Maskenknoten 23 auf Grundlage der Verzerrungsdaten 35 in dem Vorverarbeitungsschritt 29 entzerrt. 7 zeigt hierzu, wie eine durch die Optik oder Linsen der Referenzkamera 11' verursachte Verzerrung eines Maskenpunkts 23 mittels des Vorverarbeitungsschritts 29 in einer Entzerrung 40 in einen Maskenknoten 41 verändert oder gewandelt wird, der von der Verzerrung der Referenzkamera 11' unabhängig ist.In a test step 39 can for the reference mask 22 be checked whether in their mask node, a fixed node 34 is included, the unchanged for the surrounding camera 11 should be maintained. In this case, the fix node becomes 34 to the transformation stage TRANS forwarded. In the other case, the remaining, transformable or movable mask nodes 23 based on the distortion data 35 in the preprocessing step 29 equalized. 7 shows, as one through the optics or lenses of the reference camera 11 ' caused distortion of a mask point 23 by means of the preprocessing step 29 in an equalization 40 into a mask node 41 changed or transformed by the distortion of the reference camera 11 ' is independent.

7 zeigt die Referenzkamera 11' und die Umfeldkamera 11 mit jeweils ihrer Blendenöffnung 42 und ihrer Bildebene 43, wie sie beispielsweise durch den Kamerasensor 44 definiert sein kann. 7 shows the reference camera 11 ' and the surrounding camera 11 each with its aperture 42 and their image plane 43 as seen for example by the camera sensor 44 can be defined.

Die entzerrten Maskenpunkte können im Vorverarbeitungsschritt 30 dann dazu verwendet werden, um daraus Sichtstrahlen 45 z.B. auf Grundlage der Blendenöffnung 42 zu rekonstruieren. Es handelt sich um eine einfache geometrische Rückprojektion der Maskenknoten.The equalized mask points may be in the preprocessing step 30 then used to make visual beams 45 eg based on the aperture 42 to reconstruct. It is a simple geometric back projection of the mask nodes.

Die Sichtstrahlen 45 weisen also in eine Kameraumgebung 46 der Referenzkamera 11'. In einem Schritt 47 kann überprüft werden, ob für einen Sichtstrahl 45 bekannt ist, in welchem Abstand 47 der Sichtstrahl 45 auf ein Objekt 48 in der Kameraumgebung 46 trifft. Dieser Auftreffpunkt 49 am Objekt 48 ergibt eine 3D-Position, die anstelle des zugehörigen Sichtstrahls 45 gespeichert werden kann.The visual rays 45 point in a camera environment 46 the reference camera 11 ' , In one step 47 can be checked for a sight beam 45 it is known at which distance 47 the visual beam 45 on an object 48 in the camera environment 46 meets. This impact point 49 at the object 48 gives a 3D position in place of the associated sight beam 45 can be stored.

Hierbei kann auch die Drehlage der Referenzkamera 11' mittels der Rotationsmatrixdaten 36 berücksichtigt werden.This can also be the rotational position of the reference camera 11 ' by means of the rotation matrix data 36 be taken into account.

6 veranschaulicht im Zusammenhang mit 7, wie nun aus den Sichtstrahlen 45, den Auftreffpunkten 49 und gegebenenfalls einem oder mehreren Fixpunkten 34 die Bildmaske 21 erzeugt werden kann. 6 illustrated in connection with 7 , like now from the visual rays 45 , the hit points 49 and optionally one or more fixed points 34 the picture mask 21 can be generated.

Die Kalibrierdaten 28 können Positionsdaten 38' enthalten, welche die Einbaulage 25 beschreiben. Des Weiteren können sie Rotationsmatrixdaten 36' enthalten, welche die Drehlage der Umfeldkamera 11 im Kraftfahrzeug 10 beschreiben (Extrinsik). Des Weiteren können sie Kamerakonfigurationsdaten 37' enthalten, welche beispielsweise die Brennweite, das heißt die Lage der Blendenöffnung 42' bezüglich der Bildebene 43 enthalten (Intrinsik). Des Weiteren können sie Verzerrungsdaten 35' enthalten, welche eine Bildverzerrung 40' der Umfeldkamera 11 beschreiben (nicht-lineare Intrinsik).The calibration data 28 can position data 38 ' contain the mounting position 25 describe. Furthermore, they can rotate matrix data 36 ' contain the rotational position of the surrounding camera 11 in the motor vehicle 10 describe (extrinsics). You can also use camera configuration data 37 ' which, for example, the focal length, that is, the position of the aperture 42 ' with regard to the image plane 43 contain (intrinsic). Furthermore, they can be distortion data 35 ' which contain a picture distortion 40 ' the surrounding camera 11 describe (nonlinear intrinsics).

Auf der Grundlage der Positionsdaten 38' kann aus einem Auftreffpunkt 49 ein Sichtstrahl 50 durch die Blendenöffnung 42' berechnet werden und somit ein Bildpunkt 51 in der Bildebene 43 der Umfeldkamera 11 berechnet werden. Bei einem gegebenen Sichtstrahl 49 kann auf der Grundlage der Rotationsmatrixdaten 36' und der Kamerakonfigurationsdaten 37' ein Bildpunkt 51 durch den Sichtstrahl 45 berechnet werden. Auf Grundlage der Verzerrungsdaten 35' können die Bildpunkte 51 entsprechend der Verzerrung 40' in der Bildebene 43 verschoben werden, wodurch sich schließlich die verschobenen Maskenknoten 23' ergeben. Diese können zusammen mit den Fixknoten 34 dann die Bildmaske 21 definieren, beispielsweise die Eckpunkte eines Polygonzugs, wie er in 3 für die Bildmaske 21 dargestellt ist.Based on the position data 38 ' can be from a point of impact 49 a visual ray 50 through the aperture 42 ' be calculated and thus a pixel 51 in the picture plane 43 the surrounding camera 11 be calculated. For a given visual beam 49 can be based on the rotation matrix data 36 ' and the camera configuration data 37 ' a pixel 51 through the visual beam 45 be calculated. Based on the distortion data 35 ' can the pixels 51 according to the distortion 40 ' in the picture plane 43 be moved, which eventually causes the moved mask nodes 23 ' result. These can be used together with the fix nodes 34 then the picture mask 21 define, for example, the vertices of a traverse, as in 3 for the picture mask 21 is shown.

Im Folgenden ist ein besonders bevorzugtes Ausführungsbeispiel beschrieben.In the following, a particularly preferred embodiment is described.

Jede der Weitwinkel-Umfeldkameras 11 in aktuellen Baureihen moderner Fahrzeuge bildet Teile 19 vom Fahrzeug ins Bild 17 ab, etwa vom Seitenspiegel, dem Kennzeichen, oder den Rädern. Die Interessensregionen ROI, die Umfeldkameras 11 mit Weitwinkeln von ca. 180 Grad erzeugen, sind in 1 skizziert. 2 zeigt das Bild 17, das die Rückfahrkamera erzeugt. Man sieht, dass ein großer Bereich des Bildes 17 mit Teilen 19 des Fahrzeugs 10 und Kameraanbau 20 verdeckt wird, die eigentlich interessante Region ROI ist als Ausschnitt 18 markiert. Werden die verdeckten Bereiche 19, 20 durch Algorithmen nicht ausgespart, etwa für einen Featuretracker (Merkmalserkenner) oder eine generische dynamische Objektdetektion, wird es zu Falschausgaben kommen, etwa durch fehlerhaft bestimmte Hindernispositionen und False -Positives (Fehlalarme). Deswegen werden zu den gegebenen Kalibrierungen Masken 21 erstellt, etwa durch eine Knotenliste oder ein Binärbild, die die ungewünschten Bereiche aussparen. Die Einbaulage ändert sich von Fahrzeug zu Fahrzeug, somit verschieben sich die Regionen 18, 19, wohingegen die Region der Kamerahalterung 20 unverändert bleibt. Für einzelne Versuchsträger kann man die Interessensregionen ROI' händisch anpassen, im Serienbetrieb jedoch wird eine automatisierte Lösung notwendig, sofern man sich nicht damit begnügen will, die Masken 21 sehr klein zu halten, um alle Einbaulagen-Unsicherheiten abzudecken. Von dem Kameralieferanten wird verlangt, dass die Einbaulage nur um einen bestimmten Gradwert variiert, diese Kenntnis muss verwendet werden. Es muss sichergestellt werden, dass innerhalb dieser Unsicherheit die Masken 21 nicht in die Fahrzeugkontur hineinragen. Alle Kameras sind kalibriert (Kalibrierdaten 28) und die Anteile des Fahrzeugs 10 im Bild 17 hängen direkt von dieser Kameraposition und Orientierung ab (insgesamt also von der Einbaulage 25).Any of the wide-angle environmental cameras 11 in current series of modern vehicles forms parts 19 from the vehicle to the picture 17 from the side mirror, the license plate, or the wheels. The interest regions ROI, the surrounding cameras 11 with wide angles of about 180 degrees are in 1 outlined. 2 shows the picture 17 that generates the rear view camera. You can see that a large area of the picture 17 with parts 19 of the vehicle 10 and camera attachment 20 is hidden, which is actually interesting region ROI as a section 18 marked. Be the hidden areas 19 . 20 Not forgiven by algorithms, such as for a feature tracker (feature recognizer) or a generic dynamic object detection, it will come to false issues, such as incorrectly determined obstacle positions and False positives (false alarms). Therefore masks will be added to the given calibrations 21 created by a node list or a binary image that eliminates the unwanted areas. The installation position changes from vehicle to vehicle, thus shifting the regions 18 . 19 whereas the region of the camera mount 20 remains unchanged. For individual experimental vehicles one can adjust the interest regions ROI 'by hand, in the series enterprise however becomes one Automated solution necessary, if you do not want to be content with it, the masks 21 very small to cover all mounting orientation uncertainties. It is required of the camera supplier that the installation position varies only by a certain degree, this knowledge must be used. It must be ensured that within this uncertainty the masks 21 do not protrude into the vehicle contour. All cameras are calibrated (calibration data 28 ) and the proportions of the vehicle 10 in the picture 17 depend directly on this camera position and orientation (in total so of the mounting position 25 ).

Ziel ist somit, die Bildkoordinaten der störenden Elemente vorherzusagen. Dazu kann man für eine Referenzkalibrierung 27 eine optimale Referenzmaske 22 z.B. händisch erstellen - dies ist für unterschiedliche Fahrzeugtypen einzeln durchzuführen. Anhand der Positions- und Orientierungsunterschiede der tatsächlichen Kamera 11 im Fahrzeug 10 wird nun die Maske 22 transformiert, so dass sie bevorzugt dem Optimum für dieses Fahrzeug möglichst nahe kommt und weiterhin alle Egofahrzeug-Bauteile 19 auslässt. Durch die Transformation 26 kann die Maske 21 größer gewählt werden, somit wird ein größerer Interessensbereich ROI abgedeckt und insbesondere ein Mehrwert für die Kundenfunktionen generiert.The goal is thus to predict the image coordinates of the disturbing elements. This can be done for a reference calibration 27 an optimal reference mask 22 Eg create by hand - this is to be done individually for different vehicle types. Based on the position and orientation differences of the actual camera 11 in the vehicle 10 now becomes the mask 22 transformed so that it preferably comes as close to the optimum for this vehicle as possible and continue to all the ego vehicle components 19 omits. Through the transformation 26 can the mask 21 larger, thus covering a larger area of interest ROI and, in particular, generating added value for the customer functions.

Die Transformation 26 der Referenzmaske 22 basiert insbesondere auf die Umrechnung von Bildbestandteilen in Sichtlinien 45, die in dem Referenzbild 17' berechnet werden, hin in 2D-Informationen in dem neuen Fahrzeug 10. 3 zeigt, wie eine Maskentransformation 26 aussehen kann. 3 (a) zeigt ein Bild einer Kamera eines Referenzfahrzeugs (virtuelle Daten) mit einer händisch Knoten-Maske, die den Interessensbereich ROI' definiert. 3 (b) zeigt, dass diese Maske für ein anderes Fahrzeug (gleiches Fahrzeugmodell, gleicher Fahrzeugtyp) nicht einfach übernommen werden kann, denn mit dieser ragen spiegelnde Fahrzeugteile in die ROI hinein, was zu erheblichem Fehlverhalten der Algorithmen führen kann. Eine Möglichkeit ist also die initiale Maske sehr viel kleiner zu gestalten, so dass sie in 3 (b) auch keine Probleme bereiten sollte. 3 (c) zeigt, dass mit der hier vorgestellten Lösung die Referenzmaske 22 nicht kleiner gewählt werden muss, wenn sie mittels der Transformation 26 transformiert wird.The transformation 26 the reference mask 22 is based in particular on the conversion of pictorial components into lines of sight 45 included in the reference picture 17 ' calculated into 2D information in the new vehicle 10 , 3 shows how a mask transformation 26 can look like. 3 (a) shows an image of a camera of a reference vehicle (virtual data) with a manual node mask, which defines the area of interest ROI '. 3 (b) shows that this mask for another vehicle (same vehicle model, same vehicle type) can not be easily adopted, because with this reflective vehicle parts protrude into the ROI, which can lead to significant malfunction of the algorithms. One possibility, therefore, is to make the initial mask much smaller, so that it can be written in 3 (b) should not cause any problems. 3 (c) shows that with the presented solution the reference mask 22 does not have to be chosen smaller when using the transformation 26 is transformed.

Durch die beschriebenen Maßnahmen können größere Bereiche des Umfelds 13 erfasst werden. Algorithmen, etwa zur Detektion von statischen und dynamischen Hindernissen, erfassen damit einen größeren Winkelbereich. Die Transformation 26 erlaubt es zudem, Fehler zu vermeiden, da damit unterschiedliche Einbaulagen 24, 25 berücksichtigt werden. Es erlaubt eine verbesserte Umfeldwahrnehmung.By the measures described can larger areas of the environment 13 be recorded. Algorithms, for example for the detection of static and dynamic obstacles, thus capture a larger angular range. The transformation 26 It also makes it possible to avoid mistakes, as it allows different mounting positions 24 . 25 be taken into account. It allows an improved perception of the environment.

Die Realisierung besteht aus einem Fahrzeug, einer oder mehreren kalibrierten Weitwinkelkameras zur Umfelderfassung, deren Sichtfeld durch Egofahrzeugteile 19 im Bild 17 eingeschränkt wird. Dazu liegen eine Referenzkalibrierung 27 und eine Referenzmaske 22 vor. Die Transformation 26 teilt sich in eine Vorverarbeitungsstufe PRE und eine Transformationsstufe TRANS auf. Während der Vorverarbeitungsstufe PRE werden alle Sichtstrahlen 45 und 3D-Punkte 49 berechnet. Jeder Sichtstrahl muss durch die jeweilige Blendenöffnung 42, 42' verlaufen. Alternativ zu den Blendenöffnungen 42, 42' kann auch ein Kamerazentrum C für die geometrische Konstruktion der der Sichtstrahlen 45, 50 zugrundegelegt werden, d.h. jeder Sichtstrahl muss durch das jeweilige Kamerazentrum C verlaufen. Anschließend werden diese in die Bildebene 43 der Umfeldkamera 11 projiziert und die neue Bildmaske 21 wird erstellt. Sofern sich nur die Winkel der Einbaulage der Kamera ändern, erhält die Transformation als Input die Kameraintrinsik, die sich von Kamera zu Kamera wenig ändert, die Extrinsik der Referenzkamera 11' und der eigentlichen Kamera 11, sowie die initiale Referenzmaske 22, die für jeden Fahrzeugtyp einzeln angelegt werden muss. Jeder Knoten der Maske definiert einen Sichtstahl 45 vom Kamerazentrum durch das Bild. Mit den neuen Kamerawerten werden diese Sichtstrahlen 45 in das neue Bild 17 rückprojiziert, um die Knoten 23' für die Maske 21 für das eigentliche Fahrzeug 10 zu bestimmen. Es sollte möglich sein, die x- und y-Komponenten der Kameraposition (siehe das Koordinatensystem von 1) möglichst konstant zu halten, jedoch kann es zum Versatz in der z-Koordinate kommen, relativ zur Karosserie. Ist dieser gering und die im Bild sichtbaren Fahrzeugteile 19 sind hinreichend weit weg vom Kamerazentrum, sollte das Verfahren weiterhin funktionieren. Ändert sich die Höhe (z-Komponente) der Einbaulage der aktuellen Kamera jedoch erheblich, muss auch der Algorithmus angepasst werden. Für eine genaue Projektion eines Maskenpunktes 23', der sich in der Nähe einer Fahrzeugkontur befindet, wird eine ungefähre Distanz 47 vom Kamerazentrum zu der Kontur benötigt. ist dieser Abstand gering führt der z Versatz zu großen Änderungen im Bild 17. Weitere Sichteinschränkungen im Bild 17 werden durch Kamerahalterungen 20 erzeugt, die sich bei Positionsänderungen nicht anders im Bild bemerkbar machen. Dementsprechend werden Maskenknoten, die zu diesen Aussparungen gehören, entsprechend markiert und nicht transformiert (Fixknoten 34).The realization consists of a vehicle, one or more calibrated wide angle cameras for environment detection, their field of vision by ego vehicle parts 19 in the picture 17 is restricted. This is a reference calibration 27 and a reference mask 22 in front. The transformation 26 splits into a pre-processing stage PRE and a transformation stage TRANS on. During the preprocessing stage PRE all visual rays become 45 and 3D points 49 calculated. Each sight beam must pass through the respective aperture 42 . 42 ' run. Alternative to the apertures 42 . 42 ' can also be a camera center C for the geometric construction of the visual beams 45 . 50 Each visual ray must pass through the respective camera center C. Subsequently, these are in the image plane 43 the surrounding camera 11 projected and the new image mask 21 is created. If only the angles of the mounting position of the camera change, the transformation receives as input the camera intrinsic, which changes little from camera to camera, the extrinsic of the reference camera 11 ' and the actual camera 11 , as well as the initial reference mask 22 , which must be created individually for each vehicle type. Each node of the mask defines a viewing bar 45 from the camera center through the picture. With the new camera values these visual beams become 45 in the new picture 17 backprojected to the nodes 23 ' for the mask 21 for the actual vehicle 10 to determine. It should be possible to use the x and y components of the camera position (see the coordinate system of 1 ) to keep as constant as possible, but it can come to the offset in the z-coordinate, relative to the body. Is this low and visible in the image vehicle parts 19 are sufficiently far away from the camera center, the process should continue to work. However, if the height (z-component) of the installation position of the current camera changes considerably, the algorithm must also be adjusted. For an accurate projection of a mask point 23 ' , which is located near a vehicle contour, becomes an approximate distance 47 needed from the camera center to the contour. if this distance is small, the z offset leads to large changes in the picture 17 , Other visual restrictions in the picture 17 be through camera mounts 20 generated, which make themselves noticeable in position changes otherwise in the image. Accordingly, mask nodes belonging to these recesses are marked accordingly and not transformed (fixed nodes 34 ).

Somit behandelt man drei Typen von Punkten oder Knoten: Transformierbare Knoten 23, die keine Distanzschätzung benötigen - Transformierbare Knoten 23 mit bekannter Distanz 27 und Fixknoten 34. Die Ordnung der Knotenmaske (Anzahl der Maskenknoten) kann unverändert bleiben. In Einzelfällen kann durch große Rotationsänderungen ein Knoten komplett außerhalb des Bildes abgebildet werden und dann gelöscht werden. Wenn man die Knotenwahl innerhalb eines Vetrauensbereiches wählt, der über die möglichen Unsicherheiten der Einbaulage bestimmt werden kann, sollte dies jedoch kein Problem darstellen. Um zu verhindern, dass sich die Ordnung/ Anzahl der Punkte ändert, kann im Uhrzeigersinn vom Schwerpunkt der Maske aussortiert werden.Thus, one treats three types of points or nodes: Transformable nodes 23 that do not need distance estimation - Transformable nodes 23 with a known distance 27 and fixed nodes 34 , The order of the node mask (number of mask nodes) can remain unchanged. In individual cases, a node can be completely out of the picture due to large rotation changes be and then deleted. However, choosing the node choice within a confidence range that can be determined by the possible uncertainties of the mounting position should not be a problem. To prevent the order / number of dots from changing, you can sort them out clockwise from the center of gravity of the mask.

Die Sichtstahlen werden über unverzerrte Punktpositionen 41 berechnet, somit muss eine Berechnungsvorschrift für die Entzerrung 40 über die Kalibrierung erfolgen. Im Anschluss wird die bereits beschriebene Prozedur ausgeführt. In 5 wird dargestellt, wie die Vorprozessierungsstufe PRE durchgeführt werden kann. Mit den Eingangsdaten, bestehend aus Kameraintrinsik/extrinsik und getaggten Knoten der Maske werden je nach Knotentyp 3D Punkte, Sichtstrahlen oder Knoten der adaptierten Maske erzeugt. Diese gehen in der Transformationsstufe TRANS gemäß 6, in dem die Sichtstrahlen 45 und 3D-Auftreffpunkte 49 weiterverarbeitet werden. Zum Schluss erhält man eine neue Knotenliste.The sight steels are over undistorted point positions 41 calculated, therefore, a calculation rule for the equalization 40 via the calibration. Afterwards, the procedure already described is carried out. In 5 is displayed as the pre-processing stage PRE can be carried out. With the input data, consisting of camera trinsics / extrinsic and tagged nodes of the mask, depending on the node type 3D Points, visual rays or nodes of the adapted mask generated. These go in the transformation stage TRANS according to 6 in which the visual rays 45 and 3D Meeting points 49 are further processed. Finally, you get a new node list.

Eine mögliche alternative Lösung würde die Verwendung eines exakten 3D Models in einer CAD Umgebung berücksichtigen. Die Distanzen zu den fahrzeugnahen Maskenknoten könnten exakt bestimmt werden. Man könnte auf die Verwendung von Sichtstrahlen komplett verzichten. Diese transformierbare Maske würde mit einer fixen Maske kombiniert werden. Dieser Ansatz würde die Fehler durch Ver-/Entzerrung minimieren. Ein alternativer Ansatz könnte so aussehen, dass bei der Serienproduktion ein Kalibrierraum eingebunden wird, der etwa eine bestimmte Farbe hat oder mit einem Pattern ausgelegt ist. Die Masken würden definiert werden, indem man über Bildverarbeitungsalgorithmen die Farben/Pattern in den Kamerabildern suchen würde. Dieser Ansatz könnte zu einer nahezu optimalen Maske führen. Es gilt jedoch zu berücksichtigen, dass er auch bei verschiedenen Farben des Fahrzeugs funktionieren muss. Optimal könnte ein Raum sein in dem die Farbe mehrfach wechselt. Bei jeder Farbe würde eine Maske erzeugt werden und nur wenn hinreichend viele Masken sich überdecken, würde die finale Maske erstellt werden. Man könnte sich sicherlich auch einen Modus überlegen, bei dem das Fahrzeug zur Maskenerstellung in Bewegung versetzt wird. Problematisch bei dem Ansatz ist, dass er nicht dynamisch im Betrieb des Fahrzeugs wiederholbar ist. Im Lebenszyklus eines Fahrzeugs kann sich die extrinsische Kalibrierung verändern.One possible alternative solution would be to consider the use of an exact 3D model in a CAD environment. The distances to the vehicle-close mask nodes could be determined exactly. One could completely dispense with the use of visual beams. This transformable mask would be combined with a fixed mask. This approach would minimize the errors due to distortion / equalization. An alternative approach could be to include a calibration space in series production that has a certain color or pattern. The masks would be defined by looking through image processing algorithms for the colors / patterns in the camera images. This approach could lead to a nearly optimal mask. However, it has to be taken into account that it also has to work for different colors of the vehicle. Optimal could be a room in which the color changes several times. For each color, a mask would be created, and only if there were enough masks to cover itself would the final mask be created. You could certainly think of a mode in which the vehicle is set into motion for mask making. The problem with the approach is that it is not dynamically repeatable in the operation of the vehicle. In the life cycle of a vehicle, the extrinsic calibration may change.

Die Inputs, die hier vorgeschlagen werden, sind sehr gering. Da nur Kalibrierdaten und eine händisch angefertigte Referenzmaske verwendet werden, ist der Aufwand gering. Es liegt uns auch kein exaktes 3D Modell der zukünftigen Fahrzeuge vor, diese werden typischerweise lange zurückgehalten. Der Kalibrierraumansatz erfordert Infrastruktur in der Produktionskette und ist somit auch wesentlich aufwändiger. Ein analoger Ansatz zu dem hier vorgestellten ist die Definition der ROI per Bitmaske (Pixel-Fläche) statt eines Polygonzugs. Auch hier kann man Randpunkte wählen und wie beschrieben tranformieren, um schließlich eine transformierte Bitmaske zu erhalten.The inputs proposed here are very small. Since only calibration data and a hand-made reference mask are used, the effort is low. We also have no exact 3D model of the future vehicles, these are typically retained for a long time. The calibration room approach requires infrastructure in the production chain and is thus considerably more expensive. An analogous approach to the one presented here is the definition of the ROI per bit mask (pixel area) instead of a polygon. Again, one can select edge points and transform as described to finally obtain a transformed bitmask.

Der wesentliche Vorteil besteht darin, dass mit ähnlichen Mitteln, die aktuell in der Serienentwicklung umgesetzt werden, Zusatzinformationen für die Kundenfunktionen gewonnen werden können. Somit stellt dies einen wesentlichen Mehrwert für das Produktportfolie bei Volkswagen dar.The main advantage is that additional information for the customer functions can be obtained with similar means that are currently being implemented in series development. Thus, this represents a significant added value for the product portfolio at Volkswagen.

Insgesamt zeigt das Beispiel, wie durch die Erfindung eine Erkennungsleistung von kamerabasierten Algorithmen verbessert werden kann.Overall, the example shows how a detection performance of camera-based algorithms can be improved by the invention.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

1010

Kraftfahrzeugmotor vehicle

1111

Umfeldkameraenvironment camera

1212

Erfassungsbereichdetection range

1313

Umfeldenvironment

1414

Optische AchseOptical axis

1515

Steuervorrichtungcontrol device

1616

FahrerassistenzsystemDriver assistance system

1717

Kamerabildcamera image

1818

Bildausschnittimage section

1919

Bauteilcomponent

2020

Kamerahalterungcamera mount

2121

Bildmaskeimage mask

2222

Referenzmaskereference mask

2323

Maskenknotenmask node

2424

EinbaulageMounting position

2525

EinbaulageMounting position

2626

Transformationtransformation

2727

ReferenzkalibrierdatenReferenzkalibrierdaten

2828

Kalibrierdatencalibration

2929

Vorverarbeitungsschrittpreprocessing

3030

Vorverarbeitungsschrittpreprocessing

3131

Transformationsschritttransformation step

3232

Transformationsschritttransformation step

3333

Transformationsschritttransformation step

3434

FixknotenFixknoten

3535

Verzerrungsdatendistortion data

35'35 '

Verzerrungsdatendistortion data

3636

RotationsmatrixdatenRotation matrix data

36'36 '

RotationsmatrixdatenRotation matrix data

3737

KamerakonfigurationsdatenCamera configuration data

37'37 '

KamerakonfigurationsdatenCamera configuration data

3838

KamerapositionsdatenCamera position data

38'38 '

KamerapositionsdatenCamera position data

3939

ÜberprüfungsschrittVerification step

4040

Entzerrungequalization

40'40 '

Verzerrungdistortion

4141

Entzerrter BildpunktEqualized pixel

4242

Blendenöffnungaperture

42'42 '

Blendenöffnungaperture

4343

Bildebeneimage plane

4444

Bildsensorimage sensor

4545

Sichtstrahlof sight

4646

Kameraumgebungcamera environment

4747

Abstanddistance

4848

Objektobject

4949

Auftreffpunktof impact

5050

Rekonstruierter SichtstrahlReconstructed visual beam

5151

Bildpunktpixel

PREPRE

Vorverarbeitungsstufepreprocessing

TRANSTRANS

Transformationsstufetransformation stage

Claims (8)

Verfahren zum Bereitstellen einer Bildmaske (21), mittels welcher in einem Kamerabild (17) einer Umfeldkamera (11) eines Kraftfahrzeugs (10) eine Bildauswertung auf eine Interessensregion (ROI) beschränkt wird, wobei - Kalibrierdaten (28) der Umfeldkamera (11), Referenzkalibrierdaten (27) einer Referenzkamera (11') eines Referenzfahrzeugs (10') sowie eine Referenzmaske (22), welche für die Referenzkamera (11') in dem Referenzfahrzeug (10') die Interessensregion (ROI) beschreibt, empfangen werden, und - auf der Grundlage der Kalibrierdaten (28) und der Referenzkalibrierdaten (27) eine Transformation (26) ermittelt wird, - auf der Grundlage von Maskenknoten (23) der Referenzbildmaske (22) mittels der Transformation (26) verschobene Maskenknoten (23') ermittelt werden und - auf der Grundlage der verschobenen Maskenknoten (23') die Bildmaske (21) gebildet wird, dadurch gekennzeichnet, dass - die Referenzkalibrierdaten (27) eine Bildverzerrung der Referenzkamera (11') beschreiben und in einem Vorverarbeitungsschritt (29) der Transformation (26) bei den Maskenknoten (23) die Bildverzerrung der Referenzkamera (11') rückgängig gemacht wird, und/oder - die Referenzkalibrierdaten (27) eine Rotationsmatrix (36) der Referenzkamera (11') und/oder zumindest eine Kameraeinstellung (37) der Referenzkamera (11') beschreiben und in einem Vorverarbeitungsschritt (30) der Transformation (26) Sichtstrahlen (45), die in eine Kameraumgebung (46) der Referenzkamera (11') weisen, berechnet werden, und/oder - zumindest ein zusätzlicher Maskenknoten, welcher einen Bildpunkt einer Kamerahalterung (20) der Referenzkamera (11') beschreibt, ermittelt wird und dieser als Fixknoten (34) unverschoben in der Bildmaske (21) beibehalten wird.Method for providing an image mask (21) by means of which an image evaluation in a camera image (17) of an environment camera (11) of a motor vehicle (10) is limited to an interest region (ROI), wherein - calibration data (28) of the surrounding camera (11), Reference calibration data (27) of a reference camera (11 ') of a reference vehicle (10') and a reference mask (22) which describes the region of interest (ROI) for the reference camera (11 ') in the reference vehicle (10'), and a transformation (26) is determined on the basis of the calibration data (28) and the reference calibration data (27), - determined on the basis of mask nodes (23) of the reference image mask (22) by means of the mask nodes (23 ') shifted by the transformation (26) and - the image mask (21) is formed on the basis of the displaced mask nodes (23 '), characterized in that - the reference calibration data (27) describe image distortion of the reference camera (11') and a preprocessing step (29) of the transformation (26) at the mask nodes (23) the image distortion of the reference camera (11 ') is reversed, and / or - the reference calibration data (27) a rotation matrix (36) of the reference camera (11') and / or at least describe a camera setting (37) of the reference camera (11 ') and in a preprocessing step (30) the transformation (26) visual beams (45), in a camera environment (46) of the reference camera (11') are calculated, and / or - at least one additional mask node, which describes a pixel of a camera mount (20) of the reference camera (11 ') is determined and this is maintained as a fixed node (34) unshifted in the image mask (21). Verfahren nach Anspruch 1, wobei die Sichtstrahlen (45) berechnet werden und zu zumindest einem der Sichtstrahlen (45) jeweils ein Abstand (47) angegeben ist, in welchem der Sichtstrahl (45) in der Kameraumgebung (46) auf ein Objekt (48) auftrifft, und Koordinaten des Auftreffpunkts (49) ermittelt werden.Method according to Claim 1 in which the visual beams (45) are calculated and in each case a distance (47) is specified for at least one of the viewing beams (45), in which the viewing beam (45) impinges on an object (48) in the camera environment (46), and coordinates of the point of impact (49). Verfahren nach Anspruch 2, wobei die Kalibrierdaten (28) der Umfeldkamera (11) eine Einbauposition (25) der Umfeldkamera (11) in dem Kraftfahrzeug (10) beschreiben und in einem Transformationsschritt (31) der Transformation (26) ausgehend von dem zumindest einen Auftreffpunkt (49) jeweils ein zu der Umfeldkamera (11) weisender Sichtstrahl (50) berechnet wird.Method according to Claim 2 in which the calibration data (28) of the surroundings camera (11) describe an installation position (25) of the surrounding camera (11) in the motor vehicle (10) and in a transformation step (31) of the transformation (26) starting from the at least one impact point (49). in each case a viewing beam (50) pointing to the surrounding camera (11) is calculated. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Sichtstrahlen (45) berechnet werden und die Kalibrierdaten (28) der Umfeldkamera (11) eine Rotationsmatrix (36') der Umfeldkamera (11) und/oder zumindest eine Kameraeinstellung (37') der Umfeldkamera (11) beschreiben und in einem Transformationsschritt (31) der Transformation (26) die Sichtstrahlen (45, 50) jeweils auf eine Bildebene (43) des Kamerabilds (17) projiziert werden, wodurch sich Bildpunkte (51) der Sichtstrahlen (45, 50) ergeben.Method according to one of the preceding claims, wherein the visual beams (45) are calculated and the calibration data (28) of the surrounding camera (11) a rotation matrix (36 ') of the surrounding camera (11) and / or at least one camera setting (37') of the surrounding camera ( 11) and in a transformation step (31) of the transformation (26) the visual beams (45, 50) are respectively projected onto an image plane (43) of the camera image (17), whereby pixels (51) of the visual beams (45, 50) result. Verfahren nach Anspruch 4, wobei die Kalibrierdaten (28) der Umfeldkamera (11) eine Bildverzerrung (40') der Umfeldkamera (11) beschreiben und in einem Transformationsschritt (32) der Transformation (26) bei den Bildpunkten (51) die Bildverzerrung (30') der Umfeldkamera (11) angewendet wird.Method according to Claim 4 , wherein the calibration data (28) of the surrounding camera (11) describe an image distortion (40 ') of the surrounding camera (11) and in a transformation step (32) of the transformation (26) at the pixels (51) the image distortion (30') of the surrounding camera (11) is applied. Steuervorrichtung (15) für eine Umfeldkamera (11) eines Kraftfahrzeugs (10), wobei die Steuervorrichtung (15) eine Recheneinrichtung aufweist, die dazu eingerichtet ist, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.Control device (15) for an environment camera (11) of a motor vehicle (10), wherein the control device (15) has a computing device which is arranged to perform a method according to any one of the preceding claims. Umfeldkamera (11) mit einer Steuervorrichtung (15) nach Anspruch 6.Environment camera (11) with a control device (15) after Claim 6 , Kraftfahrzeug (10) mit zumindest einer Umfeldkamera (11) nach Anspruch 7.Motor vehicle (10) with at least one environment camera (11) according to Claim 7 ,

Images