DE102017215283A1 - Method for anonymizing an image for a camera system of a motor vehicle, image processing device, camera system and motor vehicle - Google Patents

Method for anonymizing an image for a camera system of a motor vehicle, image processing device, camera system and motor vehicle Download PDF

Info

Publication number
DE102017215283A1
DE102017215283A1 DE102017215283.4A DE102017215283A DE102017215283A1 DE 102017215283 A1 DE102017215283 A1 DE 102017215283A1 DE 102017215283 A DE102017215283 A DE 102017215283A DE 102017215283 A1 DE102017215283 A1 DE 102017215283A1
Authority
DE
Germany
Prior art keywords
image
anonymized
image area
camera system
motor vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
DE102017215283.4A
Other languages
German (de)
Inventor
Torsten Schön
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Audi AG
Original Assignee
Audi AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Audi AG filed Critical Audi AG
Priority to DE102017215283.4A priority Critical patent/DE102017215283A1/en
Publication of DE102017215283A1 publication Critical patent/DE102017215283A1/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Anonymisieren eines Bilds (6) für ein Kamerasystem (2) eines Kraftfahrzeugs (1) durch Empfangen des Bilds (6), welches vorbestimmte Bildeigenschaften aufweist, Identifizieren eines zu anonymisierenden Bildbereichs (10a, 10b) in dem Bild (6), wobei der zu anonymisierenden Bildbereich (10a, 10b) ein Objekt abbildet, Bestimmen eines künstlichen Bildbereichs (11a, 11b) für den zu anonymisierenden Bildbereich (10a, 10b), wobei der künstliche Bildbereich (11a, 11b) einen Typ des Objekts mit den Bildeigenschaften des Bilds (6) beschreibt und Ersetzen des zu anonymisierenden Bildbereichs (10a, 10b) durch den künstlichen Bildbereich (11a, 11b) zum Bereitstellen eines anonymisierten Bilds (6').

Figure DE102017215283A1_0000
The invention relates to a method for anonymizing an image (6) for a camera system (2) of a motor vehicle (1) by receiving the image (6) having predetermined image properties, identifying an image area (10a, 10b) to be anonymized in the image ( 6), wherein the image area (10a, 10b) to be anonymized images an object, determining an artificial image area (11a, 11b) for the image area (10a, 10b) to be anonymized, wherein the artificial image area (11a, 11b) is a type of the object with the image properties of the image (6) and replacing the image area (10a, 10b) to be anonymized by the artificial image area (11a, 11b) to provide an anonymized image (6 ').
Figure DE102017215283A1_0000

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Anonymisieren eines Bilds für ein Kamerasystem eines Kraftfahrzeugs. Darüber hinaus betrifft die vorliegende Erfindung eine Bilderverarbeitungseinrichtung. Ferner betrifft die vorliegende Erfindung ein Kamerasystem sowie ein Kraftfahrzeug.The present invention relates to a method for anonymizing an image for a camera system of a motor vehicle. Moreover, the present invention relates to an image processing device. Furthermore, the present invention relates to a camera system and a motor vehicle.

Das Interesse richtet sich vorliegend auf Kamerasysteme für Kraftfahrzeuge. Derartige Kamerasysteme umfassen zumindest eine Kamera und eine Bilderverarbeitungseinrichtung, mittels welcher Bilder, die mit der Kamera aufgenommen werden, ausgewertet werden können. Derartige Kamerasysteme können beispielsweise dazu genutzt werden, Objekte in einer Umgebung des Kraftfahrzeugs zu erkennen. Als Objekte können insbesondere weitere Verkehrsteilnehmer, wie Fahrzeuge oder Fußgänger, erkannt werden. Um diese Objekte zuverlässig erkennen zu können, ist es erforderlich das Kamerasystem beziehungsweise die Bilderverarbeitungseinrichtung in einer Trainingsphase entsprechend zu trainieren. Hierzu werden Trainings-Bilder verwendet, welche die Objekte abbilden.The interest here is directed to camera systems for motor vehicles. Such camera systems comprise at least one camera and an image processing device, by means of which images taken with the camera can be evaluated. Such camera systems can be used, for example, to detect objects in an environment of the motor vehicle. In particular, other road users, such as vehicles or pedestrians, can be recognized as objects. In order to reliably detect these objects, it is necessary to train the camera system or the image processing device accordingly in a training phase. For this purpose, training images are used, which depict the objects.

Wenn die Bilder oder Trainings-Bilder Bildbereiche mit personenbezogenen Daten, wie beispielsweise Gesichtern von Personen oder Fahrzeugkennzeichen, zeigen, ist es erforderlich, diese Bildbereiche entsprechend zu anonymisieren oder unkenntlich zu machen. Hierzu ist es aus dem Stand der Technik bekannt, dass diese zu anonymisierenden Bildbereiche entweder geblurred werden oder verpixelt werden. Dies bringt aber den Nachteil mit sich, dass sich die Bildeigenschaften dieser unkenntlich gemachten Bildbereiche verändern und diese nicht mehr als Trainings-Bilder für Kamerasysteme verwendet werden können. Insbesondere ergeben sich Abweichungen zwischen den unkenntlich gemachten Bildbereichen in den Trainings-Bildern und den Bildern, welche im Echtzeitbetrieb beziehungsweise im Betrieb des Kraftfahrzeugs bereitgestellt werden. Eine Möglichkeit wäre, die Echtzeitbilder während der Fahrt entsprechend der Trainings-Bilder zu verändern. Dies wäre aber sehr zeitaufwendig und rechenintensiv.If the images or training images show image areas containing personal data, such as people's faces or vehicle license plates, it is necessary to anonymise or obscure these image areas accordingly. For this purpose, it is known from the prior art that these are either blurred or pixelated to anonymizing image areas. However, this entails the disadvantage that the image properties of these unrecognizable image areas change and these can no longer be used as training images for camera systems. In particular, deviations occur between the unrecognizable image areas in the training images and the images which are provided in real-time operation or during operation of the motor vehicle. One possibility would be to change the real-time images while driving according to the training images. This would be very time consuming and computationally intensive.

Es ist Aufgabe der vorliegenden Erfindung, ein Verfahren bereitzustellen, mit welchem Bilder für ein Kamerasystem eines Kraftfahrzeugs auf zulässige Weise und mit einem geringen Rechenaufwand anonymisiert werden können. Darüber hinaus eine entsprechende Bilderverarbeitungseinrichtung, Kamerasystem sowie Kraftfahrzeug bereitgestellt werden.It is an object of the present invention to provide a method with which images for a camera system of a motor vehicle can be anonymized in a permissible manner and with a low computational cost. In addition, a corresponding image processing device, camera system and motor vehicle are provided.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Bildverarbeitungseinrichtung, durch ein Kamerasystem zu dem Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteil auf der Weiterbildungen der vorliegenden Erfindung sind Gegenstand der abhängigen Ansprüche.This object is achieved by a method by an image processing device, by a camera system to the motor vehicle with the features according to the respective independent claims. Advantage of the developments of the present invention are the subject of the dependent claims.

Ein erfindungsgemäßes Verfahren dient zum anonymisieren eines Bilds für ein Kamerasystem eines Kraftfahrzeugs. Bei dem Verfahren wird das Bild empfangen, welches vorbestimmte Bildeigenschaften aufweist. Zudem umfasst das Verfahren das Identifizieren eines zu anonymisierenden Bildbereichs dem Bild, wobei der zu anonymisierende Bildbereich ein Objekt abbildet. Außerdem umfasst das Verfahren das Bestimmen eines künstlichen Bildbereichs für den zu anonymisierenden Bildbereich, wobei der künstliche Bildbereich einen Typ des Objekts mit den Bildeigenschaften des Bilds beschreibt. Des Weiteren umfasst das Verfahren das Ersetzen des zu anonymisierenden Bildbereichs durch den künstlichen Bildbereich zum Bereitstellen eines anonymisierten Bilds.An inventive method is used to anonymize an image for a camera system of a motor vehicle. In the method, the image is received which has predetermined image characteristics. In addition, the method comprises identifying an image area to be anonymized to the image, wherein the image area to be anonymized images an object. In addition, the method includes determining an artificial image area for the image area to be anonymized, wherein the artificial image area describes a type of the object having the image characteristics of the image. Furthermore, the method comprises replacing the image area to be anonymized by the artificial image area to provide an anonymized image.

Mithilfe des Verfahrens sollen Bilder eines Kamerasystems anonymisiert werden. Das Verfahren kann beispielsweise mithilfe einer Bilderverarbeitungseinrichtung des Kamerasystems durchgeführt werden. Dabei wird mittels der Bilderverarbeitungseinrichtung das Bild empfangen. Dieses Bild kann mit einer Kamera des Kamerasystems bereitgestellt werden beziehungsweise aufgenommen werden. Es kann auch vorgesehen sein, dass es sich bei dem Bild um ein Trainings-Bild handelt, welches zum Training der Bilderverarbeitungseinrichtung verwendet wird. Die Bildbearbeitungseinrichtung kann durch eine entsprechende Recheneinrichtung gebildet werden, auf welcher ein Programm beziehungsweise ein Algorithmus zum Ablauf gebracht wird. Mithilfe des Programms können dann Objekte, welche in dem Bild abgebildet sind, automatisch erkannt werden. Hierzu können entsprechende Objekterkennungsalgorithmen oder Verfahren des maschinellen Sehens genutzt werden. Vorliegend sollen in dem Bild der zumindest eine Bildbereich erkannt werden, welche anonymisiert werden soll. Grundsätzlich können auch mehrere Bildbereich erkannt werden, welche anonymisiert werden. Diese zu anonymisierenden Bildbereiche beschreiben insbesondere personenbezogene Daten, wie beispielsweise Gesichter von Personen oder Kennzeichen von Fahrzeugen.The process is intended to anonymize images of a camera system. The method can be carried out, for example, by means of an image processing device of the camera system. In this case, the image is received by means of the image processing device. This image can be provided or recorded with a camera of the camera system. It can also be provided that the image is a training image which is used to train the image processing device. The image processing device can be formed by a corresponding computing device, on which a program or an algorithm is brought to expiration. The program can then automatically detect objects that are displayed in the image. For this purpose, corresponding object recognition algorithms or methods of machine vision can be used. In the present case, at least one image area to be anonymized should be recognized in the image. Basically, several image areas can be recognized, which are anonymized. These image areas to be anonymized describe in particular personal data, such as faces of persons or license plates of vehicles.

Zum Anonymisieren der Bildbereiche wird zunächst der zu anonymisierende Bildbereich in dem Bild identifiziert. Dabei beschreibt der zu anonymisierende Bildbereich ein Objekt oder einen Teil davon. Für diesen zu anonymisierenden Bildbereich wird dann ein künstlicher Bildbereich bestimmt. Dieser künstliche Bildbereich beschreibt den Typ des Objekts. Falls es sich bei dem zu anonymisierenden Bildbereich um ein Gesicht einer Person handelt, beschreibt der künstliche Bildbereich also ebenfalls ein Gesicht. Wenn es sich bei dem zu anonymisierenden Bildbereich um ein Nummernschild oder Kennzeichen handelt, so beschreibt der künstliche Bildbereich ebenfalls ein Kennzeichen.To anonymize the image areas, the image area to be anonymized in the image is first identified. In this case, the image area to be anonymized describes an object or a part thereof. An artificial image area is then determined for this image area to be anonymized. This artificial image area describes the type of the object. If the image area to be anonymized is a person's face, the artificial image area also describes one Face. If the image area to be anonymized is a license plate or license plate, the artificial image area also describes a license plate.

Dabei ist es vorgesehen, dass der künstliche Bildbereich den Typ des Objekts beziehungsweise das Objekt mit den Bildeigenschaften des Bilds beschreibt. Das Bild wird mit der vorbestimmten Bildeigenschaften bereitgestellt. Diese Bildeigenschaften sind beispielsweise durch die Kamera bestimmt, mittels welcher das Bild aufgenommen wird. Die Bildeigenschaften können beispielsweise die Auflösung, einen Helligkeitsverlauf, einen Kontrast, eine Schärfe oder dergleichen des Bilds beschreiben. Der künstliche Bildbereich wird nun zufällig und speziell für den zu anonymisierenden Bildbereich bestimmt. Insbesondere ist der künstliche Bildbereich ein realitätsnahes Abbild oder ein fotorealistisches Abbild des zu anonymisierenden Bildbereichs. Dies bedeutet insbesondere, dass der künstliche Bildbereich keine vereinfachte grafische Darstellung des zu anonymisierenden Bildbereichs ist. In dem Bild wird der zu anonymisierende Bildbereich dann durch den künstlichen Bildbereich ersetzt. Auf diese Weise kann der zu anonymisierende Bildbereich unter Beibehaltung der ursprünglich in Bildeigenschaften unkenntlich gemacht werden. Diese ermöglicht es, das anonymisierte Bild zu speichern, da es keine personenbezogenen Daten mehr enthält. Damit kann das anonymisierte Bild beispielsweise als Trainings-Bild zum Trainieren von Bildverarbeitungseinrichtungen verwendet werden.It is provided that the artificial image area describes the type of the object or the object with the image properties of the image. The image is provided with the predetermined image properties. These image properties are determined, for example, by the camera by means of which the image is recorded. The image characteristics may describe, for example, the resolution, a brightness characteristic, a contrast, a sharpness or the like of the image. The artificial image area is now determined randomly and specifically for the image area to be anonymized. In particular, the artificial image area is a realistic image or a photorealistic image of the image area to be anonymized. This means in particular that the artificial image area is not a simplified graphical representation of the image area to be anonymized. In the image, the image area to be anonymized is then replaced by the artificial image area. In this way, the image area to be anonymized while retaining the original image characteristics can be made unrecognizable. This makes it possible to save the anonymized image, as it no longer contains personal data. Thus, the anonymized image can be used, for example, as a training image for training image processing facilities.

Bevorzugt wird der künstliche Bildbereich mithilfe eines Algorithmus bestimmt, wobei der Algorithmus mit Trainings-Bildbereichen trainiert ist, welche den Typ des Objekts beschreiben. Dabei ist es insbesondere vorgesehen, dass der künstliche Bildbereich mittels eines erzeugenden generischen Netzwerks bestimmt wird. Ein solches erzeugendes generisches Netzwerk kann auch als Generative Adversarial Network (GAN) bezeichnet werden. Ein derartiges Netzwerk beziehungsweise ein solcher Algorithmus kann mit Trainingsbildbereichen trainiert werden. Diese Trainings-Bildbereiche können beispielsweise Gesichter beschreiben. Somit weiß der Algorithmus quasi wie Gesichter aussehen sollen. Aus diesem Wissen können dann Gesichter für den künstlichen Bildbereich konstruiert beziehungsweise künstlich erzeugt werden. Auf diese Weise kann das Bild bei Erhalt der originalen Bildeigenschaften anonymisiert werden.Preferably, the artificial image area is determined using an algorithm, the algorithm being trained with training image areas describing the type of the object. It is provided in particular that the artificial image area is determined by means of a generating generic network. Such a generating generic network may also be referred to as Generative Adversarial Network (GAN). Such a network or such an algorithm can be trained with training image areas. These training image areas can describe faces, for example. Thus the algorithm knows what faces should look like. From this knowledge, faces can then be constructed or artificially created for the artificial image area. In this way, the image can be anonymized upon receipt of the original image properties.

Weiterhin ist es vorteilhaft, wenn der zu anonymisierende Bildbereich vor dem Ersetzen vollständig aus dem Bild entfernt wird. Nachdem der zu anonymisierende Bildbereich erkannt wurde, kann dieser beziehungsweise die Bildpunkte, welche dem zu anonymisierenden Bereich zugeordnet sind, gelöscht werden. Somit werden alle personenbezogenen Daten vollständig aus dem Bild entfernt. Des Weiteren können die personenbezogenen Daten nicht mehr aus dem anonymisierten Bild rekonstruiert werden.Furthermore, it is advantageous if the image area to be anonymized is completely removed from the image before being replaced. Once the image area to be anonymized has been recognized, it can be deleted, or the pixels which are assigned to the area to be anonymized. Thus, all personal data is completely removed from the image. Furthermore, the personal data can no longer be reconstructed from the anonymized image.

Bevorzugt beschreibt der zu anonymisierende Bildbereich personenbezogenen Daten in dem Bild, insbesondere Gesichter von Personen oder Kennzeichen von Fahrzeugen. Der zu anonymisierende Bildbereich, welche ersetzt werden soll, kann Personen oder Teile davon beschreiben. Beispielsweise kann der zu anonymisierende Bildbereich einem Abbild eines Gesichts oder Teile des Körpers von Personen zugeordnet sein. Der zu anonymisierende Bildbereich Fahrzeugkennzeichen beziehungsweise einem und stellt zugeordnet sein. Alternativ oder zusätzlich kann der zu anonymisierende Bereich einem Straßenschild oder Haus zugeordnet sein. In einem Bild können grundsätzlich mehrere zu anonymisierende Bildbereiche erkannt werden und für jeden der zu anonymisierende Bildbereiche der künstliche Bildbereich bestimmt werden.The image area to be anonymized preferably describes personal data in the image, in particular faces of persons or license plates of vehicles. The image area to be anonymized which is to be replaced may describe persons or parts thereof. For example, the image area to be anonymized may be associated with an image of a face or parts of the body of persons. The to be anonymized image area vehicle license plate or one and represents assigned. Alternatively or additionally, the area to be anonymized may be associated with a street sign or house. In principle, several image areas to be anonymized can be recognized in an image, and the artificial image area can be determined for each of the image areas to be anonymized.

In einer weiteren Ausführungsform wird der zu anonymisierende Bildbereich mittels Segmentierung erkannt. Insbesondere ist es vorgesehen, dass zum Erkennen des zu anonymisierenden Bildbereichs eine semantische Segmentierung verwendet wird. Grundsätzlich können auch andere Verfahren der Objekterkennung verwendet werden, um die zu anonymisierenden Bildbereich zu erkennen. Dies ermöglicht eine zuverlässige Identifizierung der zu anonymisierenden Bereiche.In a further embodiment, the image area to be anonymized is recognized by means of segmentation. In particular, it is provided that a semantic segmentation is used to recognize the image area to be anonymized. In principle, other methods of object recognition can also be used in order to recognize the image area to be anonymized. This allows reliable identification of the areas to be anonymized.

Weiterhin ist es vorteilhaft, wenn das anonymisierte Bild anhand eines von einer Kamera des Kamerasystems im Betrieb des Kraftfahrzeugs aufgenommen Bilds bestimmt wird und/oder das anonymisierte Bild für ein Training des Kamerasystems in einem Trainingsmodus verwendet wird. Wie bereits erläutert, kann das anonymisierte Bild im Betrieb des Kamerasystems im Kraftfahrzeug bestimmt werden. Auf diese Weise können die Bilder, die im Betrieb des Kamerasystems und/oder während der Fahrt des Kraftfahrzeugs aufgenommen werden, zunächst anonymisiert und danach gespeichert werden. Alternativ oder zusätzlich können die Bilder auch anonymisiert werden, um diese als Trainings-Bilder für ein Training der Bilderverarbeitungseinrichtung zu verwenden. Ein solches Training kann vor der Inbetriebnahme der Bildverarbeitungseinrichtung beziehungsweise des Kamerasystems durchgeführt werden. Insbesondere kann somit ein Algorithmus zur Objekterkennung trainiert werden. Mithilfe der Bildverarbeitungseinrichtung kann ein Verfahren des maschinellen Lernens beziehungsweise des maschinellen Sehens ermöglicht werden. Hierzu können die Trainings-Bilder verwendet werden, um einen zuverlässigen Betrieb der Bildverarbeitungseinrichtung zu ermöglichen.Furthermore, it is advantageous if the anonymized image is determined on the basis of an image captured by a camera of the camera system during operation of the motor vehicle and / or the anonymized image is used for training the camera system in a training mode. As already explained, the anonymized image can be determined during operation of the camera system in the motor vehicle. In this way, the images that are taken during operation of the camera system and / or while driving the motor vehicle, first anonymized and then stored. Alternatively or additionally, the images may also be anonymized to use as training images for training the image processing device. Such a training can be carried out before the startup of the image processing device or the camera system. In particular, an algorithm for object recognition can thus be trained. By means of the image processing device, a method of machine learning or machine vision can be made possible. For this, the training images can be used to create a to allow reliable operation of the image processing device.

Eine erfindungsgemäße Bilderverarbeitungseinrichtung für ein Kamerasystem eines Kraftfahrzeugs ist zum Durchführen eines erfindungsgemäßen Verfahrens und der vorteilhaften Ausgestaltungen davon ausgelegt. Die Bildverarbeitungseinrichtung kann durch eine Recheneinrichtung, einen Prozessor oder dergleichen bereitgestellt werden. Auf der Bilderverarbeitungseinrichtung kann ein Algorithmus zum Ablauf gebracht werden. Im Betrieb des Kamerasystems kann die Bildverarbeitungseinrichtung dazu genutzt werden, in den Bildern, die von einer Kamera bereitgestellt werden, Objekte zu erkennen.An image processing device according to the invention for a camera system of a motor vehicle is designed for performing a method according to the invention and the advantageous embodiments thereof. The image processing device may be provided by a computing device, a processor, or the like. An algorithm can be run on the image processing device. During operation of the camera system, the image processing device can be used to recognize objects in the images provided by a camera.

Ein erfindungsgemäßes Kamerasystem für ein Kraftfahrzeug umfasst eine erfindungsgemäße Bilderverarbeitungseinrichtung und eine Kamera. Es kann auch vorgesehen sein, dass das Kamerasystem eine Mehrzahl von Kameras aufweist. Die zumindest eine Kamera ist zur Datenübertragung mit der Bilderverarbeitungseinrichtung verbunden. Somit können die Bilder, die mit der Kamera bereitgestellt werden, an die Bilderverarbeitungseinrichtung übertragen werden. Im Betrieb des Kraftfahrzeugs können dann mittels der Bildbearbeitungseinrichtung die Bilder ausgewertet werden, die mit der Kamera aufgenommen wurden. Mithilfe der Bilderverarbeitungseinrichtung können dann Objekte in den Bildern erkannt werden. Falls ein Objekt erkannt wird, kann ein entsprechendes Signal an den Fahrer des Kraftfahrzeugs ausgegeben werden. Es kann auch vorgesehen sein, dass bei dem Erkennen eines Objekts ein entsprechendes Steuersignal an ein Fahrerassistenzsystem des Kraftfahrzeugs ausgegeben wird. Somit können beispielsweise Kollisionen zwischen dem Kraftfahrzeug und dem Objekt werden. Das Kamerasystem kann zudem eine Speichereinrichtung aufweisen, auf welcher die anonymisierten Bilder gespeichert werden können.An inventive camera system for a motor vehicle comprises an image processing device according to the invention and a camera. It can also be provided that the camera system has a plurality of cameras. The at least one camera is connected to the image processing device for data transmission. Thus, the images provided with the camera can be transmitted to the image processing device. During operation of the motor vehicle, the images which were recorded with the camera can then be evaluated by means of the image processing device. The image processing device can then be used to recognize objects in the images. If an object is detected, a corresponding signal can be output to the driver of the motor vehicle. It can also be provided that upon detection of an object, a corresponding control signal is output to a driver assistance system of the motor vehicle. Thus, for example, collisions between the motor vehicle and the object can be. The camera system can also have a memory device on which the anonymized images can be stored.

Ein erfindungsgemäßes Kraftfahrzeug umfasst ein erfindungsgemäßes Kamerasystem. Das Kraftfahrzeug kann insbesondere als Personenkraftwagen oder als Nutzfahrzeug ausgebildet sein.A motor vehicle according to the invention comprises a camera system according to the invention. The motor vehicle may be designed in particular as a passenger car or as a commercial vehicle.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Bildverarbeitungseinrichtung, das erfindungsgemäße Kamerasystem sowie für das erfindungsgemäße Kraftfahrzeug.The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the image processing device according to the invention, the camera system according to the invention and to the motor vehicle according to the invention.

Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

  • 1 ein Kraftfahrzeug gemäß einer Ausführungsform der Erfindung, welches ein Kamerasystem mit einer Kamera und einer Bildverarbeitungseinrichtung aufweist;
  • 2 ein Bild, welches an die Bildverarbeitungseinrichtung übertragen wird;
  • 3 das Bild gemäß 2, in welchem zu anonymisierende Bildbereich erkannt werden;
  • 4 das Bild gemäß 3, aus welchem die zu anonymisierenden Bildbereich entfernt wurden;
  • 5 das Bild gemäß 4, in welchem für die zu anonymisierenden Bildbereich jeweilige künstliche Bildbereich bestimmt werden; und
  • 6 das anonymisierte Bild, in welchem die künstlichen Bildbereiche eingefügt sind.
In the following, embodiments of the invention are described. This shows:
  • 1 a motor vehicle according to an embodiment of the invention, which has a camera system with a camera and an image processing device;
  • 2 an image which is transmitted to the image processing device;
  • 3 the picture according to 2 in which anonymizing image area is recognized;
  • 4 the picture according to 3 from which the image area to be anonymized have been removed;
  • 5 the picture according to 4 in which respective artificial image areas are determined for the image area to be anonymized; and
  • 6 the anonymized image in which the artificial image areas are inserted.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The exemplary embodiments explained below are preferred embodiments of the invention. In the exemplary embodiments, the described components of the embodiments each represent individual features of the invention, which are to be considered independently of one another, which each further develop the invention independently of one another and thus also individually or in a different combination than the one shown as part of the invention. Furthermore, the described embodiments can also be supplemented by further features of the invention already described.

In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.In the figures, functionally identical elements are each provided with the same reference numerals.

1 zeigt ein Kraftfahrzeug 1 gemäß einer Ausführungsform der Erfindung in einer Draufsicht. Das Kraftfahrzeug 1, welches als Personenkraftwagen ausgebildet ist, umfasst ein Kamerasystem 2. Das Kamerasystem 2 dient dazu, Objekte in einer Umgebung 3 des Kraftfahrzeugs 1 zu erfassen. Insbesondere können mit dem Kamerasystem 2 Objekte in der Umgebung 3 automatisch erkannt werden. 1 shows a motor vehicle 1 according to an embodiment of the invention in a plan view. The car 1 , which is designed as a passenger car, includes a camera system 2 , The camera system 2 serves to objects in an environment 3 of the motor vehicle 1 capture. In particular, with the camera system 2 Objects in the environment 3 be detected automatically.

Das Kamerasystem 2 umfasst eine Kamera 4, mittels welcher Bilder 6 bereitgestellt werden können. Darüber hinaus umfasst das Kamerasystem 2 eine Bildverarbeitungseinrichtung 5, welche durch eine Recheneinrichtung, einen Prozessor, einen Mikrocontroller, ein Steuergerät oder dergleichen bereitgestellt werden kann. Die Bildbearbeitungseinrichtung 5 ist zur Datenübertragung mit der Kamera 4 verbunden. Auf diese Weise können Bilder 6, die mit der Kamera 4 aufgenommen werden, an die Bildverarbeitungseinrichtung 5 übertragen werden. Wie nachfolgend näher erläutert, können mittels der Bildverarbeitungseinrichtung 5 die Bilder 6 entsprechend anonymisiert werden. Darüber hinaus umfasst das Kamerasystem 2 eine Speichereinrichtung 7, auf welcher die anonymisierten Bilder 6' gespeichert werden können. The camera system 2 includes a camera 4 , by means of which pictures 6 can be provided. In addition, the camera system includes 2 an image processing device 5 which may be provided by a computing device, a processor, a microcontroller, a controller, or the like. The image processing device 5 is for data transmission with the camera 4 connected. This way you can take pictures 6 that with the camera 4 be received, to the image processing device 5 be transmitted. As explained in more detail below, by means of the image processing device 5 the pictures 6 be anonymized accordingly. In addition, the camera system includes 2 a storage device 7 on which the anonymized images 6 ' can be stored.

2 zeigt ein Bild 6, welches mit der Kamera 4 aufgenommen wurde. Dieses Bild 6 kann die Umgebung 3 des Kraftfahrzeugs 1 abbilden. Vorliegend sind auf dem Bild 6 als Objekte beispielhaft eine Person sowie ein Fahrzeug abgebildet. Vorliegend sind ein Abbild 8 der Person sowie ein Abbild 9 des Fahrzeugs der Einfachheit halber nur schematisch dargestellt. 2 shows a picture 6 which with the camera 4 has been recorded. This picture 6 can the environment 3 of the motor vehicle 1 depict. Present are in the picture 6 as objects exemplified a person and a vehicle. Here are an image 8th the person as well as an image 9 of the vehicle for the sake of simplicity only shown schematically.

3 zeigt das Bild 6 gemäß 2, in welchem zu anonymisierende Bildbereiche 10a, 10b erkannt wurden. Als erster zu anonymisierende Bildbereich 10a wird ein Abbild 13 des Gesichts der Person erkannt. Als zweiter zu anonymisierende Bildbereich 10b wird ein Abbild 12 eines Kennzeichens des Fahrzeugs erkannt. Die zu anonymisierenden Bildbereiche 10a, 10b beschreiben personenbezogene Daten. Die zu anonymisierenden Bildbereiche 10a, 10b können mittels eines Detektionsalgorithmus identifiziert werden. Zu diesem Zweck kann insbesondere die semantische Segmentierung genutzt werden. 3 shows the picture 6 according to 2 in which anonymizing image areas 10a . 10b were detected. First to be anonymized image area 10a becomes an image 13 the face of the person recognized. Second as an anonymous image area 10b becomes an image 12 recognized a mark of the vehicle. The image areas to be anonymized 10a . 10b describe personal data. The image areas to be anonymized 10a . 10b can be identified by means of a detection algorithm. In particular, the semantic segmentation can be used for this purpose.

4 zeigt das Bild 6 gemäß 3, bei welchem die zu anonymisierenden Bildbereiche 10a, 10b entfernt wurden. Insbesondere werden die Bildinhalte aus den zu anonymisierenden Bildbereichen 10a, 10b entfernt. Hierzu können Bildpunkte in dem Bild 6, welche den jeweiligen zu anonymisierenden Bildbereichen 10a, 10b zugeordnet sind, gelöscht werden. Somit sind in dem Bild 6 keine personenbezogenen Daten mehr vorhanden. 4 shows the picture 6 according to 3 in which the image areas to be anonymized 10a . 10b were removed. In particular, the image contents become of the image areas to be anonymized 10a . 10b away. For this purpose, pixels in the image 6 which correspond to the respective image areas to be anonymized 10a . 10b are assigned to be deleted. Thus, in the picture 6 no personal data available.

5 zeigt einen ersten künstlichen Bildbereich 11a, welcher für den ersten zu anonymisierenden Bildbereich beziehungsweise das Abbild 13 des Gesichts bestimmt wurde. Zudem wurde für den zweiten zu anonymisierenden Bildbereich 10b beziehungsweise das Abbild 12 des Kennzeichens ein zweiter künstlicher Bildbereich 11b bestimmt. Die künstlichen Bildbereiche 11a, 11b werden mittels eines erzeugende generischen Netzwerks (GAN - Generative Adversarial Network) bestimmt. Ein solches Netzwerk kann durch neuronale Netze bereitgestellt werden, welche mit Trainings-Bildbereichen trainiert sind. Somit kann für den ersten zu anonymisierenden Bildbereich 10a ein künstlich erzeugtes und randomisiertes Gesicht in Form des ersten künstlichen Bildbereichs 11a erzeugt werden. Dieser erste künstliche Bildbereich 11a beschreibt ebenfalls ein Gesicht, welches in dem vorliegenden stark vereinfachten Beispiel ebenfalls einen Mund und Augen aufweist. Für den zweiten zu anonymisierenden Bildbereich 10b, welcher das Kennzeichen abbildet, wird der zweite künstliche Bildbereich 11b erzeugt, welcher ein zufällig bestimmtes Abbild eines Kennzeichens beschreibt, welches ebenfalls eine Kombination von Buchstaben und Zahlen enthält. Bei der Bestimmung der künstlichen Bildbereiche werden die ursprünglichen Bildeigenschaften des Bilds 6 beziehungsweise der zu anonymisierenden Bildbereiche 10a, 10b beibehalten. 5 shows a first artificial image area 11a , which for the first to be anonymized image area or the image 13 of the face was determined. In addition, for the second became anonymous image area 10b or the image 12 the indicator a second artificial image area 11b certainly. The artificial picture areas 11a . 11b are determined by means of a generating generic network (GAN - Generative Adversarial Network). Such a network may be provided by neural networks trained with training image areas. Thus, for the first image area to be anonymized 10a an artificially generated and randomized face in the form of the first artificial image area 11a be generated. This first artificial picture area 11a also describes a face which also has a mouth and eyes in the present greatly simplified example. For the second image area to be anonymized 10b which images the mark becomes the second artificial picture area 11b generated, which describes a randomly determined image of a flag, which also contains a combination of letters and numbers. In determining the artificial image areas, the original image characteristics of the image 6 or the image areas to be anonymized 10a . 10b maintained.

Schließlich zeigt 6 das anonymisierte Bild 6', bei dem die zu anonymisierenden Bildbereiche 10a, 10b durch die jeweiligen künstlichen Bildbereiche 11a, 11b ersetzt wurden. Somit wurde das ursprüngliche Bild 6 anonymisiert und die zu anonymisierenden Bildbereiche 10a, 10b lassen sich nicht wieder herstellen. Damit kann das anonymisierte Bild 6' auf der Speichereinrichtung gespeichert werden. Alternativ oder zusätzlich kann das anonymisierte Bild 6' als Trainings-Bild zum Trainieren von weiteren Bildverarbeitungseinrichtung 5 verwendet werden. Da bei der Anonymisierung des Bilds 6 die Bildeigenschaften nicht verändert wurden, kann das anonymisierte Bild 6' als Trainings-Bild verwendet werden.Finally shows 6 the anonymous picture 6 ' in which the image areas to be anonymized 10a . 10b through the respective artificial image areas 11a . 11b have been replaced. Thus, the original picture became 6 anonymous and the areas to be anonymized 10a . 10b can not be restored. This can be the anonymous image 6 ' stored on the storage device. Alternatively or additionally, the anonymized image 6 ' as a training image for training another image processing device 5 be used. As in the anonymization of the picture 6 the image properties have not been changed, the anonymous image 6 ' be used as a training picture.

Claims (10)

Verfahren zum Anonymisieren eines Bilds (6) für ein Kamerasystem (2) eines Kraftfahrzeugs (1) durch - Empfangen des Bilds (6), welches vorbestimmte Bildeigenschaften aufweist, -Identifizieren eines zu anonymisierenden Bildbereichs (10a, 10b) in dem Bild (6), wobei der zu anonymisierenden Bildbereich (10a, 10b) ein Objekt abbildet, - Bestimmen eines künstlichen Bildbereichs (11a, 11b) für den zu anonymisierenden Bildbereich (10a, 10b), wobei der künstliche Bildbereich (11a, 11b) einen Typ des Objekts mit den Bildeigenschaften des Bilds (6) beschreibt und - Ersetzen des zu anonymisierenden Bildbereichs (10a, 10b) durch den künstlichen Bildbereich (11a, 11b) zum Bereitstellen eines anonymisierten Bilds (6').Method for anonymizing an image (6) for a camera system (2) of a motor vehicle (1) Receiving the image (6) having predetermined image characteristics, Identifying an image area (10a, 10b) to be anonymized in the image (6), wherein the image area (10a, 10b) to be anonymized images an object, Determining an artificial image area (11a, 11b) for the image area to be anonymized (10a, 10b), the artificial image area (11a, 11b) describing a type of the object with the image properties of the image (6) and - Replacing the anonymous image area (10a, 10b) by the artificial image area (11a, 11b) for providing an anonymized image (6 '). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der künstliche Bildbereich (11a, 11b) mithilfe eines Algorithmus bestimmt wird, wobei der Algorithmus mit Trainings-Bildbereichen trainiert ist, welche den Typ des Objekts beschreiben.Method according to Claim 1 , characterized in that the artificial image area (11a, 11b) is determined using an algorithm, the algorithm being trained with training image areas describing the type of the object. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der künstliche Bildbereich (11a, 11b) mittels eines erzeugende generischen Netzwerks bestimmt wird.Method according to Claim 1 or 2 , characterized in that the artificial image area (11a, 11b) is determined by means of a generating generic network. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der zu anonymisierende Bildbereich (10a, 10b) vor dem Ersetzen vollständig aus dem Bild (6) entfernt wird.Method according to one of the preceding claims, characterized in that the image area (10a, 10b) to be anonymized is completely removed from the image (6) before replacement. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der zu anonymisierende Bildbereich (10a, 10b) personenbezogenen Daten in dem Bild, insbesondere Gesichter von Personen oder Kennzeichen von Fahrzeugen, abbildet. Method according to one of the preceding claims, characterized in that the image area to be anonymized (10a, 10b) personal data in the image, in particular faces of persons or license plates of vehicles, maps. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der zu anonymisierende Bildbereich (10a, 10b) mittels Segmentierung erkannt wird.Method according to one of the preceding claims, characterized in that the image area to be anonymized (10a, 10b) is detected by means of segmentation. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das anonymisierte Bild (6') anhand eines von einer Kamera (4) des Kamerasystems (2) im Betrieb des Kraftfahrzeugs (1) aufgenommenen Bilds (6) bestimmt wird und/oder dass das anonymisierte Bild (6') für ein Training des Kamerasystems (2) in einem Trainingsmodus verwendet wird.Method according to one of the preceding claims, characterized in that the anonymized image (6 ') is determined on the basis of an image (6) taken by a camera (4) of the camera system (2) during operation of the motor vehicle (1) and / or that the anonymized image (6 ') is used for training the camera system (2) in a training mode. Bildverarbeitungseinrichtung (5) für ein Kamerasystem (2) eines Kraftfahrzeugs (1), welche zum Durchführen eines Verfahrens nach einem der vorhergehenden Ansprüche ausgelegt ist.Image processing device (5) for a camera system (2) of a motor vehicle (1), which is designed to carry out a method according to one of the preceding claims. Kamerasystem (2) für ein Kraftfahrzeug (1) mit einer Bildverarbeitungseinrichtung (5) nach Anspruch 8.Camera system (2) for a motor vehicle (1) with an image processing device (5) according to Claim 8 , Kraftfahrzeug (1) mit einem Kamerasystem (2) nach Anspruch 9.Motor vehicle (1) with a camera system (2) according to Claim 9 ,
DE102017215283.4A 2017-08-31 2017-08-31 Method for anonymizing an image for a camera system of a motor vehicle, image processing device, camera system and motor vehicle Ceased DE102017215283A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102017215283.4A DE102017215283A1 (en) 2017-08-31 2017-08-31 Method for anonymizing an image for a camera system of a motor vehicle, image processing device, camera system and motor vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017215283.4A DE102017215283A1 (en) 2017-08-31 2017-08-31 Method for anonymizing an image for a camera system of a motor vehicle, image processing device, camera system and motor vehicle

Publications (1)

Publication Number Publication Date
DE102017215283A1 true DE102017215283A1 (en) 2019-02-28

Family

ID=65321273

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017215283.4A Ceased DE102017215283A1 (en) 2017-08-31 2017-08-31 Method for anonymizing an image for a camera system of a motor vehicle, image processing device, camera system and motor vehicle

Country Status (1)

Country Link
DE (1) DE102017215283A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207738A1 (en) * 2019-04-11 2020-10-15 Robert Bosch Gmbh Anonymizing device, monitoring apparatus, method, computer program and storage medium
EP3734557A1 (en) * 2019-04-30 2020-11-04 Siemens Mobility GmbH Method for providing training data for adaptive situation recognition algorithms and method for automated situation detection of operating situations of a vehicle for public transport
WO2021213797A1 (en) * 2020-04-23 2021-10-28 HELLA GmbH & Co. KGaA Method for protecting personal data
EP4036777A1 (en) 2021-01-29 2022-08-03 Daniel Nikola Device and method for the collection of at least one image while preserving the anonymity of a person recorded in each case
AT18019U1 (en) * 2022-07-14 2023-10-15 Blue Peacock Gmbh DEVICE FOR DETECTING AND ANALYZING THE DRIVING BEHAVIOR OF A VEHICLE DRIVER

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179712A1 (en) * 2001-07-24 2004-09-16 Gerrit Roelofsen Method and sysem and data source for processing of image data
US20090297061A1 (en) * 2008-05-30 2009-12-03 General Instrument Corporation Replacing image information in a captured image

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040179712A1 (en) * 2001-07-24 2004-09-16 Gerrit Roelofsen Method and sysem and data source for processing of image data
US20090297061A1 (en) * 2008-05-30 2009-12-03 General Instrument Corporation Replacing image information in a captured image

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207738A1 (en) * 2019-04-11 2020-10-15 Robert Bosch Gmbh Anonymizing device, monitoring apparatus, method, computer program and storage medium
EP3734557A1 (en) * 2019-04-30 2020-11-04 Siemens Mobility GmbH Method for providing training data for adaptive situation recognition algorithms and method for automated situation detection of operating situations of a vehicle for public transport
DE102019206233A1 (en) * 2019-04-30 2020-11-05 Siemens Mobility GmbH Method for providing training data for adaptable situation recognition algorithms and methods for automated situation recognition of operating situations of a vehicle for public passenger transport
WO2021213797A1 (en) * 2020-04-23 2021-10-28 HELLA GmbH & Co. KGaA Method for protecting personal data
EP4036777A1 (en) 2021-01-29 2022-08-03 Daniel Nikola Device and method for the collection of at least one image while preserving the anonymity of a person recorded in each case
AT18019U1 (en) * 2022-07-14 2023-10-15 Blue Peacock Gmbh DEVICE FOR DETECTING AND ANALYZING THE DRIVING BEHAVIOR OF A VEHICLE DRIVER

Similar Documents

Publication Publication Date Title
DE102017215283A1 (en) Method for anonymizing an image for a camera system of a motor vehicle, image processing device, camera system and motor vehicle
DE102012223730B4 (en) DEVICE AND METHOD FOR ADJUSTING A PARKING POSITION BASED ON AN AV IMAGE
DE102015201406A1 (en) CHARACTER DETECTION DEVICE AND METHOD FOR DETERMINING LEFT OR RIGHT TRAFFIC AND THE ROUTE UNIT INDEX
DE102016014712B4 (en) Vehicle and method for outputting information to a vehicle environment
DE102020126953B3 (en) System and method for detecting a spatial orientation of a portable device
DE102018100909A1 (en) Method of reconstructing images of a scene taken by a multifocal camera system
DE102018008788A1 (en) Method for determining a road surface roughness
EP3944136A1 (en) Id document and method for personalizing id document
DE102020208008A1 (en) Image classification and related training for security-related classification tasks
DE102017124600A1 (en) Semantic segmentation of an object in an image
DE102009007412B4 (en) Method for tracking at least one object
DE102014211852A1 (en) Method and apparatus for determining a maximum speed of a rail vehicle, method and apparatus for controlling the speed of a rail vehicle
DE102018121866A1 (en) Method for depth estimation of two-dimensional sensor data
DE102016101149A1 (en) A method for detecting smoke in an environmental area of a motor vehicle with the aid of a camera of the motor vehicle, driver assistance system and motor vehicle
DE112017007247T5 (en) IMAGING DEVICE
DE102020105070A1 (en) Method for recognizing a drivable area in the surroundings of a vehicle with the aid of a binary artificial neural network, computing device and driver assistance system
DE102016103037A1 (en) Method for checking the functionality of a camera-monitor system, camera-monitor system and motor vehicle
DE102017207658A1 (en) A method of identifying a vehicle with an accessory tag, and an apparatus for performing the method
DE102017100669A1 (en) Method for detecting an environmental region of a motor vehicle with adaptation of a region of interest as a function of a trailer, computing device, camera system and motor vehicle
EP3734557A1 (en) Method for providing training data for adaptive situation recognition algorithms and method for automated situation detection of operating situations of a vehicle for public transport
DE102020126954A1 (en) System and method for detecting a spatial orientation of a portable device
DE102012214720A1 (en) Method for operating object recognition system in motor vehicle, involves providing stereo video images generated from images of three cameras, where monitoring program runs on processor core for generating stereo video image
DE102009009904A1 (en) Object i.e. road sign, identifying method, involves adding images and classifiers, which contain stored samples and sequences, as another set of samples, if sequences correspond to another set of sequences
DE102020003465A1 (en) Method for the detection of objects in monocular RGB images
DE102019132012A1 (en) Method and system for the detection of small unclassified obstacles on a road surface

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06K0009620000

Ipc: G06V0030190000

R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: G06V0030190000

Ipc: G06V0020560000

R002 Refusal decision in examination/registration proceedings
R003 Refusal decision now final