DE102019200800A1 - Streamed playback of monochrome images in color - Google Patents

Streamed playback of monochrome images in color Download PDF

Info

Publication number
DE102019200800A1
DE102019200800A1 DE102019200800.3A DE102019200800A DE102019200800A1 DE 102019200800 A1 DE102019200800 A1 DE 102019200800A1 DE 102019200800 A DE102019200800 A DE 102019200800A DE 102019200800 A1 DE102019200800 A1 DE 102019200800A1
Authority
DE
Germany
Prior art keywords
computing unit
image data
data stream
camera
colored
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019200800.3A
Other languages
German (de)
Inventor
Jan Weingarten
Tobias Moench
Anne Schumann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102019200800.3A priority Critical patent/DE102019200800A1/en
Publication of DE102019200800A1 publication Critical patent/DE102019200800A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Erzeugen eines farbigen Bilddatenstroms (150) aus monochrom aufgenommenen Bildern, wobei eine Szene unter Verwendung einer Kamera (110) von einer ersten Recheneinheit (100) digital aufgenommen wird, um einen monochromen Bilddatenstrom zu erzeugen,- wobei der monochrome Bilddatenstrom von der ersten Recheneinheit (100) an eine zweite Recheneinheit (200) gestreamt und dort mittels eines Einfärbungs-Algorithmus (160) eingefärbt wird, um einen farbigen Bilddatenstrom (150') zu erhalten, oder- wobei der monochrome Bilddatenstrom mittels des Einfärbungs-Algorithmus (160) eingefärbt wird, um den farbigen Bilddatenstrom (150') zu erhalten, der von der ersten Recheneinheit (100) an die zweite Recheneinheit (200) gestreamt wird.The invention relates to a method for generating a colored image data stream (150) from monochrome images, a scene being recorded digitally by a first computing unit (100) using a camera (110) in order to generate a monochrome image data stream, the monochrome image stream Image data stream is streamed from the first arithmetic unit (100) to a second arithmetic unit (200) and colored there by means of a coloring algorithm (160) in order to obtain a colored image data stream (150 '), or - the monochrome image data stream using the coloring Algorithm (160) is colored in order to obtain the colored image data stream (150 ') which is streamed from the first computing unit (100) to the second computing unit (200).

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Erzeugen eines farbigen Bilddatenstroms aus monochrom aufgenommenen Bildern sowie eine Recheneinheit bzw. einen Recheneinheitenverbund und ein Computerprogramm zu dessen Durchführung.The present invention relates to a method for generating a colored image data stream from monochrome images and to a computing unit or a computing unit network and a computer program for carrying it out.

Stand der TechnikState of the art

Bei modernen Fahrzeugen, insbesondere Kraftfahrzeugen, können Innenraumkameras verwendet werden, um beispielsweise eine Anzahl und einen Zustand der Insassen des Fahrzeugs zu überwachen bzw. zu detektieren. Damit die Insassen durch die Kameras bzw. die hierfür nötige Beleuchtung nicht gestört werden, ist es üblich, eine Beleuchtung im nicht-sichtbaren Spektrum, insbesondere infrarote bzw. nah-infrarote Beleuchtung, zu verwenden.In modern vehicles, in particular motor vehicles, interior cameras can be used to monitor or detect, for example, a number and a state of the occupants of the vehicle. So that the occupants are not disturbed by the cameras or the lighting required for this, it is customary to use lighting in the non-visible spectrum, in particular infrared or near-infrared lighting.

Aus der US 2005/0131607 A1 sind beispielsweise solche Innenraumkameras bekannt, um Informationen über die Insassen eines Fahrzeugs zu gewinnen.From the US 2005/0131607 A1 Such interior cameras are known, for example, in order to obtain information about the occupants of a vehicle.

Offenbarung der ErfindungDisclosure of the invention

Erfindungsgemäß werden ein Verfahren zum Erzeugen eines farbigen Bilddatenstroms aus monochrom aufgenommenen Bildern sowie eine Recheneinheit bzw. einen Recheneinheitenverbund und ein Computerprogramm zu dessen Durchführung mit den Merkmalen der unabhängigen Patentansprüche vorgeschlagen. Vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche sowie der nachfolgenden Beschreibung.According to the invention, a method for generating a colored image data stream from monochrome images as well as a computing unit or a computing unit network and a computer program for carrying it out are proposed with the features of the independent claims. Advantageous embodiments are the subject of the subclaims and the following description.

Ein erfindungsgemäßes Verfahren dient zum Erzeugen eines farbigen Bilddatenstroms aus monochrom aufgenommenen Bildern. Dabei wird eine Szene unter Verwendung einer Kamera von einer ersten Recheneinheit digital aufgenommen, um einen monochromen Bilddatenstrom zu erzeugen. Hierzu wird insbesondere eine nicht-sichtbare, vorzugsweise infrarote, Beleuchtung verwendet, was nur eine monochrome Aufnahme ermöglicht. Denkbar ist auch die Verwendung einer Wärmebildkamera, die ebenfalls nur in der Lage ist, monochrom aufzunehmen, da nur von aufzunehmenden Objekten abgegebene, infrarote Strahlung berücksichtigt wird. Es versteht sich dass ein monochromes Bild insbesondere mehr als 2 Bit-„Farb“tiefe aufweisen kann, also auch Helligkeitsstufen bzw. Graustufen umfasst, z.B. 8 Bit mit 256 Helligkeitsstufen oder mehr (12, 16, 24, 32 Bit usw.).A method according to the invention is used to generate a colored image data stream from monochrome images. A scene is digitally recorded using a camera by a first computing unit in order to generate a monochrome image data stream. In particular, non-visible, preferably infrared, lighting is used for this purpose, which only enables monochrome recording. It is also conceivable to use a thermal imaging camera, which is also only able to record monochrome, since only infrared radiation emitted by objects to be recorded is taken into account. It goes without saying that a monochrome image can in particular have more than 2 bit “color” depth, that is to say also includes brightness levels or gray levels, e.g. 8 bits with 256 brightness levels or more (12, 16, 24, 32 bits, etc.).

Besonders bevorzugt wird als Kamera dabei eine in einem Fahrzeuginnenraum angeordnete Kamera verwendet. Wie eingangs bereits erwähnt, können solche Kameras dort zur Überwachung eingesetzt werden, jedoch wird, um die Insassen des Fahrzeugs nicht zu beeinträchtigen, nur nicht-sichtbare Beleuchtung verwendet. Dies ermöglicht also nur das Erzeugen eines monochromen Bilddatenstroms.A camera arranged in a vehicle interior is particularly preferably used as the camera. As already mentioned at the beginning, such cameras can be used there for monitoring, but in order not to impair the occupants of the vehicle, only invisible lighting is used. This therefore only enables the generation of a monochrome image data stream.

Erfindungsgemäß wird der monochrome Bilddatenstrom zuerst von der ersten Recheneinheit an eine zweite Recheneinheit gestreamt und dort mittels eines Einfärbungs-Algorithmus eingefärbt, um einen farbigen Bilddatenstrom zu erhalten, oder mittels des Einfärbungs-Algorithmus zuerst eingefärbt, um den farbigen Bilddatenstrom zu erhalten, und dann von der ersten Recheneinheit an die zweite Recheneinheit gestreamt. Bekanntermaßen versteht man unter „Streamen“ eine Datenübertragung, bei der übertragene Daten (hier Bilddatenströme) schon wiedergegeben werden, bevor die Übertragung abgeschlossen ist (also noch während der Übertragung). Zweckmäßigerweise wird der farbige Bilddatenstrom dann auch auf einem Anzeigemittel wiedergegeben. Es handelt sich dabei vorzugsweise um eine sog. Echtzeitübertragung bzw. um ein Live-Streaming. Mit anderen Worten erfolgt die Aufnahme, Kolorierung und Widergabe parallel.According to the invention, the monochrome image data stream is first streamed from the first arithmetic unit to a second arithmetic unit and colored there by means of a coloring algorithm in order to obtain a colored image data stream, or first colored by means of the coloring algorithm to obtain the colored image data stream, and then by streamed from the first processing unit to the second processing unit. As is known, “streaming” is understood to mean a data transmission in which transmitted data (here image data streams) are reproduced before the transmission is completed (that is, even during the transmission). The colored image data stream is then expediently also reproduced on a display means. It is preferably a so-called real-time transmission or live streaming. In other words, the recording, coloring and rendering take place in parallel.

Damit werden neue Verwendungsbereiche für die bereits erwähnten Kameras im Fahrzeuginnenraum eröffnet, nämlich beispielsweise die Durchführung von Videokonferenzen mit realitätsgetreuer Videodarstellung. Der Bilddatenstrom kann hierzu nur Bild-Informationen umfassen, während Audio-Informationen auf andere Weise übertragen werden. Denkbar ist aber ebenso die Einbeziehung der Audio-Informationen in den zu streamenden Datenstrom, dann unter zusätzlicher Verwendung geeigneter Audio-Aufnahmemittel, wie sie in modernen Fahrzeugen in der Regel ebenfalls vorhanden sind.This opens up new areas of use for the cameras already mentioned in the vehicle interior, namely, for example, the implementation of video conferences with realistic video display. For this purpose, the image data stream can only comprise image information, while audio information is transmitted in another way. However, it is also conceivable to include the audio information in the data stream to be streamed, then with the additional use of suitable audio recording means, as is also usually present in modern vehicles.

Ein weiterer Vorteil ist, dass - unabhängig von speziellen Kameras zur Überwachung eines Fahrzeuginnenraums - anstelle üblicher Kameras zur Aufnahme farbiger Bilder bzw. Videos günstigere monochrome Kameras bzw. Kamerachips verwendeten werden können, d.h. insbesondere Kameras bzw. Kamerachips die eine Bild- oder Videoaufnahme nur in Graustufen bzw. monochrom ermöglichen.A further advantage is that - regardless of special cameras for monitoring a vehicle interior - cheaper monochrome cameras or camera chips can be used instead of conventional cameras for recording colored images or videos, i.e. in particular cameras or camera chips that enable image or video recording only in grayscale or monochrome.

Vorzugsweise führt die Einfärbung mittels des Einfärbungs-Algorithmus zu einer naturgetreuen Farbdarstellung. Unter einer naturgetreuen Farbdarstellung soll dabei insbesondere eine Nachbildung der tatsächlichen Farbgebung im sichtbaren Spektrum verstanden werden, wobei es jedoch weniger auf die konkrete Farbtiefe ankommt, als vielmehr allgemein auf eine realitätsnahe Farbgebung.The coloring by means of the coloring algorithm preferably leads to a true-to-life color representation. A true-to-life color representation is to be understood in particular to mean a reproduction of the actual coloring in the visible spectrum, although the actual depth of color is less important than a realistic coloring.

Vorzugsweise werden beim Einfärben mittels des Einfärbungs-Algorithmus hinterlegte Informationen über Objekte in einem aufgenommenen Bereich berücksichtigt. Diese hinterlegten Informationen umfassen dabei bevorzugt eine Farbgebung und/oder Materialeigenschaften der Objekte. So kann beispielsweise hinterlegt sein, welche Farbe Sitze und ein Dachhimmel oder sonstige Innenausstattung des Fahrzeugs haben, auch aus welchem Material diese sind, beispielsweise Stoff oder Leder. Ebenso können für eine geeignete Einfärbung der Bilder der Personen geeignete Hautfarben verwendet werden.When coloring using the coloring algorithm, information about objects is preferably recorded in a Area taken into account. This stored information preferably includes a coloring and / or material properties of the objects. For example, it can be stored what color seats and headlining or other interior of the vehicle are, and what material they are made of, for example fabric or leather. Suitable skin colors can also be used for a suitable coloring of the images of the people.

Als Einfärbungs-Algorithmus kommen dabei insbesondere Algorithmen in Betracht, die auf maschinellem Lernen basieren. In diesem Zusammenhang sei auch explizit auf „Colorful Image Colorization, Richard Zhang, Phillip Isola, Alexei A. Efros“ (https://arxiv.org/pdf/1603.08511.pdf) verwiesen.Algorithms based on machine learning are particularly suitable as the coloring algorithm. In this context, explicit reference is also made to “Colorful Image Colorization, Richard Zhang, Phillip Isola, Alexei A. Efros” (https://arxiv.org/pdf/1603.08511.pdf).

Zusätzlich zu der Einfärbung in naturgetreuer Darstellung sind jedoch auch verschiedene Effekte, die dem Bilddatenstrom bzw. der Aufnahme hinzugefügt werden, denkbar. Hier kommen beispielsweise künstlerische Verfärbungen in Betracht (z.B. wärmere oder kältere Farben, sog. Sepia-Färbung, reduzierte Farben, einstellbare Farben und dergleichen). Denkbar ist ebenso ein hinzugefügtes 3D-Modell, wie z.B. eine Kopfbedeckung, Brille usw. Denkbar ist aber auch, dass beispielsweise ein Innenraum des Fahrzeugs ausgeblendet bzw. entfernt wird. Da 3D-Information verfügbar sind, kann dieser dann beispielsweise durch eine andere Szene ersetzt werden.In addition to the coloring in true-to-life representation, various effects that are added to the image data stream or the recording are also conceivable. Here, for example, artistic discoloration comes into consideration (e.g. warmer or colder colors, so-called sepia coloring, reduced colors, adjustable colors and the like). An added 3D model is also conceivable, e.g. headgear, glasses, etc. It is also conceivable, for example, to hide or remove an interior of the vehicle. Since 3D information is available, this can then be replaced by another scene, for example.

Als die erste bzw. lokale Recheneinheit kommt beispielsweise ein Steuergerät im Fahrzeug in Frage, an das die Kamera angebunden ist. Als die zweite bzw. entfernte Recheneinheit kommt beispielsweise ein Steuergerät in einem anderen Fahrzeug in Frage, an das ein Anzeigemittel wie ein Display angebunden ist. Auf diese Weise kann der Bilddatenstrom von einem Fahrzeug in ein anderes Fahrzeug übertragen und dort direkt angezeigt werden. Es versteht sich, dass bei entsprechender Einrichtung des anderen Fahrzeugs dann ebenso ein Bilddatenstrom in die andere Richtung übertragen werden kann, um so eine Videokonferenz zwischen zwei Fahrzeugen zu ermöglichen.A control unit in the vehicle to which the camera is connected can be used as the first or local computing unit, for example. A control unit in another vehicle, for example, to which a display means such as a display is connected can be used as the second or remote computing unit. In this way, the image data stream can be transferred from one vehicle to another vehicle and displayed there directly. It goes without saying that if the other vehicle is set up accordingly, an image data stream can then likewise be transmitted in the other direction in order to enable a video conference between two vehicles.

Bei der entfernen Recheneinheit kann es sich aber ebenso um einen stationären oder mobilen Computer oder auch ein Smartphone oder dergleichen handeln, sodass zwischen einem Fahrzeug und einem Computer bzw. Smartphone eine Videokonferenz abgehalten werden kann.However, the removed computing unit can also be a stationary or mobile computer or a smartphone or the like, so that a video conference can be held between a vehicle and a computer or smartphone.

Eine erfindungsgemäße Recheneinheit, z.B. ein Steuergerät eines Kraftfahrzeugs, bzw. ein Recheneinheitenverbund, insbesondere mit zwei Recheneinheiten, ist, insbesondere programmtechnisch, dazu eingerichtet, ein erfindungsgemäßes Verfahren durchzuführen.A computing unit according to the invention, e.g. A control unit of a motor vehicle, or a group of computing units, in particular with two computing units, is set up, in particular in terms of programming, to carry out a method according to the invention.

Auch die Implementierung des Verfahrens in Form eines Computerprogramms ist vorteilhaft, da dies besonders geringe Kosten verursacht, insbesondere wenn ein ausführendes Steuergerät noch für weitere Aufgaben genutzt wird und daher ohnehin vorhanden ist. Geeignete Datenträger zur Bereitstellung des Computerprogramms sind insbesondere magnetische, optische und elektrische Speicher, wie z.B. Festplatten, Flash-Speicher, EEPROMs, DVDs u.a.m. Auch ein Download eines Programms über Computernetze (Internet, Intranet usw.) ist möglich. The implementation of the method in the form of a computer program is also advantageous, since this causes particularly low costs, in particular if an executing control device is also used for further tasks and is therefore present anyway. Suitable data carriers for providing the computer program are in particular magnetic, optical and electrical memories, such as Hard drives, flash memory, EEPROMs, DVDs etc. It is also possible to download a program via computer networks (internet, intranet, etc.).

Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und der beiliegenden Zeichnung.Further advantages and refinements of the invention result from the description and the attached drawing.

Die Erfindung ist anhand eines Ausführungsbeispiels in der Zeichnung schematisch dargestellt und wird im Folgenden unter Bezugnahme auf die Zeichnung beschrieben.The invention is illustrated schematically in the drawing using an exemplary embodiment and is described below with reference to the drawing.

FigurenlisteFigure list

  • 1 zeigt schematisch einen Ablauf eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform. 1 shows schematically a sequence of a method according to the invention in a preferred embodiment.

Ausführungsform(en) der ErfindungEmbodiment (s) of the invention

In 1 ist schematisch ein Ablauf eines erfindungsgemäßen Verfahrens in einer bevorzugten Ausführungsform dargestellt. Hierzu ist eine Kamera 110 mit zugehöriger Beleuchtungsvorrichtung 120, mittels welcher infrarote Beleuchtung erzeugt werden kann, gezeigt. Die Kamera 110 ist an eine lokale erste Recheneinheit 100 angebunden.In 1 a sequence of a method according to the invention is shown schematically in a preferred embodiment. There is a camera for this 110 with associated lighting device 120 , by means of which infrared lighting can be generated. The camera 110 is to a local first arithmetic unit 100 tied up.

Die Kamera 110 mit zugehöriger Beleuchtungsvorrichtung 120 ist dabei bevorzugt im Innenraum eines Fahrzeugs angeordnet, um Insassen bzw. Personen, die sich in dem Fahrzeug befinden, zu erfassen und insbesondere auch zu überwachen. Beispielhaft ist der Kopf 140 einer Person, der unter Verwendung der Kamera 110 erfasst werden kann, gezeigt.The camera 110 with associated lighting device 120 is preferably arranged in the interior of a vehicle in order to detect and, in particular, also monitor occupants or persons who are in the vehicle. The head is exemplary 140 of a person using the camera 110 can be detected.

Weiterhin ist beispielhaft ein Fahrzeugsitz bzw. eine Kopfstütze 141 als Teil davon gezeigt, der bzw. die ebenfalls im Fahrzeug vorhanden ist und ebenfalls von der Kamera erfasst wird.Furthermore, a vehicle seat or a headrest is an example 141 shown as part of it, which is also present in the vehicle and is also captured by the camera.

Die konkrete Anordnung der Kamera sowie der zugehörigen Beleuchtungsvorrichtung kann je nach Situation gewählt werden. Zweckmäßig ist beispielsweise die Anordnung der Kamera auf oder integriert in einem Armaturenbrett, sodass ein Fahrer des Fahrzeugs gut erfassbar ist.The specific arrangement of the camera and the associated lighting device can be selected depending on the situation. The arrangement of the camera on or integrated in a dashboard is expedient, for example, so that a driver of the vehicle can be easily detected.

Es wird nun unter Verwendung der Kamera 110 die Szene aufgenommen, wie dies durch eine nicht vorhandene Schraffierung der Objekte - im Vergleich zu dem Kopf 140 und der Kopfstütze 141 - angedeutet ist, und ein monochromer Bilddatenstrom 150 erzeugt.It is now using the camera 110 recorded the scene like this through a non-hatching of objects - compared to the head 140 and the headrest 141 - is indicated, and a monochrome image data stream 150 generated.

Eine andere Aufnahme ist mit der vorliegenden Kamera beispielsweise auch gar nicht möglich, da nur die nicht-sichtbare Beleuchtung verwendet werden soll, sodass die Insassen nicht beeinträchtigt werden. Entsprechend ist beispielsweise auch die Verwendung eines entsprechend einfachen monochromen Kamerachips möglich.Another shot is also not possible with the present camera, for example, since only the invisible lighting is to be used, so that the occupants are not impaired. Accordingly, the use of a correspondingly simple monochrome camera chip is also possible, for example.

Der monochrome Bilddatenstrom 150 wird von der lokalen Recheneinheit 150, beispielsweise ein Fahrzeugsteuergerät, nun an eine entfernte zweite Recheneinheit 200 durch Streaming übertragen. Diese Übertragung kann beispielsweise über eine mobile Datenverbindung erfolgen, an die sowohl die lokale Recheneinheit 100 als auch die entfernte Recheneinheit 200 angebunden sind. Dies wiederum kann über geeignete Funkmodule erfolgen, die beispielsweise in Fahrzeugen vorgesehen sind.The monochrome image data stream 150 is from the local computing unit 150 , for example a vehicle control unit, now to a remote second computing unit 200 transmitted by streaming. This transmission can take place, for example, via a mobile data connection to which both the local computing unit 100 as well as the remote computing unit 200 are connected. This in turn can be done using suitable radio modules, which are provided for example in vehicles.

Mittels der entfernten Recheneinheit 200 wird der monochrome Bilddatenstrom 150 nun mittels eines Einfärbungs-Algorithmus 160 eingefärbt, sodass vorzugsweise eine naturgetreue Farbdarstellung entsteht. Dies ist durch eine vorhandene Schraffierung der Objekte - wie sie auch für den Kopf 140 und die Kopfstütze 141 vorhanden ist - angedeutet.By means of the remote computing unit 200 becomes the monochrome image data stream 150 now using a coloring algorithm 160 colored, so that preferably a lifelike color display is created. This is due to an existing hatching of the objects - just like for the head 140 and the headrest 141 is present - indicated.

Der Vorteil hierbei ist, dass die zu übertragende Datenmenge aufgrund der geringeren Farbinformation geringer ist. Zudem kann Rechenkapazität bei der lokalen Recheneinheit eingespart werden, was insbesondere bei der Übertragung des Bilddatenstroms an einen Computer oder dergleichen zweckmäßig ist. The advantage here is that the amount of data to be transmitted is smaller due to the smaller color information. In addition, computing capacity can be saved in the local computing unit, which is expedient in particular when the image data stream is transmitted to a computer or the like.

Dieser nunmehr eingefärbte und mit 150' bezeichnete Bilddatenstrom kann dann auf einem an die entfernte Recheneinheit angebunden Anzeigemittel 210 wie beispielswiese einem Display angezeigt bzw. dargestellt werden.This now colored and with 150 ' designated image data stream can then on a display means connected to the remote computing unit 210 how, for example, a display is shown.

Das vorgeschlagene Verfahren ermöglicht somit eine zusätzliche Verwendung von Kameras mit nicht-sichtbarer Beleuchtung, die schon zu Überwachungszwecken im Innenraum eines Fahrzeugs angeordnet sind, zur Durchführung von Videokonferenzen oder dergleichen.The proposed method thus enables additional use of cameras with invisible lighting, which are already arranged in the interior of a vehicle for monitoring purposes, for carrying out video conferences or the like.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • US 2005/0131607 A1 [0003]US 2005/0131607 A1 [0003]

Claims (10)

Verfahren zum Erzeugen eines farbigen Bilddatenstroms (150) aus monochrom aufgenommenen Bildern, wobei eine Szene unter Verwendung einer Kamera (110) von einer ersten Recheneinheit (100) digital aufgenommen wird, um einen monochromen Bilddatenstrom zu erzeugen, - wobei der monochrome Bilddatenstrom von der ersten Recheneinheit (100) an eine zweite Recheneinheit (200) gestreamt und dort mittels eines Einfärbungs-Algorithmus (160) eingefärbt wird, um einen farbigen Bilddatenstrom (150') zu erhalten, oder - wobei der monochrome Bilddatenstrom mittels des Einfärbungs-Algorithmus (160) eingefärbt wird, um den farbigen Bilddatenstrom (150') zu erhalten, der von der ersten Recheneinheit (100) an die zweite Recheneinheit (200) gestreamt wird.Method for generating a colored image data stream (150) from monochrome images, wherein a scene is digitally recorded using a camera (110) by a first computing unit (100) to generate a monochrome image data stream, - wherein the monochrome image data stream is streamed from the first computing unit (100) to a second computing unit (200) and colored there by means of a coloring algorithm (160) in order to obtain a colored image data stream (150 '), or - wherein the monochrome image data stream is colored using the coloring algorithm (160) in order to obtain the colored image data stream (150 ') which is streamed from the first computing unit (100) to the second computing unit (200). Verfahren nach Anspruch 1, wobei beim Einfärben mittels des Einfärbungs-Algorithmus (160) hinterlegte Informationen über Objekte (140, 141) in einem aufgenommenen Bereich berücksichtigt werden.Procedure according to Claim 1 The information about objects (140, 141) stored in a recorded area is taken into account during the coloring using the coloring algorithm (160). Verfahren nach Anspruch 2, wobei die hinterlegten Informationen eine Farbgebung und/oder Materialeigenschaften der Objekte (140, 141) umfassen.Procedure according to Claim 2 The stored information includes a color and / or material properties of the objects (140, 141). Verfahren nach einem der vorstehenden Ansprüche, wobei als Kamera (110) eine in einem Fahrzeuginnenraum angeordnete Kamera verwendet wird.Method according to one of the preceding claims, wherein a camera arranged in a vehicle interior is used as the camera (110). Verfahren nach einem der vorstehenden Ansprüche, wobei der farbige Bilddatenstrom (150) unter Verwendung der Recheneinheit (200) und eines Anzeigemittels (210) wiedergegeben wird.Method according to one of the preceding claims, wherein the colored image data stream (150) is reproduced using the computing unit (200) and a display means (210). Verfahren nach einem der vorstehenden Ansprüche, wobei die Szene unter Verwendung der Kamera (110) und nicht-sichtbarer, insbesondere infraroter, Beleuchtung aufgenommen wird.Method according to one of the preceding claims, wherein the scene is recorded using the camera (110) and invisible, in particular infrared, lighting. Verfahren nach einem der Ansprüche 1 bis 5, wobei als Kamera eine Wärmebildkamera verwendet wird.Procedure according to one of the Claims 1 to 5 , a thermal imaging camera being used as the camera. Recheneinheit oder Recheneinheitenverbund (100, 200), die bzw. der dazu eingerichtet ist, ein Verfahren nach einem der vorstehenden Ansprüche durchzuführen.Computing unit or group of computing units (100, 200) which is set up to carry out a method according to one of the preceding claims. Computerprogramm, das eine Recheneinheit oder einen Recheneinheitenverbund (100, 200) dazu veranlasst, ein Verfahren nach einem der Ansprüche 1 bis 7 durchzuführen, wenn es auf der Recheneinheit oder dem Recheneinheitenverbund (100, 200) ausgeführt wird.Computer program which causes a computing unit or a computing unit group (100, 200) to implement a method according to one of the Claims 1 to 7 to be carried out when it is executed on the computing unit or the computing unit network (100, 200). Maschinenlesbares Speichermedium mit einem darauf gespeicherten Computerprogramm nach Anspruch 9.Machine-readable storage medium with a computer program stored on it Claim 9 .
DE102019200800.3A 2019-01-23 2019-01-23 Streamed playback of monochrome images in color Pending DE102019200800A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019200800.3A DE102019200800A1 (en) 2019-01-23 2019-01-23 Streamed playback of monochrome images in color

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019200800.3A DE102019200800A1 (en) 2019-01-23 2019-01-23 Streamed playback of monochrome images in color

Publications (1)

Publication Number Publication Date
DE102019200800A1 true DE102019200800A1 (en) 2020-07-23

Family

ID=71402724

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019200800.3A Pending DE102019200800A1 (en) 2019-01-23 2019-01-23 Streamed playback of monochrome images in color

Country Status (1)

Country Link
DE (1) DE102019200800A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021208039A1 (en) 2021-07-26 2023-01-26 Volkswagen Aktiengesellschaft Method and device for image processing in a vehicle

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001093746A2 (en) * 2000-06-08 2001-12-13 Honeywell International Inc. Detection system and method using thermal image analysis
DE10124005A1 (en) * 2001-05-17 2002-12-05 Daimler Chrysler Ag Method and device for improving visibility in vehicles
DE10303044A1 (en) * 2003-01-24 2004-08-12 Daimlerchrysler Ag Device and method for improving the visibility in motor vehicles
DE10321502A1 (en) * 2003-05-13 2004-12-23 Siemens Ag Mobile phone camera focussing procedure uses facial characteristic relationship recognition to determine distance and set imaging unit
US20050131607A1 (en) 1995-06-07 2005-06-16 Automotive Technologies International Inc. Method and arrangement for obtaining information about vehicle occupants
DE10359192A1 (en) * 2003-12-17 2005-07-14 Hella Kgaa Hueck & Co. Night vision system for motor vehicle, includes camera which records image in infrared range
DE102005042912A1 (en) * 2005-09-08 2007-03-22 Johnson Controls Gmbh Driver assistance device for use in vehicle, has sensors sensing environment of vehicle, and including different resolutions, where one of sensors senses in area of visible light, and another sensor senses in area of infrared area
DE102004034532B4 (en) * 2004-07-16 2009-05-28 Audi Ag Method for identifying image information in the representation of a night vision image taken with a vehicle-side image recording device and associated night vision system
DE102008002560A1 (en) * 2008-06-20 2009-12-24 Robert Bosch Gmbh Image data visualization
DE102009009533A1 (en) * 2009-02-18 2010-08-26 Leuze Electronic Gmbh & Co Kg Image processing sensor i.e. vision sensor, for quality control in production process, has hardware-processor unit in which region of interest mask is repositioned such that relative position of mask is changed under preset criteria
DE102011113243B4 (en) * 2011-09-13 2016-05-25 Testo Ag Method for generating a radiometric image and thermal imaging camera set
WO2016179303A1 (en) * 2015-05-04 2016-11-10 Kamama, Inc. System and method of vehicle sensor management

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050131607A1 (en) 1995-06-07 2005-06-16 Automotive Technologies International Inc. Method and arrangement for obtaining information about vehicle occupants
WO2001093746A2 (en) * 2000-06-08 2001-12-13 Honeywell International Inc. Detection system and method using thermal image analysis
DE10124005A1 (en) * 2001-05-17 2002-12-05 Daimler Chrysler Ag Method and device for improving visibility in vehicles
DE10303044A1 (en) * 2003-01-24 2004-08-12 Daimlerchrysler Ag Device and method for improving the visibility in motor vehicles
DE10321502A1 (en) * 2003-05-13 2004-12-23 Siemens Ag Mobile phone camera focussing procedure uses facial characteristic relationship recognition to determine distance and set imaging unit
DE10359192A1 (en) * 2003-12-17 2005-07-14 Hella Kgaa Hueck & Co. Night vision system for motor vehicle, includes camera which records image in infrared range
DE102004034532B4 (en) * 2004-07-16 2009-05-28 Audi Ag Method for identifying image information in the representation of a night vision image taken with a vehicle-side image recording device and associated night vision system
DE102005042912A1 (en) * 2005-09-08 2007-03-22 Johnson Controls Gmbh Driver assistance device for use in vehicle, has sensors sensing environment of vehicle, and including different resolutions, where one of sensors senses in area of visible light, and another sensor senses in area of infrared area
DE102008002560A1 (en) * 2008-06-20 2009-12-24 Robert Bosch Gmbh Image data visualization
DE102009009533A1 (en) * 2009-02-18 2010-08-26 Leuze Electronic Gmbh & Co Kg Image processing sensor i.e. vision sensor, for quality control in production process, has hardware-processor unit in which region of interest mask is repositioned such that relative position of mask is changed under preset criteria
DE102011113243B4 (en) * 2011-09-13 2016-05-25 Testo Ag Method for generating a radiometric image and thermal imaging camera set
WO2016179303A1 (en) * 2015-05-04 2016-11-10 Kamama, Inc. System and method of vehicle sensor management

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
FREDEMBACH, Clement; SÜSSTRUNK, Sabine: Colouring the Near-Infrared. IS&T/SID 16th Color Imaging Conference, Portland, USA, November 10-15, 2008. Proceedings, pp. 176-182, 2008. *
LI, Stan Z.; CHU, Ru Feng; LIAO, Sheng Cai; ZHANG, Lun: Illumination Invariant Face Recognition Using Near-Infrared Images. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 29, No. 4, April 2007, pp. 627 - 639. *
QUALCOMM®: Qualcomm® Snapdragon™ 630 mobile platform. Product Brief - Firmenschrift. Qualcomm Technologies, Inc., 2017. *
ZHANG, Richard ; ISOLA, Phillip ; EFROS, Alexei A.: Colorful image colorization. 05-10-2016. arXiv:1603.08511v5. S. 1-29. URL: https://arxiv.org/pdf/1603.08511.pdf [abgerufen am 2019-06-07] *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021208039A1 (en) 2021-07-26 2023-01-26 Volkswagen Aktiengesellschaft Method and device for image processing in a vehicle

Similar Documents

Publication Publication Date Title
DE102008034979A1 (en) Method and device for generating error-reduced high-resolution and contrast-enhanced images
DE102006060553A1 (en) Test of a motor vehicle imaging system, to show the driver the conditions around the vehicle, uses a reference camera on a test drive to give stored images as reference images for projection and comparison
DE102018112345A1 (en) Vehicle camera system
DE102016121755A1 (en) Method for determining a composite image of a surrounding area of a motor vehicle with adaptation of brightness and / or color, camera system and power vehicle
DE102019200800A1 (en) Streamed playback of monochrome images in color
WO2009010152A1 (en) Method for processing a spatial image
DE102019201702A1 (en) Modular inpainting process
DE102018009313A1 (en) Create selective long-term exposure virtual images
DE102013214369A1 (en) Method and device for reproducing a surrounding area of a vehicle
DE102017208994A1 (en) Method for determining result image data
DE102014217422A1 (en) Method for controlling a data flow of a mirror connection section system
DE102016218123A1 (en) Method for image processing in a means of transportation
DE102012025580A1 (en) Method of operating camera system of motor vehicle, involves setting current parameter value of parameter of slave camera in dependence on current parameter value of same parameter of master camera
EP1447985A1 (en) Device and method to improve vision in vehicles
DE112018005391T5 (en) DISPLAY PROCESSING DEVICE
DE102015205479A1 (en) A method of representing a vehicle environment of a vehicle
DE102018201909A1 (en) Method and device for object recognition
DE102012024650A1 (en) Method for operating high-dynamic-range camera device of motor vehicle, involves recognizing actual value of moving condition of vehicle, which characterizes vehicle parameter
DE102016219049A1 (en) Method for performing an at least partially virtual plant management and visualization device
DE102018207386B3 (en) Method and imaging system for generating a display image in a motor vehicle
DE102012016865B4 (en) Improved alpha blending of images from an automotive camera system
DE102018216806A1 (en) Concept for processing infrared images
AT518256B1 (en) GENERATING A PANORAMIC IMPOSITION FOR STEREOSCOPIC REPRODUCTION AND SUCH A PLAYBACK
DE102014207897A1 (en) Method for generating a display image
DE102013020949A1 (en) Improved alpha blending of images of a camera system of a motor vehicle

Legal Events

Date Code Title Description
R163 Identified publications notified