DE102019219142A1

DE102019219142A1 - Method for transmitting an image data stream

Info

Publication number: DE102019219142A1
Application number: DE102019219142.8A
Authority: DE
Inventors: Gerhard Müller; Viktor Rakoczi
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-12-09
Filing date: 2019-12-09
Publication date: 2021-06-10

Abstract

Bei einem Verfahren zum Übertragen eines Bilddatenstroms (4) von einer Kamera (1) an eine Bildverarbeitungsvorrichtung (2), wobei die Kamera (1) den Bilddatenstrom (4) als Kameraausgangsdaten zur Verfügung stellt, wobei die Bildverarbeitungsvorrichtung (2) eine Standardschnittstelle verwendet, wobei das Verfahren einen Datenaufbereitungsprozess (S1) umfasst, während welches die Kameraausgangsdaten derart aufbereitet werden, dass der Bilddatenstrom (4) nach dem Datenaufbereitungsprozess (S1) mit der Standardschnittstelle kompatibel ist, wird der Bilddatenstrom (4) während des Datenaufbereitungsprozesses (S1) in eine Form gebracht, in welcher Bilddaten des Bilddatenstroms (4) nach Helligkeitsinformationen und Farbinformationen getrennt vorliegen.In a method for transmitting an image data stream (4) from a camera (1) to an image processing device (2), the camera (1) making the image data stream (4) available as camera output data, the image processing device (2) using a standard interface, wherein the method comprises a data preparation process (S1), during which the camera output data are prepared in such a way that the image data stream (4) is compatible with the standard interface after the data preparation process (S1) Form, in which image data of the image data stream (4) are separated according to brightness information and color information.

Description

Technisches GebietTechnical area

Die Erfindung betrifft ein Verfahren zum Übertragen eines Bilddatenstroms nach dem Oberbegriff des Anspruchs 1. Die Erfindung betrifft ferner ein System zum Übertragen und/oder Aufbereiten eines Bilddatenstroms, ein Fahrzeug, ein Computerprogramm und ein computerlesbares Medium nach den nebengeordneten Ansprüchen.The invention relates to a method for transmitting an image data stream according to the preamble of claim 1. The invention also relates to a system for transmitting and / or processing an image data stream, a vehicle, a computer program and a computer-readable medium according to the independent claims.

Stand der TechnikState of the art

In Fahrerassistenzsystemen (sogenannten Advanced Driver Assistance Systems, abgekürzt ADAS) und Umfeld-Erfassungssystemen für autonomes Fahren (sogenanntes Autonomous Driving, abgekürzt AD) kommen typischerweise Kameras zum Einsatz, die ihre Bilder über Hochgeschwindigkeitsschnittstellen übertragen. Sender- und Empfängerbausteine für diese Hochgeschwindigkeitsschnittstellen verwenden als Standardschnittstelle zum Beispiel häufig die Kameraschnittstelle CSI-2 am Eingang oder Ausgang.In driver assistance systems (so-called Advanced Driver Assistance Systems, abbreviated ADAS) and environment detection systems for autonomous driving (so-called Autonomous Driving, abbreviated AD), cameras are typically used that transmit their images via high-speed interfaces. Transmitter and receiver modules for these high-speed interfaces often use, for example, the CSI-2 camera interface at the entrance or exit as the standard interface.

Die heute typischerweise benutzten Kameraschnittstellenstandards, wie zum Beispiel CSI-2, unterstützen vorwiegend Bilddatenformate, die für Bilder entwickelt wurden, die zum Darstellen und Betrachten übertragen werden. Kameras für ADAS und AD erzeugen jedoch typischerweise Bilder, die nicht zum Darstellen oder Betrachten gedacht sind, sondern die von Algorithmen ausgewertet werden sollen. Die Anforderungen an die Datenformate dieser Bilder unterscheiden sich wesentlich von dem, was derzeit in den typischen Kameraschnittstellenstandards, wie zum Beispiel im CSI-2-Standard, unterstützt wird. ADAS- und AD-Kameras sollen insbesondere einen hohen Kontrast über einen grossen Dynamikbereich ausgeben. Farbinformationen werden ebenfalls gebraucht, um zum Beispiel Farben von Verkehrszeichen zu erkennen. Die Farbinformationen dürfen jedoch mit deutlich geringerer Auflösung vorliegen, als die Kontrastinformationen. Sehr häufig werden Helligkeit und Farbe von Bildern von Bildverarbeitungsalgorithmen bei ADAS- und AD-Anwendungen auch getrennt ausgewertet.The camera interface standards typically used today, such as CSI-2, primarily support image data formats that were developed for images that are transmitted for display and viewing. However, cameras for ADAS and AD typically generate images that are not intended for display or viewing, but that are to be evaluated by algorithms. The requirements for the data formats of these images differ significantly from what is currently supported in the typical camera interface standards, such as the CSI-2 standard. ADAS and AD cameras should in particular output a high contrast over a large dynamic range. Color information is also needed, for example to recognize the colors of traffic signs. However, the color information may be available with a significantly lower resolution than the contrast information. Very often, the brightness and color of images are also evaluated separately by image processing algorithms in ADAS and AD applications.

Dementsprechend bietet es sich an, für ADAS- und AD-Anwendungen Datenformate zu verwenden, bei denen die Helligkeit (Luminanz) und die Farbkomponenten (Chrominanz) getrennt abgespeichert werden. Ein mögliches solches Bilddatenformat ist das YUV-Format, bei dem im Y-Wert eine Luminanz und in den U- und V- Werten jeweils eine Chrominanz gespeichert wird.Accordingly, it is advisable to use data formats for ADAS and AD applications in which the brightness (luminance) and the color components (chrominance) are stored separately. One possible such image data format is the YUV format, in which a luminance is stored in the Y value and a chrominance is stored in each of the U and V values.

Gängige Kamera-Schnittstellenstandards, wie zum Beispiel CSI-2, unterstützen jedoch nur YUV-Formate mit 8 Bit und 10 Bit für Luminanz und Chrominanz. Nicht unterstützte Datenformate können zwar in sogenannte „Userdefined“ Daten-Formate gepackt und so standardgerecht übertragen werden. Problematisch dabei ist, dass dieses Vorgehen dazu führen kann, dass an den Video-Eingängen von Bildverarbeitungsprozessoren Daten ankommen, welche nicht effizient gespeichert und weiterverarbeitet werden können, beispielsweise weil die ankommenden Bilddaten teilweise zerstückelt bei den Bildverarbeitungsprozessoren ankommen. Insbesondere bieten Bildverarbeitungsprozessoren typischerweise unterschiedliche Bildvorverarbeitungsfunktionen oder auch sogenannte DMAs (Direct Memory Access) an, um Bilddaten zu bearbeiten und effizient in den Speicher der Bildverarbeitungsprozessoren zu übertragen. Diese Funktionen können nur genutzt werden, wenn die Daten, die bei den Bildverarbeitungsprozessoren ankommen, den unterstützten Standards genügen. Werden beispielsweise YUV-Daten in Userdefined-Formate gepackt, so können diese Daten von den Videoeingängen der Bildverarbeitungsprozessoren nicht unbedingt effizient verarbeitet und nicht unbedingt auf einfache Weise in einer passenden Struktur in den Speicher übertragen werden.Common camera interface standards such as CSI-2, however, only support YUV formats with 8 bit and 10 bit for luminance and chrominance. Unsupported data formats can be packed into so-called "user-defined" data formats and thus transmitted in accordance with standards. The problem with this is that this procedure can lead to data arriving at the video inputs of image processing processors which cannot be efficiently stored and further processed, for example because the incoming image data arrive at the image processing processors partially fragmented. In particular, image processing processors typically offer different image preprocessing functions or also so-called DMAs (Direct Memory Access) in order to process image data and efficiently transfer them to the memory of the image processing processors. These functions can only be used if the data arriving at the image processing processors meet the standards supported. If, for example, YUV data are packed in user-defined formats, these data cannot necessarily be efficiently processed by the video inputs of the image processing processors and cannot necessarily be easily transferred to the memory in a suitable structure.

Beim bekannten Stand der Technik ist es also unter anderem problematisch, Bilddaten für ADAS-Anwendungen und AD-Anwendungen derart zu übertragen, dass bestimmte Funktionen von Bildverarbeitungsprozessoren effizient genutzt werden können.In the known prior art, it is therefore problematic, inter alia, to transmit image data for ADAS applications and AD applications in such a way that certain functions can be used efficiently by image processing processors.

Allgemeine Beschreibung der ErfindungGeneral description of the invention

Aufgabe der Erfindung ist es, die Nachteile des Stands der Technik zu beheben oder zumindest zu vermindern.The object of the invention is to eliminate or at least reduce the disadvantages of the prior art.

Die Aufgabe wird gelöst durch ein Verfahren zum Übertragen eines Bilddatenstroms von einer Kamera an eine Bildverarbeitungsvorrichtung, wobei die Kamera den Bilddatenstrom als Kameraausgangsdaten zur Verfügung stellt, wobei die Bildbearbeitungsvorrichtung eine Standardschnittstelle verwendet, wobei das Verfahren einen Datenaufbereitungsprozess umfasst, während welches die Kameraausgangsdaten derart aufbereitet werden, dass der Bilddatenstrom nach dem Datenaufbereitungsprozess mit der Standardschnittstelle kompatibel ist, wobei der Bilddatenstrom während des Datenaufbereitungsprozesses in eine Form gebracht wird, in welcher Bilddaten des Bilddatenstroms nach Helligkeitsinformationen und Farbinformationen getrennt vorliegen.The object is achieved by a method for transmitting an image data stream from a camera to an image processing device, the camera making the image data stream available as camera output data, the image processing device using a standard interface, the method comprising a data processing process during which the camera output data are processed in this way that the image data stream is compatible with the standard interface after the data preparation process, wherein the image data stream is brought into a form during the data preparation process in which image data of the image data stream are separated according to brightness information and color information.

Die Kamera ist dabei typischerweise eine Kamera für eine ADAS-Anwendung und/oder eine AD-Anwendung. Die Bildverarbeitungsvorrichtung ist dabei typischerweise ein Bildverarbeitungsprozessor oder eine Steuereinheit oder ganz allgemein ein technisches System, welches geeignet ist, digitale Bilder zu verarbeiten. Unter einem Bilddatenstrom ist dabei ganz allgemein ein Datenstrom zu verstehen, welcher eine Menge von Bits umfasst, welche in unterschiedlichen Datenformaten organisiert sein können, wobei typischerweise jeweils mehrere Bits einen oder mehrere Pixel eines bestimmten Bilds kodieren. Wichtig dabei ist, dass der Bilddatenstrom, so wie dieser Begriff hier benutzt wird, seine Gestalt ändern kann. Beispielsweise können die Datenformate, in welchen die einzelnen Bits des Bilddatenstroms organisiert sind, im Verlauf des Verfahrens in andere Datenformate umorganisiert beziehungsweise umgepackt werden. Unter Kameraausgangsdaten sind dabei Daten in bestimmten Datenformaten zu verstehen, die die Kamera beziehungsweise ein Kamerakopf ausgibt. Unter einer Standardschnittstelle ist dabei ganz allgemein eine Schnittstelle zu verstehen, welche die Anforderungen eines bestimmten informationstechnischen Standards erfüllt. Ein Beispiel für einen solchen Standard ist CSI-2. Unter einem Datenaufbereitungsprozess ist dabei ein Prozess zu verstehen, welcher an irgendeiner Stelle im Verfahren ausgeführt wird, welcher typischerweise mehrere Schritte umfasst, und während welchem ganz allgemein Umformatierungen und/oder Reorganisationen des Bilddatenstroms erfolgen können und/oder tatsächlich erfolgen. Unter dem Ausdruck „mit der Standardschnittstelle kompatibel“ ist dabei typischerweise zu verstehen, dass der Bilddatenstrom Bilddaten umfasst, welche ausschliesslich Datenformate haben, welche mit der Standardschnittstelle kompatibel sind. Bei typischen Ausführungsformen besteht der Bilddatenstrom nach dem Datenaufbereitungsprozess ausschliesslich aus Bilddaten, welche Datenformate haben, welche im Standard der Standardschnittstelle vorgesehen sind.The camera is typically a camera for an ADAS application and / or an AD application. The image processing device is typically an image processor or a control unit or, in general, a technical system that is suitable for processing digital images. In this context, an image data stream is to be understood quite generally as a data stream which comprises a set of bits which can be organized in different data formats, with several bits typically each coding one or more pixels of a specific image. It is important that the image data stream, as this term is used here, can change its shape. For example, the data formats in which the individual bits of the image data stream are organized can be reorganized or repacked into other data formats in the course of the method. Camera output data are to be understood as data in certain data formats that the camera or a camera head outputs. A standard interface is to be understood very generally as an interface which meets the requirements of a specific information technology standard. An example of such a standard is CSI-2. A data preparation process is to be understood as a process which is carried out at any point in the method, which typically comprises several steps, and during which, in general, reformatting and / or reorganization of the image data stream can take place and / or actually take place. The expression “compatible with the standard interface” is typically to be understood as meaning that the image data stream comprises image data which exclusively have data formats which are compatible with the standard interface. In typical embodiments, the image data stream after the data preparation process consists exclusively of image data which have data formats which are provided in the standard of the standard interface.

Die Erfindung löst die Aufgabe dadurch, dass auf der einen Seite nur solche Datenformate an die Bildverarbeitungsvorrichtung übertragen werden, welche mit der Standardschnittstelle der Bildverarbeitungsvorrichtung kompatibel sind, und dass gleichzeitig eine für ADAS- und AD-Anwendungen besonders sinnvolle Bilddatenorganisation, nämlich eine Trennung in Helligkeitsinformationen einerseits und Farbinformationen andererseits, bewerkstelligt wird. So wird eine besonders effiziente und schnelle Verarbeitung des Bilddatenstroms in der Bildverarbeitungsvorrichtung gewährleistet.The invention solves the problem in that, on the one hand, only those data formats are transmitted to the image processing device that are compatible with the standard interface of the image processing device, and that at the same time an image data organization that is particularly useful for ADAS and AD applications, namely a separation into brightness information on the one hand and color information on the other. This ensures particularly efficient and rapid processing of the image data stream in the image processing device.

Bei typischen Ausführungsformen haben die Bilddaten andere Bitbreiten als 8 Bit oder 10 Bit, insbesondere beispielsweise 12 Bit, und/oder werden mit anderen Bitbreiten als 8 Bit oder 10 Bit, insbesondere beispielsweise mit 12 Bit, übertragen. Bei typischen Ausführungsformen haben die Helligkeitsinformationen andere Bitbreiten als die Farbinformationen und/oder werden die Helligkeitsinformationen mit anderen Bitbreiten als die Farbinformationen übertragen.In typical embodiments, the image data have bit widths other than 8 bits or 10 bits, in particular 12 bits, for example, and / or are transmitted with bit widths other than 8 bits or 10 bits, in particular 12 bits, for example. In typical embodiments, the brightness information has different bit widths than the color information and / or the brightness information is transmitted with different bit widths than the color information.

Bei typischen Ausführungsformen ist die Standardschnittstelle eine Hochgeschwindigkeitsschnittstelle, bevorzugt eine CSI-2-Schnittstelle. Die Verwendung einer solchen Schnittstelle hat den Vorteil, dass sie eine schnelle und effiziente Datenübertragung und -verarbeitung gewährleistet. Prinzipiell sind jedoch auch Verwendungen anderer Schnittstellen möglich, z. B. CSI oder CSI-3.In typical embodiments, the standard interface is a high speed interface, preferably a CSI-2 interface. The use of such an interface has the advantage that it ensures fast and efficient data transmission and processing. In principle, however, other interfaces can also be used, e.g. B. CSI or CSI-3.

Bei typischen Ausführungsformen wird in dem Datenaufbereitungsprozess der Bilddatenstrom derart aufbereitet, dass nach dem Datenaufbereitungsprozess für jedes Bild des Bilddatenstroms drei Teilbilder vorliegen, insbesondere ein Luminanz-Teilbild und zwei Chrominanz-Teilbilder. Die Luminanz-Teilbilder sind dabei typischerweise ausschliesslich aus Bilddaten mit Helligkeitsinformationen aufgebaut. Die Chrominanz-Teilbilder sind dabei typischerweise ausschliesslich aus Bilddaten mit Farbinformationen aufgebaut. Eine solche Aufteilung in drei Teilbilder hat den Vorteil, dass einerseits eine speziell für ADAS- und AD-Kameras passende Datenstruktur gewählt wird, und dass andererseits prinzipiell eine standardgerechte Übertragung des Bilddatenstroms gewährleistet wird.In typical embodiments, the image data stream is prepared in the data preparation process in such a way that, after the data preparation process, there are three sub-images for each image of the image data stream, in particular one luminance sub-image and two chrominance sub-images. The luminance sub-images are typically built up exclusively from image data with brightness information. The chrominance sub-images are typically built up exclusively from image data with color information. Such a division into three partial images has the advantage that, on the one hand, a data structure that is especially suitable for ADAS and AD cameras is selected and, on the other hand, a standard-compliant transmission of the image data stream is guaranteed in principle.

Bei typischen Ausführungsformen liegen die Kameraausgangsdaten im YUV-Format vor, wobei typischerweise die Y-Werte jeweils eine Länge von 12 Bit haben und/oder die U-Werte typischerweise jeweils eine Länge von 8 Bit haben und/oder die V-Werte typischerweise jeweils eine Länge von 8 Bit haben, und/wobei typischerweise Luminanz-Bilddaten des Luminanz-Teilbilds das Datenformat «RAW12» haben und/oder Chrominanz-Bilddaten der Chrominanz-Teilbilder typischerweise jeweils das Datenformat «RAW8» und/oder «Userdef (8Bit)» haben. Unter dem Datenformat «Userdef (8Bit)» ist dabei ein Datenformat mit einer Länge von 8 Bit zu verstehen, welches im CSI-2-Standard dazu vorgesehen ist, von Benutzern einer CSI-2-Schnittstelle für unterschiedliche Spezialaufgaben bedarfsgerecht benutzt zu werden. Es handelt sich also sozusagen um eine Art «Joker-Datenformat». Ein solches Zusammenspiel zwischen Kameraausgangsdaten im YUV-Format, Längen der einzelnen Werte des YUV-Formats und originären Datenformaten des CSI-2-Standards ist vorteilhaft, weil so besonders gut zu ADAS- oder AD-Anwendungen passende Daten standardgerecht übertragen werden können. Alternativ sind auch andere Bitlängen möglich, beispielsweise können die Y-Werte auch Längen von 14 Bit, 16 Bit, 18 Bit oder 20 Bit haben und/oder die U-Werte und/oder die V-Werte können Längen von lediglich 6 Bit oder lediglich 4 Bit haben. Ferner ist es möglich, dass die Luminanz-Bilddaten das Datenformat RAW14, RAW16 oder RAW20 haben. Auch können die Chrominanz-Bilddaten beispielsweise die Datenformate RAW7 oder RAW6 haben. Prinzipiell können typischerweise alle Datenformate des CSI-2-Standards verwendet werden, solange eine Trennung der ursprünglichen Kameraausgangsdaten nach Helligkeitsinformationen und Farbinformation beibehalten wird. Dabei ist es möglich, bei der Verwendung von Datenformaten mit zu vielen Bits bestimmte Bits nicht zu setzen. Unter dem Begriff «Bilddaten» sind prinzipiell typischerweise Daten zu verstehen, welche einen oder mehrere Pixel eines Bilds oder Teilbilds mittels einer Mehrzahl an Bits kodieren und/oder definieren. Bei vorteilhaften Ausführungsformen werden bei der Übertragung und/oder der Ablage der Chrominanz-Bilddaten diese Chrominanz-Bilddaten entweder als getrennte Teilbilder oder als ein gemeinsames Teilbild abgelegt. Bei vorteilhaften Ausführungsformen besteht das übertragene Bild aus einem Luminanz-Bild und ein oder zwei Chrominanz-Bildern. Im Fall von nur einem Chrominanz-Bild werden die U-Werte und V-Werte, welche auch als Farbvektoren bezeichnet werden können, in einem gemeinsamen Bild übertragen. Dabei werden die jeweiligen Farbvektoren typischerweise in abwechselnder Folge in den Bilddatenstrom gelegt.In typical embodiments, the camera output data are in YUV format, the Y values typically each having a length of 12 bits and / or the U values typically each having a length of 8 bits and / or the V values typically each one 8 bits in length and / with luminance image data of the luminance sub-image typically having the data format "RAW12" and / or chrominance image data of the chrominance sub-images typically each having the data format "RAW8" and / or "Userdef (8Bit)" . The data format “Userdef (8Bit)” is understood to mean a data format with a length of 8 bits, which in the CSI-2 standard is intended to be used by users of a CSI-2 interface for different special tasks as required. So it is a kind of «wildcard data format», so to speak. Such an interaction between camera output data in YUV format, lengths of the individual values of the YUV format and original data formats of the CSI-2 standard is advantageous because data that are particularly well suited to ADAS or AD applications can be transmitted in accordance with the standard. Alternatively, other bit lengths are also possible, for example the Y values can also have lengths of 14 bits, 16 bits, 18 bits or 20 bits and / or the U values and / or the V values can have lengths of only 6 bits or only Have 4 bits. It is also possible for the luminance image data to have the data format RAW14, RAW16 or RAW20. The chrominance image data for example, have the data formats RAW7 or RAW6. In principle, all data formats of the CSI-2 standard can typically be used as long as a separation of the original camera output data according to brightness information and color information is maintained. When using data formats with too many bits, it is possible not to set certain bits. In principle, the term “image data” is typically understood to mean data which encode and / or define one or more pixels of an image or partial image by means of a plurality of bits. In advantageous embodiments, when the chrominance image data is transmitted and / or stored, these chrominance image data are stored either as separate partial images or as a common partial image. In advantageous embodiments, the transmitted image consists of a luminance image and one or two chrominance images. In the case of only one chrominance image, the U values and V values, which can also be referred to as color vectors, are transmitted in a common image. The respective color vectors are typically placed in the image data stream in an alternating sequence.

Bei typischen Ausführungsformen haben die Luminanz-Teilbilder, insbesondere die Y-Werte, und/oder die Chrominanz-Teilbilder, insbesondere die U-Werte und/oder die V-Werte, andere Bitbreiten als 8 Bit oder 10 Bit, insbesondere beispielsweise 12 Bit, und/oder werden anderen Bitbreiten als 8 Bit oder 10 Bit, insbesondere beispielsweise mit 12 Bit, übertragen. Bei typischen Ausführungsformen haben die Y-Werte andere Bitbreiten als die U-Werte und/oder die V-Werte haben und/oder werden die Y-Werte mit anderen Bitbreiten als die U-Werte und/oder die V-Werte übertragen.In typical embodiments, the luminance sub-images, in particular the Y values, and / or the chrominance sub-images, in particular the U values and / or the V values, have bit widths other than 8 bits or 10 bits, in particular, for example 12 bits, and / or bit widths other than 8 bits or 10 bits, in particular, for example, 12 bits, are transmitted. In typical embodiments, the Y values have different bit widths than the U values and / or the V values and / or the Y values are transmitted with different bit widths than the U values and / or the V values.

Wenn in dieser Beschreibung von einer Länge eines Datenformats oder eines Werts in Bit gesprochen wird, dann handelt es sich dabei prinzipiell um eine Bitbreite. Mit anderen Worten werden die beiden Begriffe «Länge» und «Bitbreite» synonym verwendet.Whenever a length of a data format or a value in bits is spoken of in this description, then it is basically a bit width. In other words, the two terms “length” and “bit width” are used synonymously.

Bei typischen Ausführungsformen werden die Luminanz-Teilbilder des Bilddatenstroms während einer Bildaufnahme übertragen und/oder die Chrominanz-Teilbilder des Datenstroms werden typischerweise in einer Austastlücke, bevorzugt einer vertikalen Austastlücke und/oder einer horizontalen Austastlücke, übertragen. Typischerweise werden dabei die Bilddaten der Chrominanz-Teilbilder gespeichert, während die Bildaufnahme erfolgt und die Luminanz-Teilbilder übertragen werden. Ein solches Vorgehen hat den Vorteil, dass der Speicherbedarf minimiert wird, weil die Luminanz-Teilbilder typischerweise eine grössere Bittiefe und/oder eine grössere Auflösung aufweisen, als die Chrominanz-Teilbilder. Auf diese Weise wird die Zeit der Bildaufnahme zur Übertragung der Bilddaten für die Luminanz-Teilbilder genutzt und anschliessend wird eine typischerweise vorhandene Austastlücke dafür verwendet, die Bilddaten der Chrominanz-Teilbilder hinterherzuschicken. Bei typischen Ausführungsformen, insbesondere in Fällen, wo eine zeitliche Dauer einer Austastlücke nicht zu einer für das Übersenden der Chrominanz-Teilbilder benötigten Zeit passt, wird die Austastlücke bezüglich ihrer zeitlichen Dauer an die für die Übertragung der Chrominanz-Teilbilder benötigte Zeit angepasst und/oder es erfolgt ein teilweises Zwischenspeichern der Luminanz-Teilbilder.In typical embodiments, the luminance sub-images of the image data stream are transmitted during an image recording and / or the chrominance sub-images of the data stream are typically transmitted in a blanking interval, preferably a vertical blanking interval and / or a horizontal blanking interval. Typically, the image data of the chrominance sub-images are stored while the image is being recorded and the luminance sub-images are being transmitted. Such a procedure has the advantage that the memory requirement is minimized because the luminance sub-images typically have a greater bit depth and / or a greater resolution than the chrominance sub-images. In this way, the time of the image recording is used to transmit the image data for the luminance sub-images and then a blanking interval that is typically present is used to send the image data of the chrominance sub-images afterwards. In typical embodiments, especially in cases where the duration of a blanking interval does not match a time required for transmitting the chrominance sub-images, the duration of the blanking interval is adapted and / or to the time required for the transmission of the chrominance sub-images there is a partial intermediate storage of the luminance sub-images.

Bei typischen Ausführungsformen erfolgt der Datenaufbereitungsprozess und/oder das Übertragen des Bilddatenstroms zeilenweise. Dabei wird typischerweise während der Aufnahme der Pixel einer Zeile und/oder der Pixel mehrerer Zeilen ein Bilddatenstrom aus Bilddaten für Luminanz-Teilbilder übertragen. Anschliessend wird dann in einer horizontalen Austastlücke ein Bilddatenstrom aus Bilddaten der Chrominanz-Teilbilder übertragen. Eine solche zeilenweise Datenaufbereitung und/oder Datenübertragung hat den Vorteil, dass so die Zwischenspeichergrösse minimiert wird. Auch bei einer solchen zeilenweisen Übertragung ist es möglich, die horizontale Austastlücke an die zu übermittelnden Daten anzupassen, wie zuvor beschrieben. Mit anderen Worten kann also die Bildaufnahmeschnelligkeit an die zu übertragenden Datenmengen angepasst werden.In typical embodiments, the data preparation process and / or the transmission of the image data stream takes place line by line. In this case, an image data stream of image data for partial luminance images is typically transmitted while the pixels of one line and / or the pixels of several lines are being recorded. Subsequently, an image data stream consisting of image data of the chrominance sub-images is then transmitted in a horizontal blanking interval. Such line-by-line data processing and / or data transmission has the advantage that the size of the buffer is minimized. Even with such a line-by-line transmission, it is possible to adapt the horizontal blanking interval to the data to be transmitted, as described above. In other words, the speed of image recording can be adapted to the amount of data to be transmitted.

Bei typischen Ausführungsformen werden die Teilbilder sequentiell, typischerweise geordnet nach Datenformaten und/oder typischerweise nach einer vorgegebenen, sich wiederholenden Reihenfolge an die Bildverarbeitungsvorrichtung übertragen. Dabei werden typischerweise Blöcke von Luminanz-Bilddaten, welche zu Luminanz-Teilbildern gehören, gefolgt von Blöcken von Chrominanz-Bilddaten betreffend Chrominanz-Teilbilder übertragen, wobei sich diese Reihenfolge in einem vorgegebenen Muster wiederholt. Eine solche Übertragung hat den Vorteil, dass die Bildverarbeitungsvorrichtung die unterschiedlichen Blöcke besonders leicht nach Chrominanz-Informationen und Luminanz-Informationen unterscheiden und in entsprechenden Speicherbereichen ablegen kann.In typical embodiments, the partial images are transmitted to the image processing device sequentially, typically sorted according to data formats and / or typically according to a predetermined, repetitive order. Typically, blocks of luminance image data belonging to luminance sub-images, followed by blocks of chrominance image data relating to chrominance sub-images, are transmitted, this sequence being repeated in a predetermined pattern. Such a transmission has the advantage that the image processing device can particularly easily distinguish the different blocks according to chrominance information and luminance information and store them in corresponding memory areas.

Bei typischen Ausführungsformen wird der gesamte Bilddatenstrom über einen einzigen virtuellen Kanal übertragen. Dabei wird eine eindeutige Identifikation der Bilddaten, insbesondere nach Luminanz-Informationen und Chrominanz-Informationen, typischerweise dadurch erreicht, dass für jeden Typ von Bilddaten jeweils ein bestimmtes Datenformat benutzt wird. Die Bildverarbeitungsvorrichtung kann somit anhand der Datenformate der eintreffenden Bilddaten erkennen, um welche Art von Bildinformationen es sich handelt. Beispielsweise werden bei einer Übertragung über einen einzigen virtuellen Kanal alle Y-Werte in dem Datenformat «RAW12» übertragen, alle U-Werte werden in einem ersten «Userdefined»-Format übertragen und alle V-Werte werden in einem zweiten «Userdefined»-Format übertragen, wobei die beiden «Userdefined»-Formate für die U-Werte und V-Werte unterschiedliche «Userdefined»-Formate sind und typischerweise unterschiedliche IDs haben. Die Begriffe «Userdefined», «Userdef (8 Bit)» und «Userdef» werden in dieser Beschreibung und in den Ansprüchen als Synonyme verwendet.In typical embodiments, the entire image data stream is transmitted over a single virtual channel. A unique identification of the image data, in particular according to luminance information and chrominance information, is typically achieved in that a specific data format is used for each type of image data. The image processing device can thus use the data formats of the incoming image data to recognize what type of image information is involved. For example, in the case of a transmission via a single virtual Channel transfer all Y values in the data format «RAW12», all U values are transferred in a first «Userdefined» format and all V values are transferred in a second «Userdefined» format, whereby the two «Userdefined» - Formats for which U-values and V-values are different «user-defined» formats and typically have different IDs. The terms «Userdefined», «Userdef (8 Bit)» and «Userdef» are used as synonyms in this description and in the claims.

Alternativ dazu ist es auch möglich, die Teilbilder nicht über einen einzigen virtuellen Kanal, sondern über unterschiedliche virtuelle Kanäle zu übertragen. Dann kann eine Identifikation der an der Bildverarbeitungsvorrichtung eintreffenden Bilddaten einfach anhand der virtuellen Kanäle bewerkstelligt werden. Beispielsweise werden dann alle Y-Werte in dem Datenformat «RAW12» in einem ersten virtuellen Kanal übertragen, alle U-Werte werden in dem Datenformat «RAW8» in einem zweiten virtuellen Kanal übertragen und alle V-Werte werden in dem Datenformat «RAW8» in einem dritten virtuellen Kanal übertragen.As an alternative to this, it is also possible not to transmit the partial images over a single virtual channel, but rather over different virtual channels. The image data arriving at the image processing device can then be identified simply on the basis of the virtual channels. For example, all Y values are then transmitted in the data format “RAW12” in a first virtual channel, all U values are transmitted in the data format “RAW8” in a second virtual channel and all V values are transmitted in the data format “RAW8” in transmitted on a third virtual channel.

Die sequentielle Übertragung der Teilbilder in einem einzigen virtuellen Kanal hat jedoch den Vorteil, dass die unterschiedlichen virtuellen Kanäle, welche typischerweise von den Standardschnittstellen zur Verfügung gestellt werden, für unterschiedliche Kameras verwendet werden können.The sequential transmission of the partial images in a single virtual channel has the advantage, however, that the different virtual channels, which are typically made available by the standard interfaces, can be used for different cameras.

Bei vorteilhaften Ausführungsformen haben alle Luminanz-Bilddaten dasselbe Datenformat, beispielsweise «RAW12». Bei vorteilhaften Ausführungsformen haben alle Chrominanz-Bilddaten dasselbe Datenformat, beispielsweise «RAW8». Bei typischen Ausführungsformen haben alle Chrominanz-Bilddaten, welche auf U-Werten beruhen, ein bestimmtes Datenformat, beispielsweise ein bestimmtes «Userdefined»-Format, und alle Chrominanz-Bilddaten, welche auf V-Werten beruhen, haben ebenfalls ein bestimmtes Datenformat, beispielsweise ein bestimmtes «Userdefined»-Format, wobei die beiden «Userdefined»-Formate für die U-Werte und V-Werte unterschiedliche «Userdefined»-Formate sind und typischerweise unterschiedliche IDs haben.In advantageous embodiments, all the luminance image data have the same data format, for example “RAW12”. In advantageous embodiments, all chrominance image data have the same data format, for example “RAW8”. In typical embodiments, all chrominance image data which are based on U values have a certain data format, for example a certain “user-defined” format, and all chrominance image data which are based on V values also have a certain data format, for example a specific «Userdefined» format, whereby the two «Userdefined» formats for the U-values and V-values are different «Userdefined» formats and typically have different IDs.

Bei typischen Ausführungsformen läuft der Datenaufbereitungsprozess kameraseitig ab. Mit anderen Worten wird also die Datenaufbereitung durchgeführt, bevor der Bilddatenstrom an die Bildverarbeitungsvorrichtung geschickt wird. Alternativ dazu ist es jedoch auch möglich, dass der Datenaufbereitungsprozess empfängerseitig abläuft. Im Fall der kameraseitigen Datenaufbereitung wird der Datenaufbereitungsprozess typischerweise entweder durch die Kamera selbst ausgeführt oder aber durch einen der Kamera nachgeschalteten Logikbaustein. Im Fall der empfängerseitigen Datenaufbereitung wird der Bildverarbeitungsvorrichtung beispielsweise ein Logikbaustein vorgeschaltet, welcher die Bilddaten des Bilddatenstroms so aufbereitet, dass der Bildverarbeitungsvorrichtung standardkonforme Datenformate zur Verfügung gestellt werden.In typical embodiments, the data preparation process takes place on the camera side. In other words, the data preparation is carried out before the image data stream is sent to the image processing device. As an alternative to this, however, it is also possible for the data preparation process to run on the recipient side. In the case of data preparation on the camera side, the data preparation process is typically either carried out by the camera itself or by a logic module connected downstream of the camera. In the case of data processing on the receiver side, a logic module is connected upstream of the image processing device, for example, which processes the image data of the image data stream in such a way that standard-compliant data formats are made available to the image processing device.

Eine kameraseitige Datenaufbereitung erfolgt typischerweise entweder bereits in einem Bildsensor oder über einen entsprechenden Verarbeitungsbaustein, der dem Bildsensor nachgeschaltet ist. Im Fall eines nachgeschalteten Verarbeitungsbausteins können für die Übertragung zu diesem Verarbeitungsbaustein wiederum verschiedene Schnittstellen und Datenformate zum Einsatz kommen. Für die Schnittstellen kommen z. B. CSI2, parallele Bildsensorschnittstellen oder dergleichen in Frage. Die Datenformate können prinzipiell alle bekannten Formate oder auch sensorspezifische Formate sein. Bei typischen Ausführungsformen umfassen die Datenformate Rohdatenformat und/oder RGB und/oder YUV und/oder dergleichen. Bei typischen Ausführungsformen ist der Verarbeitungsbaustein als spezifischer integrierter Baustein ausgeführt. Bei typischen Ausführungsformen ist der Verarbeitungsbaustein ein konfigurierbarer Logik-Baustein, z. B. ein FPGA (also ein Field Programmable Gate Array) oder ein anderer integrierter Schaltkreis, in welchen eine logische Schaltung geladen werden kann.Data processing on the camera side typically takes place either in an image sensor or via a corresponding processing module that is connected downstream of the image sensor. In the case of a downstream processing module, different interfaces and data formats can in turn be used for the transmission to this processing module. For the interfaces z. B. CSI2, parallel image sensor interfaces or the like in question. The data formats can in principle be all known formats or also sensor-specific formats. In typical embodiments, the data formats include raw data format and / or RGB and / or YUV and / or the like. In typical embodiments, the processing module is designed as a specific integrated module. In typical embodiments, the processing module is a configurable logic module, e.g. B. an FPGA (ie a Field Programmable Gate Array) or another integrated circuit in which a logic circuit can be loaded.

Die Aufgabe wird ferner gelöst durch ein System zum Übertragen und/oder Aufbereiten eines Bilddatenstroms, umfassend Mittel zur zumindest teilweisen Durchführung eines Verfahrens nach zumindest einer der vorgenannten Ausführungsformen.The object is also achieved by a system for transmitting and / or processing an image data stream, comprising means for at least partially carrying out a method according to at least one of the aforementioned embodiments.

Bei typischen Ausführungsformen ist das System in einer Kamera integriert. Bei typischen Ausführungsformen umfasst das System einen Logikbaustein und/oder ist ein Logikbaustein.In typical embodiments, the system is integrated in a camera. In typical embodiments, the system comprises a logic module and / or is a logic module.

Bei vorteilhaften Ausführungsformen ist das System geeignet, ein Verfahren zum Übertragen eines Bilddatenstroms von einer Kamera an eine Bildverarbeitungsvorrichtung nach zumindest einer der vorgenannten Ausführungsformen zumindest teilweise durchzuführen und/oder zu koordinieren und/oder zu steuern. Hierzu umfasst das System vorteilhafterweise geeignete Komponenten, zum Beispiel eine Datenaufbereitungs-Komponente, eine Speicher-Komponente, eine Zeilen-Mittelungs-Komponente und/oder eine Austastlücken-Anpassungs-Komponente. Bei typischen Ausführungsformen umfasst das System eine oder mehrere Datenerfassungseinrichtungen und/oder eine Mehrzahl an Kommunikationsschnittstellen zur Kommunikation mit einer oder mehreren Kameras, mit einem Fahrzeug, einer Fahrzeugsteuerung und/oder mit dem Internet.In advantageous embodiments, the system is suitable for at least partially performing and / or coordinating and / or controlling a method for transmitting an image data stream from a camera to an image processing device according to at least one of the aforementioned embodiments. For this purpose, the system advantageously comprises suitable components, for example a data preparation component, a memory component, a line averaging component and / or a blanking interval adaptation component. In typical embodiments, the system comprises one or more data acquisition devices and / or a plurality of communication interfaces for communication with one or more cameras, with a vehicle, a vehicle controller and / or with the Internet.

Mit Vorteil sind in dem System zum Übertragen und/oder Aufbereiten eines Bilddatenstroms zumindest einige der vorgenannten Komponenten mittels Computerprogrammcode implementiert. Bei vorteilhaften Ausführungsformen ist das System zumindest teilweise Teil einer Fahrzeugsteuerung und/oder einer Cloud, und/oder umfasst eine digitale Kontrolleinheit und/oder ein Display und/oder Mittel zur Dateneingabe und/oder Mittel zur Datenausgabe.At least some of the aforementioned components are advantageously implemented by means of computer program code in the system for transmitting and / or processing an image data stream. In advantageous embodiments, the system is at least partially part of a vehicle control system and / or a cloud and / or comprises a digital control unit and / or a display and / or means for data input and / or means for data output.

Ein Fahrzeug ist in einer Ausführungsform der Erfindung geeignet, ein Verfahren nach zumindest einer der vorgenannten Ausführungsformen durchzuführen. Hierzu umfasst das Fahrzeug typischerweise Mittel zur Durchführung eines Verfahrens nach zumindest einer der vorgenannten Ausführungsformen.In one embodiment of the invention, a vehicle is suitable for carrying out a method according to at least one of the aforementioned embodiments. For this purpose, the vehicle typically comprises means for carrying out a method according to at least one of the aforementioned embodiments.

Ein Logikbaustein umfasst in einer Ausführungsform der Erfindung eine feste und/oder eine konfigurierbare Logik-Implementierung, wobei der Logikbaustein geeignet ist, ein Verfahren nach zumindest einer der vorgenannten Ausführungsformen in Logik umzusetzen.In one embodiment of the invention, a logic module comprises a fixed and / or a configurable logic implementation, the logic module being suitable for implementing a method according to at least one of the aforementioned embodiments in logic.

Ein Computerprogramm umfasst in einer Ausführungsform der Erfindung Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, eines der vorgenannten Verfahren auszuführen. Das Computerprogramm kann dabei auch als Computerprogrammprodukt bezeichnet werden.In one embodiment of the invention, a computer program comprises instructions which, when the computer program is executed by a computer, cause the computer to carry out one of the aforementioned methods. The computer program can also be referred to as a computer program product.

Ein computerlesbares Medium umfasst in einer Ausführungsform der Erfindung Computerprogrammcode zur Durchführung eines der vorgenannten Verfahren. Unter dem Begriff „computerlesbares Medium“ sind dabei insbesondere aber nicht ausschliesslich Festplatten und/oder Server und/oder Memorysticks und/oder Flash-Speicher und/oder DVDs und/oder Bluerays und/oder CDs zu verstehen. Zusätzlich ist unter dem Begriff „computerlesbares Medium“ auch ein Datenstrom zu verstehen, wie er beispielsweise entsteht, wenn ein Computerprogramm und/oder ein Computerprogrammprodukt aus dem Internet heruntergeladen wird.In one embodiment of the invention, a computer-readable medium comprises computer program code for performing one of the aforementioned methods. The term “computer-readable medium” is to be understood here in particular, but not exclusively, on hard disks and / or servers and / or memory sticks and / or flash memories and / or DVDs and / or BluRays and / or CDs. In addition, the term “computer-readable medium” is also to be understood as a data stream such as is created, for example, when a computer program and / or a computer program product is downloaded from the Internet.

FigurenlisteFigure list

Im Folgenden wird die Erfindung anhand von Zeichnungen kurz erläutert, wobei zeigen:

1: Eine schematische Darstellung eines erfindungsgemässen Verfahrens in einer ersten Ausführungsform,
2: Eine schematische Darstellung eines erfindungsgemässen Verfahrens in einer zweiten Ausführungsform, und
3: Eine schematische Darstellung eines erfindungsgemässen Verfahrens in einer dritten Ausführungsform.

The invention is briefly explained below with reference to drawings, which show:

1 : A schematic representation of a method according to the invention in a first embodiment,
2 : A schematic representation of a method according to the invention in a second embodiment, and
3rd : A schematic representation of a method according to the invention in a third embodiment.

Beschreibung bevorzugter AusführungsbeispieleDescription of preferred exemplary embodiments

1 zeigt eine schematische Darstellung eines Verfahrens nach einer ersten Ausführungsform der Erfindung. In 1 ist eine Kamera 1 und eine Bildverarbeitungsvorrichtung 2 dargestellt. Von der Kamera 1 zur Bildverarbeitungsvorrichtung 2 wird ein Bilddatenstrom 4 übertragen. Die Kamera 1 stellt den Bilddatenstrom 4 zunächst in Form von Kameraausgangsdaten im YUV-Format zur Verfügung. Das heisst, dass für jedes Bild eine Mehrzahl an Y-Werten, eine Mehrzahl an U-Werten und eine Mehrzahl an V-Werten als Kameraausgangsdaten ausgegeben werden. Die Y-Werte werden dabei typischerweise als Luminanz-Informationen oder Helligkeitsinformationen bezeichnet und die U-Werte und die V-Werte werden als Chrominanz-Informationen oder Farbinformationen bezeichnet. Die Y-Werte haben eine Bittiefe von 12 Bit und die U-Werte und die V-Werte haben jeweils eine Bittiefe von 8 Bit. 1 shows a schematic representation of a method according to a first embodiment of the invention. In 1 is a camera 1 and an image processing device 2 shown. From the camera 1 to the image processing device 2 becomes an image data stream 4th transfer. The camera 1 represents the image data stream 4th initially available in the form of camera output data in YUV format. This means that a plurality of Y values, a plurality of U values and a plurality of V values are output as camera output data for each image. The Y values are typically referred to as luminance information or brightness information and the U values and the V values are referred to as chrominance information or color information. The Y values have a bit depth of 12 bits and the U values and the V values each have a bit depth of 8 bits.

Das in 1 gezeigte Verfahren umfasst ein Datenaufbereitungssystem 3, welches einen Datenaufbereitungsprozess S1 ausführt. Während dieses Datenaufbereitungsprozesses 1 werden die Kameraausgangsdaten, also die YUV-Werte, in Datenformate umgewandelt, welche im CSI-2-Standard definiert sind. Im Rahmen des Datenaufbereitungsprozesses S1 werden die Y-Werte jeweils auf das Datenformat RAW12 gebracht, die U-Werte werden jeweils auf das Datenformat RAW8 gebracht und die V-Werte werden ebenfalls auf das Datenformat RAW8 gebracht. Der Bilddatenstrom 4 umfasst somit nach dem Datenaufarbeitungsprozess S1 nur noch Datenformate, welche im CSI-2-Standard definiert sind beziehungsweise mit diesem Standard kompatibel sind. Dieser aufbereitete Bilddatenstrom 4 wird dann der Bildverarbeitungsvorrichtung 2 zugeführt. Die Bildverarbeitungsvorrichtung 2 bekommt somit ausschliesslich Datenformate zur Verfügung gestellt, die mit dem CSI-2-Standard kompatibel sind, und kann diese Bilddaten somit effizient verarbeiten, beispielsweise per Direct Memory Access (DMA). Zudem weiss die Bildverarbeitungsvorrichtung 2, dass Y-Werte, also Luminanz-Informationen, in dem Datenformat RAW12 gespeichert sind und dass U-Werte und V-Werte als Chrominanz-Informationen jeweils in den Datenformaten RAW8 enthalten sind. Auf diese Weise kann die Bildverarbeitungsvorrichtung 2 auf einfache Weise zwischen Bilddaten mit Luminanz-Informationen und Bilddaten mit Chrominanz-Informationen unterscheiden, was die Verarbeitung der Bilddaten in der Bildverarbeitungsvorrichtung 2 vereinfacht.This in 1 The method shown comprises a data preparation system 3rd , which is a data preparation process S1 executes. During this data preparation process 1 the camera output data, i.e. the YUV values, are converted into data formats that are defined in the CSI-2 standard. As part of the data preparation process S1 the Y-values are brought to the data format RAW12, the U-values are respectively brought to the data format RAW8 and the V-values are also brought to the data format RAW8. The image data stream 4th thus includes after the data processing process S1 only data formats that are defined in the CSI-2 standard or are compatible with this standard. This processed image data stream 4th then becomes the image processing device 2 fed. The image processing device 2 This means that only data formats are made available that are compatible with the CSI-2 standard, and can thus process this image data efficiently, for example via Direct Memory Access (DMA). In addition, the image processing device knows 2 that Y-values, i.e. luminance information, are stored in the data format RAW12 and that U-values and V-values are each contained as chrominance information in the data formats RAW8. In this way, the image processing device 2 easily distinguish between image data with luminance information and image data with chrominance information, which is the processing of the image data in the image processing device 2 simplified.

2 zeigt eine schematische Darstellung eines weiteren Ausführungsbeispiels der Erfindung. Das in 2 gezeigte Ausführungsbeispiel ist dem in 1 gezeigten Ausführungsbeispiel sehr ähnlich. Einziger Unterschied ist, dass die U-Werte und die V-Werte während des Datenaufbereitungsprozesses S1 nicht in das Format RAW8 gepackt werden, sondern dass die U-Werte in ein erstes Userdef-Format mit 8 Bit Länge gepackt werden und die V-Werte in ein zweites Userdef-Format mit ebenfalls 8 Bit Länge gepackt werden. Der CSI-2-Standard stellt eine Mehrzahl solcher Userdef-Formate zur Verfügung, wobei die unterschiedlichen Userdef-Formate anhand unterschiedlicher IDs unterschieden werden können. Auf diese Weise wird es der Bildverarbeitungsvorrichtung 2 ermöglicht, anhand der Datenformate des Bilddatenstroms 4, welcher an der Bildverarbeitungsvorrichtung 2 ankommt, nicht nur nach Luminanz-Informationen und Chrominanz-Informationen zu unterscheiden, sondern auch eine Unterscheidung nach U-Werten und V-Werten vorzunehmen, denn U-Werte und V-Werte können jeweils ein einem speziellen, jeweils für sie reservierten Userdef-Datenformat erkannt werden, ebenso wie die Y-Werte an dem Datenformat RAW12 erkannt werden können. 2 shows a schematic representation of a further embodiment of the invention. This in 2 The embodiment shown is the in 1 shown embodiment very similar. The only difference is that the U-values and the V-values during the data preparation process S1 are not packed into the RAW8 format, but rather that the U values are packed into a first user-defined format with a length of 8 bits and the V-values are packed into a second user-defined format, also with a length of 8 bits. The CSI-2 standard provides a number of such user-defined formats, it being possible to distinguish between the different user-defined formats on the basis of different IDs. In this way, it becomes the image processing device 2 made possible on the basis of the data formats of the image data stream 4th , which on the image processing device 2 What matters is not only to differentiate between luminance information and chrominance information, but also to make a distinction between U-values and V-values, because U-values and V-values can each have a special user-defined data format reserved for them can be recognized, just as the Y-values can be recognized by the data format RAW12.

3 zeigt eine schematische Darstellung eines Verfahrens nach einer dritten Ausführungsform der Erfindung. Ähnlich wie bei der bereits in 1 gezeigten Ausführungsform wird bei der in 3 gezeigten Übertragung eines Bilddatenstroms 4 von einer Kamera 1 zu einer Bildverarbeitungsvorrichtung 2 in einem Datenaufbereitungsprozess S1 eine Abspeicherung der Y-Werte im RAW12-Format und eine Abspeicherung der U-Werte und der V-Werte jeweils im RAW8-Format vorgenommen. Die Übertragung an die Bildverarbeitungsvorrichtung 2 erfolgt anschliessend jedoch nicht in einem einzigen virtuellen Kanal (wie in den 1 und 2 gezeigt), sondern in drei virtuellen Kanälen. Auf diese Weise wird es der Bildverarbeitungsvorrichtung 2 ermöglicht, anhand der Zugehörigkeit der empfangenen Bilddaten zu den unterschiedlichen Kanälen nach Y-Werten, U-Werten und V-Werten zu unterscheiden, weil im oberen Kanal Y-Werte im RAW12-Format übertragen werden, im mittleren Kanal U-Werte im RAW8-Format übertragen werden und im unteren Kanal V-Werte im RAW8-Format übertragen werden (wobei die Bezeichnungen «oberer Kanal», «mittlerer Kanal» und «unterer Kanal» sich lediglich auf die grafische Darstellung in 3 beziehen). Insbesondere wird es bei dem in 3 gezeigten Ausführungsbeispiel ermöglicht, dass die Bildverarbeitungsvorrichtung 2 empfangene Bilddaten im RAW8-Format nach U-Werten und V-Werten unterscheidet, weil für die U-Werte und die V-Werte jeweils ein eigener virtueller Kanal benutzt wird. Nachteilig bei der in 3 gezeigten Ausführungsform ist jedoch, dass hierzu drei virtuelle Kanäle der CSI-2-Schnittstelle benötigt werden, wohingegen bei den in 1 und 2 gezeigten Ausführungsbeispielen jeweils nur ein virtueller Kanal benötigt wird. Zur 3 ist noch anzumerken, dass die gezeigten drei virtuellen Kanäle durch ein Zeit-Multiplexing entstehen, dass also nicht tatsächlich drei parallele Datenübertragungswege bestehen. 3rd shows a schematic representation of a method according to a third embodiment of the invention. Similar to the one already in 1 The embodiment shown in FIG 3rd transmission of an image data stream shown 4th from a camera 1 to an image processing device 2 in a data preparation process S1 the Y-values were saved in RAW12 format and the U-values and the V-values were each saved in RAW8 format. The transmission to the image processing device 2 does not then take place in a single virtual channel (as in the 1 and 2 shown), but in three virtual channels. In this way, it becomes the image processing device 2 allows to differentiate between Y-values, U-values and V-values based on the association of the received image data with the different channels, because in the upper channel Y-values are transmitted in RAW12 format, in the middle channel U-values in RAW8 format Format and V values are transmitted in RAW8 format in the lower channel (whereby the terms «upper channel», «middle channel» and «lower channel» refer only to the graphic representation in 3rd Respectively). In particular, the in 3rd The embodiment shown enables the image processing device 2 differentiates received image data in RAW8 format according to U-values and V-values, because a separate virtual channel is used for the U-values and the V-values. Disadvantage of the in 3rd However, the embodiment shown is that for this purpose three virtual channels of the CSI-2 interface are required, whereas in the case of the in 1 and 2 Embodiments shown in each case only one virtual channel is required. To 3rd It should also be noted that the three virtual channels shown are created by time multiplexing, so that there are not actually three parallel data transmission paths.

Das Datenaufbereitungssystem 3 ist in 1 bis 3 als einzelne Komponente dargestellt, kann aber bei typischen Ausführungsformen auch Teil der Kamera 1 sein. Bei allen in den 1 bis 3 gezeigten Ausführungsbeispielen fallen die Bildinformationen bei der Bandaufnahme durch die Kamera 1 typischerweise parallel an. Bei typischen Ausführungsformen werden daher Bildinformationen, also z. B. U-Werte und/oder V-Werte, zwischengespeichert. Bei typischen Ausführungsformen wird jedes von der Kamera 1 aufgezeichnete Bild in drei Teilbildern, nämlich einem Luminanzbild und zwei Chrominanzbildern übertragen. Die Bilddaten für das Luminanzbild werden dabei typischerweise als Y-Wert mit 12 Bit von der Kamera 1 geliefert und die Bilddaten für die Chrominanzbilder werden als U-Wert mit 8 Bit und als V-Wert mit 8 Bit von der Kamera 1 geliefert. Das Luminanzbild jedes Bildes wird typischerweise jeweils während der Bildaufnahme übertragen. Die beiden Chrominanzbilder werden in diesem Fall zwischengespeichert und nach der Übertragung des Luminanzbildes übertragen, bevorzugt in einer Austastlücke.The data preparation system 3rd is in 1 to 3rd shown as a single component, but can also be part of the camera in typical embodiments 1 be. With everyone in the 1 to 3rd In the exemplary embodiments shown, the image information falls when the tape is picked up by the camera 1 typically in parallel. In typical embodiments, therefore, image information, so z. B. U-values and / or V-values, cached. In typical embodiments, each is from the camera 1 The recorded image is transmitted in three fields, namely a luminance image and two chrominance images. The image data for the luminance image are typically received from the camera as a Y value with 12 bits 1 and the image data for the chrominance images are provided by the camera as a U value with 8 bits and as a V value with 8 bits 1 delivered. The luminance image of each image is typically transmitted during the image acquisition. The two chrominance images are buffered in this case and transmitted after the transmission of the luminance image, preferably in a blanking interval.

Die Luminanzbilder, welche wie erläutert typischerweise durch Y-Werte mit 12 Bit kodiert werden, haben typischerweise eine höhere Auflösung und eine höhere Bittiefe als die Chrominanzbilder, welche typischerweise nur die Hälfte oder ein Viertel der Auflösung der Luminanzbilder haben. Die Bittiefe ist bei ADAS und AD-Kameras für U-Werte und V-Werte ebenfalls geringer als für Y-Werte. Damit sind Speicher und Übertragungszeit der U-Werte und der V-Werte deutlich geringer als für die Y-Werte. Um den benötigten Speicher kameraseitig möglichst klein zu halten, werden die Y-Anteile typischerweise direkt während der Bandaufnahme übertragen. Die U-Werte und die V-Werte werden bevorzugt in der vertikalen Austastlücke übertragen. Dabei wird die Bildaufnahme nötigenfalls entsprechend angepasst, zum Beispiel so, dass die Länge der vertikalen Austastlücke zur Übertragung der U-Werte und der V-Werte ausreicht. Alternativ oder in Kombination damit kann auch ein zumindest teilweises Zwischenspeichern des Y-Wertes vorgenommen werden. Wird ein Zwischenspeicher als First-In-First-Out (FIFO) ausgelegt, gegebenenfalls mit unterschiedlicher Ein- und Ausgangsdatenrate, so werden typischerweise dynamisch nur Teilbereiche des Y-Wertes im Speicher gehalten. Dadurch wird es ermöglicht, die Grösse des Speichers entsprechend klein zu halten.The luminance images, which, as explained, are typically encoded by Y values with 12 bits, typically have a higher resolution and a higher bit depth than the chrominance images, which typically have only half or a quarter of the resolution of the luminance images. With ADAS and AD cameras, the bit depth for U values and V values is also lower than for Y values. This means that the memory and transmission time for the U values and the V values are significantly shorter than for the Y values. In order to keep the required memory on the camera side as small as possible, the Y-components are typically transferred directly while the tape is being recorded. The U-values and the V-values are preferably transmitted in the vertical blanking interval. If necessary, the image recording is adjusted accordingly, for example in such a way that the length of the vertical blanking interval is sufficient for the transmission of the U-values and the V-values. Alternatively or in combination with this, at least partial temporary storage of the Y value can also be carried out. If a buffer is designed as a first-in-first-out (FIFO), possibly with a different input and output data rate, typically only partial areas of the Y value are kept in the memory dynamically. This makes it possible to keep the size of the memory correspondingly small.

Bei typischen Ausführungsformen werden die Zwischenspeicher auf Seiten der Kamera 1 dadurch reduziert, dass bei der Übertragung der Bilddaten von der Kamera 1 an die Bildverarbeitungsvorrichtung 2 Bilddaten zeilenweise getrennt werden. CSI-2 erlaubt eine solche zeilenweise Übertragung. Damit müssen nicht ganze Bilder zwischengespeichert und anschliessend in der vertikalen Austastlücke übertragen werden, sondern es werden jeweils nur eine oder mehrere Zeilen gespeichert, und die entsprechenden U-Werte und V-Werte werden dann in den jeweiligen horizontalen Austastlücken übertragen, wobei typischerweise die Y-Werte weiterhin direkt während der Aufzeichnung der Bilddaten durch die Kamera 1 übertragen werden. Bei typischen Ausführungsformen wird die horizontale Austastlücke dabei zeitlich angepasst, insbesondere so, dass die horizontale Austastlücke lang genug für die Übertragung der U-Werte und der V-Werte ist.In typical embodiments, the buffers are on the camera side 1 thereby reducing that when transferring the image data from the camera 1 to the image processing device 2 Image data are separated line by line. CSI-2 allows such a line-by-line transmission. This means that entire images do not have to be temporarily stored and then transmitted in the vertical blanking interval, but only one or more lines are stored at a time, and the corresponding U-values and V-values are then transmitted in the respective horizontal blanking intervals, with the Y- Values continue directly during the recording of the image data by the camera 1 be transmitted. In typical embodiments, the horizontal blanking interval is adjusted in time, in particular such that the horizontal blanking interval is long enough for the transmission of the U values and the V values.

Auch bei der zeilenweisen Übertragung von Bilddaten werden bei typischen Ausführungsformen dynamisch bestimmte Y-Werte zwischengespeichert, um das Ausgabetiming zu optimieren.Even with the line-by-line transmission of image data, in typical embodiments, dynamically determined Y values are temporarily stored in order to optimize the output timing.

Bei vorteilhaften Ausführungsformen wird alternierend nach je einer zeilenweisen Übertragung von Y-Werten nur entweder eine Zeile mit U-Werten oder eine Zeile mit V-Werten übertragen, was zu einem gleichmässigen Datenstrom führt. Bei typischen Ausführungsformen werden für die Berechnung der U-Werte und/oder der V-Werte Bildinformationen aus zwei Zeilen ausgewertet. Dafür wird typischerweise ein Zwischenspeichern von U-Werten und/oder V-Werten vorgenommen. Eine zeilenweise Trennung der Bilddaten führt in einem solchen Fall nicht unbedingt zu einer Vergrösserung des Speichers in der Kamera, weil eine Zwischenspeicherung aufgrund der zeilenübergreifenden Auswertung von Pixeldaten dann ja sowieso stattfindet.In advantageous embodiments, after a line-by-line transmission of Y values, only either one line with U values or one line with V values is transmitted, which leads to a uniform data stream. In typical embodiments, image information from two lines is evaluated for the calculation of the U values and / or the V values. For this purpose, U-values and / or V-values are typically stored temporarily. A line-by-line separation of the image data does not necessarily lead to an increase in the memory in the camera in such a case, because intermediate storage then takes place anyway due to the cross-line evaluation of pixel data.

Grundsätzlich ist es auch möglich, andere als die in den 1 bis 3 gezeigten Datenformate zu nutzen. U-Werte und V-Werte können beispielsweise in RGB-Datenformate verpackt werden, wobei in diesem Fall eine Farbkomponente des RGB-Datenformats nicht belegt würde. Weiterhin ist es möglich, in Fällen, wo für die U-Werte und die V-Werte beispielsweise 6 Bit ausreichen, eine Übertragung von der Kamera 1 zu der Bildverarbeitungsvorrichtung 2 derart vorzunehmen, dass alle Y-Werte als RAW12-Datenformate übertragen werden, dass alle U-Werte als RAW6-Datenformate übertragen werden und dass alle V-Werte als RAW7-Formate übertragen werden. In diesem Fall würde beim RAW7-Format das «most significant Bit» (MSB) nicht genutzt.In principle, it is also possible to use something other than those in the 1 to 3rd to use the data formats shown. U-values and V-values can, for example, be packaged in RGB data formats, in which case a color component of the RGB data format would not be used. Furthermore, in cases where 6 bits are sufficient for the U values and the V values, for example, a transmission from the camera is possible 1 to the image processing device 2 in such a way that all Y values are transmitted as RAW12 data formats, that all U values are transmitted as RAW6 data formats and that all V values are transmitted as RAW7 formats. In this case, the “most significant bit” (MSB) would not be used in the RAW7 format.

Bei typischen Ausführungsformen wird der Datenaufbereitungsprozess S1 in der Kamera 1 selbst durchgeführt, oder aber in einem der Kamera 1 bevorzugt direkt nachgeschaltetem Logikbaustein. Mit anderen Worten werden bei solchen Ausführungsformen also vor der eigentlichen Übertragung des Bilddatenstroms 4 an die Bildverarbeitungsvorrichtung 2 die Y-Werte, U-Werte und V-Werte in die CSI-2-kompatiblen Datenformate gepackt. Alternativ dazu ist es jedoch auch möglich, alle Bilddaten als Userdef (8Bit) verpackt zu übertragen, und dann eine Umformatierung eingangsseitig an der Bildverarbeitungsvorrichtung 2 vorzunehmen, beispielsweise mittels einer Komponente, welche der Bildverarbeitungsvorrichtung 2 vorgeschaltet ist. Eine solche Formatkonvertierung kann zum Beispiel einfach in einem konfigurierbaren Logikbaustein (wie z.B. einem FPGA) implementiert werden.In typical embodiments, the data preparation process S1 in the camera 1 performed by yourself, or in one of the cameras 1 preferably directly downstream logic module. In other words, in such embodiments, prior to the actual transmission of the image data stream 4th to the image processing device 2 the Y-values, U-values and V-values packed into the CSI-2 compatible data formats. As an alternative to this, however, it is also possible to transmit all image data packaged as user-defined (8-bit), and then reformatting on the input side at the image processing device 2 make, for example by means of a component which the image processing device 2 is upstream. Such a format conversion can, for example, easily be implemented in a configurable logic module (such as an FPGA).

In einem typischen Ausführungsbeispiel wird eines der erfindungsgemässen Verfahren in einem Fahrzeug ausgeführt, um in diesem Fahrzeug eine Bilddatenübertragung zwischen einer ADAS-Kamera und/oder einer AD-Kamera und/oder einer Mehrzahl solcher Kameras einerseits und einer Bildverarbeitungsvorrichtung andererseits möglichst effizient zu gestalten. Dazu umfasst das Fahrzeug typischerweise ein erfindungsgemässes System zum Übertragen und/oder Aufbereiten eines BilddatenstromsIn a typical embodiment, one of the inventive methods is carried out in a vehicle in order to make image data transmission between an ADAS camera and / or an AD camera and / or a plurality of such cameras on the one hand and an image processing device on the other hand as efficient as possible in this vehicle. For this purpose, the vehicle typically comprises a system according to the invention for transmitting and / or processing an image data stream

Die Erfindung ist nicht auf die beschriebenen Ausführungsbeispiele beschränkt. Der Schutzumfang wird durch die Patentansprüche definiert.The invention is not restricted to the exemplary embodiments described. The scope of protection is defined by the claims.

Prinzipiell können alle in der Beschreibung oder in den Ansprüchen beschriebenen Verfahren von Vorrichtungen ausgeführt werden, welche Mittel zur Ausführung der jeweiligen Verfahrensschritte dieser Verfahren umfassen.In principle, all of the methods described in the description or in the claims can be carried out by devices which comprise means for carrying out the respective method steps of these methods.

BezugszeichenlisteList of reference symbols

11: Kameracamera
22: BildverarbeitungsvorrichtungImage processing device
33: DatenaufbereitungssystemData preparation system
44th: Bilddatenstrom Image data stream
S1S1: Datenaufbereitungsprozess Data preparation process
YUVYUV: Bilddaten im YUV-FormatImage data in YUV format

Claims

Verfahren zum Übertragen eines Bilddatenstroms (4) von einer Kamera (1) an eine Bildverarbeitungsvorrichtung (2), - wobei die Kamera (1) den Bilddatenstrom (4) als Kameraausgangsdaten zur Verfügung stellt, - wobei die Bildverarbeitungsvorrichtung (2) eine Standardschnittstelle verwendet, - wobei das Verfahren einen Datenaufbereitungsprozess (S1) umfasst, während welches die Kameraausgangsdaten derart aufbereitet werden, dass der Bilddatenstrom (4) nach dem Datenaufbereitungsprozess (S1) mit der Standardschnittstelle kompatibei ist, dadurch gekennzeichnet, dass der Bilddatenstrom (4) während des Datenaufbereitungsprozesses (S1) in eine Form gebracht wird, in welcher Bilddaten des Bilddatenstroms (4) nach Helligkeitsinformationen und Farbinformationen getrennt vorliegen.Method for transmitting an image data stream (4) from a camera (1) to an image processing device (2), the camera (1) making the image data stream (4) available as camera output data, the image processing device (2) using a standard interface, the method comprising a data processing process (S1) during which the camera output data are processed in such a way that the image data stream (4) is compatible with the standard interface after the data preparation process (S1), characterized in that the image data stream (4) is brought into a form during the data preparation process (S1) in which image data of the image data stream (4) are separated according to brightness information and color information .

Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass - die Bilddaten andere Bitbreiten als 8 Bit oder 10 Bit, insbesondere beispielsweise 12 Bit, haben und/oder mit anderen Bitbreiten als 8 Bit oder 10 Bit, insbesondere beispielsweise mit 12 Bit, übertragen werden, und/oder - die Helligkeitsinformationen andere Bitbreiten als die Farbinformationen haben und/oder die Helligkeitsinformationen mit anderen Bitbreiten als die Farbinformationen übertragen werden.Procedure according to Claim 1 , characterized in that - the image data have bit widths other than 8 bits or 10 bits, in particular for example 12 bits, and / or are transmitted with other bit widths than 8 bits or 10 bits, in particular for example 12 bits, and / or the Brightness information have different bit widths than the color information and / or the brightness information is transmitted with different bit widths than the color information.

Verfahren nach Anspruch einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Standardschnittstelle eine Hochgeschwindigkeitsschnittstelle, bevorzugt eine CSI-2-Schnittstelle, ist.Method according to one of the preceding claims, characterized in that the standard interface is a high-speed interface, preferably a CSI-2 interface.

Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in dem Datenaufbereitungsprozess (S1) der Bilddatenstrom (4) derart aufbereitet wird, dass nach dem Datenaufbereitungsprozess (S1) für jedes Bild des Bilddatenstroms (4) drei Teilbilder vorliegen, insbesondere ein Luminanz-Teilbild und zwei Chrominanz-Teilbilder, wobei die beiden Chrominanz-Teilbilder bevorzugt in einem gemeinsamen Teilbild übertragen werden.Method according to one of the preceding claims, characterized in that in the data preparation process (S1) the image data stream (4) is prepared in such a way that after the data preparation process (S1) there are three sub-images for each image of the image data stream (4), in particular one luminance sub-image and two chrominance sub-images, the two chrominance sub-images preferably being transmitted in a common sub-image.

Verfahren nach einem der Ansprüche 2 bis 4, dadurch gekennzeichnet, dass die Kameraausgangsdaten im YUV-Format vorliegen, - wobei typischerweise die Y-Werte jeweils eine Länge von 12 Bit haben und/oder die U-Werte typischerweise jeweils eine Länge von 8 Bit haben und/oder die V-Werte typischerweise jeweils eine Länge von 8 Bit haben, und/oder - wobei typischerweise Luminanz-Bilddaten des Luminanz-Teilbilds das Datenformat «RAW12» haben und/oder Chrominanz-Bilddaten der Chrominanz-Teilbilder typischerweise jeweils das Datenformat «RAW8» und/oder «Userdef (8Bit)» haben, und/oder - wobei typischerweise die Luminanz-Teilbilder, insbesondere die Y-Werte, und/oder die Chrominanz-Teilbilder, insbesondere die U-Werte und/oder die V-Werte, andere Bitbreiten als 8 Bit oder 10 Bit, insbesondere beispielsweise 12 Bit, haben und/oder mit anderen Bitbreiten als 8 Bit oder 10 Bit, insbesondere beispielsweise mit 12 Bit, übertragen werden, und/oder - wobei typischerweise die Y-Werte andere Bitbreiten als die U-Werte und/oder die V-Werte haben und/oder wobei typischerweise die Y-Werte mit anderen Bitbreiten als die U-Werte und/oder die V-Werte übertragen werden.Method according to one of the Claims 2 to 4th , characterized in that the camera output data is in YUV format, - the Y values typically each having a length of 12 bits and / or the U values typically each having a length of 8 bits and / or the V values typically each have a length of 8 bits, and / or - where luminance image data of the luminance sub-image typically have the data format "RAW12" and / or chrominance image data of the chrominance sub-images typically each have the data format "RAW8" and / or "Userdef ( 8 bits) », and / or - where typically the luminance sub-images, in particular the Y values, and / or the chrominance sub-images, in particular the U values and / or the V values, have bit widths other than 8 bits or 10 Bits, in particular for example 12 bits, and / or are transmitted with bit widths other than 8 bits or 10 bits, in particular for example 12 bits, and / or - where typically the Y values have different bit widths than the U values and / or got the V values n and / or where the Y values are typically transmitted with different bit widths than the U values and / or the V values.

Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass die Luminanz-Teilbilder des Bilddatenstroms (4) während einer Bildaufnahme übertragen werden und/oder dass die Chrominanz-Teilbilder des Datenstroms typischerweise in einer Austastlücke, bevorzugt einer vertikalen Austastlücke und/oder einer horizontalen Austastlücke, übertragen werden.Method according to one of the Claims 3 to 5 , characterized in that the luminance sub-images of the image data stream (4) are transmitted during an image recording and / or that the chrominance sub-images of the data stream are typically transmitted in a blanking interval, preferably a vertical blanking interval and / or a horizontal blanking interval.

Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Datenaufbereitungsprozess (S1) und/oder das Übertragen des Bilddatenstroms (4) zeilenweise erfolgt.Method according to one of the preceding claims, characterized in that the data preparation process (S1) and / or the transmission of the image data stream (4) takes place line by line.

Verfahren nach einem der Ansprüche 3 bis 6, dadurch gekennzeichnet, dass die Teilbilder sequentiell, typischerweise geordnet nach Datenformaten und/oder typischerweise nach einer vorgegebenen, sich wiederholenden Reihenfolge an die Bildverarbeitungsvorrichtung (2) übertragen werden.Method according to one of the Claims 3 to 6th , characterized in that the partial images are transmitted to the image processing device (2) sequentially, typically sorted according to data formats and / or typically according to a predetermined, repetitive order.

Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Datenaufbereitungsprozess (S1) kameraseitig abläuft.Method according to one of the preceding claims, characterized in that the data preparation process (S1) runs on the camera side.

System zum Übertragen und/oder Aufbereiten eines Bilddatenstroms (4), umfassend Mittel (1, 3) zur zumindest teilweisen Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 9.System for transmitting and / or processing an image data stream (4), comprising means (1, 3) for at least partial implementation of a method according to one of the Claims 1 to 9 .

Fahrzeug, geeignet zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 9.Vehicle suitable for carrying out a method according to one of the Claims 1 to 9 .

Logikbaustein, umfassend eine feste und/oder eine konfigurierbare Logik-Implementierung, dadurch gekennzeichnet, dass der Logikbaustein geeignet ist, ein Verfahren nach einem der Ansprüche 1 bis 9 in Logik umzusetzen.Logic module, comprising a fixed and / or a configurable logic implementation, characterized in that the logic module is suitable for a method according to one of the Claims 1 to 9 to translate into logic.

Computerprogramm, umfassend Befehle, die bei der Ausführung des Computerprogramms durch einen Computer diesen veranlassen, das Verfahren nach einem der Ansprüche 1 bis 9 auszuführen.Computer program, comprising instructions which cause the computer program to be executed by a computer, the method according to one of the Claims 1 to 9 to execute.

Computerlesbares Medium, dadurch gekennzeichnet, dass das computerlesbare Medium Computerprogrammcode zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 9 umfasst.Computer readable medium, characterized in that the computer readable medium Computer program code for carrying out a method according to one of the Claims 1 to 9 includes.