-
Die Erfindung betrifft ein Verfahren gemäß dem Oberbegriff des Anspruchs 1 sowie eine Vorrichtung gemäß dem Oberbegriff des Anspruchs 3.
-
Verfahren und Vorrichtungen zur Übertragung von Bildern, beispielsweise von mittels einer Kamera aufgenommenen Umgebungsbildern zur Darstellung auf einem Display, sind bekannt. Auch die Verarbeitung von Bildern entlang der Übertragungskette, beispielsweise die Kompression, eine Größenanpassung und/oder die Überlagerung (Augmentierung) von Symbolen über einem Umgebungsbild, sind bekannt.
-
Das Dokument
DE 39 13 620 A1 beschreibt ein Verfahren zur Bildauswertung mittels einer Auswerteeinrichtung durch Analyse der Richtungen von Grauwertgradienten, wobei gespeicherte Bildmuster, z. B. Textilmuster oder Fahrzeuge, in dem auszuwertenden Bild ermittelt werden, wobei die Grauwertgradienten des Bildes normiert werden, das Histogramm der Gradientenrichtungen gebildet wird, indem die Häufigkeit der Gradientenwinkelwerte in Prozent gegen den Winkelwert, z. B. in einer Tabelle, festgelegt werden, die Kreuzkorrelation mit dem Histogramm des gespeicherten Bildmusters durchgeführt wird, der Winkelwert des Bildmusters um 1 oder einen beliebigen anderen Wert erhöht (modulo 360) und dieses neue Histogramm mit dem Bild kreuzkorreliert wird, diese Maßnahme 360mal oder entsprechend weniger oft wiederholt wird und das Bild mit der höchsten Übereinstimmung der Kreuzkorrelation ermittelt wird.
-
Das Dokument
DE 195 49 216 A1 beschreibt ein Verfahren zur Bildauswertung eines parzellierten oder tesselierten Bildes, wobei für jede Parzelle eines parzellierten Bildes der mittlere Grauwert L
m sowie die minimalen und maximalen Grauwerte L
min bzw. L
max berechnet werden. Deren Differenz wird als Spannweite S
p einer Parzelle bezeichnet. Anschließend werden eine mittlere Spannweite S
m und deren Standardabweichung für das gesamte Grauwertbild aus den Spannweiten aller Parzellen des parzellierten Bildes berechnet. Dieser Mittelwert S
m wird als Schwellwert zur Definition auffälliger Parzellen benutzt: Eine Parzelle ist auffällig, wenn deren Spannweite S
p größer als S
m ist. Darüber hinaus werden die Abstände von Maxima im Histogramm der Grauwert-Gradientenrichtungen zur Definition auffälliger Bereiche herangezogen. Abstände von ca. 180° bzw. 90° signalisieren parallele Kanten bzw. orthogonale Kanten. Das „Spannweiten-Verfahren“ wird mit dem „Richtungshistogramm-Verfahren“ kombiniert für die Detektion künstlicher Objekte (z. B. Fahrzeuge, Häuser, Straßen).
-
Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur Übertragung von Bildern in einem Fahrzeug anzugeben.
-
Hinsichtlich des Verfahrens wird die Aufgabe durch die Merkmale des Anspruchs 1 gelöst. Hinsichtlich der Vorrichtung wird die Aufgabe durch die Merkmale des Anspruchs 3 gelöst.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Bei einem Verfahren zur Übertragung von Bildern von einer Bildquelle zu einem Displaymodul in einem Fahrzeug wird ein ursprüngliches Bild von der Bildquelle bereitgestellt, in ein verarbeitetes Bild transformiert und an das Displaymodul übertragen.
-
Erfindungsgemäß wird zu jedem Bild jeweils mindestens ein Ortsgradientenbild bestimmt. Aus dem mindestens einen Ortsgradientenbild werden Metadaten umfassend jeweils (für jedes Ortsgradientenbild) mindestens ein Gradientenhistogramm ermittelt. Anhand mindestens eines Unterschiedsmaßes, das den Unterschied zwischen den Quell-Metadaten des ursprünglichen Bildes und den Kontroll-Metadaten des verarbeiteten Bildes misst, wird die Wahrnehmungsäquivalenz des ursprünglichen und des korrespondierenden verarbeiteten Bildes durch Vergleich des mindestens einen Unterschiedsmaßes mit einem vorbestimmten Schwellwert bestimmt.
-
Eine Wahrnehmungsäquivalenz zwischen zwei Bildern liegt dann vor, wenn sie von einem Beobachter in gleicher Weise wahrgenommen werden, insbesondere dann, wenn ein Beobachter beiden Bildern gleiche relevante, insbesondere für die Steuerung des Fahrzeugs wesentliche Informationen entnehmen kann.
-
Ein Vorteil des Verfahrens besteht darin, dass ein ursprüngliches und ein verarbeitetes Bild, obgleich sie nicht mathematisch oder wertemäßig identisch sind, als wahrnehmungsäquivalent erkannt werden, wenn sie eine für den Betrachter gleiche wesentliche Information transportieren. Demgegenüber können auch zwei Bilder als nicht wahrnehmungsäquivalent erkannt werden, wenn das verarbeitete Bild eine gegenüber dem ursprünglichen Bild in wesentlichen Teilen veränderte oder fehlende Information transportiert. Ein besonderer Vorteil des Verfahrens besteht darin, dass es effizient, in Echtzeit, mit keinen oder nur geringen zusätzlichen Anforderungen an die Hardware und auch für hochauflösende Bildsequenzen oder Videos umsetzbar ist. Insbesondere können verfügbare Hardware-Ressourcen zur Umsetzung des Verfahrens genutzt werden. Ein weiterer Vorteil besteht darin, dass die zur Ermittlung der Wahrnehmungsäquivalenz erforderlichen Metadaten im Vergleich zu den Bilddaten von geringem Umfang sind.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
- 1 schematisch eine Übertragungsstrecke zur gesicherten Übertragung von Bilddaten,
- 2 schematisch den Ablauf eines Verfahrens zur globalen Gradientenhistogrammbestimmung,
- 3 schematisch den Ablauf eines Verfahrens zur lokalen Gradientenhistogrammbestimmung sowie
- 4 schematisch den Ablauf eines Verfahrens zur Validierung einer Bilddatenübertragung.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
1 zeigt schematisch eine Übertragungsstrecke zur gesicherten Übertragung von Bildern I, I' von einer Bildquelle S bis zu einem Displaymodul D, wobei die Bildquelle S ursprüngliche Bilder I bereitstellt und das Displaymodul D verarbeitete Bilder I' darstellt.
-
Die Bildquelle S kann als Foto- oder Videokamera ausgebildet sein. Es ist aber auch möglich, dass die Bildquelle S als Grafikprozessor ausgebildet ist, der ursprüngliche Bilder I elektronisch erzeugt. Auch Bildquellen S, bei welchen mit einer Kamera aufgenommene natürliche Abbilder der Umgebung mit elektronisch erzeugten Bilddaten überlagert werden, sind möglich. Vorzugsweise ist die Übertragungsstrecke zur Übertragung von Bildern I, I' in einem Fahrzeug eingerichtet. Es ist auch möglich, dass die Bildquelle S eine zeitliche Folge von ursprünglichen Bildern I als Videostrom bereitstellt.
-
Die ursprünglichen Bilder I werden von einem Frontend FE aufgenommen und an eine Head Unit HU weitergeleitet. Das Frontend FE ist dazu eingerichtet, aus den bereitgestellten ursprünglichen Bildern I Quell-Metadaten M zu extrahieren, die den Inhalt des jeweiligen ursprünglichen Bildes I charakterisieren. Verfahren zur Extraktion solcher Quell-Metadaten werden nachfolgend anhand der 2 und 3 noch genauer beschrieben.
-
Das Frontend FE ist zur computergestützten Abarbeitung eines solchen Verfahrens eingerichtet. Beispielsweise umfasst das Frontend FE einen Mikrocontroller, ein Field Programmable Gate Array (FPGA) oder einen Digitalen Signalprozessor (DSP). Das Frontend FE kann auch als Teil einer Bildquelle S, beispielsweise als Teil eines Grafikprozessors, ausgebildet sein. Dadurch können zusätzliche Aufwände und Kosten für die Extraktion der Quell-Metadaten M vermieden oder reduziert werden.
-
Eine Head Unit HU ist eine für den Einsatz in Automobilen bekannte und verbreitete Einheit zur Datenverarbeitung, welche unterschiedliche Funktionen umsetzen kann. Für die vorliegende Erfindung ist wesentlich, dass die Head Unit HU ein eingespeistes ursprüngliches Bild I in ein verarbeitetes Bild I' transformiert und ausgibt, wobei eingespeiste Quell-Metadaten M unverändert ausgegeben werden. Beispielsweise kann eine Head Unit HU für eine Überlagerung (Augmentierung) von Zusatzinformationen, beispielsweise für eine Überlagerung von Symbolen über ein Bild der Fahrzeugumgebung, eingerichtet sein.
-
Von der Head Unit HU wird das verarbeitete (beispielsweise mit augmentierten Symbolen versehene) Bild I' gemeinsam mit den unverändert übertragenen Quell-Metadaten M an ein Backend BE geleitet. Das Backend BE ist dazu eingerichtet, aus den verarbeiteten Bildern I' korrespondierende Kontroll-Metadaten M' zu extrahieren und diese mit den aus dem ursprünglichen Bild I extrahierten Quell-Metadaten M zu vergleichen, wobei zur Extraktion der Kontroll-Metadaten M' dasselbe Verfahren eingesetzt wird wie zur Extraktion der Quell-Metadaten M. Derartige Verfahren zur Extraktion von Metadaten M, M' werden nachfolgend anhand der 2 und 3 noch genauer beschrieben. Ein Verfahren zum Vergleich der Quell-Metadaten M mit den Kontroll-Metadaten M' wird nachfolgend anhand der 4 noch genauer beschrieben.
-
Das Backend BE ist zur computergestützten Abarbeitung eines solchen Verfahrens eingerichtet. Beispielsweise umfasst das Backend BE einen Mikrocontroller, ein Field Programmable Gate Array (FPGA) oder einen Digitalen Signalprozessor (DSP). Das Backend BE kann auch teilweise oder vollständig als Teil des Displaymoduls D, beispielsweise als Teil des Timing Controllers (TCON) des Displaymoduls D, ausgebildet sein. Dadurch können zusätzliche Aufwände und Kosten für die Extraktion der Kontroll-Metadaten M' sowie für den Vergleich der Metadaten M, M' vermieden oder reduziert werden.
-
Als Ergebnis des Vergleichs der Quell- und Kontroll-Metadaten M, M' gibt das Backend BE ein Flag oder einen Fehlerstatus F aus und überträgt diesen zusammen mit dem verarbeiteten Bild I' an das Displaymodul D.
-
Der Fehlerstatus F kann binär kodiert sein und den Wert (logisch) wahr annehmen, wenn der Vergleich der Quell- und Kontroll-Metadaten M, M' eine ausreichend hohe Übereinstimmung ergibt und entsprechend den Wert (logisch) falsch annehmen, wenn der Vergleich der Quell- und Kontroll-Metadaten M, M' eine nur unzureichende Übereinstimmung ergibt. Alternativ kann der Fehlerstatus F auch ein kontinuierliches Wahrscheinlichkeitsmaß angeben, wobei ein Wahrscheinlichkeitswert von 1 einer sicheren Übereinstimmung der Bildinhalte des ursprünglichen Bildes I und des verarbeiteten Bildes I' entspricht und ein Wahrscheinlichkeitswert von 0 einer sicheren Abweichung zwischen den Bildinhalten des ursprünglichen Bildes I und des verarbeiteten Bildes I' entspricht.
-
Das Displaymodul D zeigt das verarbeitete Bild I' an. Abhängig von dem ermittelten Fehlerstatus F können Zusatzinformationen, beispielsweise Warnhinweise zu einer möglicherweise eingeschränkten Zuverlässigkeit des dargestellten Bildinhalts, angezeigt werden. Es ist auch möglich, die Anzeige eines aufgrund des ermittelten Fehlerstatus F nicht vertrauenswürdigen verarbeiteten Bildes I' auf dem Displaymodul D zu blockieren.
-
2 zeigt eine Ausführungsform eines Verfahrens zur globalen Gradientenhistogrammbestimmung 2 umfassend Schritte 21 bis 24, mit dem Metadaten M, M' aus Bildern I, I' extrahiert werden.
-
In einem ersten Schritt 21 werden pixelweise Bilddaten aus einem Bild I, I' entnommen. Ein an der vertikalen Bildposition i und der horizontalen Bildposition j entnommener Pixel eines Farbbildes ist beispielsweise im RGB-Farbraum beschrieben durch einen Rot-Wert R(i,j), einen Grün-Wert G(i,j) und einen Blau-Wert B(i,j).
-
In einem zweiten Schritt
22 wird für jeden Pixel an der Pixelposition
(i,j) aus den Farbwerten
R(i,j),
G(i,j),
B(i,j') ein korrespondierender Grauwert
GV(i,j) ermittelt, beispielsweise nach der Transformationsgleichung
-
Transformationsgleichungen für die Übertragung von Farbwerten in Grauwerte sind auch für andere Farbräume bekannt, beispielsweise den CIE (Commission internationale de l'eclairage) XYZ Farbraum oder den CIE Lab Farbraum.
-
Ein Vorteil der Umrechnung eines Farbbildes in ein Grauwertbild besteht darin, dass die für die Wahrnehmung des Bildinhalts entscheidende Information in einem Grauwertbild GV(i,j) einfacher gegenüber Störungen abzugrenzen ist. Daher ist zur Untersuchung der Frage, ob ein Bildinhalt wahrnehmbar gestört ist, der Vergleich von Metadaten M, M', die anhand von Grauwertbildern GV(i,j) ermittelt wurden, leichter und robuster möglich als ein Vergleich von Metadaten M, M' basierend auf Farbbildern I, I'.
-
In einem nachfolgenden dritten Schritt
23 wird der Ortsgradient des Grauwertbildes
entlang mindestens einer Ortsrichtung r ermittelt oder geschätzt. Dadurch können im Wesentlichen homogene Intensitätsunterschiede zwischen einem ursprünglichen Bild
I und einem verarbeiteten Bild
I', die die Wahrnehmung des Bildinhalts im Allgemeinen nicht beeinträchtigen, von der Ermittlung der Metadaten
M,
M' ausgenommen werden. Damit wird die Spezifizität der Metadaten
M,
M' bezüglich eines tatsächlich wahrnehmbaren Unterschieds zwischen Bildern
I,
I' verbessert.
-
Verfahren zur Schätzung des Ortsgradienten sind bekannt. Beispielsweise ist die Faltung eines Bildes
I,
I' mit einem horizontalen Sobel-Kern
zur Ermittlung von in horizontaler (x-) Richtung verlaufender Grauwertgradienten bekannt. Analog ist die Faltung eines Bildes
I,
I' mit einem vertikalen Sobel-Kern
zur Ermittlung von in vertikaler (y-) Richtung verlaufender Grauwertgradienten bekannt. Auch weitere Verfahren zur Schätzung eines Ortsgradienten sind bekannt, beispielsweise eine Näherung des Laplace-Operators durch einen Laplace-Kern.
-
Während mathematisch ein einziges Grauwertbild
GV(i,j), je nach untersuchter Ortsgradientenrichtung r, auf eine im Prinzip beliebige Vielzahl von Ortsgradientenbildern
führt, hat sich für die Bestimmung von Metadaten
M,
M' die Bestimmung der Ortsgradienten in eine horizontale und in eine vertikale Ortsgradientenrichtung r als ausreichend erwiesen.
-
In einem Ausführungsbeispiel werden aus einem ursprünglichen Bild
I ein horizontales Ortsgradientenbild
und ein vertikales Ortsgradientenbild
durch Faltung mit Sobel-Kernen ermittelt. Die Ermittlung der Ortsgradientenbilder für verarbeitete Bilder
I' erfolgt analog durch Anwendung der gleichen Sobel-Kerne.
-
Im nachfolgenden vierten Schritt 24 wird für jedes der ermittelten Ortsgradientenbilder ein Gradientenhistogramm H bestimmt, das für eine Mehrzahl von Intervallen eines Ortsgradientenwerts jedem Intervall jeweils eine absolute Anzahl oder Häufigkeit des Auftretens von Ortsgradientenwerten zuordnet, wobei sämtliche Pixel des Bildes I, I' berücksichtigt werden. Derartige Intervalle werden auch als Bins bezeichnet. Somit lässt sich ein Histogramm als ein Vektor von absoluten Häufigkeiten darstellen, dessen Länge gleich der Anzahl der untersuchten Bins ist.
-
Gemäß dem Ausführungsbeispiel mit einem horizontalen und einem vertikalen Ortsgradientenbild werden somit ein horizontales Gradientenhistogramm H1 und ein vertikales Gradientenhistogramm H2 als Quell-Metadaten M für ein ursprüngliches Bild I bestimmt. In analoger Weise werden Gradientenhistogramme H1 , H2 für ein verarbeitetes Bild I' bestimmt.
-
Ein Vorteil dieses Ausführungsbeispiels besteht darin, dass ein Gradientenhistogramm H1 , H2 eine sehr kompakte Darstellung eines Bildes I, I' liefert. Beispielsweise hat sich für einige Anwendungen die Verwendung von Gradientenhistogrammen H1 , H2 mit jeweils 8 Bins als ausreichend herausgestellt. Somit ist, bei Verwendung eines horizontalen und eines vertikalen Gradientenhistogramms H1 , H2 für Bilder I, I' mit einer typischen Größe von weniger als 231 - 1 Pixeln, eine Beschreibung der Metadaten M, M' mit 2 x 8 x 4 = 64 Byte möglich. Die für die Übertragung dieser Metadaten M, M' erforderliche Bandbreite ist daher vernachlässigbar gegenüber der für die Übertragung der Bilder I, I' erforderlichen Bandbreite. Zudem sind diese Gradientenhistogramme H1 , H2 sehr leicht und mit geringem Rechenaufwand auswertbar.
-
3 zeigt eine Ausführungsform eines Verfahrens zur lokalen Gradientenhistogrammbestimmung 3 umfassend Schritte 31 bis 36, mit dem Metadaten M, M' aus Bilder I, I' extrahiert werden.
-
Die Schritte
31,
32,
33 entsprechen den Schritten
21,
22,
23 des anhand der
2 erklärten Verfahrens zur globalen Gradientenhistogrammbestimmung
2 und führen auf Ortsgradientenbilder, beispielhaft auf ein horizontales Ortsgradientenbild
und auf ein vertikales Ortsgradientenbild
-
Abweichend von diesem in 2 dargestellten Verfahren werden bei einer lokalen Gradientenhistogrammbestimmung 3 die ermittelten Ortsgradientenbilder im Schritt 34 in rechteckige Teilbilder oder Patches tesseliert. Die Patches können überlappend oder disjunkt, insbesondere angrenzend, über dem jeweiligen Ortsgradientenbild angeordnet sein und weisen im Allgemeinen gleiche Abmessungen auf. Jedem Patch ist eine horizontale Koordinate i und eine vertikale Koordinate j zugeordnet.
-
Beispielsweise kann ein Bild I, I' mit einer horizontalen Ausdehnung von 1920 Pixeln und einer vertikalen Ausdehnung von 720 Pixeln in 10 x 10 Patches mit einer horizontalen Ausdehnung von 192 Pixeln und einer vertikalen Ausdehnung von 72 Pixeln tesseliert werden. Alternativ könnte ein solches Bild I, I' in 16 x 6 quadratische Patches mit einer Kantenlänge von 120 Pixeln tesseliert werden. Jedem dieser Patches können horizontale und vertikale Koordinaten i,j, jeweils die Koordinatenwerte, des linken oberen Pixels des Patches zugeordnet werden.
-
Im Schritt 35 wird für jedes Patch mit den Koordinaten i,j ein horizontales und ein vertikales Gradientenhistogramm H1(i,j), H2(i,j) in prinzipiell gleicher, jedoch auf das jeweilige Patch beschränkter Weise ermittelt, wie dies im Schritt 24 der globalen Gradientenhistogrammbestimmung 2 anhand der 2 bereits erklärt wurde.
-
Somit werden, im Unterschied zur globalen Gradientenhistogrammbestimmung 2, anstelle eines einzigen horizontalen und vertikalen Gradientenhistogramms H1 , H2 beim Verfahren der lokalen Gradientenhistogrammbestimmung 3 entsprechend der Anzahl von Patches mehrere horizontale und vertikale Gradientenhistogramme H1 (i,j), H2(i,j) bestimmt und jeweils den Koordinaten des Patches zugeordnet.
-
Im Schritt 36 werden diese ermittelten horizontalen und vertikalen Gradientenhistogramme H1(i,j),H2(i,j) gespeichert.
-
Ein Vorteil dieser Ausführungsform besteht darin, dass mit der Mehrzahl von Gradientenhistogrammen H1(i,j),H2(i,j) eine genauere Bewertung der Wahrnehmbarkeit eines Unterschiedes zwischen einem ursprünglichen Bild I und einem verarbeiteten Bild I' möglich ist, wobei der zur Beschreibung dieser Metadaten M, M' erforderliche Datenumfang zwar gegenüber dem Verfahren der globalen Gradientenhistogrammbestimmung 2 erhöht, aber gegenüber dem Bandbreitenbedarf für die Übertragung der Bilder I, I' weiterhin gering oder sogar vernachlässigbar ist.
-
Bei der Ausführungsform der globalen Gradientenhistogrammbestimmung 2 nach 2 werden Bilder I, I' dann als ähnlich bewertet, wenn ausreichend viele Gradientenwerte mit gleicher oder ähnlicher Häufigkeit auftreten, wobei die örtliche Lage der Gradientenwerte unberücksichtigt bleibt. Demgegenüber erfordert die Ausführungsform der lokalen Gradientenhistogrammbestimmung 3 nach 3 ähnliche Häufigkeiten der Gradientenwerte in jeweils gleichen Patches der Bilder I, I' und ermöglicht so einen genaueren und differenzierteren Bildvergleich. Insbesondere ist ein Bildvergleich mit höherer Spezifität und mit höherer Sensitivität ermöglicht als bei der Ausführungsform nach 2.
-
4 zeigt schematisch den Ablauf eines Verfahrens zur Validierung 4 der Übereinstimmung (hinsichtlich ihrer Wahrnehmbarkeit) zwischen einem ursprünglichen und eine verarbeiteten Bild I, I'.
-
Analog zu den Schritten 21 und 31 wird ein verarbeitetes Bild I' in einem Schritt 401 pixelweise eingelesen. Nachfolgend werden in einem Schritt 402 Kontroll-Metadaten M' aus dem Bild I' ermittelt. Im Schritt 402 kann ein Verfahren der globalen Gradientenhistogrammbestimmung 2 oder ein Verfahren der lokalen Gradientenhistogrammbestimmung 3 umgesetzt sein, wobei dieses Verfahren dem Verfahren entspricht, mit dem die Quell-Metadaten M des korrespondierenden ursprünglichen Bildes I ermittelt wurden. In weiteren Ausführungsformen können diese Verfahren auch andere Verfahren der Merkmalsextraktion sein.
-
Die Quell-Metadaten M des ursprünglichen Bildes I werden in einem Schritt 403 eingelesen und in einem Schritt 404 abgespeichert.
-
In einem nachfolgenden Schritt 405 werden die Kontroll-Metadaten M' und die Quell-Metadaten M verglichen. Bei einer Ausführungsform mit globaler Gradientenhistogrammbestimmung 2 sind somit die jeweils für das ursprüngliche Bild I und das verarbeitete Bild I' ermittelten horizontalen und vertikalen Gradientenhistogramme H1 , H2 miteinander zu vergleichen. Bei einer Ausführungsform mit lokaler Gradientenhistogrammbestimmung 3 sind jeweils die für korrespondierende (örtlich gleich angeordnete) Patches des ursprünglichen Bildes I und des verarbeiteten Bildes I' ermittelten Gradientenhistogramme H1(i,j),H2(i,j) miteinander zu vergleichen.
-
Verfahren zum Vergleich von Histogrammen, insbesondere Unterschiedsmaße zwischen relativen oder absoluten Häufigkeitsverteilungen, sind aus dem Stand der Technik bekannt. Beispielsweise hat sich die Verwendung der Kullback-Leibler-Divergenz (auch als relative Entropie bezeichnet) als vorteilhaft für den Vergleich von Gradientenhistogrammen H1 , H2 , H1 (i,j), H2(i,j) herausgestellt. Es sind jedoch auch weitere Vergleichsverfahren beziehungsweise Unterschiedsmaße möglich, beispielsweise die Earth-Movers-Distanz, die Hellingermetrik, die Pearson-Chi-Quadrat-Divergenz oder die Chi-Quadrat-Distanz. Jedes dieser Vergleichsverfahren führt auf einen Zahlenwert, der die Unterschiedlichkeit zweier miteinander verglichener Gradientenhistogramme H1 , H2 , H1(i,j), H2(i, j) beschreibt. Es ist möglich, mehrere Vergleichsverfahren parallel zu verwenden, so dass für ein Paar miteinander verglichener Gradientenhistogramme H1 , H2 ,H1(i,j), H2(i,j) eine Mehrzahl von Unterschiedsmaßzahlen gebildet wird.
-
Somit werden für das Ausführungsbeispiel mit einer Gradientenbestimmung mittels horizontalem und vertikalem Sobel-Kern bei globaler Gradientenhistogrammbestimmung 2 zwei Zahlenwerte und bei lokaler Gradientenhistogrammbestimmung 3 entsprechend doppelt so viele Zahlenwerte wie die Anzahl der Patches ermittelt. Bei einer Verwendung einer größeren Anzahl unterschiedlicher Sobel-Kerne erhöht sich entsprechend die Anzahl der Zahlenwerte.
-
In anderen Ausführungsbeispielen können auch Ortsgradientenbilder basierend auf einem oder mehreren Farbkanälen zusätzlich zu oder anstelle der Ortsgradientenbilder basierend auf dem Grauwertbild ermittelt werden, wobei der Schritt 22 (bei globaler Gradientenhistogrammbestimmung 2) beziehungsweise der Schritt 32 (bei lokaler Gradientenhistogrammbestimmung 3) jeweils übersprungen wird. Entsprechend verdreifacht sich die Anzahl der zu vergleichenden Gradientenhistogramme H1 , H2 , H1(i,j), H2(i,j), wenn anstelle des Grauwertbildes alle drei Farbkanäle analysiert werden. Ein Vorteil derartiger Ausführungsbeispiele besteht in der verbesserten Genauigkeit beziehungsweise Spezifität und Sensitivität des Vergleichs insbesondere von Bildern I, I' mit mindestens teilweise synthetisch erzeugten Bildinhalten, denen ein vorbestimmter Farbwert zugeordnet ist.
-
In dem in 4 gezeigten Ausführungsbeispiel wird ein globales horizontales Unterschiedsmaß d1 aus dem Vergleich der globalen horizontalen Gradientenhistogramme H1 der Bilder I, I', ein globales vertikales Unterschiedsmaß d2 aus dem Vergleich der globalen vertikalen Gradientenhistogramme H2 der Bilder I, I', eine Mehrzahl von lokalen horizontalen Unterschiedsmaßen d1(i,j) aus dem Vergleich der lokalen horizontalen Gradientenhistogramme H1(i,j) der Bilder I, I' sowie eine Mehrzahl von lokalen vertikalen Unterschiedsmaßen d2(i,j) aus dem Vergleich der lokalen vertikalen Gradientenhistogramme H2(i,j) der Bilder I, I' ermittelt.
-
Die lokalen Unterschiedsmaße
d1(i,j),
d2(i,j) werden in einem Schritt
406 ausgewertet. Beispielhaft kann ermittelt werden, ob irgendeines der lokalen Unterschiedsmaße
d1(i,j),
d2(i,j) einen vorbestimmten Schwellwert Θ
lokal erreicht oder überschreitet. Mit anderen Worten: zwei Bilder
I,
I' werden als nicht äquivalent wahrnehmbar (nicht wahrnehmungsäquivalent) angesehen, wenn
gilt. Alternativ können auch für verschiedenen Gradientenrichtungen (horizontal, vertikal) und/oder für verschiedene Patches unterschiedliche Schwellwerte eingesetzt werden.
-
Der Schwellwert θlokal kann beispielsweise anwendungs- oder anwenderabhängig mittels eines Probandentests festgelegt werden. Ebenso kann die Zahl der Patches, in welche die Bilder I, I' tesseliert werden, mittels Probandentests ermittelt werden. Bei einer vergleichsweise geringen Zahl von Patches, beispielsweise bei 10 Patches, ist es möglich, für eine Wahrnehmungsäquivalenz der Bilder I, I' die Unterschreitung des Schwellwerts θlokal durch sämtliche Patches zu fordern. Bei einer vergleichsweise hohen Zahl von Patches, beispielsweise bei 1000 Patches, ist es dagegen möglich, für eine Wahrnehmungsäquivalenz der Bilder I, I' lediglich zu fordern, dass die lokalen Unterschiedsmaße d1(i,j),d2(i,j) für einen vorbestimmten Anteil von Patches, beispielsweise für 90 Prozent aller Patches, den vorbestimmten Schwellwert unterschreiten.
-
Ein Vorteil dieser Ausführungsform besteht darin, dass die Wahrnehmungsäquivalenz der Bilder I, I' nicht dadurch beeinträchtigt wird, dass über das ursprüngliche, beispielsweise mittels einer Kamera aufgenommene Bild I, mittels der Head Unit HU lokal begrenzt Symbole oder Icons überlagert werden, welche sich nur auf einen geringen Anteil von Patches auswirken.
-
Das Ergebnis des Schrittes 406 kann binär formuliert sein („Schwellwert wird für alle Patches unterschritten“ oder „Schwellwert wird für mindestens ein Patch nicht unterschritten“). Es ist aber auch möglich, dass das Ergebnis des Schrittes 406 als Zahlenwert formuliert ist, der beispielsweise den Anteil von Patches angibt, für die der Schwellwert unterschritten wird.
-
Parallel zum Schritt 406 kann in einem Schritt 407 mindestens ein Kriterium für einen globalen Vergleich von Unterschiedsmaßen d1 , d2 , d1 (i,j), d2 (i,j) ausgewertet werden. In vorteilhafter Weise lässt sich dadurch die Genauigkeit (beziehungsweise die Spezifität und Sensitivität) einer Entscheidung über die Wahrnehmungsäquivalenz der Bilder I, I' verbessern.
-
Beispielsweise kann im Schritt
407 die Summe aller lokalen Unterschiedsmaße
d1(i,j),
d2(i,j) gebildet und in einem nachfolgenden Schritt
408 mit einem Schwellwert θ
global verglichen werden:
-
Alternativ kann im Schritt
407 auch die Quadratsumme aller lokalen Unterschiedsmaße
d1(i,j),
d2(i,j) gebildet und in einem nachfolgenden Schritt
408 mit einem Schwellwert θ
global verglichen werden:
-
Die Quadratsumme bietet den Vorteil, dass einzelne statistische Abweichungen in einigen der lokalen Unterschiedsmaße d1(i,j), d2(i,j) („Ausreißer“) weniger stark in Erscheinung treten und damit leichter aussortiert werden. Es ist auch möglich, die Quadratsumme nur über einen Teil der lokalen Unterschiedsmaße d1(i,j), d2(i,j) zu bilden, um beispielsweise solche Patches, in denen im verarbeiteten Bild I' augmentierte Elemente erwartet werden, von der Quadratsummenbildung auszunehmen. Der Schritt 408 kann, abhängig vom Ergebnis des Vergleichs der Summe beziehungsweise der Quadratsumme, ein binäres Ergebnis liefern. Beispielsweise kann der Schritt 408 das Ergebnis (logisch) wahr (true) liefern, wenn die Bedingung Σi,j,k dk(i,j) < θglobal oder die Bedingung Σi,j,k dk(i,j)2 < θglobal erfüllt ist und im jeweils anderen Fall das Ergebnis (logisch) falsch (false) liefern.
-
In einer Ausführungsform ist es auch möglich, im Schritt 406 und/oder im Schritt 408 eine Mehrzahl von Vergleichen vorzunehmen, welche auf verschiedene Unterschiedsmaße d1 ,d2 ,d1(i,j),d2(i,j) bezogen sind und verschiedene Schwellwerte verwenden. In dieser Ausführungsform liefert der Schritt 406 und/oder der Schritt 408 eine Mehrzahl von binären Ergebnissen. Dadurch kann die Güte des Vergleichs zwischen den Bildern I, I', insbesondere die Spezifität und/oder die Sensitivität einer Äquivalenzentscheidung, verbessert werden. Das heißt, dass schlechte (fehlerhaft übertragene) verarbeitete Bilder I' aussortiert werden, während gute (korrekt übertragene) verarbeitete Bilder I' einschließlich der korrekt augmentierten verarbeiteten Bilder I' akzeptiert werden.
-
Ferner kann neben binärer Ausgabe (Fehlerfrei/Fehler) durch den Schritt 406 und/oder den Schritt 408 auch eine Fehlermeldung oder Warnung ausgeben werden, anhand der ein übergeordnetes System US, das die Bildübertragung vom Frontend FE zum Backend BE steuert, Vorsichtsmaßnahmen in die Wege leiten kann. Beispielsweise kann eine Anforderung an eine höhere Qualität in der Bildverarbeitung, wie an den Grad der Bildkompression, gestellt werden.
-
In einem Schritt 409 werden die von den Schritten 406 und 408 gelieferten binären Ergebnisse logisch verknüpft, beispielsweise mittels einer logischen UND - Verknüpfung. In diesem Fall ist die Ausgabe des Schrittes 409 genau dann (logisch) wahr (true), wenn jede einzelne der in den Schritten 406 und 408 geprüften Ungleichungen erfüllt ist. Mit anderen Worten: die Ausgabe des Schrittes 409 zeigt genau dann eine Wahrnehmungsäquivalenz der Bilder I, I' an, wenn alle der untersuchten Gradientenhistogramme H1 , H2 , H1(i,j), H2(i,j) anhand der verwendeten Unterschiedsmaße d1 ,d2 ,d1(i,j),d2(i,j) innerhalb der vorbestimmten Schwellwerte übereinstimmen.
-
Es sind jedoch auch Ausführungsformen möglich, in denen im Schritt 409 die binären Ausgaben der Schritte 406 und 408 mittels eines beliebigen Booleschen (logischen) Ausdrucks verknüpft werden, der beispielsweise anhand der Anwendung, der von der Head Unit HU vorgenommenen Verarbeitung und/oder anhand der Anwender ermittelt wird.
-
Der Umgang mit einer durch den Schritt 406 und/oder den Schritt 408 ausgegebenen Fehlermeldung oder Warnung obliegt dem Anwender oder dem übergeordneten System US. Das übergeordnete System US kann über weitere Informationen für die Absicherung verfügen, die außerhalb dieses Systems erzeugt werden bzw. außerhalb der in 1 dargestellten Übertragungsstrecke von der Bildquelle S zum Displaymodul D verfügbar sind. Es kann daher hilfreich sein, wenn dieses übergeordnete System US aus der Validierung 4 Informationen von hoher Auflösung und/oder Genauigkeit erhält, beispielsweise anstelle von oder zusätzlich zu binären Informationen entsprechend den vorgenommenen Vergleichen der Unterschiedsmaße d1 , d2 , d1(i,j), d2(i,j) mit den vorbestimmten Schwellwerten auch kategoriale (enumerierte) und/oder numerische Informationen (Ganzzahlen oder Gleitkommazahlen). Derartige Informationen können in einem optionalen Schritt 410 aus den Unterschiedsmaßen d1 , d2 , d1(i,j), d2(i,j) gewonnen und an das übergeordnete System US übertragen werden. Anhand dieser und weiterer Informationen, die dem übergeordneten System US vorliegen, kann dieses eine ganzheitliche Entscheidung treffen, so dass ein höherer Sicherheitsstandard erreicht werden kann. Darüber hinaus können derartige Informationen, insbesondere numerische Informationen, für nachgeschaltete Verfahren des Maschinellen Lernens (Machine Learning) verwendet werden, so dass die Verarbeitung der ursprünglichen Bilder I in verarbeitete Bilder I' während des Betriebs weiter verbessert wird.
-
Die lokale Gradientenhistogrammbestimmung 3 gemäß 3 setzt die Funktion eines Frontend FE gemäß der 1 um und kann in einem üblichen integrierten Schaltkreis (integrated circuit, IC), beispielsweise in einem Kamerachip einer als Kamera ausgebildeten Bildquelle S, integriert werden. Die Abspeicherung der Metadaten M, M' verursacht aufgrund des vergleichsweise geringen Umfangs von beispielsweise weniger als 2000 Byte keine nennenswerten Hardwarekosten.
-
Das Vergrauen und die Bestimmung der Gradienten beispielsweise mittels Sobel-Kernen ist einfach und schnell und kann gut in einer Pixel-Pipeline integriert werden. Ein Dreizeilenspeicher reicht zur Berechnung der Sobel-Gradienten aus. Die Aufstellung der Gradientenhistogramme H1 ,H2 ,H1(i,j),H2(i,j) kann ebenfalls in einer Pixel-Pipeline integriert werden und erfordert nur sehr einfache Logik. Somit ist das Frontend FE mit geringen Hardware-Kosten zu realisieren. Die aus dem Stand der Technik bekannte Übertragungstechnik kann weiterhin und auch zur Übertragung der Metadaten M, M' verwendet werden.
-
Die Validierung 4 gemäß 4 setzt die Funktion des Backends BE gemäß 1 um und kann in einem verfügbaren IC, beispielsweise in einem dem Displaymodul D zugeordneten Timing Controller (TCON), integriert werden. Die empfangenen Quell-Metadaten M des ursprünglichen Bildes I können aufgrund der im Vergleich zu den Bilddaten geringen Größe in einem verfügbaren Speicher abgelegt werden.
-
Die Extraktion der Kontroll-Metadaten M' aus dem verarbeiteten Bild I' erfolgt identisch zur Logik des Frontend FE und verbraucht somit auch nur geringe Hardware-Ressourcen. Die Komplexität für die Bestimmung von Unterschiedsmaßen d1 ,d2 ,d1(i,j),d2(i,j) im Schritt 405 ist begrenzt, da nur wenige Zahlen berechnet werden müssen. Beispielsweise müssen für 100 Patches mit je 10 Bins 1000 Werte in horizontalen lokalen Gradientenhistogrammen H1(i,j) sowie 1000 Werte in vertikalen lokalen Gradientenhistogrammen H2(i,j), somit insgesamt lediglich 2000 Werte berechnet werden. Dies ist, verglichen mit der Anzahl von Zahlenwerten, die zur Beschreibung eines typischen Bild I, I' erforderlich sind (typischerweise einige Millionen von Ganzzahlwerten), vernachlässigbar.
-
In ähnlicher Weise ist der Aufwand für die Umsetzung der Schritte 406 bis 408 zur Auswertung der Unterschiedsmaße d1 , d2 , d1(i,j), d2(i,j) gering bis vernachlässigbar gegenüber dem Aufwand für die Aufbereitung und Darstellung eines Bildes I, I' typischer Größe. Somit erfordert sowohl das Backend BE als auch das Frontend FE nur einen sehr geringen Mehraufwand an Hardware-Ressourcen.
-
Bezugszeichenliste
-
- BE
- Backend
- D
- Displaymodul
- d1
- globales horizontales Unterschiedsmaß
- d2
- globales vertikales Unterschiedsmaß
- d1(i,j)
- lokales horizontales Unterschiedsmaß
- d2(i,j)
- lokales vertikales Unterschiedsmaß
- F
- Fehlerstatus
- FE
- Frontend
- H1
- horizontales Gradientenhistogramm
- H2
- vertikales Gradientenhistogramm
- H1(i,j)
- horizontales Gradientenhistogramm
- H2(i,j)
- vertikales Gradientenhistogramm
- HU
- Head Unit
- I
- ursprüngliches Bild
- I'
- verarbeitetes Bild
- M
- Quell-Metadaten
- M'
- Kontroll-Metadaten
- S
- Bildquelle
- US
- übergeordnetes System
- 2
- globale Gradientenhistogrammbestimmung
- 21 bis 24
- Schritt
- 3
- lokale Gradientenhistogrammbestimmung
- 31 bis 36
- Schritt
- 4
- Validierung
- 401 bis 410
- Schritt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 3913620 A1 [0003]
- DE 19549216 A1 [0004]