DE10356090B3

DE10356090B3 - Verfahren zur rechnergestützten Ermittlung von Bildbereichen in einem digitalisierten Bild

Info

Publication number: DE10356090B3
Application number: DE10356090A
Authority: DE
Inventors: Colin Estermann; Robert Dr. Kutka
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2003-12-01
Filing date: 2003-12-01
Publication date: 2005-04-21
Anticipated expiration: 2023-12-02

Abstract

Die Erfindung betrifft ein Verfahren zur rechnergestützten Ermittlung von Bildbereichen in einem digitalisierten Bild, bei dem ein erster Bildbereich (B1) in einem Referenzbild (RB) mit mehreren zweiten Bildbereichen (B2) in einem Suchbereich (S) eines Suchbilds (SB) verglichen wird und als Ergebnis ein zweiter Bildbereich (B2) ermittelt wird, der die höchste Übereinstimmung mit dem ersten Bildbereich (B1) aufweist, und bei dem der ermittelte zweite Bildbereich (B2) markiert wird, falls der ermittelte zweite Bildbereich (B2) am Rand des Suchbereichs (S) liegt.

Description

Die Erfindung betrifft ein Verfahren zur rechnergestützten Ermittlung von Bildbereichen in einem digitalisierten Bild sowie entsprechende Bewegungsschätz- bzw. Disparitätsschätzverfahren und ein entsprechendes Computerprogrammprodukt.
Auf dem Gebiet der digitalen Bildverarbeitung sind Bewegungsschätzverfahren sowie Disparitätsschätzverfahren bekannt. Erstere werden insbesondere bei der Codierung von Videobildern eingesetzt, wobei mit den Verfahren die Bewegung von Objekten in einer Videobildsequenz abgeschätzt wird, so dass auf die wiederholte Codierung der Bildobjekte verzichtet werden kann, wodurch die Codiereffizienz erhöht wird.

Disparitätsschätzverfahren werden beispielsweise bei der Erzeugung von 3D-Bildern verwendet. Die Disparität ist eine kleine relative Verschiebung von Objekten in zwei digitalisierten Bildern, die durch die unterschiedliche Perspektive der beiden Bilder in Bezug auf die Objekte verursacht ist. Da die Verschiebung von der Entfernung der Objekte abhängt, kann mittels der Disparität die Entfernung der Objekte berechnet werden und somit 3D-Informationen in der Form eines Tiefenprofils aus den Bildern gewonnen werden.

Zur Bestimmung der Disparität zwischen zwei digitalisierten Bildern werden heutzutage Blockmatching-Verfahren verwendet, welche einen Referenzbildblock in einem Referenzbild mit Suchbildblöcken in einem Suchbereich eines Suchbildes vergleichen, wobei als Ergebnis der Suchbildblock gemerkt wird, der die höchste Ähnlichkeit zu dem Referenzbildblock aufweist. Es wird davon ausgegangen, dass dieser Suchbildblock der verschobene Referenzbildblock im Suchbild ist. Bei dem Blockmatching können jedoch Fehler auftreten, die sich bei spielsweise dadurch ergeben, dass der verschobene Referenzbildblock im Suchbild überhaupt nicht im Suchbereich liegt, so dass ein falscher Suchbildblock dem Referenzbildblock zugeordnet wird.

Aus der US 6,195,389 ist ein Verfahren bekannt, bei dem Bewegungsvektoren von Blöcken, die einem aktuellen Block benachbart sind, genommen werden, bei dem die Bewegungsvektoren auf den aktuellen Block angewendet werden, um Kandidatenblöcke in einem Referenzbild zu lokalisieren und dann mit Hilfe der Kandidatenblöcke einen Teil des Suchraums zu definieren.

Aufgabe der Erfindung ist es deshalb, ein Verfahren zur Ermittlung von Bildbereichen in einem digitalisierten Bild zu schaffen, bei dem fehlerhafte Zuordnungen zwischen Referenzbild und Suchbild vermieden werden. Ferner ist es die Aufgabe der Erfindung ein Verfahren zur Bewegungsschätzung und ein Verfahren zur Disparitätsschätzung anzugeben, die das Verfahren zur Ermittlung von Bildbereichen umfassen.

Diese Aufgabe wird durch die unabhängigen Patentansprüche gelöst. Weiterbildungen der Erfindung sind in den abhängigen Ansprüchen definiert.

In dem erfindungsgemäßen Verfahren wird in einem ersten Schritt ein erster Bildbereich in einem Referenzbild mit mehreren zweiten Bildbereichen in einem Suchbereich eines Suchbilds verglichen und als Ergebnis wird ein zweiter Bildbereich ermittelt, der die höchste Übereinstimmung mit dem ersten Bildbereich aufweist. In einem zweiten Schritt wird überprüft, ob der ermittelte zweite Bildbereich am Rand des Suchbereichs liegt. Sollte dies der Fall sein, wird der ermittelte zweite Bildbereich als möglicher Weise nicht korrekt bestimmt markiert.

Der Erfindung liegt die Erkenntnis zugrunde, dass bei der Weiterverarbeitung der ermittelten zweiten Bildbereiche für Bewegungsschätz- bzw. Disparitätsschätzverfahren Fehler auftreten können, die dadurch entstehen, dass der Bildbereich im Suchbild mit der vermeintlich höchsten Übereinstimmung mit dem ersten Bildbereich tatsächlich nicht der Bildbereich ist, der im Suchbild den verschobenen ersten Bildbereich aus dem Referenzbild darstellt. Insbesondere haben die Erfinder erkannt, dass bei üblichen Verfahren immer dann ein falscher zweiter Bildbereich ermittelt wird, wenn der Bildbereich mit der tatsächlich höchsten Übereinstimmung außerhalb des Suchbereichs liegt bzw. wenn aufgrund mangelnder Strukturen im Objekt eine Vielzahl von zweiten Bildbereichen mit der höchs ten Übereinstimmung mit dem ersten Bildbereich vorliegen. In solchen Fällen tritt das Phänomen auf, dass der ermittelte zweite Bildbereich an den Rand des Suchbereichs wandert. Dies liegt daran, dass der Bildbereich mit der höchsten Übereinstimmung hinsichtlich eines Bewertungsmaßes in einem lokalen Optimum (Maximum oder Minimum) liegt. Befindet sich das tatsächliche Optimum nun außerhalb des Suchbereichs, wandert der ermittelte zweite Bildbereich zwangsläufig an den Rand des Suchbereichs. Das gleiche gilt, wenn aufgrund mangelnder Strukturen alle zweiten Bildbereiche im Suchbereich die gleiche Übereinstimmung mit dem ersten Bildbereich aufweisen. Gemäß der Erfindung werden solche ermittelten zweiten Bildbereiche am Rand des Suchbereichs markiert, so dass hierdurch festgehalten wird, dass diese Bildbereiche möglicherweise nicht korrekt bestimmt wurden, und bei einer anschließenden Bewegungsschätzung bzw. Disparitätsschätzung entsprechende Konsequenzen gezogen werden können.

In einer bevorzugten Ausführungsform der Erfindung wird bei der Ermittlung des zweiten Bildbereichs für jeden zweiten Bildbereich im Suchbereich ein Bewertungsmaß ermittelt, wobei das Bewertungsmaß die Übereinstimmung des jeweiligen zweiten Bildbereichs mit dem jeweiligen ersten Bildbereich wiedergibt, und der zweite Bildbereich mit dem Bewertungsmaß der höchsten Übereinstimmung als ermittelter zweiter Bildbereich klassifiziert wird. Das Bewertungsmaß ist hierbei beispielsweise die Übereinstimmung der Helligkeit des ersten Bildbereichs mit der Helligkeit des jeweiligen zweiten Bildbereichs, da die Helligkeit einen guten Aufschluss dahingehend gibt, ob die beiden Bildbereiche identisch sind. Gegebenenfalls können jedoch auch weitere oder andere Kriterien, wie z.B. die Farbübereinstimmung, einbezogen werden.

In einer weiteren bevorzugten Ausführungsform der Erfindung wird, wenn ein ermittelter markierter zweiter Bildbereich auftritt, der Suchbereich im Suchbild vergrößert und anschließend mit dem erweiterten Suchbereich wiederum ein zwei ter Bildbereich ermittelt. Hierdurch können bei der Bestimmung des zweiten Bildbereichs Fehler vermieden werden, die dadurch auftreten, dass der tatsächlich richtige übereinstimmende Bildbereich außerhalb des Suchbereichs liegt. Bevorzugt wird hierbei der Suchbereich iterativ so lange vergrößert, bis der ermittelte zweite Bildbereich nicht markiert ist, d.h. nicht am Rande des Suchbereichs liegt.

Vorzugsweise sind der erste Bildbereich und der zweite Bildbereich Bildblöcke identischer Größe und die zweiten Bildbereiche sind pixelweise und/oder um mehrere Pixel gegeneinander verschoben.

Das erfindungsgemäße Verfahren wird in einer Ausführungsform zur Bewegungsschätzung von Bildobjekten in einer Folge von digitalisierten Bildern eingesetzt. Hierbei wird das erfindungsgemäße Verfahren für mehrere erste Bildbereiche in dem Referenzbild durchgeführt und aus den daraus ermittelten zweiten Bildbereichen wird die Bewegung von Bildobjekten geschätzt, wobei ermittelte zweite Bildbereiche, die markiert sind, bei der Schätzung der Bewegung nicht berücksichtigt werden.

Alternativ kann das erfindungsgemäße Verfahren zur Disparitätsschätzung zwischen einem Referenzbild und einem Suchbild eingesetzt werden, wobei das erfindungsgemäße Verfahren für mehrere erste Bildbereiche in dem Referenzbild durchgeführt wird und aus den daraus ermittelten zweiten Bildbereichen die Disparität zwischen Referenzbild und Suchbild geschätzt wird, wobei ermittelte zweite Bildbereiche, die markiert sind, bei der Schätzung der Disparität nicht berücksichtigt werden. Hierdurch werden vermeintlich fehlerhaft bestimmte Bildbereiche bei der Disparitätsschätzung außer Acht gelassen.

Sowohl bei der Bewegungsschätzung als auch bei der Disparitätsschätzung sind die mehreren ersten Bildbereiche, auf die das erfindungsgemäße Verfahren angewandt wird, vorzugsweise eine Folge von pixelweise und/oder um mehrere Pixel verschobener Bildbereiche im Referenzbild. Bei dem Verfahren zur Disparitätsschätzung wird in einer bevorzugten Ausführungsform mit Hilfe der geschätzten Disparität ein Tiefenprofil für das Referenzbild erstellt.

Neben den oben beschriebenen Verfahren betrifft die Erfindung ferner ein Computerprogrammprodukt, das in den internen Speicher eines Computers geladen werden kann und Softwarecodeabschnitte umfasst, mit denen das erfindungsgemäße Verfahren ausgeführt wird, wenn das Produkt in dem Computer abläuft.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand der beigefügten Figuren beschrieben.

Es zeigen:
1 die Darstellung mehrerer digitalisierter Bilder, anhand derer die mit dem erfindungsgemäßen Verfahren erreichten Ergebnisse verdeutlicht werden; und
2 eine Skizze, welche die der Erfindung zugrunde liegenden Problemstellung erläutert.
In 1 sind sieben digitalisierte Bilder a) bis g) dargestellt. Bei dem Bild a) handelt es sich um ein im erfindungsgemäßen Verfahren verwendetes Suchbild SB, in dem beispielhaft ein Suchbereich S eingezeichnet ist, der wiederum mehrere Bildbereiche B2 enthält, die gemäß der Terminologie der Ansprüche als zweite Bildbereiche bezeichnet werden. Das Bild b) ist ein Referenzbild RB, in dem ein Bildbereich B1 eingezeichnet ist, der mit den Bildbereichen B2 im Suchbild SB verglichen wird. Der Bildbereich B1 ist in den Ansprüchen als erster Bildbereich bezeichnet. Der im Bild SB eingezeichnete Suchbereich erstreckt sich in x-Richtung, es ist jedoch auch denkbar, dass sich der Suchbereich lediglich in y-Richtung bzw. in beide Richtungen erstreckt. Bei dem Suchbild SB han delt es sich um ein Bild, welches das gleiche Szenario wie das Bild RB mit einem leicht versetzten Blickwinkel wiedergibt.
Bei dem erfindungsgemäßen Verfahren werden nun alle Bildblöcke B2 jeweils mit dem Bildblock B1 verglichen, wobei bei jedem Vergleich ein Bewertungsmaß ermittelt wird, das in der hier beschriebenen Ausführungsform die Differenz zwischen dem Helligkeitswert des jeweiligen Bildblocks B2 und dem Helligkeitswert des Bildblocks B1 ist. Somit ist die Übereinstimmung zwischen den Bildern umso größer, je kleiner das Bewertungsmaß ist. Programmtechnisch läuft das Verfahren folgendermaßen ab: Zunächst wird ein hoher Anfangswert des Bewertungsmaßes festgesetzt und gemerkt. Anschließend wird das Bewertungsmaß für den ersten Block im Suchbereich S berechnet. Wenn das Bewertungsmaß kleiner als der gemerkte Wert bzw. kleiner/gleich als der gemerkte Wert ist, wird der alte Wert des Bewertungsmaßes verworfen und durch den neuen Wert ersetzt, wobei der zugehörige Block B2 gemerkt wird. Anschließend wird zum nächsten Block B2 übergegangen, für den die obigen Schritte wiederholt werden. Nach Durchlauf des soeben beschriebenen Programms erhält man schließlich den Bildblock B2 mit dem kleinsten Bewertungsmaß. Dieser Bildblock weist somit die beste Übereinstimmung mit dem Bildblock B1 auf.
Gemäß der Erfindung wird nun in einem weiteren Schritt überprüft, ob der ermittelte Block B2 mit dem kleinsten Bewertungsmaß ein Bildblock am Rande des Suchbereichs ist. Ist dies der Fall, wird der Bildblock markiert. Diese Markierung kann bei der Bewegungsschätzung von Objekten im Bild bzw. bei der Disparitätsbestimmung zwischen dem Referenzbild RB und dem Suchbild SB berücksichtigt werden.
Das Bild c) in 1 stellt das Idealtiefenbild ITB des Referenzbildes RB dar. In diesem Bild gibt die Helligkeit den Abstand der Objekte im Bild wieder. Es ist erkennbar, dass die Gegenstände bzw. Personen im Bild mit hellerer Fläche nä her am Betrachter sind als die Personen bzw. Gegenstände mit dunkler Fläche. Die Bilder d) und e) zeigen Tiefenbilder aus einer Disparitätsschätzung unter Verwendung des erfindungsgemäßen Verfahrens und die Bilder f) und g) zeigen Tiefenbilder aus einer Disparitätsschätzung ohne Verwendung des erfindungsgemäßen Verfahrens. Bei der Disparitätsschätzung wurde das Referenzbild RB in Bildblöcke B1 eingeteilt, wobei für jeden Bildblock anhand des Bewertungsmaßes ein Bildblock B2 im Suchbild ermittelt wird. Mit Hilfe der Information über den Abstand des Bildblocks B1 im Referenzbild zum Bildblock B2 im Suchbild kann durch bekannte Methoden die Tiefe von Objekten im Bild ermittelt werden. In den Bildern d) und f) wurden bei der Disparitätsbestimmung pixelweise verschobene Bildblöcke B1 verwendet, wohingegen in den Bildern e) und g) die Bildblöcke B1 blockweise verschoben wurden.
In Analogie zum Idealtiefenbild ITB wird in den Bildern d) bis g) die Tiefe durch entsprechende Helligkeitsstufen dargestellt. Bei genauerer Betrachtung der Bilder d) bis g) ist erkennbar, dass sich die mit dem erfindungsgemäßen Verfahren d) und e) erzeugten Bilder leicht von den Bildern f) und g) unterscheiden. Insbesondere ist beim Vergleich der Bilder e) und g) ersichtlich, dass einige Bildblöcke im Bild e) schwarz markiert sind, wohingegen diese Bildblöcke im Bild g) weiß markiert sind. Beispielhaft sind hier die Bildblöcke P und P' in den Bildern e) bzw. g) herausgehoben. Im Unterschied zum Bildblock P' im Bild g) wurde der Bildblock P im Bild e) nicht bei der Disparitätsbestimmung berücksichtigt, da der entsprechende ermittelte Bildblock B2 am Rand des Suchbereichs lag. Als Folge wurde die Tiefe des Blocks P auf "unendlich" gesetzt, was einer schwarzen Farbe entspricht. Demgegenüber wurde der Bildblock P' nicht verworfen, sondern auf den ermittelten Tiefenwert gesetzt. Da – wie in Bezug auf 2 noch detailliert erläutert wird – für Bildblöcke im Referenzbild mit ermittelten Suchbildblöcken am Rande des Suchbereichs die Disparitätsschätzung mit Fehlern behaftet ist, wird für solche Bildblöcke auf eine Disparitätsbestimmung verzichtet. Bei der Verwendung des Tiefenbildes für 3D-Darstellungen werden somit weitere Fehler vermieden, denn eine falsche Disparitätsbestimmung kann zu einer unrealen 3D-Wiedergabe führen, weil unter Umständen Objekte im Hintergrund in den Vordergrund rücken und andere Objekte unzulässigerweise verdecken.
In 2 ist eine Skizze zur Verdeutlichung der mit der Erfindung gelösten Problemstellung gezeigt. Die 2 zeigt zwei Diagramme, wobei entlang der Abszisse die x-Ausdehnung eines Suchbildes dargestellt ist. Auf der Ordinate sind die ermittelten Bewertungsmaße (als BM bezeichnet) aufgetragen.
Im oberen Graphen der 2 ist beispielhaft eine mögliche Entwicklung der Bewertungsmaße beim Vergleich einer Reihe von Suchbildblöcken in x-Richtung mit einem Referenzbildblock im Referenzbild dargestellt. Ferner ist mit gestrichelten Linien ein beispielhafter Suchbereich ausgewählt worden. Aus dem oberen Graphen ergibt sich, dass das tatsächliche Minimum MIN1 des Bewertungsmaßes im Suchbild außerhalb des Suchbereichs liegt. Bei herkömmlichen Verfahren würde als Suchbildblock der Block am rechten Rand des Suchbereichs ermittelt werden, wie sich aus dem unteren Graphen der 2 ergibt. Dies liegt daran, dass dieser Suchbildblock das kleinste Bewertungsmaß MIN2 innerhalb der Suchbereichs und somit die größte Übereinstimmung mit dem Referenzbildblock aufweist. Nichts desto trotz handelt es sich nicht um den Suchbildblock, der tatsächlich die beste Übereinstimmung mit dem Referenzbildblock aufweist, denn dieser liegt beim Minimum MIN1.
Gemäß der Erfindung wird deshalb der im unteren Graphen ermittelte Suchbildblock markiert, da er aufgrund seiner Lage am Rand des Suchbereichs darauf hindeutet, dass seine Bestimmung fehlerhaft ist. Als Konsequenz einer solchen Markierung kann nun gemäß einer Ausführungsform des erfindungsgemäßen Verfahrens der Suchbildbereich vergrößert werden, wie durch die Pfeile zwischen dem oberen und dem unteren Graphen ange deutet ist. Hierbei wird eine Vergrößerung so lange vorgenommen, bis der ermittelte Suchbildblock nicht mehr am Rande des Suchbildbereichs liegt, d.h. bis das Minimum MIN1 aufgefunden wurde. Alternativ können jedoch auch ermittelte Suchbildblöcke am Rande von Suchbildbereichen bei der weiteren Verarbeitung des Bildes außer Acht gelassen werden, so dass hierdurch mögliche Fehler bei Bewegungsschätzverfahren bzw. bei Disparitätsschätzverfahren ausgeschlossen werden.

Claims

Verfahren zur rechnergestützten Ermittlung von Bildbereichen in einem digitalisierten Bild, bei dem: a) ein erster Bildbereich (B1) in einem Referenzbild (RB) mit mehreren zweiten Bildbereichen (B2) in einem Suchbereich (S) eines Suchbilds (SB) verglichen wird und als Ergebnis der zweite Bildbereich (B2) ermittelt wird, der die höchste Übereinstimmung mit dem ersten Bildbereich (B1) aufweist; b) der ermittelte zweite Bildbereich (B2) als möglicherweise nicht korrekt bestimmt markiert wird, falls der ermittelte zweite Bildbereich (B2) am Rand des Suchbereichs (S) liegt.
Verfahren nach Anspruch 1, wobei in Schritt a) für jeden zweiten Bildbereich (B2) im Suchbereich (S) ein Bewertungsmaß (BM) ermittelt wird, wobei das Bewertungsmaß (BM) die Übereinstimmung des jeweiligen zweiten Bildbereichs mit dem ersten Bildbereich (B1) wiedergibt, und der zweite Bildbereich (B2) mit dem Bewertungsmaß der höchsten Übereinstimmung als ermittelter zweiter Bildbereich (B2) klassifiziert wird.
Verfahren nach Anspruch 2, bei dem das Bewertungsmaß (BM) die Übereinstimmung der Helligkeit des ersten Bildbereichs (B1) mit der Helligkeit des jeweiligen zweiten Bildbereichs (B2) ist.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem nach Durchführung der Schritte a) und b) in einem Schritt c) der Suchbereich (S) im Suchbild (SB) vergrößert wird, wenn der ermittelte zweite Bildbereich (B2) markiert ist, und anschließend in dem erweiterten Suchbereich die Schritte a) und b) durchgeführt werden.
Verfahren nach Anspruch 4, bei dem die Schritte a) bis c) iterativ solange wiederholt werden, bis der ermittelte zweite Bildbereich (B2) nicht markiert ist.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem der erste Bildbereich (B1) und die zweiten Bildbereiche (B2) Bildblöcke identischer Größe sind.
Verfahren nach einem der vorhergehenden Ansprüche, bei dem die zweiten Bildbereiche pixelweise und/oder um mehrere Pixel gegeneinander verschoben sind.
Verfahren zur Bewegungsschätzung von Bildobjekten in einer Folge von digitalisierten Bildern umfassend ein Referenzbild (RB) und ein Suchbild (SB), bei dem das Verfahren nach einem der vorhergehenden Ansprüche für mehrere erste Bildbereiche (B1) in dem Referenzbild (RB) durchgeführt wird und aus den daraus ermittelten zweiten Bildbereichen (B2) die Bewegung von Bildobjekten geschätzt wird, wobei ermittelte zweite Bildbereiche (B2), die markiert sind, bei der Schätzung der Bewegung nicht berücksichtigt werden.
Verfahren nach Anspruch 8, bei dem die mehreren ersten Bildbereiche (B1) ein Folge von pixelweise und/oder um mehrere Pixel verschobener Bildbereiche im Referenzbild sind.
Verfahren zur Disparitätsschätzung zwischen einem Referenzbild (RB) und einem Suchbild (SB), bei dem das Verfahren nach einem der vorhergehenden Ansprüche für mehrere erste Bildbereiche (B1) in dem Referenzbild (RB) durchgeführt wird und aus den daraus ermittelten zweiten Bildbereichen (B2) die Disparität zwischen Referenzbild (RB) und Suchbild (SB) geschätzt wird, wobei ermittelte zweite Bildbereiche (B2), die markiert sind, bei der Schätzung der Disparität nicht berücksichtigt werden.
Verfahren nach Anspruch 10, bei dem die mehreren ersten Bildbereiche (B1) ein Folge von pixelweise und/oder um mehrere Pixel verschobener Bildbereiche im Referenzbild sind.
Verfahren nach Anspruch 10 oder 11, bei dem mithilfe der geschätzten Disparität ein Tiefenprofil für das Referenzbild (RB) erstellt wird.