DE10214935A1

DE10214935A1 - Verfahren für die elastische Bewegungskompensation und zur Schärfung von Bildern, Vorrichtung zur Aufnahme von Bildern und Computerprogrammprodukt

Info

Publication number: DE10214935A1
Application number: DE10214935A
Authority: DE
Inventors: Robert Kutka
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 2002-04-04
Filing date: 2002-04-04
Publication date: 2003-10-23

Abstract

Zur Konstruktion eines scharfen Gesamtbildes (8') wird vorgeschlagen, Einzelbilder (7) in Bezug auf ein Referenzbild (8) einer elastischen Bewegungskorrektur zu unterziehen. Die elastische Bewegungskorrektur wird mit Hilfe eines Vektorfeldes durchgeführt, das mit Hilfe einer hierarchischen Anpassung von Makroblöcken der Einzelbilder (7) an das Referenzbild (8) bestimmt worden ist. Außerdem kann das Gesamtbild (8') einer Kantenschärfung unterzogen werden, die aufgrund des verbesserten Signal-zu-Rauschen-Verhältnisses des Gesamtbildes (8'), die Schärfe des Gesamtbildes (8') ohne eine wahrnehmbare Erhöhung des Rauschens verbessert.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung von Bewegungsvektoren von Makroblöcken für die elastische Kompensation der Bewegung und zur Schärfung scharfkantiger Strukturen in einem Bild.
Die Erfindung betrifft ferner eine Vorrichtung, die zur Ausführung der Verfahren eingerichtet ist, sowie ein Computerprogrammprodukt, das Code zur Ausführung der Verfahren enthält.
Zukünftige Videohandys oder Multimedia Personal Digital Assistance (PDA) sollen mit Kamerasystemen ausgerüstet werden, die einen Photomodus ermöglichen. Der Benutzer soll in die Lage versetzt werden, auf Knopfdruck großformatige Bilder aufzunehmen und zu versenden. Mögliche Anwendungen betreffen die Inspektion von Industrieanlagen, die Wartung von technischen Geräten, das Übermitteln von Landkarten, Schriftstücken, Urlaubsphotos oder individuellen Postkarten.
In diesem Zusammenhang stellen sich die üblichen in Zusammenhang mit tragbaren Geräten auftretenden Probleme. Zum einen werden diese Geräte aus einem Akkumulator betrieben. Die eingesetzten Vorrichtungen und Verfahren sollen daher möglichst wenig Energie verbrauchen. Hinzu kommt das Problem, dass die genannten Geräte möglichst klein sein sollen. Dennoch sollen die aufgenommenen Bilder eine möglichst gute Auflösung aufweisen und möglichst frei von Verzeichnungen sein.
Ausgehend von diesem Stand der Technik liegt der Erfindung die Aufgabe zugrunde, Vorrichtungen und Verfahren anzugeben, die es gestatten, mit tragbaren Kommunikationsgeräten kleiner Bauform von Verzeichnungen freie hochaufgelöste Bilder aufzunehmen.
Diese Aufgabe wird zum einen durch ein Verfahren für die elastische Kompensation der Bewegung einer Kamera mit den folgenden Verfahrensschritten gelöst:

- Bestimmung des Bewegungsvektors eines Hauptblockes eines aktuellen Bilds durch Vergleich des Hauptblocks des aktuellen Bildes mit Referenzhauptblöcken eines Referenzbildes, wobei die überprüften Bewegungsvektoren innerhalb eines vorbestimmten Hauptsuchbereichs liegen;
- Unterteilen des aktuellen Bildes in eine Vielzahl von Unterblöcken und Bestimmung der Bewegungsvektoren der Unterblöcke durch Vergleich der Unterblöcke mit Referenzunterblöcken des Referenzbildes, wobei die Bewegungsvektoren der Unterblöcke jeweils aus dem Bewegungsvektor des Hauptblockes und einem für den jeweiligen Unterblock spezifischen Korrekturvektor zusammengesetzt werden, der aus einem gegenüber dem Hauptsuchbereich verkleinerten Suchbereich ausgewählt wird.

Das Verfahren gemäß der Erfindung ermöglicht es, mit einer von Hand gehaltenen Kamera mehrere Einzelbilder nacheinander aufzunehmen und die Bewegung der Kamera mit Hilfe einer elastischen Bewegungskorrektur zu kompensieren, so dass die Einzelbilder zu einem Gesamtbild hoher Auflösung und hohem Signal-zu-Rauschen-Verhältnis kombiniert werden können. Das Verfahren gemäß der Erfindung ist für die elastische Bildkompensation besonders geeignet, da durch die mehrstufige hierarchische Anpassung der Makroblöcke eine große Genauigkeit erzielt werden kann, ohne dass es zu Fehlschätzungen kommt. Denn bei einem Verfahren mit geringer Blockgröße wird zwar die Bildverzerrung genau beschrieben, aber dafür können Fehlschätzungen auftreten, wenn ähnliche Bildstrukturen innerhalb des Bildes auftreten. Umgekehrt treten bei Verfahren mit großer Blockgröße Fehlschätzungen nur mit geringer Wahrscheinlichkeit auf. Dafür wird aber die Bildverzerrung nicht ausreichend detailliert beschrieben. Durch die Grobschätzung mit Hilfe eines Hauptblocks und die nachfolgende Verfeinerung der Unterblöcke kann auch bei einer genauen Beschreibung der Bildverzerrung die Gefahr von Fehlschätzungen wesentlich vermindert werden.
Bei einer bevorzugten Ausführungsform des Verfahrens werden die Unterblöcke einer ersten Iteration zu Hauptblöcken einer weiteren Iteration, so dass die Beschreibung der Bildverzerrung sukzessive verfeinert wird.
Bei einer weiteren bevorzugten Ausführungsform wird die Anpassung der Hauptblöcke und der Unterblöcke mit Hilfe einer Fehlerfunktion oder Korrelationsfunktion vorgenommen, die auf ein Maschengitter gestützt ist, dessen Maschenweite mit jeder Iteration des Verfahrens abnimmt. Außerdem werden auch die Koordinaten der Bewegungsvektoren entsprechend einem Maschengitter bestimmt, dessen Maschenweite mit jeder Iteration des Verfahrens reduziert wird. Durch diese Maßnahme wird die Anpassung der Bewegungsvektoren auf effiziente Weise vorgenommen, da die Rechengenauigkeit der jeweiligen Auflösung bei der Beschreibung der Bildverzerrung entspricht.
Die obengenannte Aufgabe wird ferner durch ein Verfahren zur Schärfung scharfkantiger Strukturen in einem Bild mit den folgenden Verfahrensschritten gelöst:

- Verschieben eines Prüfrahmens über das Bild;
- Überprüfung des Prüfrahmens auf inhomogene Bildbereiche, die an homogene Bildbereiche angrenzen;
- Berechnung einer die Auflösung des scharfkantigen Objekts beschreibenden Tiefpassfilters anhand von Bilddaten im Prüfrahmen; und
- Inversion der Tiefpassfilterung.

Durch dieses Verfahren gemäß der Erfindung kann ein aufgrund einer unzureichenden Optik unscharfes Bild nachträglich geschärft werden. Die Anwendung des Verfahrens bei der Bildauswertung ermöglicht es, für tragbare Kommunikationsgeräte eine starre Optik geringer Qualität einzusetzen, da das aufgenommene Bild nachträglich geschärft werden kann. Das hier beschriebene Verfahren bietet darüber hinaus den Vorteil, dass die Schärfung der Einzelbilder unabhängig von der Verwendung von Testbildern unmittelbar am aufgenommenen Bildmaterial durchgeführt wird. Eine individuelle Justierung der in den tragbaren Mobilgeräten verwendeten Kamerasysteme ist daher nicht erforderlich.
Bei einer bevorzugten Ausführungsform umfasst der Prüfrahmen jeweils einen zeilenweise verschobenen Zeilenausschnitt oder einen spaltenweise verschobenen Spaltenausschnitt. Diese Auswahl des Prüfrahmens eignet sich besonders für die Pixelstruktur eines Halbleitersensors.
Weitere bevorzugte Ausführungsformen sehen vor, dass bei einer Linienstruktur die Filterkoeffizienten des Tiefpassfilters berechnet werden, indem jeweils der Untergrund von den Bildwerten abgezogen wird und die Filterkoeffizienten gleich den geeignet normierten Restwerten gesetzt werden. Bei einer Kantenstruktur wird dagegen zunächst der Untergrund abgezogen und die Filterkoeffizienten werden jeweils gleich den Differenzen aufeinanderfolgender Restwerte gesetzt.
Auf der Grundlage der so berechneten Filterkoeffizienten kann die Inversion der Tiefpassfilterung durchgeführt werden. Hervorzuheben ist, dass mit den beschriebenen bevorzugten Ausführungsformen die Filterkoeffizienten auf einfache Weise bestimmt werden können.
Schließlich wird die oben genannte Aufgabe auch durch ein Verfahren gelöst, bei dem zunächst eine Folge von Einzelbildern aufgenommen wird, bei dem anschließend die Bewegung der Kamera elastisch korrigiert wird. Durch eine nachfolgende Addition der Einzelbilder entsteht ein Gesamtbild mit verbesserter Auflösung und einem erhöhten Signal-zu-Rauschen-Verhältnis, das dem Verfahren zur Kantenschärfung unterzogen werden kann. Aufgrund des erhöhten Signal-zu-Rauschen-Verhältnisses führt die Kantenschärfung im Allgemeinen nicht zu einer wahrnehmbaren Verstärkung des Bildrauschens. Wesentlich für die Verbesserung der Bildqualität ist, dass die Einzelbilder erst nach der Durchführung einer Korrektur für die Bewegung der Kamera aufaddiert werden. Denn nur durch die Addition der bewegungskorrigierten Einzelbilder wird eine Verbesserung des Signal-zu-Rauschen-Verhältnisses erreicht. Falls dagegen die Einzelbilder ohne die Durchführung einer Korrektur für die Bewegung der Kamera aufaddiert würden, entspräche dies einer verlängerten Belichtungszeit, die aufgrund der Bewegung der Kamera nicht zu einer Verbesserung der Bildqualität führen würde.
Bei einer Vorrichtung gemäß der Erfindung kann daher eine einfache und starre Optik vor einem Halbleitersensor verwendet werden, der von einer Auswerteeinheit ausgelesen wird. Diese Auswerteeinheit führt anschließend die Verfahren gemäß der Erfindung zur Verbesserung der Bildqualität durch.
Bei der Vorrichtung gemäß der Erfindung kann daher auf eine Justierung der Optik, sei es manuell oder automatisch, verzichtet werden. Die Bildschärfe wird ausschließlich durch die Anwendung der Verfahren gemäß der Erfindung bewerkstelligt.
Weitere Einzelheiten sind Gegenstand der abhängigen Ansprüche.
Nachfolgend werden Ausführungsbeispiele der Erfindung anhand der beigefügten Zeichnung im Einzelnen erläutert. Es zeigen:
Fig. 1 einen Querschnitt durch ein mit einem Kamerasystem ausgestattetes Videohandy;
Fig. 2 ein Diagramm, das die Konstruktion eines Gesamtbildes aus einer Reihe von Einzelbildern veranschaulicht;
Fig. 3a bis 3d die Aufteilung eines Bildes in Makroblöcke;
Fig. 4 die sukzessive Bestimmung der Bewegungsvektoren der Makroblöcke aus Fig. 2;
Fig. 5a bis c die Bestimmung der Filterkoeffizienten eines Tiefpassfilters, das die Verbreiterung einer Linienstruktur beschreibt; und
Fig. 6 die Bestimmung der Filterkoeffizienten eines Tiefpassfilters, das die Verbreiterung einer Kantenstruktur beschreibt.
Fig. 1 zeigt einen schematischen Querschnitt durch ein Videohandy 1, mit dem Bilder aufgenommen werden können. Das Videohandy 1 verfügt über eine Optik 2, die ein entfernt liegendes Objekt 3 auf einen Sensor 4 im Inneren des Videohandys 1 abbildet. Bei dem Sensor 4 kann es sich beispielsweise um einen CCD-Halbleitersensor handeln. Die vom Sensor 4 aufgenommenen Bilddaten werden einer Auswerteeinheit 5 zugeführt, die mehrere nacheinander aufgenommene Einzelbilder zwischenspeichert und aus den Einzelbildern ein hochaufgelöstes geschärftes Gesamtbild berechnet, das auf einer Anzeigeeinheit 6 angezeigt werden kann. Die Qualität der Optik 3 kann von geringer Qualität sein. Insbesondere ist nicht vorgesehen, die Brennweite der Optik 2 auf den Abstand des Objektes 3 hin zu justieren. Für derartige Vorrichtungen ist in einem Videohandy 1 im Allgemeinen nicht ausreichend Platz vorhanden. Vielmehr wird die Bildschärfe durch die in der Auswerteeinheit 5 vorgenommene Bildverarbeitung erzielt.
Mit dem Videohandy 2 wird zunächst gemäß Fig. 2 eine Folge von Einzelbildern 7 aufgenommen, die aufgrund der Bewegung des Videohandys 1 in der Hand des Benutzers zumindest gegeneinander verschoben sind. Die Auswerteeinheit 5 wählt daher aus den Einzelbildern 7 ein Referenzbild 8 aus und berechnet die Verschiebung der Einzelbilder 7 in Bezug auf das Referenzbild 8. Da das Videohandy 1 nicht nur Bewegungen ausführt, die durch eine einfache Translation der Einzelbilder 7 in Bezug auf das Referenzbild 8 beschrieben werden kann, ist eine detaillierte elastische Bewegungskompensation erforderlich, die jeweils kleinen Bildausschnitten der Einzelbilder 7 einen geeigneten Bewegungsvektor zuweist.
In einem weiteren Verfahrensschritt werden die bewegungskompensierten Einzelbilder 7 auf das Referenzbild 8 addiert, so dass ein Gesamtbild 8' mit verbessertem Signal-zu-Rauschen- Verhältnis entsteht. Anschließend wird das Gesamtbild 8' einer Kantenschärfung unterzogen, wozu ein verbessertes Signal- zu-Rauschen-Verhältnis Voraussetzung ist.
Anhand der Fig. 3a bis 3d sowie Fig. 4 wird nachfolgend die Bestimmung der Bewegungsvektoren für die elastische Bewegungskompensation im Einzelnen beschrieben.
Zunächst wird, wie in Fig. 3 dargestellt, aus einem Einzelbild 7 ein Hauptmakroblock 9 ausgewählt. Die Ausdehnungen des Hauptmakroblocks 9 werden so gewählt, dass keine Verschiebung des Hauptmakroblocks 9 über die Grenzen des Referenzbildes 8 hinaus erfolgt. Die Bestimmung des Bewegungsvektors erfolgt nach Verfahren, die dem Fachmann also solche bekannt sind. In Frage kommen insbesondere Verfahren, die bei der Codierung von Videos Verwendung finden. Dort wird die Bewegung von Makroblöcken von aufeinanderfolgenden Videobildern bestimmt, indem Makroblöcke eines aktuellen Bildes mit Referenzmakroblöcken eines Referenzbildes verglichen werden. Der Vergleich wird dabei mit Hilfe einer Fehlerfunktion oder einer Korrelationsfunktion durchgeführt. Eine gängige Fehlerfunktion ist zum Beispiel die sogenannte Summe der absoluten Differenzen (SAD).
Nach der Bestimmung des Bewegungsvektors für den Hauptmakroblock 9 wird das Einzelbild 7 in vier Untermakroblöcke 10 unterteilt, die in etwa die halben Abmessungen des Hauptmakroblocks 9 aufweisen. In erster Näherung beschreibt der Bewegungsvektor des Hauptmakroblocks 9 auch die Verschiebung der Untermakroblöcke 10. Allerdings können den Untermakroblöcken 10 nunmehr auch einzelne Korrekturvektoren zugeordnet werden, die zur Beschreibung der Verschiebung des jeweiligen Untermakroblocks 10 zu dem globalen Bewegungsvektor des Hauptmakroblocks 9 hinzuaddiert werden. Am Ende der in Fig. 3b dargestellten ersten Iteration sind vier Bewegungsvektoren bestimmt worden, die jeweils die Verschiebung der vier Untermakroblöcke 10 beschreiben.
Die Untermakroblöcke 10 können nunmehr die Funktion eines Hauptmakroblocks übernehmen, wobei der jeweilige Bewegungsvektor des Untermakroblocks 10 als Ausgangspunkt für die Bestimmung der Verschiebung von weiteren Untermakroblöcken 11 dient. Die in Fig. 3c dargestellten Untermakroblöcke 11 der zweiten Iteration weisen in etwa die halbe Ausdehnung der Untermakroblöcke 10 auf. Die 16 Untermakroblöcke 11 können nun ebenfalls wieder mit entsprechenden Untermakroblöcken des Referenzbildes 8 verglichen werden. Anhand des Vergleichs ergeben sich nunmehr 16 Korrekturvektoren, die jeweils den vier Bewegungsvektoren der Untermakroblöcke 10 der ersten Iteration hinzugefügt werden.
In weiteren Iterationen können die Untermakroblöcke 11 weiter verkleinert werden, bis schließlich nach der n-ten Iteration die Größe der Untermakroblöcke 12 so klein geworden ist, dass die Verzerrung des Einzelbildes 7 aufgrund der Bewegung des Videohandys 1 ausreichend genau beschrieben ist. Anhand der Bewegungsvektoren kann die durch die Bewegung des Videohandys 1 hervorgerufene Bildverzerrung elastisch kompensiert werden. Wie bereits erwähnt können dann die korrigierten Einzelbilder 7 auf das Referenzbild 8 aufaddiert werden, so dass sich das Signal-zu-Rauschen-Verhältnis des Gesamtbildes 8' wesentlich verbessert.
Die Qualität des anhand der Fig. 3a bis 3d beschriebenen Bewegungsschätzverfahren lässt sich erheblich verbessern, wenn mit jeder Iteration des Verfahrens der Suchbereich für die Bewegungsvektoren eingeschränkt wird. Denn dadurch wird vermieden, dass irrtümlich zu große Korrekturvektoren berechnet werden. Derartige Fehlschätzungen können immer dann auftreten, wenn ähnliche Bildstrukturen innerhalb eines Referenzbildes 8 auftreten. Diese periodischen Bildstrukturen können beispielsweise bei Texten mit gleichen Buchstaben oder periodische Strukturen in Hausfassaden sein. Durch die Einschränkung des Suchbereichs wird allerdings verhindert, dass die Korrekturvektoren irrtümlicherweise zu groß gewählt werden.
In Fig. 4 ist eine Folge von Suchbereichen dargestellt. Ein erster Hauptsuchbereich 13 dient zur Bestimmung eines Bewegungsvektors 14 des Hauptmakroblocks 9. Das bedeutet, dass der Bewegungsvektor 14 innerhalb des Hauptsuchbereichs 13 gesucht wird. In der zweiten Iteration wird ein Korrekturvektor 15 in einem gegenüber dem Hauptsuchbereich 13 verkleinerten Suchbereich 16 gesucht. Der Bewegungsvektor 14 bildet zusammen mit dem Korrekturvektor 15 einen Bewegungsvektor 17, der die Verschiebung eines der Untermakroblöcke 10 beschreibt. Daneben gibt es drei weitere Bewegungsvektoren 17, die jeweils die Verschiebung der drei übrigen Untermakroblöcke 11 beschreiben. In der zweiten Iteration werden weitere Korrekturvektoren 18 bestimmt, die innerhalb den im Vergleich zu den Suchbereichen 16 verkleinerten Suchbereichen 19 gesucht werden. Nachfolgende, nicht dargestellter Korrekturvektoren müssten schließlich in gegenüber dem Suchbereich 19 verkleinerten weiteren Suchbereichen 20 gesucht werden.
Der Suchbereich 16 der ersten Iteration ist auf die Spitze des Bewegungsvektors 14 zentriert. Der Suchbereich 19 der zweiten Iteration ist seinerseits auf die Spitze des Bewegungsvektors 17 zentriert. Entsprechend sind alle nachfolgenden Suchbereiche auf die Spitzen der Bewegungsvektoren der vorhergehenden Iteration zentriert. Dies führt dazu, dass lediglich im Umgebungsbereich der Spitze des vorhergehenden Bewegungsvektors passende Makroblöcke gesucht werden. Durch die Verkleinerung der Suchbereiche in aufeinanderfolgenden Iterationen werden Fehlschätzungen der Korrekturvektoren aufgrund von ähnlichen Strukturen im Referenzbild 8 verhindert.
Nach der Addition der Einzelbilder 7 zu dem Gesamtbild 8' kann ein Verfahren zur Kantenschärfung durchgeführt werden. Denn die Auflösung des Gesamtbildes 8' ist durch die Beugung und durch Linsenfehler begrenzt. Durch das nachfolgend anhand der Fig. 5a bis 5c und 6 beschriebene Verfahren kann die Bildqualität nachträglich verbessert werden. Um die Unschärfe der Abbildung korrigieren zu können, ist im Allgemeinen die Kenntnis der Intensitätsverteilung der Abbildung einer Punktlichtquelle auf dem Sensor nötig. Zur Korrektur der Unschärfe ist mit anderen Worten die Kenntnis der Impulsantwort des optischen Systems erforderlich.
Bei dem hier beschriebenen Verfahren werden Linien oder Kanten im Gesamtbild dazu verwendet, die Impulsantwort der Optik 2 zu rekonstruieren.
Fig. 5a zeigt ein Idealbild 21, das sich aus der idealen Abb. 22 der Linienlichtquelle und einem homogenen Hintergrund 23 zusammensetzt. In Fig. 5b ist dagegen eine reale Abb. 24 der Linienlichtquelle dargestellt, die sich aus einer k Pixel breiten Intensitätsverteilung 25 und dem homogenen Hintergrund 23 zusammensetzt. Während die ideale Abb. 22 der Linienlichtquelle auf ein Pixel konzentriert ist, ist die reale Abb. 24 der Linienstruktur auf k Pixel verteilt.
Um die ideale Abbildung der Linienlichtquelle 22 zu rekonstruieren, wird ein Filter 26 aus den Bilddaten konstruiert, dessen Konvolution mit einer idealen Linienquelle 27 die Intensitätsverteilung 25 ergibt.
Zur Konstruktion des Filters 26 wird ein Suchfenster mit einer Länge von 4 k + 1 Pixeln über das Gesamtbild 8' geschoben und nach einer Linie vor einem näherungsweise homogenen Hintergrund 23 gesucht. Dabei wird angenommen, dass es sich um eine ideale Linienquelle 27 mit einem Maximalwert in einem Pixel vor einem konstanten Hintergrund 23 handelt. Der homogene Bildhintergrund 23 wird abgezogen, da er keinen Einfluss auf das Ergebnis hat. Die Berechnung der Filterkoeffizienten des Filters 26 wird dann mit Hilfe von Restwerten 28 gemäß den folgenden Formeln bestimmt.
Zur Vereinfachung gilt (d - c = s) und (d_i - C_i = s_i).
Damit die mittlere Intensität des geschärften Bildes gegenüber dem ursprünglichen Gesamtbild unverändert bleibt, muss gelten:
Daraus folgt für die Intensität der idealen Linienquelle 27:
Im Falle einer Linienstruktur kann daher die ideale Abb. 21 der Linienlichtquelle 27 auf einfache Weise dadurch konstruiert werden, dass die Restwerte 28 aufsummiert werden.
Das Verfahren zur Schärfung scharfkantiger Bildobjekte im Gesamtbild kann auch auf kantenförmige Bildobjekte angewandt werden. Zu diesem Zweck wird mit einem Suchfenster der Länge 4k nach Kanten 29 gesucht. Die Kanten 29 erscheinen in dem ungeschärften Gesamtbild als Kantenstrukturen 30, die aufgrund der Beugung und Abbildungsfehlern verrundet sind. Die Abbildung der Kanten 29 in die Kantenstrukturen 30 kann durch die Konvolution der Kante 29 mit einem Filter 31 beschrieben werden, dessen Filterkoeffizienten aus der Kantenstruktur 30 berechnet werden können.
Unter der Annahme, dass A die Differenz zwischen den Bildwerten auf beiden Seiten der Kante 29 und dass D_i die Bildwerte entlang der Kantenstruktur 30 beschreiben, gilt:
Für die Filterkoeffizienten gelten somit folgende Beziehungen:
Falls die Filterkoeffizienten bekannt sind, können aus den Kantenstrukturen 30 des Gesamtbildes die ursprünglichen Kanten 29 mit dem Fachmann bekannten Methoden rekonstruiert werden.
Es sei angemerkt, dass die bei der Suche nach Linienstrukturen und Kantenstrukturen verwendete Fensterbreite von 4k einen Sicherheitsabstand der Länge k auf beiden Seiten der Linienquelle 27 oder der Kante 29 beinhaltet.
Ferner sei angemerkt, dass die verwendeten Verfahren zur Schärfung von Linien und Kanten unabhängig voneinander angewandt werden können. Aber auch eine gleichzeitige Anwendung der beiden Verfahren ist möglich.
Die Anwendung der beiden Verfahren führt insbesondere dann zu guten Ergebnissen, wenn das ungeschärfte Bild bereits ein hohes Signal-zu-Rauschen-Verhältnis aufweist. Denn durch die Schärfung der Linienstrukturen und Kantenstrukturen durch die Inversion der Filter 26 und 31 werden die hochfrequenten Bildkomponenten verstärkt. Ein bereits erkennbar verrauschtes Bild würde daher bei der inversen Filterung deutlich mehr verrauscht werden.
Die hier beschriebenen Verfahren wurden bereits an realen Bildern getestet. Grundsätzlich können die hier beschriebenen Verfahren an die jeweiligen Anforderungen hinsichtlich der gewünschten Auflösung und der vorhandenen Rechenleistung angepasst werden.
So ist die Zahl der Iterationen, die zur Bestimmung des Vektorfeldes für die elastische Bildkompensation verwendet werden, variabel. Im Experiment erwiesen sich sieben Iterationen als optimal.
Auch die Größe der Suchbereiche kann variieren. Im Experiment wies der Hauptsuchbereich 16 eine Größe von 64 × 64 Pixeln auf und wurde in der Folge schrittweise halbiert. Die Kantenlänge der nachfolgenden Suchbereiche betrugen daher 64, 32, 16, 8, 4, 2, 1 Pixel.
Um die Berechnung des Vektorfelds zu beschleunigen, wurde für die Berechnung der Fehlerfunktion, nämlich die Summe der absoluten Differenzen (SAD = sum of absolute differences), unterabgetastet. Das bedeutet, dass in jeder Dimension nur jeder n-te Bildpunkt für die Berechnung der Fehlerfunktion herangezogen wird. Die Fehlerfunktion wird ferner auf einem Gitter berechnet, dessen Maschenweite mit jeder Iteration abnimmt. Im Experiment erwiesen sich folgende Maschenweiten als optimal: 16, 16, 8, 4, 2, 1, 1.
Zur weiteren Beschleunigung werden bei jeder Iteration nur Vektoren betrachtet, die auf einem vorbestimmten Gitternetz liegen. Die Maschenweite dieses Gitternetzes nimmt ebenfalls mit jeder Iteration ab. Als optimal haben sich im Experiment folgende Maschenweiten des Gitternetzes für die Vektoren erwiesen: 8, 4, 2, 1, 1, 1, 1.
Im Experiment wurde darüber hinaus nach der Addition der Einzelbilder 7 zu dem Gesamtbild 8' eine Linienschärfung durchgeführt. Dazu wurden folgende Bilderparameter verwendet: -0,375, -0,75, 0,625, 2, 0,625, -0,75, -0,375.
Außerdem wurden ungeeignete Bilder, die das Ergebnis verschlechtern würden, verworfen. Liegt der Wert der Fehlerfunktion für alle Suchpositionen während der ersten Iteration oberhalb einer bestimmten Schwelle, wird das betreffende Einzelbild 7 nicht zur Berechnung des Gesamtbilds 8' herangezogen.
Abschließend sei angemerkt, dass die hier beschriebenen Verfahren nicht nur zum Erzeugen von Standbildern, sondern prinzipiell auch zum Erzeugen hochaufgelöster Videosequenzen geeignet sind. Dazu werden die hier beschriebenen Verfahren jeweils nacheinander auf die aufeinanderfolgenden Videobilder angewandt.

Claims

1. Verfahren zur Bestimmung von Bewegungsvektoren von Makroblöcken für die elastische Kompensation der Bewegung einer Kamera mit den Verfahrensschritten:

- Bestimmung des Bewegungsvektors (14) eines Hauptblockes (9) eines aktuellen Bilds (7) durch Vergleich des Hauptblocks (9) des aktuellen Bildes (7) mit Referenzhauptblöcken eines Referenzbildes (8), wobei die überprüften Bewegungsvektoren innerhalb eines vorbestimmten Hauptsuchbereichs (13) liegen;

- Unterteilen des aktuellen Bildes (7) in eine Vielzahl von Unterblöcken (10) und Bestimmung der Bewegungsvektoren (17) der Unterblöcke (10) durch Vergleich der Unterblöcke (10) mit Referenzunterblöcken des Referenzbildes (8), wobei die Bewegungsvektoren (17) der Unterblöcke (10) jeweils aus dem Bewegungsvektor (14) des Hauptblockes (9) und einem für den jeweiligen Unterblock (10) spezifischen Korrekturvektor (15) zusammengesetzt werden, der aus einem gegenüber dem Hauptsuchbereich (13) verkleinerten Suchbereich (16) ausgewählt wird.

2. Verfahren nach Anspruch 1, bei dem der Vergleich des Hauptblocks (9) mit den Referenzhauptblöcken und der Vergleich der Unterblöcke (10) mit den Referenzunterblöcken mit Hilfe einer Fehlerfunktion oder Korrelationsfunktion durchgeführt wird.

3. Verfahren nach Anspruch 1 oder 2, bei dem bei einer weiteren Iteration des Verfahrens die Unterblöcke (10) die Funktion eines Hauptblocks übernehmen.

4. Verfahren nach Anspruch 3, bei dem das Verfahren mehrfach iteriert wird.

5. Verfahren nach Anspruch 4, bei dem der Suchbereich (16, 19, 20) eines Iterationsschrittes gegenüber dem Suchbereich (13, 16, 19) eines vorhergehenden Iterationsschrittes verkleinert wird.

6. Verfahren nach Anspruch 2 und 4, bei dem die Fehlerfunktion oder Korrelationsfunktion auf einem Gitter berechnet wird, dessen Maschenweite mit jeder Iteration abnimmt.

7. Verfahren nach Anspruch 2 und 4, bei dem die Koordinaten der Bewegungsvektoren (14, 17) entsprechend einem Gitter ausgewählt werden, dessen Maschenweite mit jeder Iteration abnimmt.

8. Verfahren zur Schärfung scharfkantiger Bildobjekte in einem Bild mit den Verfahrensschritten:

- Verschieben eines Prüfrahmens über das Bild;

- Überprüfung des Prüfrahmens auf inhomogene Bildbereiche, die an homogene Bildbereiche (23) angrenzen;

- Berechnung einer die Auflösung des scharfkantigen Bildobjekts beschreibenden Tiefpassfilters (26, 31) anhand von Bilddaten im Prüfrahmen; und

- Inversion der Tiefpassfilterung.

9. Verfahren nach Anspruch 8, bei dem der Prüfrahmen von einem zeilenweise verschobenen Zeilenausschnitt oder einem spaltenweise verschobenen Spaltenausschnitt gebildet.

10. Verfahren nach Anspruch 9, bei dem die Filterkoeffizienten des Tiefpassfilters (26) berechnet werden, indem bei einer Linienstruktur (27) ein homogener Hintergrund (23) von den Bildwerten abgezogen wird und die Filterkoeffizienten gleich den normierten Restwerten (28) gesetzt werden.

11. Verfahre nach Anspruch 8 oder 9, bei dem die Filterkoeffizienten des Tiefpassfilters (31) berechnet werden, indem von den Bildwerten ein homogener Hintergrund (23) abgezogen wird und die Filterkoeffizienten jeweils gleich der Differenz aufeinanderfolgender Restwerte (28) gesetzt werden.

12. Verfahren zur Konstruktion eines hochaufgelösten Bildes aus einer Folge von Einzelbildern (7) mit den Verfahrensschritten:

- Bestimmung der Menge der Makroblöcken (12) aufeinanderfolgender Bilder (7) zugeordneten Bewegungsvektoren nach einem der Verfahren 1 bis 7;

- Durchführung einer elastischen Bewegungskorrektur;

- Addition der bewegungskorrigierten Bilder zu einem hochaufgelösten Gesamtbild (8').

13. Verfahren nach Anspruch 12, bei dem nach dem Abschluss der Bewegungskorrektur ein Verfahren zur Schärfung der Darstellung scharfkantiger Objekte nach einem der Ansprüche 8 bis 11 durchgeführt wird.

14. Vorrichtung zur Aufnahme von Bildern, die eine Optik (2) mit einem nachgeordneten Sensor (4) aufweist, der an eine Auswerteeinheit (5) angeschlossen ist, die zur Ausführung eines Verfahrens nach einem der Ansprüche 12 bis 14 eingerichtet ist.

15. Computerprogrammprodukt, das Codes zur Ausführung eines Verfahrens nach einem der Ansprüche 1 bis 13 enthält.