DE60006651T2

DE60006651T2 - Verfahren, vorrichtung und verwendung zur bewertung von kodierten bildern

Info

Publication number: DE60006651T2
Application number: DE60006651T
Authority: DE
Inventors: Philippe Bordes; Philippe Guillotel
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 1999-03-08
Filing date: 2000-02-29
Publication date: 2004-09-30
Anticipated expiration: 2020-03-01
Also published as: TW517211B; EP1159711B1; DE60006651D1; JP4611535B2; US7003037B1; JP2002539657A; EP1159711A1; FR2790852A1; WO2000054220A1; AU3161500A; CN1343342A; CN1306457C; FR2790852B1

Description

Die vorliegende Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bewertung der Qualität von codierten Bildern sowie die Anwendung eines derartigen Verfahrens und einer Vorrichtung.
In Systemen zur Codierung digitaler Videofolgen ist es bekannte Praxis, die Qualität der durch das Verfahren ausgegebenen Bilder durch Vergleich mit dem Originalbild unter Auswertung des Signal/Rausch-Verhältnisses zu bewerten.
Dieses Verhältnis wird allgemein bezeichnet mit PSNR (Peak Signal to Noise Ratio = Spitzensignal/Rausch-Verhältnis) und ergibt sich durch Summierung der quadratischen Differenzen der Pixel des endgültigen Bildes und des Ursprungsbildes.
Jedoch berücksichtigt diese Maßnahme nicht die psychovisuellen Eigenschaften der menschlichen Betrachtung (HVS: Human Visual System). In Wirklichkeit ist das menschliche Auge empfindlicher gegenüber bestimmten, räumlichen Frequenzen, und seine Wahrnehmung von Details von Objekten ist stark verknüpft mit ihrer relativen Bewegung und auch mit der Erscheinung von Helligkeit und Kontrast.
Somit wird eine Folge, die gemäß dem traditionellen Verfahren zur Qualitätsbewertung als das Ergebnis einer guten Codierung erscheint und von dem eine gute Bildqualität angenommen wird, durch den Betrachter nicht in dieser Weise wahrgenommen, und zwar aufgrund seiner psychovisuellen Eigenschaften.
Westen beschreibt in der Veröffentlichung mit dem Titel "A qualitiy measure for compressed image sequences based on an eye-movement compensated spatiotemporal model", Proceedings of the International Conference on Image Processing", US, Los Alamitos, CA, IEEE, 26. Oktober 1997, Seiten 279–282, eine Verarbeitung auf der Grundlage einer statischen Filterung eines bewegungskompensierten Bildes, einer Filterung, die die Bewegung der zu filternden Objekte nicht berücksichtigt.
Die Aufgabe der Erfindung besteht daher darin, die Bewertung der Qualität von Bildern zu ermöglichen, die so weit wie möglich angenähert ist an die Wahrnehmung, die der Betrachter davon hat.
Der Einfluss des menschlichen Faktors (HVS) wird teilweise berücksichtigt in traditionellen Codierern vom Typ MPEG2 in der Wahrnehmung der räumlichen Frequenzen der decodierten Bilder durch Anwendung einer Wichtungsmatrix bei den hohen Frequenzen von Bildblöcken mit acht mal acht; jedoch erfolgt absolut keine Berücksichtigung der Wahrnehmung von Details von Objekten in Bewegung.
Die meisten Studien, die die Disparitäten zwischen zwei Bildern messen, basieren im Wesentlichen auf einer statischen Analyse der Fehler ohne Berücksichtigung der Bewegung oder auf einer Analyse der räumlichen Frequenzen.
Außerdem benutzen einige frühere Studien, die den zeitlichen Aspekt berücksichtigen, jedoch die Bewegung nicht berücksichtigen, die Differenz (Verzerrung) zwischen einem laufenden Makroblock und dem Makroblock bei derselben Lage in dem vorangehenden Bild.
Keine dieser Studien berücksichtigt den Einfluss der menschlichen Betrachtung zusammen mit den Problemen der Bewegung in dem Bild.
Der Zweck der Erfindung besteht darin, die Nachteile des Standes der Technik zu verringern.
Dieser Zweck wird erreicht durch die Tatsache, dass das Verfahren zur Bewertung der Qualität von Bildern Folgendes enthält:
a) einen Schritt zur Vorverarbeitung des ein Bild darstellenden Signals, das entsprechend den Eigenschaften der Wiedergabe wiedergegeben werden soll, um dadurch ein vorverarbeitetes Signal zu gewinnen;
b) einen Schritt zur Bildung eines Bewegungsvektorfeldes aufgrund der Quellenfolge durch Abschätzung der Bewegung zwischen Bildern mit Geschwindigkeitsvektoren;
c) einen Schritt zur Segmentierung des Bewegungsvektorfeldes, entsprechend dem Bewegungswert der Vektoren für Bereiche;
d) einen Schritt zur Bestimmung oder Berechnung eines psychovisuellen, menschlichen Filters, das in Abhängigkeit von der geschätzten Geschwindigkeit des Bereichs angewendet werden soll;
e) einen Schritt zur Filterung des vorverarbeiteten Signals, und
f) einen Schritt zur Bildung der Figur von Disparitäten zwischen den das Bild darstellenden Signalen, die nach dem Filterungsschritt gewonnen werden, und dem das Bild darstellenden Signalen, die vorher codiert und decodiert wurden, die nach dem Filterungsschritt gewonnen werden.
Gemäß einem weiteren, besonderen Merkmal umfaßt das Verfahren zur Bewertung der Qualität von codierten Bildern einen Schritt in der Anwendung jeder der vorangehenden Schritte auf das Quellenbild und auf das decodierte Bild.
Gemäß einem anderen besonderen Merkmal enthält das Verfahren zur Bewertung der Qualität von codierten Bildern einen Schritt einer häufigen Zerlegung der Bilder (FFT, Unterband usw.), der dem Filterungsschritt vorausgeht und in einer Wichtung durch einen Koeffizienten besteht, der von Kurven abgeleitet ist, die die geschätzte Geschwindigkeit und das betroffene Frequenzband berücksichtigen, um so den relativen Einfluß der Geschwindigkeit und der räumlichen Frequenz auf die Wahrnehmung der bewegten Bilder zu berücksichtigen.
Gemäß einem anderen besonderen Merkmal beinhaltet der psychovisuelle Filterungsschritt, der auf die Matrices angewendet wird, die die Interpyramidendifferenzen zwischen den Laplacepyramiden der verarbeiteten Quellenbilder und denen der verarbeiteten, decodierten Bilder entsprechen, nach ihrer Wichtung durch einerseits dem örtlichen Einfluss durch die Frequenz der betroffenen Pixel und andererseits einen Filterkoeffizient, der aus den Filterkurven abgeleitet ist, die die geschätzte Geschwindigkeit und das Frequenzband berücksichtigen, das zu dem Wert der Laplacepyramide gehört, zu der das Pixel gehört in einer Multiauflösungspyramide aus dem Aufbau einer Pyramide auf der Grundlage des Bildes jedes Bereichs mit unterschiedlicher Geschwindigkeit.
Gemäß einem anderen, besonderen Merkmal ist die psychovisuellen Filterungskurve entweder aus einer Folge von Kurven aufgebaut, die in der Form einer Datenbank angeordnet sind und in dem System gespeichert wird, und möglicherweise eine Interpolation auf der Basis dieser Kurven, oder durch analytische Darstellung durch Berechnungsmittel, die jede Kurve berechnen können.
Gemäß einem anderen besonderen Merkmal erfolgt der Schritt des Aufbaus der Figur der Disparitäten durch Wiederzusammensetzung der gefilterten Multiauflösungs-Pyramiden in dem vorangehenden Schritt.
Gemäß einem anderen besonderen Merkmal besteht der Schritt der Verarbeitung des Bildes aus einem Schritt der Zerlegung der Quelle und von decodierten Bildern in eine Laplacepyramide mit n Werten und einen Schritt zur Bildung der Interpyramidendifferenz.
Gemäß einem anderen besonderen Merkmal erfolgt die Geschwindigkeit oder der örtliche Wert der Bewegung durch möglichen Aufbau der Filter, gefolgt durch Anwendung des konstruierten Filters oder durch Anwendung eines Medianfilters.
Gemäß einem anderen besonderen Merkmal enthält das Verfahren einen Schritt der Vorkorrektur der Bilder mittels Durchführung einer Gammakorrektur und eine Korrektur durch das Gesetz von Weber verfolgt.
Gemäß einem anderen besonderen Merkmal ist die Gammakorrektur γ folgendermaßen: y = KSVγs mit V = k_aE^γa,
wobei y die Luminanz, V die Luminanzspannung, E die Beleuchtung des analysierten Bildes, γ_s ein Exponent von ungefähr 2,2 für Schwarz/Weiß-Bildröhren ist und γ_a einen allgemein für Farbfernsehen angenommenen Wert von 0,45 hat.
Gemäß einem anderen besonderen Merkmal ist die Filterung durch Konstruktion des psychovisuellen Filters entsprechend der Geschwindigkeit, die auf der Basis einer Datenbank von Filtern geschätzt wird, und die Interpolation zwischen den beiden Filtern, die den Bereichen entsprechen, die am nächsten zu dem Bereich liegen, dessen Geschwindigkeit geschätzt worden ist.
Gemäß einem anderen besonderen Merkmal erfolgt der relative, örtliche Einfluß (I_n) des betroffenen Pixels p_i durch Berechnung eines Wertes E_n, der q-ten Potenz der Interpyramiden-Wert-zu-Wert-Differenz zwischen den Quellenpyramiden und den decodierten Pyramiden mit gleichem Wert des betroffenen Pixels erfolgt.
Gemäß einem anderen besonderen Merkmal erfolgt die Berechnung von I_n durch Anwendung der folgenden Formel:
mit E_n = (Diff_n(p_ij))^q,
m(E_k) = E_k wenn E_k> S
und m(E_k) = S wenn E_k< S,
mit z.B. S = 0,5% (maximal möglicher Wert von E_k).
Gemäß einem anderen besonderen Merkmal enthält die Filterung eine direktionale Filterung der Bilder in einer vorbestimmten Richtung und nicht in einer anderen.
Gemäß einem anderen besonderen Merkmal erfolgt die Gammakorrektur durch eine Berechnungseinheit, die die folgende Gleichung durchführt:
dabei ist e der Gitterwert des Pixels, e_max der Maximalwert von z.B. 256, wenn die Codierung auf 8 Bit erfolgt, L_max die Intensität entsprechend e_max in cd/m².
Gemäß einem anderen besonderen Merkmal, dass das Gesetz von Weber durch eine Berechnungseinheit durchgeführt wird, die die folgende Funktion ausführt:
Gemäß einem anderen besonderen Merkmal erfolgt die Berechnung des psychovisuellen Filters durch die folgende Gleichung: G(α,v) = [6,1 + 7,3|log(v/3)|3] × vα2exp[–2α(v + 2)/45,9]mit α = 2πf; f = räumliche Frequenz, v = Geschwindigkeit.
Ein anderer Zweck der Erfindung besteht darin, eine Anwendung des Verfahrens gemäß der Erfindung vorzuschlagen.
Dieser weitere Zweck wird erreicht durch die Tatsache, dass das Verfahren der Erfindung in einer Codiervorrichtung benutzt wird durch eine dynamische Retroaktion in Abhängigkeit von den psychovisuellen Disparitäten, berechnet durch die Berechnungseinheit, die das Verfahren einer der Parameter durchführt, die im Laufe der Codierung durch die Codiervorrichtung benutzt werden.
Gemäß einem anderen besonderen Merkmal werden die berechneten Disparitäten mit einem Schwellwert verglichen, um so die Codierparameter zu ändern, bis der gewünschte Schwellwert überschritten ist.
Gemäß einem anderen besonderen Merkmal ist einer der Parameter entweder das Quantisierungsintervall oder die Größe der Bilder oder die Form der Gruppe von Bildern GOP.
Gemäß einem anderen besonderen Merkmal dient das Verfahren der Erfindung in der Analyse der Homogenität der berechneten Disparitäten, um auf die Codierungsparameter einzuwirken.
Gemäß einem anderen besonderen Merkmal dient das Verfahren der Erfindung zur Modifizierung der Codierungsparameter unterschiedlicher Bildobjekte, dessen Codierung objektorientiert als eine Funktion einer konstanten, gewünschten Disparität ist.
Gemäß einem anderen besonderen Merkmal dient das Verfahren der Erfindung zur Durchführung einer dynamischen Neuzuteilung der zugeteilten Bitraten.
Ein letzter Zweck der Erfindung ist es, eine Vorrichtung vorzuschlagen, die den Prozess realisieren soll.
Dieser Zweck wird erreicht durch die Tatsache, dass die Bewertungsvorrichtung Folgendes enthält:

– Mittel (1a, 1b) zur Verarbeitung des das Quellenbild (10a) und das decodierte Bild (10b) darstellenden Signals zur Gewinnung eines verarbeiteten Quellensignals und eines verarbeiteten, decodierten Bildsignals;
– Mittel (2a, 2b) zum Aufbau auf der Basis des jedes der Bilder darstellenden Signals eines Signals, das die Bewertung des Bewegungsfeldes auf der Basis jedes der Bilder der Quelle und der decodierten Folgen darstellt;
– Mittel (3a, 3b) zur Bildung eines Signals, das die Segmentierung des Bewegungsfeldes und die Speicherung der jeden Bereich R_i darstellenden Bildpixel darstellt mit einem anderen Bewegungsfeld bei einer Adresse, die für die Geschwindigkeitsvektoren definiert ist, die in dem Schritt des Aufbaus des Bewegungsfeldes (?) sind und es ermöglichen, für jedes der Quellen- und decodierten Bilder diejenigen zu bestimmen, die unterschiedliche Bewegungsvektoren aufweisen, gekennzeichnet durch:
– Mittel (4, 5) zur Bestimmung oder Berechnung eines psychovisuellen, menschlichen Filters zur Anwendung als eine Funktion der geschätzten Geschwindigkeit des Bereichs;
– Filtermittel (6a, 6b) für jedes der verarbeiteten Quellenbilder und verarbeiteten, decodierten Bildern, und
– Mittel (7) zur Bildung der Figur der Disparitäten zwischen den das verarbeitete Quellenbild darstellenden Signalen, die nach dem Filterungsschritt gewonnen werden, und den Signalen, die die verarbeiteten, decodierten Bilder darstellen, die nach dem Filterungsschritt gewonnen werden.

Gemäß einem anderen besonderen Merkmal werden die psychovisuellen Filtermittel auf Matrices angewendet, die die Interpyramidendifferenzen darstellen, die durch Berechnungsmittel zwischen den Laplacepyramiden der verarbeiteten Quellenbilder und denen der verarbeiteten, decodierten Bilder berechnet werden, nach der Wichtung durch einerseits des örtlichen Einflusses für die Sequenz der betroffen Pixel und andererseits ein Filterkoeffizient, der aus den gespeicherten und berechneten Filterkurven abgeleitet ist und die geschätzte Geschwindigkeit und das Frequenz band berücksichtigt, das dem Wert der Laplacepyramide entspricht, zu der das Pixel in einer Multiauflösungspyramide gehört, die durch Bildung dieser Multiauflösungspyramide auf der Basis eines Bildes jedes Bereichs mit unterschiedlicher Geschwindigkeit gewonnen wird.
Gemäß einem anderen besonderen Merkmal führen die Mittel zur Bildung der Figur von Disparitäten eine Neuzusammensetzung der gefilterten Multiauflösungs-Pyramiden durch.
Gemäß einem anderen besonderen Merkmal bestehen die Mittel der Verarbeitung, die Mittel des Aufbaus, die Mittel der Bestimmung, die Mittel der Konstruktion, die Mittel der Filterung aus wenigstens einem Microprozessor mit Speicher, die die Programme enthalten können, die es ermöglichen, die verschiedenen Mittel zu umfassen und Datenbanken und Zwischeninformationen erhalten, die für die Berechnung und die Gewinnung der Figur der Disparitäten notwendig sind.
Andere besondere Merkmale und Vorteile der vorliegenden Erfindung ergeben sich aus der folgenden Beschreibung anhand der beigefügten Figuren:
1a zeigt eine schematische Ansicht der Schritte einer ersten Variante des Verfahrens,
1b zeigt eine graphische Darstellung des Ergebnisses der Vorverarbeitungsschritte,
1c zeigt eine vereinfachte Ansicht der Quellenbildmatrix,
1d zeigt eine vereinfachte Ansicht der Matrix, die sich nach der Segmentierung des Bewegungsfeldes ergibt,
2 zeigt eine schematische Ansicht von verschiedenen Schritten einer zweiten Variante des Verfahrens
3 zeigt die Familie der Filterkurven für den psychovisuellen Einfluß der menschlichen Betrachtung, wobei diese Kurven in einer Datenbank für bestimmte Geschwindigkeiten gespeichert werden,
4 zeigt die Multiauflösungspyramide,
5 zeigt die Laplacepyramide.
Eine erste Ausführungsform der Erfindung wird anhand 1 erklärt die durchgeführten Arbeitsschritte durch die Vorrichtung, die eine Bewertung der Qualität der Bilder an dem Ausgang eines Codierverfahrens ermöglicht durch verschiedene Vorrichtungen gewonnen werden, die einerseits die Signale von einem Quellenbild (10a) verarbeiten und andererseits die ein decodiertes Bild (10b) darstellenden Signale verarbeiten. Jedes Bild wird durch mehrere als eine Matrix angeordnete Pixel p_ij dargestellt, wie 1c zeigt, und dessen Größe abhängt von der für das Bild gewünschten Auflösung. Einem bestimmten Pixel p_ij entspricht dort eine Größe von charakteristischen Details, die ausgedrückt wird als eine Funktion der Größe der Matrix, die die Anzahl der Pixel in dem Bild definiert, einerseits durch die Frequenz in Zyklen und andererseits durch die Geschwindigkeit in Grad je Sekunde. Jeder der Schritte des Verfahrens gemäß der ersten Ausführungsform wird auf das Quellenbild und auf das decodierte Bild angewendet. Der Ausdruck "decodiertes Bild" soll so verstanden werden, dass er jedes Videobild bedeutet, das an dem Ausgang einer Codier-Decodier-Einheit gewonnen wird und die Übertragung gemäß einer Norm ermöglicht, wie z.B. MPEG. Zur klareren Darstellung wird der Leser außerdem verwiesen auf den Anhang 1, der die von 1 bis 7 nummerierten, verschiedenen Schritte des gemäß der ersten Variante durchgeführten Verfahrens darstellt.
Eine erste Einheit (1a, 1b) zur Verarbeitung der Quellenbilder (10a) und der decodierten Bilder (10b) ermöglicht, einen ersten Schritt der Verarbeitung durchzuführen, der mit Vorverarbeitungsschritt bezeichnet wird und eine Gammakorrektur der Signale durchführt, die das Bild darstellen, und eine Korrektur des Kontrastes durch das Gesetz von Weber darstellt. Das Gesetz von Weber berücksichtigt die Tatsache, dass das Auge gegenüber Kontrasten empfindlich ist, und dass ein Blick auf einen Lichtpunkt mit der Intensität I + dI +auf einem Hintergrund mit einer Lichtintensität I das Verhältnis dI/I, das als das Verhältnis von Weber bezeichnet wird, um etwa 2% über einen weiten Helligkeitsschwellbereich praktisch konstant ist, ausgenommen für sehr niedrige Helligkeitsintensitäten und die sehr hohen Helligkeitsintensitäten. Die Korrektur des Kontrastes berücksichtigt eine Form der Sättigung des Auges zusammen mit der Tatsache, dass z.B. ein Bereich mit mittlerer Intensität entlang eines Bereichs mit hoher Intensität weniger gut unterschieden wird als ein Bereich mit niedriger Intensität neben einem Bereich mit mittlerer Intensität.
Zur Berücksichtigung dieses Effektes wird das Spannungssignal, das die Helligkeitsintensität der durch die Kathodenstrahlröhre bewirkte Wiedergabe steuert, durch ein sogenanntes Weber-Gesetz korrigiert wird, das folgendermaßen ausgedrückt wird:
darin bezeichnet L_max die maximale Helligkeitsintensität etwa gleich 100 Candela je Quadratmeter (L_max≈ 100cd/m²) und L_display die gewünschte Helligkeitsintensität darstellt.
Dieses mathematische Gesetz wird durchgeführt durch ein elektronisches Gerät, das diese Berechnungen durchführen kann. Zum Beispiel kann ein derartiges Gerät auf einem Microprozessor mit Speichern bestehen, die das dem Berechnungsalgorithmus entsprechende Programm enthalten.
Für seinen Teil ermöglicht es die Gammakorrektur, das Ansprechen des Fernsehempfängers zu vermeiden, d.h. die Eigenschaften der Wiedergabe ermöglichenden Röhre zu vermeiden. Tatsächlich sind Kathodenstrahlröhren nicht-lineare Geräte, und die Lichtintensität auf dem Schirm eines Kathodenstrahl-Monitors ist ohne Korrektur nicht proportional zu dessen Eingangsspannung.
Eine Gammakorrektur ist ein Verfahren zur Kompensation dieser Nichtlinearität, um so eine richtige und proportionale Wiedergabe der entsprechenden Helligkeitsintensität bei der Eingangsspannung zu erlangen. Das Bild von einem Schirm ist in als eine Matrix organisierten Pixeln unterteilt, in der die Lage des Pixels p_ij durch die Indices i und j der Matrix definiert ist. Der Wert p_ij des Pixels stellt die gewünschte Intensität dar. Zur Korrektur der Erscheinung im Zusammenhang mit der Kathodenstrahlröhre wird ein Korrekturgesetz, das der folgenden Gleichung entspricht:
auf diesen Wert angewendet, der die Spannung darstellt, die für die gewünschte Helligkeitsintensität gewünscht ist. Gamma (γ) hat einen Wert zwischen 2,3 und 2,6, abhängig von den besonderen Eigenschaften der Kathodenstrahlröhre. In dieser Gleichung ist e der Gitterwert des Wertes des Pixels p_ij; e_max ist der maximal mögliche Wert von e, z.B. 256, wenn die Steuersignale auf 8 Bit ausgedrückt sind, und L_max ist die e_max in cd/m² entsprechende Intensität, und L_max ist ungefähr gleich 100cd/m².
Eine andere Formulierung des Gammagesetzes kann folgendermaßen sein: y = KsVγ mit V = kaE^γa.
Darin ist y die Luminanz, V die Luminanzspannung, E die Helligkeit des analysierten Bildes, γ ist ein Exponent von ungefähr 2,2 für Schwarz/Weiß-Bildröhren, und γa entspricht einem Wert von 0,45 allgemein für Farbfernsehen; Ks und ka sind Proportionalitätskoeffizienten.
Diese Gammakorrektur und der Vorgang nach Weber machen es möglich, den als Eingang zu der Vorverarbeitungsschaltung (1a) empfangenen Pixelwertes, in einen endgültigen Wert P'_ij = I_g(P_ij)P_ijI_g, der dem Gesetz entsprechend der in 1b dargestellten Kurve. Jedes der Quellenbilder (10a) ergibt mehrere vorverarbeitete Pixel p'_aij, und jedes der decodierten (10b) ergibt ebenso eine zweite Mehrzahl von vorverarbeiteten Pixeln p'_bij.
Parallel zu diesem Verarbeitungsvorgang erfolgt eine sogenannte Bewegungsschätzung, die die Konstruktion für jede Quelle und jedes decodierte Bild des Feldes der Bildbewegung ermöglicht auf der Basis jeder Bildfolge. Diese Konstruktion des Bewegungsfeldes erfolgt zwischen t und t–1 durch konventionelle Berechnungen, wie diejenigen, die genannt werden in dem Verfahren, das erläutert wird in dem Buch von Don Pearson, MacGraw Hill Book Company und mit dem Titel "Image processing" "The Essex series in telecommunication and information systems", Seite 47 und folgende. Diese Bewegungsschätzung über eine Folge von Bildern kann entwe der das differentielle Verfahren oder das Verfahren des sogenannten "block matching" (Blockanpassung) oder das Fourier-Verfahren oder das Schätzverfahren im dreidimensionalen Raum anwenden. Für jedes Bild wird daher eine bestimmte Anzahl von Bewegungsvektoren (v_i) gewonnen, und das Bild kann auf diese Weise aufgrund der Bewegungsinformationen in Bereiche (R₁,...,R_iv_i,...,R_nv_n, 1d) gewonnen werden. Jeder Bereich (R_iv_i) ist daher durch die Tatsache gekennzeichnet, dass alle Pixel dieses Bereichs einen einzigen zugehörigen Geschwindigkeitsvektor (v_i) aufweisen. Die Aufspaltung des Bildes in Bereiche mit konstanter Geschwindigkeit bildet einen dritten Schritt (3a, 3b) eine sogenannte Segmentierung des Bewegungsfeldes, angewendet auf jede Quelle und decodiertes Bild. Ein Bewegungsfeld wird daher durch die Segmentierungslösung homogen gestaltet, und die nahegelegenen Pixel der Bewegung in und demselben Bereich gruppiert. Dieses derart segmentierte Bewegungsfeld liegt dann näher zu der wahren Bewegung der Objekte der durch die Bilder dargestellten Szene. Diese Homogenisierung macht es somit möglich, eine leichte Rauschverringerung zu bewirken und eine verringerte Anzahl von verschiedenen Bewegungen entsprechend einer kleinen Anzahl von Geschwindigkeiten v_i zu erlangen und dadurch die Anzahl der Filter zu verringern, die in dem nächsten Schritt berechnet und gespeichert werden müssen, um so zu vermeiden, dass zwei (255)² Bewegungen berechnet und in dem Kontext eines aus 255*255 Pixeln p_ij berechnet und gespeichert werden müssen. Die Bewegungsschätzung kann auch die Lösung benutzen, die auf der Extrahierung von bestimmten Objekten in der Szene beruht, wie Kanten oder Ecken von Objekten in der Verfolgung der Bewegung dieser besonderen Elemente von einem Bild zu einem anderen. Das liefert Informationen für die Bewegung bei verschiedenen Stellen des Bildes, und ein Interpolationsvorgang dient der Zuordnung von Bewegungsvektoren zu den übrigen Bildbereichen. Ein Weg zur Messung der Bewegungen der Winkel oder Kanten von Elementen besteht in der Anwendung eines Hochpassfilters auf das Bild, um so die Kanten zu isolieren und danach die Lösung anzuwenden, die auf dem Verfahren der Differenziale zur Messung des Bewegungswertes beruhen. Diese Bildung von Grenzen kann mittels eines Tiefpassfilters verringert werden, um so die Rauscheffekte zu verringern und die Messung von großen Bewegungen zu ermöglichen. Ein Tiefpassfilter kann z.B. für einen Matrixraum mit den Abmessungen 3 · 3 über folgende Matrix gebildet werden:
Ein Hochpassfilter kann z.B. für einen Matrixbereich mit den Abmessungen 3 · 3 über die folgende Matrix aufgebaut werden:
Somit wird eine Tabelle, die für eine geschätzte Geschwindigkeit v die Pixel p_ij des Bildes angibt, die zu diesem Bereich mit einer geschätzten Geschwindigkeit v in Zyklen je Grad in der Form der Matrix von 1d in den Speichermitteln der Vorrichtung zur Segmentierung des Bewegungsfeldes mit einem Blick auf die darauf folgende Benutzung gespeichert.
Das Verfahren wird über einen vierten Schritt fortgesetzt, das parallel für die Quelle (10a) und die decodierten Bilder (10b) in der Bildung eines psychovisuellen Filters (4a, 4b) für jeden durchgeführt wird. Dieser vierte Schritt erfolgt z.B. durch Anwendung einer Datenbasis von Filterkurven mit mehreren Kurven, wie denen, die in 3 dargestellt sind und den Einfluß des menschlichen Faktors H in Abhängigkeit von der Geschwindigkeit der Bewegung v_i und der räumlichen Frequenz f_i ausdrücken. Zu diesen Werten v_i, f_i entspricht ein Filterungswert H. Wenn die Geschwindigkeit v_i zwischen den Geschwindigkeiten v₁ und v₂ von zwei Kurven (Hv₁, Hv₂) liegt, bewirkt die Vorrichtung eine Interpolation, um so den entsprechenden Wert H zu ermitteln. Diese Interpolation kann z.B. linear sein. Dieser Schritt kann auch durchgeführt wer den durch direkte Berechnung des Wertes H für eine gegebene Geschwindigkeit auf der Basis eines analytischen Modells des psychovisuellen Einflusses. Das analytische Modell des Filters kann z.B. durch die folgende Gleichung dargestellt werden: G(α,v) = [6,1 + 7,3|log(v/3)|3] × vα2exp[–2α(v + 2)/45,9]mit α = 2πf.
In dem fünften Schritt synthetisiert ein Filterungswert h(s,v) in dem räumlichen Bereich für jeden Filterungswert H(f_s,v) den Frequenzbereich und mit einer Geschwindigkeit v und einer Frequenz f_s durch Anwendung einer inversen, schnellen Fourier-Transformation (FFT^–1) auf die Filterungswerte H(f_s,v) im Frequenzbereich, ausgedrückt durch den Ausdruck h(s,v) = FFT^–1[H(f_s,v)], wo f_s die charakteristische Größe der Details in Zyklen je Grad, v ihre Bewegung, ausgedrückt in der Dauer je Sekunde und s die Auflösung darstellt.
Der Wert h, der auf diese Weise vom räumlichen Bereich für jede Bildstelle (5a) und decodiertes Bild (5b) in dem fünften Schritt ermittelt wird, wird im Laufe eines sechsten Schrittes (6a bzw. 6b) auf jedes der vorverarbeiteten Pixel p_aij des Bildes aus der Vorverarbeitung und des decodierten Bildes p'_bij aus der Vorverarbeitung angewendet.
Bei jeder Gelegenheit resultiert dieser sechste Filterungsschritt (6a, 6b) in einem' Paar von gefilterten Pixelwerten p'_afij und p'_bfij, das danach in einem letzten Schritt (7) zur Bildung einer Matrix von Disparitäten (D_isp) durch Berechnung des quadratischen Fehlers zwischen jedem Paar von Pixelwerten benutzt wird. Disp = (p'afij – p'bfij )n mit n = 2 oder einer anderen Zahl.
Diese Matrix gibt somit eine objektive Bewertung der von dem menschlichen Auge wahrnehmbaren Verzerrungen, die durch den Codier/Decodier-Vorgang eingeführt werden, den man schätzen möchte.
Die zweite Ausführungsform der Erfindung wird nunmehr anhand der 2 beschrieben, die die verschiedenen Mittel zeigt, die die Durchführung des Verfahrens gemäß dieser zweiten Variante ermöglichen. Zur besseren Darlegung der einzelnen Punkte wird der Leser außerdem verwiesen auf den Anhang 2, der die von 1 bis 11 nummerierten, verschiedenen Schritte des Verfahrens zeigt, das gemäß der zweiten Variante durchgeführt wird, und das außerdem die Abnahme in der Größe zeigt, die sich durch die Wirkungen des Aufbauvorgangs der Laplace-Pyramiden ergibt.
In dieser Variante werden die ersten vier Schritte der ersten Variante auf das Quellenbild (10a) angewendet, nämlich die Vorkorrektur (1a), die Bildung der Bewegungsfelder (2a) und die Segmentierung (3a) sowie die Bildung des psychovisuellen Filters (4a). Die Pixel p_aij von der Verarbeitung des Quellenbildes und resultierend von dem vorangehenden Schritt, und die Pixel p_bij aus dem Schritt der Vorverarbeitung des decodierten Bildes (10b) werden jede in einem Schritt (5.1 a bzw. 5.1 b) einer ¹ ₂-Dezimalfilterung (F_1/2) unterworfen. Diese Filterung ist eine Tiefpassfilterung, die es ermöglicht, auf der Basis einer Matrix von Pixeln, die ein Bild P_n–1 eines gegebenen Wertes n–1, das Bild P_n des nächsten Wertes n zu gewinnen. Das wird ausgedrückt durch die Gleichung: Pn = F1/2(Pn–1) mit n > 0.P₀ ist das Originalbild.
Als Beispiel kann das Dezimierungsfilter für einen 3 • 3-Matrixraum über die folgende Matrix gebildet werden:
Dieser Vorgang der ¹ ₂-Dezimalfilterung durch eine Berechnungseinheit hat das Ergebnis der Verringerung einer Matrix von Pixeln mit der Größe m • n, die das Quellenbild P_s0 darstellen, auf eine Matrix P_s1 mit dem Wert 1 der Größe m/2 • n/2, wobei die Matrix P_sn mit dem Wert n die Größe m/2n • n/2n hat. Ebenso hat dieser ¹ ₂-Dezimalfilterungsvorgang das Ergebnis der Verringerung einer Matrix von Pixeln mit der Größe m • n, die das decodierte oder gestörte Bild P_d0 bei einer Matrix P_d1 mit einem Wert der Größe m/2 • n/n2 darstellen, wobei die Matrix P_dn mit dem Wert n die Größe m/2n • n/2n hat. Daher speichert für jede Quelle und decodiertes Bild die Berechnungseinheit den Wert n und den nächsten Wert n + 1 in ihrem Speicher.
Danach leitet die Berechnungseinheit in dem nächsten Schritt (5.2 a bzw. 5.2 b) von jedem Bild P_n mit dem Wert n das Bild P_n+1 mit dem unmittelbar darauf folgenden Wert, ausgedehnt um 2 (E₂) (?) um das zu gewinnen, was ungefähr als eine Aufeinanderfolge von Matrices bezeichnet wird, die das bilden, was in geeigneter Weise als Laplacepyramide bezeichnet wird, entsprechend der Gleichung: Ln = Pn – E2(Pn+1) für n < Nmit L_N = P_N.
Die durch E₂ durchgeführte Ausdehnungsoperation besteht in der Interpolation des Bildes P_n+1 (der Größe m/2*n/2) zur Bildung eines Bildes mit der Größe m*n.
Diese Ausdehnung oder Interpolationsvorgang enthält mehrere Interpolationsmatrices in Abhängigkeit von der Lage des zu interpolierenden Pixels.
Das macht es möglich, für das Quellenbild eine Pyramide LS_n von gespeicherten Matrices aufzubauen und für das decodierte oder gestörte Bild eine zweite Pyramide LD_n von gespeicherten Matrices aufzubauen. Abhängig von der Wahl des Filters F¹ ₂ ist das am Ende des obigen Schrittes gewonnene Bild LS_n eine gute Annäherung der Energie in einem um den Wert f_n = 1/(n + 1) zentrierten Frequenzband. Für weitere Details für die Laplace-Pyramiden oder sogenannten Gauß-Pyramiden und für die Erweiterungsmatrices wird der Leser verwiesen auf den Artikel "The Laplacian pyramid as a compact Code image", veröffentlicht in dem Journal "IEEE transactions on communications", Band COM. 31, No. 4, April 1983, Seiten 532 bis 540, Autoren P. J. Burt und Ed. H. Adelson.
Die Laplace-Pyramiden (LS_n, LD_n) werden über Schritte (5.2 a und 5.2 b) gewonnen.
In dem nächsten Schritt bildet die Vorrichtung auf der Basis der Bereiche (R_iv_i), die durch den selben Geschwindigkeitsvektor (v_i) gekennzeichnet sind und am Ausgang des dem Quellenbild zugeführten Segmentierungsschritts (3) des Bewegungsfeldes definiert sind, eine Multiauflösung für die Pyramide R_n des Bereichs bildet, beginnend von dem ursprünglichen Bereichsbild R₀ und durch Anwendung auf dieses ursprüngliche Bereichsbild R₀ eines ¹ ₂-Dezimierungs-Medianfilters G_1/2 entsprechend der Gleichung: Rn = G1/2(Rn–1)R₀ = ursprüngliches Bereichsbild.
Für weitere Belehrung bezüglich des Baus eines Medianfilters, das dem Fachmann auf diesem Gebiet bekannt ist, wird der Leser verwiesen auf Kapitel 4 des Buches mit dem Titel "Nonlinear digital filters, principles and applications", veröffentlicht 1990 durch Kluwer Academic Publishers, durch I. Pitas und A. N. Venetsapoulos.
Die (Multiauflösungs-)Bewegungspyramide wird nur für das Quellenbild (10a) erzeugt, und der Wert des Pixels von LS_n und LD_n zeigt die Energie an, die in einem Frequenzband besteht, während man über R_n die Bewegung hat.
In diesem Schritt bewirkt die Berechnungseinheit nicht die Berechnung gemäß dem Schritt (5.2), d.h. die Subtraktion des jedem n entsprechenden Bildes R_n von dem Bild R_n+1, des unmittelbar darauf folgenden Wertes n + 1, ausgedehnt um 2. Bei diesem Berechnungsschritt werden die die Multiauflösungspyramiden darstellenden Matrices gespeichert und machen es möglich, für jedes Pixel jedes Wertes n von R_n einen örtlichen Wert der Bewegung zu gewinnen. Das Medianfilter eines Fensters mit n • m Pixel wird gewonnen durch Rangordnung der Werte der Pixel und durch Beibehaltung des Pixels mit dem Medianwert.
Die Anwendung des Medianfilters G_1/2 auf die Matrix von Pixel R_n mit der Abmessung m * n macht es möglich, eine Matrix R_n+1 mit der Abmessung m/2 * n/2 zu gewinnen. Der Dezimierungsvorgang ist in dem des Medianfilters enthalten. Das Medianfilter hat dieselbe Wirkung auf die Bilder R_n wie das Filter F_1/2 auf die Bilder P_n: es verringert ihre Größe horizontal und vertikal um 2, ausgenommen, dass dieses Filter, statt ein konventionelles Matrixfilter zu sein, ein "Medianfilter" ist, d.h. ein Filter aufgrund einer Analyse der örtlichen Statistiken.
Die im Schritt (5.2) berechneten Laplace-Pyramiden (LS_n, LD_n) werden danach in einem Schritt, dargestellt in Schritt (7), zur Berechnung der Wert-zu-Wert-Interpyramidendifferenzen entsprechend der Gleichung benutzt: Diffn = LSn – LDn.
Das macht es möglich, Matrices Diff_n zu bilden, von denen jeder Koeffizient die Werte der Differenzen der Koeffizienten der Matrices der Laplace-Pyramide (LS_n) und der decodierten Laplace-Pyramide (LD_n) für den selben Wert n und so für jeden Wert von 0 bis n. In der Laplace-Pyramide LS_n stellt der Wert des Pixels die Energie dar, die sich in einem Frequenzband befindet. Die Frequenzdisparität zwischen den beiden Bildern ergibt sich für ein bestimmtes Frequenzband durch Anwendung der Inter-Pyramiden-Differenz LS_n – LD_n.
Dieses Ergebnis wird tatsächlich durch die Empfindlichkeit des Auges für diese Frequenz gewichtet, die durch die Beziehung des relativen Einflusses der Aktivität der Frequenz f_n ausgedrückt wird. Dieser relative Einfluss der Aktivität f_n kann durch eine große Aktivität bei höheren Frequenzen verdeckt werden. Um diesen relativen Einfluss der Aktivität in einem Verdeckungsschritt (8) zu ermitteln und zu berücksichtigen, beginnt die Berechnungseinheit durch Auswertung des örtlichen Einflusses E_n eines Pixels p_ij, die definiert ist durch den Wert des Ergebnisses der Berechnung der Inter-Pyramiden-Differenzen, angewendet auf das Pixel p_ij. Dieses Ergebnis wird auf die Potenz q angehoben: En = (Diffn(pij))q;dieser örtliche Einflusswert ermöglicht, dass die Berechnungseinheit eine Matrix ermittelt, die den relativen Einfluss der Aktivität über eine Schaltung ausdrückt, die die folgende Gleichung durchführt:
mit m(E_k) = E_k wenn E_k > S und m(E_k) = S wenn E_k < S mit z.B. S = 0,5% (maximal möglicher Wert von E_k).
Wie in der vorangehenden Variante bewirkt die Berechnungseinheit einen Filterungsschritt (4) durch Anwendung einer Datenbank (BD) mit mehreren Filterkurven, die den Einfluss des menschlichen Faktors auf die visuelle Wahrnehmung der Bilder ausdrückt. Diese Filterkurven machen es möglich, auf der Basis der Werte der Frequenz und der Geschwindigkeit entsprechend einem p_ij, einen Wichtungskoeffizienten H für dieses Pixel zu ermitteln. Somit ermittelt für jedes Pixel p_ij der Matrix L_n entsprechend einen Geschwindigkeitsbereich R_n die Berechnungseinheit einen Wert H, der den relativen Einfluss I_n wichtet. Dieser Wichtungsschritt (9) wird durch eine Berechnungseinheit gewonnen, die folgende Gleichung durchführt: Tn(pij) = In(pij) × H.Die Ausführung dieser Gleichung macht es möglich, eine Pyramide von Matrices zu erhalten. Wenn das Programm der Berechnungseinheit ein Pixel aus einer Matrix mit dem Wert n der Laplacepyramide wählt, entspricht diesem Wert eine räumliche Frequenz f_n, und die Berechnungseinheit ist in der Lage, das Pixel des Bildes R_n zuzuordnen dem dort ein Geschwindigkeitswert v entspricht. Durch Anwendung von Datenbasen und in diesen Datenbasen aufgezeichneten Kurven ermittelt die Berechnungseinheit entweder direkt oder durch Interpolation zwischen zwei Kurven den Wert des Verstärkungskoeffizienten H. In diesem zweiten Verfahren arbeitet man direkt auf den Objekten (Laplace-Pyramiden), die Frequenzmengen entsprechen. Es besteht daher kein Bedarf, den räumlichen Bereich umzuschalten, da die Berechnungen im Frequenzbereich durchgeführt werden. Dieser Wert H wichtet den relativen Einfluss der Aktivität (I_n). Dieser Wichtungsschritt (9) macht es möglich, eine Pyramide von Matrices zu erhalten, auf die ein optionaler Schritt (10) angewendet werden kann für eine direktionale Filterung, um so die durch die menschliche Betrachtung bevorzugten, psychovisuellen Richtungen zu berücksichtigen.
So ist es möglich, die durch die Matrices T_n gebildeten Bilder durch direktionale Filter zu filtern, die eine Richtung gegenüber den anderen bevorzugen. Diese Filter bestehen aus Matrices von Koeffizienten mit der Abmessung n • n, entsprechend der Ab messung des Bildfaktors T_n. Ein Beispiel einer direktionalen Filtermatrix mit 0° ist im Folgenden für eine Abmessung 5/5 angegeben.
Ein Beispiel einer direktionalen Filtermatrix mit 90° ist im Folgenden angegeben.
Ein Beispiel einer direktionalen Filtermatrix mit 45° ist im Folgenden angegeben.
Das Ergebnis dieses direktionalen Filterschritts (10) wird zu einer Summierschaltung gesendet, in einem Schritt (11), um die Multiauflösungs-Pyramiden P'_n über die Gleichung umzuschreiben P'n = E2(P'n+1) + Tn (n < N)mit P'_N = T_N Das ergibt daher P'N–1 = E2(Tn) + TN–1.Dieser Vorgang wird iterativ wiederholt, um P'₀ zu gewinnen, das die Abbildung von Disparitäten darstellende Matrix darstellt. Diese Schritte der beiden verschiedenen Ausführungsformen der Erfindung werden mit Hilfe von Microprozessorschaltungen durchgeführt, die die geeigneten Programme durchführen und es ermöglichen, die früher festgesetzten Schritte auszuführen. Diese Schaltungen enthalten außerdem Speichermittel zur Speicherung, darüber hinaus durchzuführende Programme, die Matrices von Pixeln der Matrices von Bereichen oder wieder die Zwischenergebnisse, die es ermöglichen, den nächsten Berechnungsschritt zu erwarten oder dass die Filter wieder auf die Zwischen- oder endgültigen Ergebnisse angewendet werden.
Das dient zum Vergleich der subjektiven Leistung von verschiedenen Codiervorrichtungen oder wieder zu verschiedenen Codieralgorithmen und/oder zur Messung der Wahrnehmung der Artefakte aufgrund der Bildverarbeitung. Abhängig von dieser Leistung kann die Berechnungsschaltung, die eine der beiden verschiedenen Ausführungsformen der Erfindung ausführt, die Codierung modifizieren durch Rückwirkung der Messung der subjektiven Qualität der codierten Bilder, die so auf den globalen und/oder örtlichen Parametern der Codierung durchgeführt werden. Ein globaler Parameter, auf den die Rückwirkung erfolgen kann, z.B. die mittlere Bitrate und ein örtlicher Parameter können z.B. das während der Codierung benutze Quantisierintervall sein. Die Rückwirkung kann während der Codierung dynamisch sein, die auf das örtliche Quantisierintervall zurückwirkenden Fehler, die Größe der Bilder, die Form der GOP (Group of pictures = Gruppe von Bildern) usw. Die Rückwirkung kann auch iterativ erfolgen in dem Fall von Codierungen für Videoplatten (DVD) oder CD-ROM. In diesem Fall bewirkt die Rückwirkung der Berechnungsschaltung, solange der Fehler oberhalb eines Schwellenwertes liegt und/oder nicht über das gesamte Bild homogen ist, eine Abnahme in der Härte der Codierparameter global und/oder örtlich. Solange der Fehler unterhalb eines Schwellwerts liegt, macht die Messung der subjektiven Qualität der Bilder, geleistet durch die Berechnungsschaltung, es möglich, die Härte der Codierparameter zu erhöhen.
Schließlich kann eine vorletzte Anwendung der Schätzung oder der Messung der subjektiven Qualität einer Bilderseguenz, ausgehend vom Codierer kann zusammenhängen mit objektorientierter Codierung. In diesem Fall macht die Anwendung der Berechnungseinheit einer der durch diese Einheit durchgeführten Verfahren es möglich, eine konstante, subjektive Qualität der verschiedenen Objekte der Szene zu erlangen oder eine bestimmte relative, subjektive Qualität zwischen den Objekten zu gewährleisten. Letztlich können der Schätzvorgang und die Einheit es ermöglichen, die Bedingungen der dynamischen Zuordnung der Bitraten für jeden der Kanäle eines Sendenetzes mit einem statistischen Multiplex zu ändern, um so eine bestimmte und homogene, subjektive Qualität der gesendeten Programme zu erhalten.
Eine andere Form der Erfindung besteht in, als Signal für die Darstellung der Schätzung des Bewegungsfeldes, der Bewegungsvektoren je Makroblock abgeleitet vom Verfahren zur Codierung/Decodierung der codierten Bilder, z.B. während der Codierung vom Typ MPEG.
Eine andere Ausführungsform der Erfindung besteht in dem Ersatz des decodierten Bildes durch ein rauschbehaftetes Quellenbild. Das Letztere kann z.B. auf der Basis des Quellenbildes gebildet werden, dem weißes Rauschen hinzugefügt wird (eine gleichmäßige Zufallsvariable in allen räumlichen Frequenzbändern). Die erhaltenen Disparitäts-Abbildungen können dann als eine Voraussage der Bildbereiche angesehen werden, wo die Codierfehler "a priori" (zunächst oder von vornherein) meist wahrnehmbar sind, d.h. bevor die richtige Codierung erfolgt ist.
Diese Disparitäts-Abbildungen können dann in der Ausführung als Vorrichtung zur Vorverarbeitung der Quellenbilder für den Zweck benutzt werden, die Erzeugung von Artefakten oder Codierdefekten während eines künftigen Codiervorgangs zu verhindern. Die Vorverarbeitungseinheit besteht z.B. aus einer Schaltung für eine Vorfilterung und/oder zur Verringerung der Energie hoher Frequenzen, in den Bildbereichen, wo die Sichtbarkeit der codierten Artefacts am geringsten ist; Bildbereiche sind versorgt durch die Disparitäten-Abbildung.
Diese "a-priori"-Disparitäten-Abbildungen können dazu dienen, die Bitrate, die für die Codierung in den Bereichen notwendig ist, "a priori" niedriger vorauszusagen.
Diese "a-priori"-Disparitäten-Abbildungen können außerdem dazu dienen, den Betrag an "verborgenen" (hidden) Informationen lokal zu messen, die in die Quellen- oder decodierten Bilder eingefügt werden können, ohne wahrnehmbar zu sein (Watermarking) EP 00909269.3 .
ANHANG 1
Verfahren 1
Schritt 1: Vorkorrektur der Bilder: Gammakorrektur des Schirms und Kontrastkorrektur (Gesetz von Weber).
Schritt 2: Bildung des Bildes des Bewegungsfeldes auf der Grundlage der Quellenfolge und für jedes Bild.
Schritt 3: Segmentierung des Bewegungsfeldes. Für jedes Bild ist eine Segmentierung in Bereiche somit verfügbar, basierend auf den Bewegungsinformationen.
Jeder Bereich (v) ist daher gekennzeichnet durch einen Geschwindigkeitsvektor v.
Jedes Pixel jedes Bildes (Quelle oder decodiert) gehört zu einem Bereich, der einer geschätzten Geschwindigkeit (in Zyklen je Grad) entspricht.
Schritt 4: Für jeden Bereich (v) Bildung des entsprechenden, psychovisuellen Filters auf der Grundlage eines BDD-Filters {H(f_s1v_i)_i=1,...N} und einer Interpolation der Filter.
Schritt 5: Für jeden Bereich (v) Synthese der räumlichen Filter durch eine inverse FFT: h(s,v) = FFT–1[H(fs1v)].
Schritt 6: Filterung der Quellen- und decodierten Bilder, um zwei andere Bilder zu erhalten: Quelle F und decodiertes F.
Jedes Pixel P des Quellen-/decodierten Bildes wird durch das Filter h(s,v) entsprechend dem Bereich (v) gefiltert, zu dem P gehört, zentriert auf P und dem Quellen-/decodierten Bild zugeführt.
Schritt 7: Bildung der Abbildung von Disparitäten oder psychovisuellen Fehlern Err = (SourceF – DecodedF)n (n = 2 oder eine andere Zahl).
ANHANG 2
Verfahren 2
Schritt 1: (siehe Verfahren 1).
Schritt 2: (siehe Verfahren 1).
Schritt 3: (siehe Verfahren 1).
Schritt 4: (siehe Verfahren 1).
Schritt 5: Zerlegung der Quellen- und decodierten Bilder in eine Laplace-Pyramide von N Werten in zwei Schritten:

– Jeder Wert P_n wird zunächst durch eine ¹ ₂-Dezimierfilterung (Tiefpass) des unmittelbar vorangehenden Wertes (Multiauflösungspyramide, 4) gewonnen. Pn = F1/2(Pn–1)n > 0 P₀ = Originalbild.
– Dann wird von jedem Wert P_n der unmittelbar darauf folgende Wert, um 2 erweitert, abgeleitet, um so L_n zu gewinnen (Laplace-Pyramide, 5). Ln = Pn – E2(Pn+1)n < N LN = PN.

Diese Berechnung macht es möglich, eine Darstellung einer Multiauflösungs-Pyramide P_n gemäß 4 und eine Darstellung einer Laplace-Pyramide L_n gemäß 5 zu gewinnen.
Wenn das Filter F_1/2 gut gewählt ist, ist das Bild L_n eine gute Annäherung der Energie innerhalb eines Frequenzbandes, das zentriert ist um fn = 1/(n + 1).
Letztlich sind zwei Laplace-Pyramiden verfügbar: LS_n (Quelle); LD_n (decodiert).
Schritt 6: Durch dasselbe Prinzip wird die Multiauflösungs-Pyramide R_n des Bereichsbildes aufgebaut durch Ersatz von F_1/2 durch G_1/2 ¹ ₂-Dezimierungs-Medianfilter. Somit ist für jedes Pixel jedes Wertes der Laplace-Pyramiden (Schritt 5) der örtliche Wert der Bewegung verfügbar.
Schritt 7: Berechnung der Wert-zu-Wert-Interpyramiden-Differenzen: Diffn = LSn – LDn.
Schritt 8: Anwendung des Prinzips der Frequenzverdeckung (Text-Verdeckung): Der relative Einfluß der Aktivität bei der Frequenz f_n wird durch beträchtliche Aktivität in den höheren Frequenzen (f_k<n) verdeckt.
Der relative, örtliche Einfluss des Pixels pi, I_n(pi) ist dann definiert durch:
mit E_n = (Diff_n(pi))^q
mit z.B. q = 2.
Schritt 9: Filterung der Quelle und der decodierten Laplace-Pyramiden.
Jedes Pixel pi von L_n wird durch den Wert H(f_n,v) gewichtet, entsprechend dem Bereich (v) zu dem pi in R_n gehört und bei dem relativen Einfluß I_n. Tn(pi) = In(pi) × H.
Schritt 10: Gerichtete Filterung: Zur Berücksichtigung der durch die menschliche Betrachtung bevorzugten, psychovisuellen Richtungen ist es möglich, die Bilder T_n durch Richtungsfilter zu filtern, die eine Richtung gegenüber den anderen bevorzugen.
Schritt 11: Aufbau der Abbildung von Disparitäten oder psychovisuellen Fehlern: Die Multiauflösungs-Pyramiden P'_n umgeschrieben: P'n = E2(P'n+1) + Tn (n < N).
P'_N = T_N.
Die Abbildung der Disparitäten entspricht P'₀.

Claims

Verfahren zur Bewertung der Qualität von codierten Bildern mit: a) einem Schritt zur Vorverarbeitung (1) des ein Bild darstellenden Signals, das entsprechend den Eigenschaften der Wiedergabe wiedergegeben werden soll, um dadurch ein vorverarbeitetes Signal zu gewinnen; b) einem Schritt zur Bildung eines Bewegungsvektorfeldes (2) aufgrund der Quellenfolge durch Abschätzung der Bewegung zwischen Bildern, für Geschwindigkeitsvektoren; c) einem Schritt zur Segmentierung des Bewegungsvektorfeldes (3), entsprechend dem Bewegungswert der Vektoren für Bereiche, gekennzeichnet durch: d) einen Schritt zur Bestimmung oder Berechnung eines psychovisuellen, menschlichen Filters, das in Abhängigkeit von der geschätzten Geschwindigkeit des Bereichs angewendet werden soll (4, 5); e) einen Schritt zur Filterung (6) des vorverarbeiteten Signals, und f) einen Schritt zur Bildung der Abbildung von Disparitäten (7) zwischen den das Bild darstellenden Signalen, die nach dem Filterungsschritt gewonnen werden, und den das Bild darstellenden Signalen, die vorher codiert und decodiert wurden, die nach dem Filterungsschritt gewonnen werden.
Verfahren zur Bewertung der Qualität von codierten Bildern nach Anspruch 1, gekennzeichnet durch einen Schritt in der Anwendung jeder der vorangehenden Schritte auf das Quellenbild und auf das decodierte Bild.
Verfahren zur Bewertung der Qualität von codierten Bildern nach Anspruch 1, gekennzeichnet durch einen Schritt einer häufigen Zerlegung der Bilder (FFT, Unterband usw.), der dem Filterungsschritt vorausgeht und in einer Wichtung durch einen Koeffizienten besteht, der von Kurven abgeleitet ist, die die geschätzte Geschwindigkeit und das betroffene Frequenzband berücksichtigen, um so den relativen Einfluß der Geschwindigkeit und der räumlichen Frequenz auf die Wahrnehmung der bewegten Bilder zu berücksichtigen.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass der psychovisuelle Filterungsschritt auf die Matrices angewendet wird, die die Interpyramidendifferenzen zwischen den Laplacepyramiden der verarbeiteten Quellenbilder und denen der verarbeiteten, decodierten Bilder entsprechen, nach ihrer Wichtung durch einerseits den örtlichen Einfluss durch die Frequenz der betroffenen Pixel und andererseits einen Filterkoeffizient, der aus den Filterkurven abgeleitet ist, die die geschätzte Geschwindigkeit und das Frequenzband berücksichtigen, das zu dem Wert der Laplacepyramide gehört, zu der das Pixel gehört in einer Multiauflösungspyramide aus dem Aufbau einer Pyramide auf der Grundlage des Bildes jedes Bereichs mit unterschiedlicher Geschwindigkeit.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die psychovisuellen Filterungskurven entweder aus einer Folge von Kurven aufgebaut sind, die in der Form einer Datenbank angeordnet und in dem System gespeichert wird, und möglicherweise eine Interpolation auf der Basis dieser Kurven oder durch analytische Darstellung durch Berechnungsmittel, die jede Kurve berechnen können.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Schritt des Aufbaus der Abbildung der Disparitäten durch Wiederzusammensetzung der gefilterten Multiauflösungs-Pyramiden in dem vorangehenden Schritt erfolgt.
Verfahren nach Anspruch 4 oder 6, dadurch gekennzeichnet, dass der Schritt der Verarbeitung des Bildes einen Schritt der Zerlegung der Quelle und von decodierten Bildern in eine Laplacepyramide von n Werten und einen Schritt zur Bildung der Interpyramidendifferenz einschließt.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Geschwindigkeit oder der örtliche Wert der Bewegung durch möglichen Aufbau der Filter erfolgt, gefolgt durch Anwendung des konstruierten Filters oder durch Anwendung eines Medianfilters.
Verfahren nach Anspruch 1 oder 4, dadurch gekennzeichnet, dass es einen Schritt der Vorkorrektur der Bilder durch Durchführung einer Gammakorrektur und eine Korrektur durch das Gesetz von Weber verfolgt.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Gammakorrektur γ folgendermaßen ist: Y = KSVγS mit V = k_aE^γa, wobei Y die Luminanz, V die Luminanzspannung, E die Beleuchtung des in der Beleuchtung analysierten Bildes, γ_s ein Exponent von ungefähr 2,2 für Schwarz/Weiß-Bildröhren ist und γ_a einen allgemein für Farbfernsehen angenommenen Wert von 0,45 hat.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Filterung erreicht ist durch Konstruktion des psychovisuellen Filters, entsprechend der Geschwindigkeit, die auf der Basis einer Datenbank von Filtern geschätzt wird und die Interpolation zwischen den beiden Filtern, die den Bereichen entsprechen, die am nächsten zu dem Bereich liegen, dessen Geschwindigkeit geschätzt worden ist.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der relative, örtliche Einfluß (I_n) des betroffenen Pixels p_i durch Berechnung eines Wertes E_n erfolgt, der die q-te Potenz der Interpyramiden-Wert-zu-Wert-Differenz zwischen den Quellenpyramiden und den decodierten Pyramiden mit gleichem Wert des betroffenen Pixels ausmacht.
Verfahren nach Anspruch 12, dadurch gekennzeichnet, dass die Berechnung von I_n durch Anwendung der folgenden Formel erfolgt:
mit E_n= (Diff_n(p_ij))^q, m(E_k) = E_k wenn E_k > S und m(E_k) = S wenn E_k< S mit z.B. S = 0,5% (maximal möglicher Wert von E_k).
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die Filterung eine direktionale Filterung der Bilder in einer vorbestimmten Richtung und nicht in einer anderen enthält.
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Gammakorrektur durch eine Berechnungseinheit erfolgt, die die folgende Gleichung durchführt:
dabei ist e der Gitterwert des Pixels, e_max der Maximalwert von z.B. 256, wenn die Codierung auf 8 Bit erfolgt, L_max die Intensität entsprechend e_max in cd/m².
Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass das Gesetz von Weber durch eine Berechnungseinheit durchgeführt wird, die die folgende Funktion ausführt:
Verfahren nach Anspruch 1 oder 4, dadurch gekennzeichnet, dass die Berechnung des Filters durch die folgende Gleichung erfolgt: G(α,v) = [6,1 + 7,3|log(v/3)|3] × vα2exp[–2α(v + 2)/45,9]mit α = 2πf; f = räumliche Frequenz, v = Geschwindigkeit.
Verfahren zur Codierung von Bildern durch Anwendung des Verfahrens nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass die Codierung durch Rückwirkung der Messung der Disparitäten auf einem Codierparameter modifiziert wird.
Verfahren nach Anspruch 18, dadurch gekennzeichnet, dass die berechneten Disparitäten mit einem Schwellwert verglichen werden, um so die Codierparameter zu ändern, bis der gewünschte Schwellwert überschritten ist.
Verfahren nach Anspruch 19, dadurch gekennzeichnet, dass einer der Parameter entweder das Quantisierungsintervall oder die Größe der Bilder ist oder die Form der Gruppe von Bildern GOP ist.
Verfahren nach Anspruch 18, dadurch gekennzeichnet, dass die Homogenität der berechneten Disparitäten analysiert ist, um auf die Codierparameter der Codiervorrichtung einzuwirken.
Verfahren nach einem der vorangehenden Ansprüche 18 – 21, dadurch gekennzeichnet, dass die Codierparameter der verschiedenen Objekte eines Bildes, dessen Codierung objektorientiert ist, in Abhängigkeit einer konstanten, gewünschten Disparität modifiziert werden.
Verfahren nach Anspruch 18 bis 22, dadurch gekennzeichnet, dass es besteht aus der Durchführung einer dynamischen Neuzuteilung der Bitraten, die einer Codiervorrichtung mit Multiplexing zugeteilt sind.
Vorrichtung zur Bewertung der Qualität von codierten Bildern mit: – Mitteln (1a, 1b) zur Verarbeitung des das Quellenbild (10a) und das decodierte Bild (10b) darstellenden Signals zur Gewinnung eines verarbeiteten Quellensignals und eines verarbeiteten, decodierten Bildsignals; – Mitteln (2a, 2b) zum Aufbau auf der Basis des jedes der Bilder darstellenden Signals eines Signals, das die Bewertung des Bewegungsfeldes auf der Basis jedes der Bilder der Quelle und der decodierten Folgen darstellt; – Mitteln (3a, 3b) zur Bildung eines Signals, das die Segmentierung des Bewegungsfeldes und die Speicherung der jeden Bereich R_i darstellenden Bildpixel darstellt mit einem anderen Bewegungsfeld bei einer Adresse, die für die Geschwindigkeitsvektoren definiert ist, die in dem Schritt des Aufbaus des Bewegungsfeldes sind und es ermöglichen, für jedes der Quellen- und decodierten Bilder diejenigen zu bestimmen, die unterschiedliche Bewegungsvektoren aufweisen, gekennzeichnet durch: – Mittel (4, 5) zur Bestimmung oder Berechnung eines psychovisuellen, menschlichen Filters zur Anwendung als eine Funktion der geschätzten Geschwindigkeit des Bereichs; – Filtermittel (6a, 6b) für jedes der verarbeiteten Quellenbilder und verarbeiteten, decodierten Bilder, und – Mittel (7) zur Bildung der Abbildung der Disparitäten zwischen den das verarbeitete Quellenbild darstellenden Signalen, die nach dem Filterungsschritt gewonnen werden, und den Signalen, die die verarbeiteten, decodierten Bilder darstellen, die nach dem Filterungsschritt gewonnen werden.
Vorrichtung nach Anspruch 24, dadurch gekennzeichnet, dass die psychovisuellen Filtermittel auf Matrices angewendet werden, die die Interpyramidendifferenzen darstellen, die durch Berechnungsmittel zwischen den Laplacepyramiden der verarbeiteten Quellenbilder und denen der verarbeiteten, decodierten Bilder berechnet werden, nach der Wichtung durch einerseits des örtlichen Einflusses für die Sequenz der betroffen Pixel und andererseits ein Filterkoeffizient, der aus den gespeicherten und berechneten Filterkurven abgeleitet ist und die geschätzte Geschwindigkeit und das Frequenzband berücksichtigt, das dem Wert der Laplacepyramide entspricht, zu der das Pixel in einer Multiauflösungspyramide gehört, die durch Bildung dieser Multiauflösungspyramide auf der Basis eines Bildes jedes Bereichs mit unterschiedlicher Geschwindigkeit gewonnen wird.
Vorrichtung nach Anspruch 24, dadurch gekennzeichnet, dass die Mittel zur Bildung der Abbildung von Disparitäten eine Neuzusammensetzung der gefilterten Multiauflösungs-Pyramiden durchführt.
Vorrichtung nach einem der Ansprüche 24 bis 26, dadurch gekennzeichnet, dass die Mittel der Verarbeitung, die Mittel des Aufbaus, die Mittel der Bestimmung, die Mittel der Konstruktion, die Mittel der Filterung aus wenigstens einem Microprozessor mit Speichern bestehen, die die Programme enthalten können, die es ermöglichen, die verschiedenen Mittel zu umfassen und Datenbanken und Zwischeninformationen erhalten, die für die Berechnung und die Gewinnung der Abbildung der Disparitäten notwendig sind.
Verfahren nach Anspruch 1, wobei die Bilder gemäß der MPEG-Norm codiert sind, dadurch gekennzeichnet, dass der Schritt der Konstruktion eines Signals, das das Feld des Bewegungsbildes darstellt, die Makroblock-Bewegungsvektoren auswertet, die während der Codierung der Bilder gemäß der MPEG-Norm berechnet werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das codierte Bild ein rauschbehaftetes Quellenbild ist, das auf der Basis des Quellenbildes aufgebaut ist, dem weißes Rauschen hinzugefügt ist.
Anwendung des Verfahrens nach Anspruch 29 zur Voraussage auf der Basis der Abbildung der Disparitäten, die empfindlichsten Bereiche "a priori" (vorher) für die Codierfehler und zur Codierung der Bereich in Abhängigkeit von dieser Voraussage.
Anwendung des Verfahrens nach Anspruch 29 zur Durchführung einer Vorfilterung der Quellenbilder in Abhängigkeit von der Abbildung der Disparitäten.
Anwendung des Verfahrens nach Anspruch 29 zur lokalen Bestimmung des Betrags an Informationen, die in die Bilder eingefügt werden können (Watermarking), ohne dass diese Hinzufügung wahrnehmbar ist.