DE19521408C1 - Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder - Google Patents
Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler BilderInfo
- Publication number
- DE19521408C1 DE19521408C1 DE19521408A DE19521408A DE19521408C1 DE 19521408 C1 DE19521408 C1 DE 19521408C1 DE 19521408 A DE19521408 A DE 19521408A DE 19521408 A DE19521408 A DE 19521408A DE 19521408 C1 DE19521408 C1 DE 19521408C1
- Authority
- DE
- Germany
- Prior art keywords
- image
- block
- disturbance
- evaluated
- perceptions
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
Die Erfindung bezieht sich auf ein Verfahren gemäß dem Oberbegriff des
Patentanspruchs 1. Ein derartiges Verfahren ist für zweidimensionale Bilder aus der
Zeitschrift Proceedings SPIE, Vol. 2308, Visual Communications and Image
Processing ′94, Chicago, Sept. 25-28, 1994 "Picture Quality Evaluation based on Error
Segmentation" bekannt.
Um die Qualität von Datenkompressionsverfahren für Videosignale beurteilen zu
können, werden bislang zeit- und kostenaufwendige subjektive Tests mit einer Vielzahl
ausgesuchter Versuchspersonen durchgeführt. Um die Bildqualität objektiv und damit
zeit- und kostengünstiger beurteilen zu können, ist es aus der eingangs erwähnten
Literaturstelle bekannt, das zu bewertende Bild mit dem ungestörten originalen Bild
unter bestimmten Aspekten (Segmentierung) zu vergleichen. Zu diesen Aspekten
zählen:
- a) Zusätzliche Kanten, die im originalen Bild nicht vorhanden sind,
- b) Fehler an und in der Nähe von vorhandenen Kanten, beispielsweise unscharfe Kantenübergänge, und
- c) sonstige Fehler, beispielsweise Rauschstörungen.
Diese bekannte Bildverarbeitung durch Segmentierung und Vergleich ist jedoch nicht
nur aufwendig und auf zweidimensionale Bilder beschränkt, sondern berücksichtigt die
subjektive Wahrnehmung - welche den eigentlichen Maßstab für die
Qualitätsbeurteilung darstellt - nur im Rahmen einer visuellen Vorverarbeitung der zu
bewertenden Bilder.
Die Aufgabe der Erfindung besteht demgegenüber darin, ein Verfahren der eingangs
erwähnten Art zu schaffen, bei welchem sowohl zwei- als auch dreidimensionale Bilder
objektiv beurteilt werden können und bei welchem die subjektive Wahrnehmung anhand
psychologischer Wahrnehmungsleistungen berücksichtigt wird.
Diese Aufgabe wird erfindungsgemäß durch die kennzeichnenden Merkmale des
Patentanspruchs 1 gelöst.
Vorteilhafte Weiterbildungen und Ausgestaltungen der Erfindung ergeben sich aus den
Unteransprüchen.
Die Erfindung wird anhand der Zeichnungen näher erläutert. Es zeigt:
Fig. 1 eine schematische Darstellung für den Zusammenhang zwischen einer
initialisierenden, subjektiven Analyse (obere Bildhälfte) und der
objektiven, automatischen Bildqualitätsbewertung (untere Bildhälfte),
welche von den Ergebnissen der subjektiven Analyse initialisiert wird;
Fig. 2 eine grafische Darstellung der Zusammenhänge zwischen den bei der
subjektiven Analyse als relevant festgestellten Beurteilungsaspekten und
der Bildqualität;
Fig. 3 eine schematische, vereinfachte Darstellung des Prinzips zur
unabhängigen Sinolierung der relevanten Beurteilungskomponenten,
welche Teil der objektiven Bildqualitätsbewertung gemäß Fig. 1 ist;
Fig. 4 eine schematische, vereinfachte Darstellung des Prinzips zur
Nachbildung der subjektiven Unschärfeempfindung, welche Teil der
objektiven Bildqualitätsbewertung gemäß Fig. 1 und Fig. 3 ist;
Fig. 5 eine detaillierte Darstellung des Prinzips gemäß Fig. 4;
Fig. 6 eine schematische, vereinfachte Darstellung des Prinzips zur
Nachbildung der Rauschempfindung, welche einen weiteren Teil der
objektiven Bildqualitätsbewertung gemäß Fig. 1 und Fig. 3 darstellt;
Fig. 7 eine schematische Darstellung zur Veranschaulichung des Prinzips zur
Detektion einer totalen Blockstörung;
Fig. 8 eine schematische, vereinfachte Darstellung zur Nachbildung der
Wahrnehmung von totalen Blockstörungen, welche entsprechend dem
Prinzip gemäß Fig. 7 detektiert werden, wobei diese Nachbildung einen
weiteren Teil der objektiven Bildqualitätsbewertung gemäß Fig. 1 und
Fig. 3 darstellt;
Fig. 9 eine detaillierte Darstellung einer Einrichtung zur objektiven,
automatischen Qualitätsbewertung von zweidimensionalen Bildern;
Fig. 10 Prinzip der dreidimensionalen Bildwiedergabe;
Fig. 11 eine detaillierte Darstellung einer Einrichtung zur objektiven,
automatischen Qualitätsbewertung von dreidimensionalen Bildern.
In einer mehrdimensionalen Untersuchung des Einflusses von Codierfehlern auf die
subjektive Qualität von dreidimensionalen Fernsehbildern bei datenreduzierter
Übertragung hat sich gezeigt, daß die subjektive Qualität der untersuchten Bilder durch
die subjektive Beurteilung von "Unschärfe", "Rauschen" und "totalen Blockstörungen"
fast vollständig beschrieben werden kann. Neben diesen drei Wahrnehmungen wurden
noch sechs weitere Beurteilungsaspekte untersucht, die jedoch bei der subjektiven
Qualitätsbewertung nur eine untergeordnete Rolle spielten. Der Zusammenhang von
subjektiver Analyse der Bildbeurteilung und einer aus den daraus resultierenden
Ergebnissen abgeleiteten, objektiven Bewertung der Bildqualität ist anhand von Fig. 1
wiedergegeben.
Ausgangspunkt für die subjektive und objektive Bewertung stellt eine Bilddatenbasis 10
dar, welche die originalen Bilder sowie die gestörten Bilder enthält. Die Bildfehler
richten sich nach bestimmten Vorgaben 11, worunter die für die Datenkompression
verwendeten Codierverfahren, die zur Verfügung stehenden Übertragungsdatenraten
bzw. die sich daraus ergebenden Reduktionsfaktoren sowie eine repräsentative Auswahl
von Bildmotiven verstanden werden. Die Bilder der Datenbasis 10 werden zunächst,
wie durch Leitungen 12 und 13 in Fig. 1 angedeutet, einem Block 20 zugeleitet,
welcher die Beurteilung der Bilder in einem subjektiven Test symbolisiert. Die
Ergebnisse der subjektiven Beurteilung (Block 20) werden in einer
Auswertungseinrichtung 30 untersucht. Die resultierenden Untersuchungsergebnisse
stellen die Grundlage für eine objektive Qualitätsbeurteilung der Bilddatenbasis 10 in
den Blöcken 40 und 50 einer objektiven Bewertungseinrichtung dar. Für diese
objektive, automatische Qualitätsbeurteilung werden die Bilder der Datenbasis 10 über
Leitungen 14, 15 dem Block 40 zugeführt. Die Trennung zwischen subjektiver
Untersuchung und objektiver Bewertung ist in Fig. 1 mit gestrichelter Linie 70
angedeutet. Wesentlich ist, daß die subjektive Untersuchung lediglich als
Initialisierungsschritt für die Konzipierung der objektiven Bewertung erforderlich ist,
welche - nach einmal erfolgter Initialisierung - ohne weiteres Zutun für alle in der
Bilddatenbasis 10 vorhandenen Störungsarten (welche durch die verwendeten
Codierungsverfahren und Reduktionsfaktoren bedingt sind) abläuft.
Bei der einmaligen subjektiven Bewertung (Block 20) der Bilddatenbasis 10 sind für
jedes Bild von den Betrachtern bzw. Versuchspersonen neun verschiedene Aspekte zu
beurteilen, welche in unterschiedlicher Weise die technische Wiedergabequalität der
betrachteten Bilder beschreiben. Ausgangsgrößen der subjektiven Beurteilung (Block
20), d. h., die beurteilten Aspekte 21 bis 29, sind die subjektiven Beurteilungen aller
Bilder anhand der neun verschiedenen Beurteilungsaspekte.
Anschließend werden die Beurteilungen der neun Aspekte 21 bis 29 von den Bildern
der Datenbasis 10 anhand einer mehrdimensionalen, statistischen Analyse - der
hauptsächlich aus der Psychologie bekannten Faktorenanalyse - in der
Auswertungseinrichtung 30 ausgewertet. Dabei ergeben sich alle für die subjektive
Qualitätswahrnehmung und damit auch für die objektive Bewertung relevanten
Qualitätskomponenten 34 bis 36 einschließlich der zugehörigen Gewichtungsfaktoren
31 bis 33. Die Gewichtungsfaktoren 31 bis 33 dienen dazu, um in einem Block 50 die
im Block 40 objektiv beurteilten Qualitätskomponenten 41 bis 43 zu einem objektiven
Bildqualitätsurteil 51 linear miteinander zu kombinieren.
Für die in der Auswertungseinrichtung 30 für die subjektive Bildqualitätsbewertung als
relevant ermittelten objektiven Qualitätskomponenten 34 bis 36 sieht die Erfindung
Methoden vor, mit denen die subjektiven Beurteilungen der Komponenten 34 bis 36 für
die objektive Beurteilung im Block 40 möglichst gut in Algorithmen nachgebildet
werden. In der Auswertungseinrichtung 30 werden die neun beurteilten Aspekte auf
zwei der subjektiven Beurteilung zugrunde liegende Beurteilungsdimensionen
zurückgeführt. Anhand einer Faktorladungsmatrix, die in Fig. 2 grafisch dargestellt ist,
lassen sich die beiden Beurteilungsdimensionen mit Hilfe der neun beurteilten Aspekte
interpretieren. Die Ladungen der Faktorladungsmatrix geben die Korrelation der
einzelnen Aspekte mit den beiden ermittelten Beurteilungsdimensionen an. Zur
Vereinfachung sind in Fig. 2 von den neun Aspekten nur die tatsächlich relevanten
Aspekte, nämlich die Bildqualität BQ, die Schärfe SF, das Rauschen RA und totale
Blockstörungen BA berücksichtigt.
In Fig. 2 bedeuten orthogonal aufeinanderstehende Vektoren eine völlige
Unabhängigkeit der betreffenden Aspekte voneinander, während parallele Vektoren
einen Zusammenhang der betreffenden Aspekte anzeigen. Aus Fig. 2 läßt sich
erkennen, daß der Beurteilungsaspekt "Bildqualität" 90 sehr stark mit dem Aspekt
"Schärfe" 84 und weniger stark mit den Aspekten "Rauschen" 80 und
"Blockstörungen" 82 zusammenhängt. Die Projektionen 81, 83 und 85 der drei
Störungswahrnehmungen auf die Achse 90 der Bildqualitätsbeurteilung geben den
Zusammenhang der Aspekte 80, 82, 84 mit der Qualitätsbeurteilung an. Mit den
Bezugszeichen 81, 83 und 85 sind die Gewichtungsfaktoren 31 bis 33 (Fig. 1)
angedeutet.
Der Anwendungsbereich des erfindungsgemäßen Verfahrens zur objektiven Beurteilung
von durch Datenkrompressionsverfahren gestörten Bildern ergibt sich aus den im
initialisierenden, subjektiven Test berücksichtigten Codierverfahren und
Übertragungsdatenraten bzw. den dadurch hervorgerufenen Störungen. Soweit
bestimmte Störungen, wie beispielsweise zeitabhängige Fehler, bei dem
initialisierenden, subjektiven Test nicht berücksichtigt wurden, muß zur Anpassung der
objektiven Bewertung an solche Störungstypen die initialisierende Schleife über eine
erweiterte Bilddatenbasis 10, die subjektive Beurteilung (Block 20) und die
Auswertungseinrichtung 30 erneut durchlaufen werden. Dabei können sich neue
Gewichtungsfaktoren 31 bis 33, aber unter Umständen auch ganz neue objektive
Bildqualitätskomponenten 41 bis 43 ergeben, welche in die Blöcken 40 und 50
integriert werden müssen. Die für das nachstehend beschriebene Bewertungsverfahren
berücksichtigten Codierfehler decken die möglichen Störungen der zur Zeit
standardisierten zweidimensionalen Fernsehbild-Codierverfahren ab.
Die objektive Bewertung der Fernsehbildqualität erfolgt durch eine gewichtete
Kombination in Block 50 (Fig. 1) der in Block 40 objektiv bewerteten
Bildqualitätskomponenten (41 bis 43). Für die der verwendeten Bilddatenbasis (Block
10) zugrundeliegenden typischen Codierfehler, d. h., Codierfehler, die aufgrund der
heutzutage standardisierten Übertragungsverfahren zu erwarten sind, haben sich die
Wahrnehmungen von "Unschärfe", "Rauschen" und "totalen Blockstörungen" als
relevant erwiesen. Die unabhängige Beurteilung dieser Bildqualitätskomponenten ist in
Block 40 (Fig. 3) graphisch dargestellt: In den Blöcken 44 bis 46 werden die
Bildqualitätskomponenten "Unschärfe", "Rauschen" und "totale Blockausfälle" für die
Eingangssignale von Original 14 und gestörtem Bild 15 unabhängig voneinander
bewertet und als Ausgangssignale 41 bis 43 dem Block 50 (Fig. 1) zugeführt. Die
Algorithmen zur Nachbildung der subjektiven Bewertung der relevanten
Beurteilungsaspekte in den Blöcken 44 bis 46 (Fig. 3) wird im folgenden beschrieben.
Ein unscharfer Bildeindruck wird im wesentlichen durch eine Abnahme der hohen
spatialen Anteile im Frequenzspektrum beim Vergleich von Original und gestörtem Bild
verursacht. Diese Beobachtung liegt dem hier beschriebenen Algorithmus zur
Simulation der subjektiven Schärfebeurteilung zugrunde. Das Prinzip ist in Fig. 4
dargestellt. Zunächst wird für das Original 110 und das gestörte Bild 140 in den
Blöcken 120 und 150 das spatiale Frequenzspektrum berechnet. Nur für bestimmte
Auszüge (131 bis 134 und 161 bis 164) aus diesen Spektren, die ausgewählten
Orientierungen entsprechen, werden in den Blöcken 130 und 160 die höchsten
übertragenen Frequenzen 141 bis 144 und 171 bis 174 ermittelt. In Block 181 bis 184
wird für die ausgewählten Orientierungen die Abnahme der höchsten übertragenen
spatialen Frequenzen 141 bis 144 und 171 bis 174 vom Original 110 zum gestörten
Bild 140 bestimmt. Erst in Block 190 werden die berechneten Frequenzabnahmen 185
bis 188 der verschiedenen Orientierungen zu einer objektiven Unschärfebewertung 191
zusammengefaßt.
Das in Fig. 4 nur schematisch wiedergegebene Verfahren zur Unschärfebeurteilung ist
in Fig. 5 detaillierter dargestellt. Nach Bestimmung der spatialen Frequenzspektren in
den Blöcken 120 und 160 werden - in Analogie zur Orientierungsselektivität des
visuellen Systems des Menschen - nur vier Auszüge weiter ausgewertet, die bestimmten
Orientierungen von Bildstrukturen im Original und gestörten Bild entsprechen, und
zwar die horizontalen 134 und 164, vertikalen 131 und 161 und diagonalen
Orientierungen 132, 133 und 162, 163. Für jeden dieser Auszüge aus dem
zweidimensionalen Spektrum wird die höchste übertragene spatiale Frequenz
folgendermaßen bestimmt: Alle Frequenzwerte einer logarithmischen Frequenzskala
unterhalb einer (empirisch ermittelten) Schwelle 140 und 170 werden vernachlässigt.
Von den oberhalb dieser Schwelle liegenden Werten wird derjenige mit der höchsten
Frequenz ausgewählt, wobei sichergestellt werden muß (im einfachsten Fall z. B. durch
Auswahl des fünft höchsten Frequenzwertes), daß nicht einzelne Werte, wie z. B. 177,
die über der Schwelle liegen, fälschlicherweise die höchste übertragene Frequenz des
Bildmotivs angeben. Auf diese Weise werden in den Blöcken 135 bis 138 und 165 bis
168 die höchsten Frequenzen 141 bis 144 und 171 bis 174 für alle vier Orientierungen
von Original und gestörtem Bild ermittelt. Daraus wird in den Blöcken 181 bis 184 für
jede der Orientierungen die Abnahme der höchsten Frequenz vom Original zum
gestörten Bild bestimmt. Diese Abnahmen 185 bis 188 werden in Block 190
miteinander zur objektiven Schärfe- bzw. Unschärfebeurteilung kombiniert.
Bei der linearen Kombination der Frequenzabnahmen für die verschiedenen
Orientierungen muß zwischen zweidimensionalen (2DTV) Fernsehbildern und
dreidimensionalen (3DTV) Fernsehbildern unterschieden werden: Für die 2DTV-
Beurteilung werden die horizontalen und vertikalen Orientierungen 185 und 188 stärker
als die diagonalen Auszüge 186 und 187 gewichtet, was der
Orientierungsempfindlichkeit der menschlichen Wahrnehmung entspricht. Dagegen muß
den horizontalen Auszügen bei 3DTV-Bildern ein stärkeres Gewicht als allen anderen
Auszügen gegeben werden, da bei der binokularen Wahrnehmung auch die
Tiefenauflösung des visuellen System auf den horizontalen Komponenten beruht. Es hat
sich gezeigt, daß allein schon die Auswertung der horizontalen Komponente der
zweidimensionalen Frequenzspektren sowohl für 2DTV als auch für 3DTV eine gute
Übereinstimmung der objektiven und subjektiven Unschärfebeurteilung liefert.
Die Rauschwahrnehmung wird in gestörten Bilden durch neue Bildpunkte im Original
verursacht, deren Helligkeit und Farbe in keinem Zusammenhang mit dem vorhandenen
Bildinhalt steht. Dadurch verringert sich die Redundanz des Bildinhalts im gestörten
Bild. Diese Abnahme läßt sich mit Hilfe der Varianzen von Helligkeits- und
Farbwerten beim Vergleich von Original und gestörtem Bild feststellen. Mit der
"Varianz" ist hier die mittlere quadratische Abweichung der Helligkeitswerte vom
Mittelwert gemäß der nachstehenden mathematischen Beziehung gemeint:
Das Original 110 und das gestörte Bild 130 (Fig. 6) werden dazu in eine Vielzahl
gleich großer Teilbilder aufgeteilt. Eine Größe von vier mal vier Bildpunkten hat sich
als optimal herausgestellt (Bildblöcke 401 und 421). Für alle Teilbilder wird in den
Blöcken 400 und 420 die Varianz 402 und 422 der Helligkeitswerte berechnet. Durch
eine zusätzliche Berücksichtigung der Farbwerte läßt sich die Übereinstimmung von
objektiver und subjektiver Beurteilung verbessern. Anschließend werden für das
Original und unabhängig davon für das gestörte Bild in den Blöcken 410 und 430 die
Varianzen (402 und 422) aller Teilbilder aufsummiert. Die Rauschbewertung 441 ergibt
sich aus der Berechnung der Zunahme der Varianzensummen 411 und 431 von Original
110 zum gestörtem Bild 140 in Block 440.
Bei der Transformationscodierung werden die zu übertragenden Bilder in kleine
Teilbilder zerlegt, die unabhängig voneinander komprimiert werden. Das Ausmaß von
Störungen in benachbarten Teilbildern (Bildblöcken) kann deshalb völlig verschieden
sein. Bei starker Reduktion der Daten eines Bildblocks werden nur wenige der
Transformationskoeffizienten übertragen - im Extremfall nur der Gleichanteil. Da die
Bildblöcke unabhängig voneinander komprimiert werden, wird bei starker Reduktion
die der Codierung zugrundeliegende Blockstruktur sichtbar. Besonders auffallend sind
totale Blockstörungen. In Fig. 7 ist dargestellt, warum sie so besonders störend wirken:
Ein Block (450) mit sehr starker Reduktion der Bildinformation ist von Blöcken (451
bis 454) umgeben, deren Informationsgehalt weit weniger reduziert ist. Eine solche
totale Blockstörung läßt sich durch den Vergleich der Varianz von Farb- und
Helligkeitswerten innerhalb eines solchen Bildblocks mit den Varianzen der
benachbarten Bildblöcke rechnerisch erkennen. Die Störwirkung solcher
Blockstörungen innerhalb eines Bildes wird durch die Summierung aller totalen
Blockstörungen des komprimierten Bildes bestimmt.
In Fig. 8 ist das Prinzip wiedergegeben. Für alle Teilbilder 470 eines gestörten Bildes
130 wird in den Blöcken 475 und 480 überprüft, ob eine totale Blockstörung vorliegt
oder nicht. Die Größe der Bildblöcke 470 muß dabei derjenigen der
Transformationscodierung entsprechen (in der Regel acht mal acht Bildpunkte große
Teilbilder). Die Detektion totaler Blockstörungen richtet sich nach dem Prinzip in Fig. 7:
Zunächst wird für einen Bildblock 470 (Fig. 8) bzw. 450 (Fig. 7) in Block 475
überprüft, ob die Schwankung seiner Helligkeits- und Farbwerte unterhalb einer
bestimmten Schwelle 1 liegt. Ist dies nicht der Fall (477), so wird der nächst folgende
Bildblock überprüft (478). Ist die Schwankung kleiner (476) als der vorgegebene
Schwellwert 1, dann werden die Schwankungen der Helligkeits- und Farbwerte der
benachbarten Bildblöcke 451 bis 454 (Fig. 7) in Block 480 berechnet. Liegen die
Schwankungen einer festgelegten Anzahl benachbarter Bildblöcke unterhalb (482) eines
Schwellwertes 2, so liegt kein totaler Blockausfall vor und die Überprüfung des
nächsten Bildblocks kann beginnen (478). Weisen genügend benachbarte Bildblöcke
eine Schwankung ihrer Helligkeits- und Farbwerte auf, die über dem Schwellwert 2
liegt, so handelt es sich um einen totalen Blockausfall (481). Die Schwankung der
Farb- und Helligkeitswerte in einem Teilbild wird durch Berechnung der Varianz des
Teilbildes bestimmt:
Alle totalen Blockausfälle, die während der Untersuchung der Teilbilder eines Bildes
registriert werden (481), werden in Block 490 aufsummiert. Die Anzahl aller während
der Untersuchung eines Bildes festgestellten totalen Blockstörungen stellen ein Maß 491
für die subjektive Wahrnehmung totaler Blockaustalle dar. Sollte dieses Verfahren mit
den gewählten Schwellwerten auch im Original (fälschlicherweise) totale
Blockstörungen entdecken, so muß der für das gestörte Bild ermittelte Wert um den für
das Original ermittelten Wert vermindert werden.
Den objektiv ermittelten Beurteilungen muß für die Kombination in Block 50 (Fig. 1)
eine einheitliche Skalierung zugrunde liegen. Deshalb müssen (nur einmal bei der
ersten objektiven Bewertung) die Skalierungsfaktoren ermittelt werden, mit denen die
objektiven Bewertungen an die (einheitliche) Skalierung der subjektiven Beurteilungen
angepaßt werden können.
Fig. 9 gibt einen Überblick über die einzelnen Schritte der objektiven Bildqualitäts
bewertung. Aus dem Original 500 und dem gestörten Bild 510 werden im Block 40 die
subjektiven Beurteilungen der Unschärfe 520, des Rauschens 530 und der totalen
Blockausfälle 540 berechnet. Mit den schon beschriebenen Algorithmen werden diese
Wahrnehmungen nachgebildet. Die objektiven Beurteilungen 521, 531 und 541 werden
anschließend mit den Gewichten 31 bis 33 aus der subjektiven Analyse in Block 50
zunächst in 550, 560 und 570 bewertet. Die gewichteten objektiven Einzelbewertungen
551, 561 und 571 werden im Block 580 abschließend zur objektiven
Bildqualitätsbewertung 581 summiert.
Die Abhängigkeit der in Block 40 ermittelten relevanten Beurteilungskomponenten und
der in Block 50 verwendeten Gewichte von einer der subjektiven Analyse
zugrundeliegenden Bilddatenbasis (Block 10 in Fig. 1) ist in Fig. 9 durch die
gestrichelten Pfeile 511 bis 513 angedeutet.
Die Verfahren zur Beurteilung der Bildqualität für 2DTV- und 3DTV-Bilder sind fast
identisch. Der Unterschied besteht darin, daß jedem einzelnen Bild bei der 2DTV-
Bewertung zwei Bilder bei der 3DTV-Bewertung entsprechen (Fig. 10): Jedes 3DTV-
Bild (601) besteht aus einem Bild 602 für das linke Auge und einem 603 für das rechte
Auge.
Für die beiden Bilder eines originalen (600) und eines gestörten (610) stereoskopischen
Bildpaares werden in Block 40 zunächst die monokularen Bewertungen (621 und 622
für die Unschärfe) berechnet. Im Unterschied zur 2DTV-Bewertung müssen die
monokularen Bewertungen durch die Bildung des arithmetischen Mittelwertes zur
binokularen Bewertung 623, 633 und 643 jeder Bildqualitätskomponente
zusammengefaßt werden. Nach der Normierung werden die objektiven Bewertungen
626, 636 und 646 in 650, 670 und 680 gewichtet. Diese gewichteten Bewertungen
werden in 680 zu einer 3DTV-Bildqualitätsbeurteilung aufsummiert. Die Abhängigkeit
von den in der Bilddatenbasis vorhandenen Störungen ist mit den gestrichelten Pfeilen
611 bis 613 angedeutet.
Claims (9)
1. Verfahren zum objektiven Bewerten der Bildqualität zwei- oder
dreidimensionaler Bilder, welche durch datenreduzierende Quellencodierung
eines digitalisierten ursprünglichen Bildes erzeugt werden, dadurch
gekennzeichnet, daß zwei oder mehrere subjektive Störungswahrnehmungen
durch jeweils einen gesonderten Algorithmus simuliert werden, daß die
Simulationsalgorithmen auf das bzw. jedes zu bewertende Bild angewandt
werden, um für jede Störungswahrnehmung einen Meßwert zu ermitteln, daß
die ermittelten Meßwerte entsprechend der unterschiedlichen Auswirkungen
ihrer korrespondierenden Störungswahrnehmungen auf die Bildqualität gewichtet
werden und daß die gewichteten Meßwerte miteinander zu einem objektiven
Bewertungsmaß kombiniert werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß ein Algorithmus
zur Simulation der Unschärfewahrnehmung vorgesehen ist, welcher das Fehlen
bzw. eine signifikante Abnahme hoch frequenter, spatialer Frequenzanteile
auswertet.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß von den
hochfrequenten spatialen Frequenzanteilen die horizontalen Komponenten für die
Bewertung der Unschärfe dreidimensionaler Bilder stärker berücksichtigt
werden als die vertikalen und diagonalen Komponenten.
4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß von den
hochfrequenten spatialen Frequenzanteilen die horizontalen und vertikalen
Komponenten für die Bewertung der Unschärfe zweidimensionaler Bilder
gleichgewichtig und stärker als die diagonalen Komponenten berücksichtigt
werden.
5. Verfahren nach Anspruch 1, bei dem das zu bewertende Bild aus einer Vielzahl
von Bildblöcken mit jeweils gleicher, vorbestimmter Anzahl von Bildpunkten
besteht, dadurch gekennzeichnet, daß ein Algorithmus zur Simulation der
Rauschwahrnehmung vorgesehen ist, welcher folgende Schritte umfaßt:
- a) innerhalb jedes Bildblockes des zu bewertenden Bildes und des ursprünglichen Bildes wird die Schwankung ("Varianz") der Leuchtdichte oder Farbinformation sämtlicher Bildpunkte um den Mittelwert des betreffenden Blockes ermittelt;
- b) die Varianzen aller Bildblöcke des zu bewertenden Bildes werden aufsummiert;
- c) die Varianzen aller Bildblöcke des ursprünglichen Bildes werden aufsummiert;
- d) die aufsummierten Varianzen des zu bewertenden Bildes werden verglichen mit den aufsummierten Varianzen des ursprünglichen Bildes, und
- e) eine Zunahme der Varianzensumme des zu bewertenden Bildes gegenüber der Varianzensumme des ursprünglichen Bildes wird als Maß für die Rauschwahrnehmung herangezogen.
6. Verfahren nach Anspruch 1, bei dem das zu bewertende Bild aus einer Vielzahl
von Bildblöcken mit jeweils gleicher, vorbestimmter Anzahl von Bildpunkten
besteht, dadurch gekennzeichnet, daß ein Algorithmus zur Feststellung von
Totalstörungen einzelner oder mehrerer Bildblöcke vorgesehen ist, welcher
folgende Schritte umfaßt:
- a) Innerhalb jedes Bildblockes des zu bewertenden Bildes wird die Schwankung ("Varianz") der Leuchtdichte oder Farbinformation sämtlicher Bildpunkte um den Mittelwert des betreffenden Blockes ermittelt;
- b) falls die Varianz eines Bildblockes unterhalb eines vorgegebenen Schwellwertes liegt, wird festgestellt, ob die Varianzen von umliegenden Bildblöcken ebenfalls unterhalb des vorgegebenen Schwellwertes liegen;
- c) bei gehäuftem Auftreten von Varianzen unterhalb des vorgegebenen Schwellwertes in den umliegenden Bildblöcken wird entschieden, daß keine Totalstörung des geprüften Bildblockes vorliegt,
wobei die Gesamtzahl der als totalgestört festgestellten Bildblöcke des zu
bewertenden Bildes eine Maß für die Blockstörungen des Bildes sind.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß
die festgestellten Störungswahrnehmungen für Unschärfe stärker gewichtet
werden als Rauschwahrnehmungen und die Wahrnehmung von Blockstörungen.
8. Verfahren nach einem der Ansprüche 1 bis 7, für dreidimensionale
stereoskopische Bilder, welche jeweils aus einem linken und rechten,
zweidimensionalen Bild bestehen, dadurch gekennzeichnet, daß für jedes linke
und rechte Bild getrennt die einzelnen Störungswahrnehmungen ermittelt
werden, daß die einzelnen ermittelten Störungswahrnehmungen jeweils für das
linke und rechte Bild gemittelt werden, und daß alle gemittelten
Störungswahrnehmungen miteinander gewichtet werden.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19521408A DE19521408C1 (de) | 1995-06-13 | 1995-06-13 | Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19521408A DE19521408C1 (de) | 1995-06-13 | 1995-06-13 | Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder |
Publications (1)
Publication Number | Publication Date |
---|---|
DE19521408C1 true DE19521408C1 (de) | 1996-12-12 |
Family
ID=7764224
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE19521408A Expired - Lifetime DE19521408C1 (de) | 1995-06-13 | 1995-06-13 | Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE19521408C1 (de) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000048407A1 (en) * | 1999-02-11 | 2000-08-17 | British Telecommunications Public Limited Company | Analysis of video signal quality |
WO2002049369A2 (en) * | 2000-12-12 | 2002-06-20 | Koninklijke Philips Electronics N.V. | System and method for providing a scalable dynamic objective metric for automatic video quality evaluation |
WO2002056605A1 (en) * | 2001-01-10 | 2002-07-18 | Koninklijke Philips Electronics N.V. | Scalable objective metric for automatic video quality evaluation |
DE10112528A1 (de) * | 2001-03-15 | 2002-09-19 | Rohde & Schwarz | Verfahren und Prüfvorrichtung zur Prüfung der elektromagnetischen Verträglichkeit von Bildschirmgeräten |
WO2002087259A1 (en) * | 2001-04-25 | 2002-10-31 | Koninklijke Philips Electronics N.V. | Apparatus and method for combining random set of video features in a non-linear scheme to best describe perceptual quality of video sequences using heuristic search methodology |
WO2003005726A2 (en) * | 2001-07-03 | 2003-01-16 | Koninklijke Philips Electronics N.V. | Method of measuring digital video quality |
WO2004008780A1 (en) * | 2002-07-17 | 2004-01-22 | Koninklijke Philips Electronics N.V. | A method and apparatus for measuring the quality of video data |
EP1433117A1 (de) * | 2001-08-01 | 2004-06-30 | Teranex, Inc. | Verfahren zur messung und analyse der digitalen videoqualität |
WO2005125220A1 (de) * | 2004-06-18 | 2005-12-29 | Rohde & Schwarz Gmbh & Co. Kg | Verfahren und vorrichtung zur bewertung der güte eines signals |
US7133066B2 (en) | 2000-03-31 | 2006-11-07 | British Telecommunications Public Limited Company | Image processing |
US7233348B2 (en) | 2000-05-26 | 2007-06-19 | British Telecommunications Public Limited Company | Test method |
WO2011105988A1 (en) * | 2010-02-24 | 2011-09-01 | Thomson Licensing | Split screen for 3d |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4029019C1 (en) * | 1990-09-13 | 1991-06-20 | Institut Fuer Rundfunktechnik Gmbh, 8000 Muenchen, De | Electrically correcting TV signals according to stereoscopic points - influencing size, positioning and geometry of picture using electronic units of TV cameras |
-
1995
- 1995-06-13 DE DE19521408A patent/DE19521408C1/de not_active Expired - Lifetime
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE4029019C1 (en) * | 1990-09-13 | 1991-06-20 | Institut Fuer Rundfunktechnik Gmbh, 8000 Muenchen, De | Electrically correcting TV signals according to stereoscopic points - influencing size, positioning and geometry of picture using electronic units of TV cameras |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2000048407A1 (en) * | 1999-02-11 | 2000-08-17 | British Telecommunications Public Limited Company | Analysis of video signal quality |
US7715592B1 (en) | 1999-02-11 | 2010-05-11 | British Telecommunications Public Limited Company | Analysis of video signal quality |
US7133066B2 (en) | 2000-03-31 | 2006-11-07 | British Telecommunications Public Limited Company | Image processing |
US7233348B2 (en) | 2000-05-26 | 2007-06-19 | British Telecommunications Public Limited Company | Test method |
WO2002049369A3 (en) * | 2000-12-12 | 2002-09-26 | Koninkl Philips Electronics Nv | System and method for providing a scalable dynamic objective metric for automatic video quality evaluation |
WO2002049369A2 (en) * | 2000-12-12 | 2002-06-20 | Koninklijke Philips Electronics N.V. | System and method for providing a scalable dynamic objective metric for automatic video quality evaluation |
WO2002056605A1 (en) * | 2001-01-10 | 2002-07-18 | Koninklijke Philips Electronics N.V. | Scalable objective metric for automatic video quality evaluation |
DE10112528A1 (de) * | 2001-03-15 | 2002-09-19 | Rohde & Schwarz | Verfahren und Prüfvorrichtung zur Prüfung der elektromagnetischen Verträglichkeit von Bildschirmgeräten |
WO2002087259A1 (en) * | 2001-04-25 | 2002-10-31 | Koninklijke Philips Electronics N.V. | Apparatus and method for combining random set of video features in a non-linear scheme to best describe perceptual quality of video sequences using heuristic search methodology |
WO2003005726A2 (en) * | 2001-07-03 | 2003-01-16 | Koninklijke Philips Electronics N.V. | Method of measuring digital video quality |
WO2003005726A3 (en) * | 2001-07-03 | 2003-05-22 | Koninkl Philips Electronics Nv | Method of measuring digital video quality |
CN1299515C (zh) * | 2001-07-03 | 2007-02-07 | 皇家菲利浦电子有限公司 | 一种处理数字图像的输入序列的方法 |
EP1433117A4 (de) * | 2001-08-01 | 2006-05-17 | Teranex Inc | Verfahren zur messung und analyse der digitalen videoqualität |
EP1433117A1 (de) * | 2001-08-01 | 2004-06-30 | Teranex, Inc. | Verfahren zur messung und analyse der digitalen videoqualität |
WO2004008780A1 (en) * | 2002-07-17 | 2004-01-22 | Koninklijke Philips Electronics N.V. | A method and apparatus for measuring the quality of video data |
WO2005125220A1 (de) * | 2004-06-18 | 2005-12-29 | Rohde & Schwarz Gmbh & Co. Kg | Verfahren und vorrichtung zur bewertung der güte eines signals |
AU2005255982B2 (en) * | 2004-06-18 | 2009-08-20 | Rohde & Schwarz Gmbh & Co. Kg | Method and device for evaluating the quality of a signal |
WO2011105988A1 (en) * | 2010-02-24 | 2011-09-01 | Thomson Licensing | Split screen for 3d |
CN102771113A (zh) * | 2010-02-24 | 2012-11-07 | 汤姆逊许可证公司 | 用于3d的分割屏幕 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE60020795T2 (de) | Echtzeitmodellierung des Verhaltens menschlicher Sehvermögenssysteme | |
DE69910358T2 (de) | Verfahren und vorrichtung zur objektiven bewertung der videoqualität | |
DE69937276T2 (de) | In-Betrieb-Echtzeitanalyse der Bildqualität | |
DE69837728T2 (de) | Adaptives Filter | |
DE602004010683T2 (de) | Verfahren und vorrichtung zur modellierung von filmkorn-mustern im frequenzbereich | |
DE60020019T2 (de) | Prüfung der Dekodierung von Bitströmen | |
DE60307967T2 (de) | Bildverarbeitungsverfahren für die untersuchung des erscheinungsbildes | |
DE19521408C1 (de) | Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder | |
DE102005025629A1 (de) | Bildverarbeitungsverfahren zur Reduzierung von Blocking-Artefakten | |
DE60005798T2 (de) | Analyse der qualität von videosignalen | |
EP1648174A1 (de) | Verfahren und Anordnung zur Reduktion von Codierungsartefakten von blockbasierten Bildcodierungsverfahren und objektbasierten Bildcodierungsverfahren | |
DE69929127T2 (de) | Bildqualitätsmessung durch die Gegenwart von Blöcken | |
EP3073924A1 (de) | Auswertung eines während einer mammographie erzeugten röntgenbildes einer brust | |
DE102005010076A1 (de) | Bildbearbeitungsverfahren für ein digitales medizinisches Untersuchungsbild und zugehörige Untersuchungseinrichtung | |
EP1383322A2 (de) | Verfahren zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes | |
DE69831130T2 (de) | Vorrichtung, Verfahren und Aufzeichnungsmedium zur Video-Inspektion | |
DE60217243T2 (de) | Zeitverarbeitung für eine Echtzeitmodellierung vom Verhalten des menschlichen Sehvermögensystems | |
EP2064898B1 (de) | Vorrichtung zum bestimmen von informationen zur zeitlichen ausrichtung zweier informationssignale | |
DE60004852T2 (de) | Verfahren zur qualitätsbeurteilung von audiovisuellen sequenzen | |
EP2023638A2 (de) | Verfahren zur Reduktion von Bildartefakten | |
DE10024374B4 (de) | Verfahren und Vorrichtung zum Messen des in einem Bild enthaltenen Rauschens | |
EP0897247A2 (de) | Verfahren zur Berechnung von Bewegungsvektoren | |
EP3655920B1 (de) | Verfahren und vorrichtung zur bewertung von bildausschnitten für eine korrespondenzbildung | |
DE60306800T2 (de) | Verfahren und system zur messung von videobildverschlechterung, hervorgerufen durch kodierung zur bitratenreduktion | |
EP3853816A1 (de) | Computerimplementiertes verfahren zur komprimierung von messdaten aus einer messung eines messvolumens |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8100 | Publication of patent without earlier publication of application | ||
D1 | Grant (no unexamined application published) patent law 81 | ||
8364 | No opposition during term of opposition | ||
R071 | Expiry of right |