DE19521408C1 - Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder - Google Patents

Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder

Info

Publication number
DE19521408C1
DE19521408C1 DE19521408A DE19521408A DE19521408C1 DE 19521408 C1 DE19521408 C1 DE 19521408C1 DE 19521408 A DE19521408 A DE 19521408A DE 19521408 A DE19521408 A DE 19521408A DE 19521408 C1 DE19521408 C1 DE 19521408C1
Authority
DE
Germany
Prior art keywords
image
block
disturbance
evaluated
perceptions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE19521408A
Other languages
English (en)
Inventor
Andreas Kayser
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institut fuer Rundfunktechnik GmbH
Original Assignee
Institut fuer Rundfunktechnik GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institut fuer Rundfunktechnik GmbH filed Critical Institut fuer Rundfunktechnik GmbH
Priority to DE19521408A priority Critical patent/DE19521408C1/de
Application granted granted Critical
Publication of DE19521408C1 publication Critical patent/DE19521408C1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Description

Die Erfindung bezieht sich auf ein Verfahren gemäß dem Oberbegriff des Patentanspruchs 1. Ein derartiges Verfahren ist für zweidimensionale Bilder aus der Zeitschrift Proceedings SPIE, Vol. 2308, Visual Communications and Image Processing ′94, Chicago, Sept. 25-28, 1994 "Picture Quality Evaluation based on Error Segmentation" bekannt.
Um die Qualität von Datenkompressionsverfahren für Videosignale beurteilen zu können, werden bislang zeit- und kostenaufwendige subjektive Tests mit einer Vielzahl ausgesuchter Versuchspersonen durchgeführt. Um die Bildqualität objektiv und damit zeit- und kostengünstiger beurteilen zu können, ist es aus der eingangs erwähnten Literaturstelle bekannt, das zu bewertende Bild mit dem ungestörten originalen Bild unter bestimmten Aspekten (Segmentierung) zu vergleichen. Zu diesen Aspekten zählen:
  • a) Zusätzliche Kanten, die im originalen Bild nicht vorhanden sind,
  • b) Fehler an und in der Nähe von vorhandenen Kanten, beispielsweise unscharfe Kantenübergänge, und
  • c) sonstige Fehler, beispielsweise Rauschstörungen.
Diese bekannte Bildverarbeitung durch Segmentierung und Vergleich ist jedoch nicht nur aufwendig und auf zweidimensionale Bilder beschränkt, sondern berücksichtigt die subjektive Wahrnehmung - welche den eigentlichen Maßstab für die Qualitätsbeurteilung darstellt - nur im Rahmen einer visuellen Vorverarbeitung der zu bewertenden Bilder.
Die Aufgabe der Erfindung besteht demgegenüber darin, ein Verfahren der eingangs erwähnten Art zu schaffen, bei welchem sowohl zwei- als auch dreidimensionale Bilder objektiv beurteilt werden können und bei welchem die subjektive Wahrnehmung anhand psychologischer Wahrnehmungsleistungen berücksichtigt wird.
Diese Aufgabe wird erfindungsgemäß durch die kennzeichnenden Merkmale des Patentanspruchs 1 gelöst.
Vorteilhafte Weiterbildungen und Ausgestaltungen der Erfindung ergeben sich aus den Unteransprüchen.
Die Erfindung wird anhand der Zeichnungen näher erläutert. Es zeigt:
Fig. 1 eine schematische Darstellung für den Zusammenhang zwischen einer initialisierenden, subjektiven Analyse (obere Bildhälfte) und der objektiven, automatischen Bildqualitätsbewertung (untere Bildhälfte), welche von den Ergebnissen der subjektiven Analyse initialisiert wird;
Fig. 2 eine grafische Darstellung der Zusammenhänge zwischen den bei der subjektiven Analyse als relevant festgestellten Beurteilungsaspekten und der Bildqualität;
Fig. 3 eine schematische, vereinfachte Darstellung des Prinzips zur unabhängigen Sinolierung der relevanten Beurteilungskomponenten, welche Teil der objektiven Bildqualitätsbewertung gemäß Fig. 1 ist;
Fig. 4 eine schematische, vereinfachte Darstellung des Prinzips zur Nachbildung der subjektiven Unschärfeempfindung, welche Teil der objektiven Bildqualitätsbewertung gemäß Fig. 1 und Fig. 3 ist;
Fig. 5 eine detaillierte Darstellung des Prinzips gemäß Fig. 4;
Fig. 6 eine schematische, vereinfachte Darstellung des Prinzips zur Nachbildung der Rauschempfindung, welche einen weiteren Teil der objektiven Bildqualitätsbewertung gemäß Fig. 1 und Fig. 3 darstellt;
Fig. 7 eine schematische Darstellung zur Veranschaulichung des Prinzips zur Detektion einer totalen Blockstörung;
Fig. 8 eine schematische, vereinfachte Darstellung zur Nachbildung der Wahrnehmung von totalen Blockstörungen, welche entsprechend dem Prinzip gemäß Fig. 7 detektiert werden, wobei diese Nachbildung einen weiteren Teil der objektiven Bildqualitätsbewertung gemäß Fig. 1 und Fig. 3 darstellt;
Fig. 9 eine detaillierte Darstellung einer Einrichtung zur objektiven, automatischen Qualitätsbewertung von zweidimensionalen Bildern;
Fig. 10 Prinzip der dreidimensionalen Bildwiedergabe;
Fig. 11 eine detaillierte Darstellung einer Einrichtung zur objektiven, automatischen Qualitätsbewertung von dreidimensionalen Bildern.
Allgemeine Bemerkungen zum Wesen der Erfindung
In einer mehrdimensionalen Untersuchung des Einflusses von Codierfehlern auf die subjektive Qualität von dreidimensionalen Fernsehbildern bei datenreduzierter Übertragung hat sich gezeigt, daß die subjektive Qualität der untersuchten Bilder durch die subjektive Beurteilung von "Unschärfe", "Rauschen" und "totalen Blockstörungen" fast vollständig beschrieben werden kann. Neben diesen drei Wahrnehmungen wurden noch sechs weitere Beurteilungsaspekte untersucht, die jedoch bei der subjektiven Qualitätsbewertung nur eine untergeordnete Rolle spielten. Der Zusammenhang von subjektiver Analyse der Bildbeurteilung und einer aus den daraus resultierenden Ergebnissen abgeleiteten, objektiven Bewertung der Bildqualität ist anhand von Fig. 1 wiedergegeben.
Ausgangspunkt für die subjektive und objektive Bewertung stellt eine Bilddatenbasis 10 dar, welche die originalen Bilder sowie die gestörten Bilder enthält. Die Bildfehler richten sich nach bestimmten Vorgaben 11, worunter die für die Datenkompression verwendeten Codierverfahren, die zur Verfügung stehenden Übertragungsdatenraten bzw. die sich daraus ergebenden Reduktionsfaktoren sowie eine repräsentative Auswahl von Bildmotiven verstanden werden. Die Bilder der Datenbasis 10 werden zunächst, wie durch Leitungen 12 und 13 in Fig. 1 angedeutet, einem Block 20 zugeleitet, welcher die Beurteilung der Bilder in einem subjektiven Test symbolisiert. Die Ergebnisse der subjektiven Beurteilung (Block 20) werden in einer Auswertungseinrichtung 30 untersucht. Die resultierenden Untersuchungsergebnisse stellen die Grundlage für eine objektive Qualitätsbeurteilung der Bilddatenbasis 10 in den Blöcken 40 und 50 einer objektiven Bewertungseinrichtung dar. Für diese objektive, automatische Qualitätsbeurteilung werden die Bilder der Datenbasis 10 über Leitungen 14, 15 dem Block 40 zugeführt. Die Trennung zwischen subjektiver Untersuchung und objektiver Bewertung ist in Fig. 1 mit gestrichelter Linie 70 angedeutet. Wesentlich ist, daß die subjektive Untersuchung lediglich als Initialisierungsschritt für die Konzipierung der objektiven Bewertung erforderlich ist, welche - nach einmal erfolgter Initialisierung - ohne weiteres Zutun für alle in der Bilddatenbasis 10 vorhandenen Störungsarten (welche durch die verwendeten Codierungsverfahren und Reduktionsfaktoren bedingt sind) abläuft.
Bei der einmaligen subjektiven Bewertung (Block 20) der Bilddatenbasis 10 sind für jedes Bild von den Betrachtern bzw. Versuchspersonen neun verschiedene Aspekte zu beurteilen, welche in unterschiedlicher Weise die technische Wiedergabequalität der betrachteten Bilder beschreiben. Ausgangsgrößen der subjektiven Beurteilung (Block 20), d. h., die beurteilten Aspekte 21 bis 29, sind die subjektiven Beurteilungen aller Bilder anhand der neun verschiedenen Beurteilungsaspekte.
Anschließend werden die Beurteilungen der neun Aspekte 21 bis 29 von den Bildern der Datenbasis 10 anhand einer mehrdimensionalen, statistischen Analyse - der hauptsächlich aus der Psychologie bekannten Faktorenanalyse - in der Auswertungseinrichtung 30 ausgewertet. Dabei ergeben sich alle für die subjektive Qualitätswahrnehmung und damit auch für die objektive Bewertung relevanten Qualitätskomponenten 34 bis 36 einschließlich der zugehörigen Gewichtungsfaktoren 31 bis 33. Die Gewichtungsfaktoren 31 bis 33 dienen dazu, um in einem Block 50 die im Block 40 objektiv beurteilten Qualitätskomponenten 41 bis 43 zu einem objektiven Bildqualitätsurteil 51 linear miteinander zu kombinieren.
Für die in der Auswertungseinrichtung 30 für die subjektive Bildqualitätsbewertung als relevant ermittelten objektiven Qualitätskomponenten 34 bis 36 sieht die Erfindung Methoden vor, mit denen die subjektiven Beurteilungen der Komponenten 34 bis 36 für die objektive Beurteilung im Block 40 möglichst gut in Algorithmen nachgebildet werden. In der Auswertungseinrichtung 30 werden die neun beurteilten Aspekte auf zwei der subjektiven Beurteilung zugrunde liegende Beurteilungsdimensionen zurückgeführt. Anhand einer Faktorladungsmatrix, die in Fig. 2 grafisch dargestellt ist, lassen sich die beiden Beurteilungsdimensionen mit Hilfe der neun beurteilten Aspekte interpretieren. Die Ladungen der Faktorladungsmatrix geben die Korrelation der einzelnen Aspekte mit den beiden ermittelten Beurteilungsdimensionen an. Zur Vereinfachung sind in Fig. 2 von den neun Aspekten nur die tatsächlich relevanten Aspekte, nämlich die Bildqualität BQ, die Schärfe SF, das Rauschen RA und totale Blockstörungen BA berücksichtigt.
In Fig. 2 bedeuten orthogonal aufeinanderstehende Vektoren eine völlige Unabhängigkeit der betreffenden Aspekte voneinander, während parallele Vektoren einen Zusammenhang der betreffenden Aspekte anzeigen. Aus Fig. 2 läßt sich erkennen, daß der Beurteilungsaspekt "Bildqualität" 90 sehr stark mit dem Aspekt "Schärfe" 84 und weniger stark mit den Aspekten "Rauschen" 80 und "Blockstörungen" 82 zusammenhängt. Die Projektionen 81, 83 und 85 der drei Störungswahrnehmungen auf die Achse 90 der Bildqualitätsbeurteilung geben den Zusammenhang der Aspekte 80, 82, 84 mit der Qualitätsbeurteilung an. Mit den Bezugszeichen 81, 83 und 85 sind die Gewichtungsfaktoren 31 bis 33 (Fig. 1) angedeutet.
Der Anwendungsbereich des erfindungsgemäßen Verfahrens zur objektiven Beurteilung von durch Datenkrompressionsverfahren gestörten Bildern ergibt sich aus den im initialisierenden, subjektiven Test berücksichtigten Codierverfahren und Übertragungsdatenraten bzw. den dadurch hervorgerufenen Störungen. Soweit bestimmte Störungen, wie beispielsweise zeitabhängige Fehler, bei dem initialisierenden, subjektiven Test nicht berücksichtigt wurden, muß zur Anpassung der objektiven Bewertung an solche Störungstypen die initialisierende Schleife über eine erweiterte Bilddatenbasis 10, die subjektive Beurteilung (Block 20) und die Auswertungseinrichtung 30 erneut durchlaufen werden. Dabei können sich neue Gewichtungsfaktoren 31 bis 33, aber unter Umständen auch ganz neue objektive Bildqualitätskomponenten 41 bis 43 ergeben, welche in die Blöcken 40 und 50 integriert werden müssen. Die für das nachstehend beschriebene Bewertungsverfahren berücksichtigten Codierfehler decken die möglichen Störungen der zur Zeit standardisierten zweidimensionalen Fernsehbild-Codierverfahren ab.
Objektive Bewertung der relevanten Komponenten
Die objektive Bewertung der Fernsehbildqualität erfolgt durch eine gewichtete Kombination in Block 50 (Fig. 1) der in Block 40 objektiv bewerteten Bildqualitätskomponenten (41 bis 43). Für die der verwendeten Bilddatenbasis (Block 10) zugrundeliegenden typischen Codierfehler, d. h., Codierfehler, die aufgrund der heutzutage standardisierten Übertragungsverfahren zu erwarten sind, haben sich die Wahrnehmungen von "Unschärfe", "Rauschen" und "totalen Blockstörungen" als relevant erwiesen. Die unabhängige Beurteilung dieser Bildqualitätskomponenten ist in Block 40 (Fig. 3) graphisch dargestellt: In den Blöcken 44 bis 46 werden die Bildqualitätskomponenten "Unschärfe", "Rauschen" und "totale Blockausfälle" für die Eingangssignale von Original 14 und gestörtem Bild 15 unabhängig voneinander bewertet und als Ausgangssignale 41 bis 43 dem Block 50 (Fig. 1) zugeführt. Die Algorithmen zur Nachbildung der subjektiven Bewertung der relevanten Beurteilungsaspekte in den Blöcken 44 bis 46 (Fig. 3) wird im folgenden beschrieben.
1. Beurteilung der Unschärfe
Ein unscharfer Bildeindruck wird im wesentlichen durch eine Abnahme der hohen spatialen Anteile im Frequenzspektrum beim Vergleich von Original und gestörtem Bild verursacht. Diese Beobachtung liegt dem hier beschriebenen Algorithmus zur Simulation der subjektiven Schärfebeurteilung zugrunde. Das Prinzip ist in Fig. 4 dargestellt. Zunächst wird für das Original 110 und das gestörte Bild 140 in den Blöcken 120 und 150 das spatiale Frequenzspektrum berechnet. Nur für bestimmte Auszüge (131 bis 134 und 161 bis 164) aus diesen Spektren, die ausgewählten Orientierungen entsprechen, werden in den Blöcken 130 und 160 die höchsten übertragenen Frequenzen 141 bis 144 und 171 bis 174 ermittelt. In Block 181 bis 184 wird für die ausgewählten Orientierungen die Abnahme der höchsten übertragenen spatialen Frequenzen 141 bis 144 und 171 bis 174 vom Original 110 zum gestörten Bild 140 bestimmt. Erst in Block 190 werden die berechneten Frequenzabnahmen 185 bis 188 der verschiedenen Orientierungen zu einer objektiven Unschärfebewertung 191 zusammengefaßt.
Das in Fig. 4 nur schematisch wiedergegebene Verfahren zur Unschärfebeurteilung ist in Fig. 5 detaillierter dargestellt. Nach Bestimmung der spatialen Frequenzspektren in den Blöcken 120 und 160 werden - in Analogie zur Orientierungsselektivität des visuellen Systems des Menschen - nur vier Auszüge weiter ausgewertet, die bestimmten Orientierungen von Bildstrukturen im Original und gestörten Bild entsprechen, und zwar die horizontalen 134 und 164, vertikalen 131 und 161 und diagonalen Orientierungen 132, 133 und 162, 163. Für jeden dieser Auszüge aus dem zweidimensionalen Spektrum wird die höchste übertragene spatiale Frequenz folgendermaßen bestimmt: Alle Frequenzwerte einer logarithmischen Frequenzskala unterhalb einer (empirisch ermittelten) Schwelle 140 und 170 werden vernachlässigt. Von den oberhalb dieser Schwelle liegenden Werten wird derjenige mit der höchsten Frequenz ausgewählt, wobei sichergestellt werden muß (im einfachsten Fall z. B. durch Auswahl des fünft höchsten Frequenzwertes), daß nicht einzelne Werte, wie z. B. 177, die über der Schwelle liegen, fälschlicherweise die höchste übertragene Frequenz des Bildmotivs angeben. Auf diese Weise werden in den Blöcken 135 bis 138 und 165 bis 168 die höchsten Frequenzen 141 bis 144 und 171 bis 174 für alle vier Orientierungen von Original und gestörtem Bild ermittelt. Daraus wird in den Blöcken 181 bis 184 für jede der Orientierungen die Abnahme der höchsten Frequenz vom Original zum gestörten Bild bestimmt. Diese Abnahmen 185 bis 188 werden in Block 190 miteinander zur objektiven Schärfe- bzw. Unschärfebeurteilung kombiniert.
Bei der linearen Kombination der Frequenzabnahmen für die verschiedenen Orientierungen muß zwischen zweidimensionalen (2DTV) Fernsehbildern und dreidimensionalen (3DTV) Fernsehbildern unterschieden werden: Für die 2DTV- Beurteilung werden die horizontalen und vertikalen Orientierungen 185 und 188 stärker als die diagonalen Auszüge 186 und 187 gewichtet, was der Orientierungsempfindlichkeit der menschlichen Wahrnehmung entspricht. Dagegen muß den horizontalen Auszügen bei 3DTV-Bildern ein stärkeres Gewicht als allen anderen Auszügen gegeben werden, da bei der binokularen Wahrnehmung auch die Tiefenauflösung des visuellen System auf den horizontalen Komponenten beruht. Es hat sich gezeigt, daß allein schon die Auswertung der horizontalen Komponente der zweidimensionalen Frequenzspektren sowohl für 2DTV als auch für 3DTV eine gute Übereinstimmung der objektiven und subjektiven Unschärfebeurteilung liefert.
2. Bewertung des Rauschens
Die Rauschwahrnehmung wird in gestörten Bilden durch neue Bildpunkte im Original verursacht, deren Helligkeit und Farbe in keinem Zusammenhang mit dem vorhandenen Bildinhalt steht. Dadurch verringert sich die Redundanz des Bildinhalts im gestörten Bild. Diese Abnahme läßt sich mit Hilfe der Varianzen von Helligkeits- und Farbwerten beim Vergleich von Original und gestörtem Bild feststellen. Mit der "Varianz" ist hier die mittlere quadratische Abweichung der Helligkeitswerte vom Mittelwert gemäß der nachstehenden mathematischen Beziehung gemeint:
Das Original 110 und das gestörte Bild 130 (Fig. 6) werden dazu in eine Vielzahl gleich großer Teilbilder aufgeteilt. Eine Größe von vier mal vier Bildpunkten hat sich als optimal herausgestellt (Bildblöcke 401 und 421). Für alle Teilbilder wird in den Blöcken 400 und 420 die Varianz 402 und 422 der Helligkeitswerte berechnet. Durch eine zusätzliche Berücksichtigung der Farbwerte läßt sich die Übereinstimmung von objektiver und subjektiver Beurteilung verbessern. Anschließend werden für das Original und unabhängig davon für das gestörte Bild in den Blöcken 410 und 430 die Varianzen (402 und 422) aller Teilbilder aufsummiert. Die Rauschbewertung 441 ergibt sich aus der Berechnung der Zunahme der Varianzensummen 411 und 431 von Original 110 zum gestörtem Bild 140 in Block 440.
3. Bewertung totaler Blockstörungen
Bei der Transformationscodierung werden die zu übertragenden Bilder in kleine Teilbilder zerlegt, die unabhängig voneinander komprimiert werden. Das Ausmaß von Störungen in benachbarten Teilbildern (Bildblöcken) kann deshalb völlig verschieden sein. Bei starker Reduktion der Daten eines Bildblocks werden nur wenige der Transformationskoeffizienten übertragen - im Extremfall nur der Gleichanteil. Da die Bildblöcke unabhängig voneinander komprimiert werden, wird bei starker Reduktion die der Codierung zugrundeliegende Blockstruktur sichtbar. Besonders auffallend sind totale Blockstörungen. In Fig. 7 ist dargestellt, warum sie so besonders störend wirken: Ein Block (450) mit sehr starker Reduktion der Bildinformation ist von Blöcken (451 bis 454) umgeben, deren Informationsgehalt weit weniger reduziert ist. Eine solche totale Blockstörung läßt sich durch den Vergleich der Varianz von Farb- und Helligkeitswerten innerhalb eines solchen Bildblocks mit den Varianzen der benachbarten Bildblöcke rechnerisch erkennen. Die Störwirkung solcher Blockstörungen innerhalb eines Bildes wird durch die Summierung aller totalen Blockstörungen des komprimierten Bildes bestimmt.
In Fig. 8 ist das Prinzip wiedergegeben. Für alle Teilbilder 470 eines gestörten Bildes 130 wird in den Blöcken 475 und 480 überprüft, ob eine totale Blockstörung vorliegt oder nicht. Die Größe der Bildblöcke 470 muß dabei derjenigen der Transformationscodierung entsprechen (in der Regel acht mal acht Bildpunkte große Teilbilder). Die Detektion totaler Blockstörungen richtet sich nach dem Prinzip in Fig. 7: Zunächst wird für einen Bildblock 470 (Fig. 8) bzw. 450 (Fig. 7) in Block 475 überprüft, ob die Schwankung seiner Helligkeits- und Farbwerte unterhalb einer bestimmten Schwelle 1 liegt. Ist dies nicht der Fall (477), so wird der nächst folgende Bildblock überprüft (478). Ist die Schwankung kleiner (476) als der vorgegebene Schwellwert 1, dann werden die Schwankungen der Helligkeits- und Farbwerte der benachbarten Bildblöcke 451 bis 454 (Fig. 7) in Block 480 berechnet. Liegen die Schwankungen einer festgelegten Anzahl benachbarter Bildblöcke unterhalb (482) eines Schwellwertes 2, so liegt kein totaler Blockausfall vor und die Überprüfung des nächsten Bildblocks kann beginnen (478). Weisen genügend benachbarte Bildblöcke eine Schwankung ihrer Helligkeits- und Farbwerte auf, die über dem Schwellwert 2 liegt, so handelt es sich um einen totalen Blockausfall (481). Die Schwankung der Farb- und Helligkeitswerte in einem Teilbild wird durch Berechnung der Varianz des Teilbildes bestimmt:
Alle totalen Blockausfälle, die während der Untersuchung der Teilbilder eines Bildes registriert werden (481), werden in Block 490 aufsummiert. Die Anzahl aller während der Untersuchung eines Bildes festgestellten totalen Blockstörungen stellen ein Maß 491 für die subjektive Wahrnehmung totaler Blockaustalle dar. Sollte dieses Verfahren mit den gewählten Schwellwerten auch im Original (fälschlicherweise) totale Blockstörungen entdecken, so muß der für das gestörte Bild ermittelte Wert um den für das Original ermittelten Wert vermindert werden.
Normierung der objektiven Beurteilungen
Den objektiv ermittelten Beurteilungen muß für die Kombination in Block 50 (Fig. 1) eine einheitliche Skalierung zugrunde liegen. Deshalb müssen (nur einmal bei der ersten objektiven Bewertung) die Skalierungsfaktoren ermittelt werden, mit denen die objektiven Bewertungen an die (einheitliche) Skalierung der subjektiven Beurteilungen angepaßt werden können.
Bildung eines Qualitätsurteils für 2DTV-Bilder
Fig. 9 gibt einen Überblick über die einzelnen Schritte der objektiven Bildqualitäts­ bewertung. Aus dem Original 500 und dem gestörten Bild 510 werden im Block 40 die subjektiven Beurteilungen der Unschärfe 520, des Rauschens 530 und der totalen Blockausfälle 540 berechnet. Mit den schon beschriebenen Algorithmen werden diese Wahrnehmungen nachgebildet. Die objektiven Beurteilungen 521, 531 und 541 werden anschließend mit den Gewichten 31 bis 33 aus der subjektiven Analyse in Block 50 zunächst in 550, 560 und 570 bewertet. Die gewichteten objektiven Einzelbewertungen 551, 561 und 571 werden im Block 580 abschließend zur objektiven Bildqualitätsbewertung 581 summiert.
Die Abhängigkeit der in Block 40 ermittelten relevanten Beurteilungskomponenten und der in Block 50 verwendeten Gewichte von einer der subjektiven Analyse zugrundeliegenden Bilddatenbasis (Block 10 in Fig. 1) ist in Fig. 9 durch die gestrichelten Pfeile 511 bis 513 angedeutet.
Bildung eines Qualitätsurteils für 3DTV-Bilder
Die Verfahren zur Beurteilung der Bildqualität für 2DTV- und 3DTV-Bilder sind fast identisch. Der Unterschied besteht darin, daß jedem einzelnen Bild bei der 2DTV- Bewertung zwei Bilder bei der 3DTV-Bewertung entsprechen (Fig. 10): Jedes 3DTV- Bild (601) besteht aus einem Bild 602 für das linke Auge und einem 603 für das rechte Auge.
Für die beiden Bilder eines originalen (600) und eines gestörten (610) stereoskopischen Bildpaares werden in Block 40 zunächst die monokularen Bewertungen (621 und 622 für die Unschärfe) berechnet. Im Unterschied zur 2DTV-Bewertung müssen die monokularen Bewertungen durch die Bildung des arithmetischen Mittelwertes zur binokularen Bewertung 623, 633 und 643 jeder Bildqualitätskomponente zusammengefaßt werden. Nach der Normierung werden die objektiven Bewertungen 626, 636 und 646 in 650, 670 und 680 gewichtet. Diese gewichteten Bewertungen werden in 680 zu einer 3DTV-Bildqualitätsbeurteilung aufsummiert. Die Abhängigkeit von den in der Bilddatenbasis vorhandenen Störungen ist mit den gestrichelten Pfeilen 611 bis 613 angedeutet.

Claims (9)

1. Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder, welche durch datenreduzierende Quellencodierung eines digitalisierten ursprünglichen Bildes erzeugt werden, dadurch gekennzeichnet, daß zwei oder mehrere subjektive Störungswahrnehmungen durch jeweils einen gesonderten Algorithmus simuliert werden, daß die Simulationsalgorithmen auf das bzw. jedes zu bewertende Bild angewandt werden, um für jede Störungswahrnehmung einen Meßwert zu ermitteln, daß die ermittelten Meßwerte entsprechend der unterschiedlichen Auswirkungen ihrer korrespondierenden Störungswahrnehmungen auf die Bildqualität gewichtet werden und daß die gewichteten Meßwerte miteinander zu einem objektiven Bewertungsmaß kombiniert werden.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß ein Algorithmus zur Simulation der Unschärfewahrnehmung vorgesehen ist, welcher das Fehlen bzw. eine signifikante Abnahme hoch frequenter, spatialer Frequenzanteile auswertet.
3. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß von den hochfrequenten spatialen Frequenzanteilen die horizontalen Komponenten für die Bewertung der Unschärfe dreidimensionaler Bilder stärker berücksichtigt werden als die vertikalen und diagonalen Komponenten.
4. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß von den hochfrequenten spatialen Frequenzanteilen die horizontalen und vertikalen Komponenten für die Bewertung der Unschärfe zweidimensionaler Bilder gleichgewichtig und stärker als die diagonalen Komponenten berücksichtigt werden.
5. Verfahren nach Anspruch 1, bei dem das zu bewertende Bild aus einer Vielzahl von Bildblöcken mit jeweils gleicher, vorbestimmter Anzahl von Bildpunkten besteht, dadurch gekennzeichnet, daß ein Algorithmus zur Simulation der Rauschwahrnehmung vorgesehen ist, welcher folgende Schritte umfaßt:
  • a) innerhalb jedes Bildblockes des zu bewertenden Bildes und des ursprünglichen Bildes wird die Schwankung ("Varianz") der Leuchtdichte oder Farbinformation sämtlicher Bildpunkte um den Mittelwert des betreffenden Blockes ermittelt;
  • b) die Varianzen aller Bildblöcke des zu bewertenden Bildes werden aufsummiert;
  • c) die Varianzen aller Bildblöcke des ursprünglichen Bildes werden aufsummiert;
  • d) die aufsummierten Varianzen des zu bewertenden Bildes werden verglichen mit den aufsummierten Varianzen des ursprünglichen Bildes, und
  • e) eine Zunahme der Varianzensumme des zu bewertenden Bildes gegenüber der Varianzensumme des ursprünglichen Bildes wird als Maß für die Rauschwahrnehmung herangezogen.
6. Verfahren nach Anspruch 1, bei dem das zu bewertende Bild aus einer Vielzahl von Bildblöcken mit jeweils gleicher, vorbestimmter Anzahl von Bildpunkten besteht, dadurch gekennzeichnet, daß ein Algorithmus zur Feststellung von Totalstörungen einzelner oder mehrerer Bildblöcke vorgesehen ist, welcher folgende Schritte umfaßt:
  • a) Innerhalb jedes Bildblockes des zu bewertenden Bildes wird die Schwankung ("Varianz") der Leuchtdichte oder Farbinformation sämtlicher Bildpunkte um den Mittelwert des betreffenden Blockes ermittelt;
  • b) falls die Varianz eines Bildblockes unterhalb eines vorgegebenen Schwellwertes liegt, wird festgestellt, ob die Varianzen von umliegenden Bildblöcken ebenfalls unterhalb des vorgegebenen Schwellwertes liegen;
  • c) bei gehäuftem Auftreten von Varianzen unterhalb des vorgegebenen Schwellwertes in den umliegenden Bildblöcken wird entschieden, daß keine Totalstörung des geprüften Bildblockes vorliegt,
wobei die Gesamtzahl der als totalgestört festgestellten Bildblöcke des zu bewertenden Bildes eine Maß für die Blockstörungen des Bildes sind.
7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, daß die festgestellten Störungswahrnehmungen für Unschärfe stärker gewichtet werden als Rauschwahrnehmungen und die Wahrnehmung von Blockstörungen.
8. Verfahren nach einem der Ansprüche 1 bis 7, für dreidimensionale stereoskopische Bilder, welche jeweils aus einem linken und rechten, zweidimensionalen Bild bestehen, dadurch gekennzeichnet, daß für jedes linke und rechte Bild getrennt die einzelnen Störungswahrnehmungen ermittelt werden, daß die einzelnen ermittelten Störungswahrnehmungen jeweils für das linke und rechte Bild gemittelt werden, und daß alle gemittelten Störungswahrnehmungen miteinander gewichtet werden.
DE19521408A 1995-06-13 1995-06-13 Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder Expired - Lifetime DE19521408C1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE19521408A DE19521408C1 (de) 1995-06-13 1995-06-13 Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE19521408A DE19521408C1 (de) 1995-06-13 1995-06-13 Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder

Publications (1)

Publication Number Publication Date
DE19521408C1 true DE19521408C1 (de) 1996-12-12

Family

ID=7764224

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19521408A Expired - Lifetime DE19521408C1 (de) 1995-06-13 1995-06-13 Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder

Country Status (1)

Country Link
DE (1) DE19521408C1 (de)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000048407A1 (en) * 1999-02-11 2000-08-17 British Telecommunications Public Limited Company Analysis of video signal quality
WO2002049369A2 (en) * 2000-12-12 2002-06-20 Koninklijke Philips Electronics N.V. System and method for providing a scalable dynamic objective metric for automatic video quality evaluation
WO2002056605A1 (en) * 2001-01-10 2002-07-18 Koninklijke Philips Electronics N.V. Scalable objective metric for automatic video quality evaluation
DE10112528A1 (de) * 2001-03-15 2002-09-19 Rohde & Schwarz Verfahren und Prüfvorrichtung zur Prüfung der elektromagnetischen Verträglichkeit von Bildschirmgeräten
WO2002087259A1 (en) * 2001-04-25 2002-10-31 Koninklijke Philips Electronics N.V. Apparatus and method for combining random set of video features in a non-linear scheme to best describe perceptual quality of video sequences using heuristic search methodology
WO2003005726A2 (en) * 2001-07-03 2003-01-16 Koninklijke Philips Electronics N.V. Method of measuring digital video quality
WO2004008780A1 (en) * 2002-07-17 2004-01-22 Koninklijke Philips Electronics N.V. A method and apparatus for measuring the quality of video data
EP1433117A1 (de) * 2001-08-01 2004-06-30 Teranex, Inc. Verfahren zur messung und analyse der digitalen videoqualität
WO2005125220A1 (de) * 2004-06-18 2005-12-29 Rohde & Schwarz Gmbh & Co. Kg Verfahren und vorrichtung zur bewertung der güte eines signals
US7133066B2 (en) 2000-03-31 2006-11-07 British Telecommunications Public Limited Company Image processing
US7233348B2 (en) 2000-05-26 2007-06-19 British Telecommunications Public Limited Company Test method
WO2011105988A1 (en) * 2010-02-24 2011-09-01 Thomson Licensing Split screen for 3d

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4029019C1 (en) * 1990-09-13 1991-06-20 Institut Fuer Rundfunktechnik Gmbh, 8000 Muenchen, De Electrically correcting TV signals according to stereoscopic points - influencing size, positioning and geometry of picture using electronic units of TV cameras

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4029019C1 (en) * 1990-09-13 1991-06-20 Institut Fuer Rundfunktechnik Gmbh, 8000 Muenchen, De Electrically correcting TV signals according to stereoscopic points - influencing size, positioning and geometry of picture using electronic units of TV cameras

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000048407A1 (en) * 1999-02-11 2000-08-17 British Telecommunications Public Limited Company Analysis of video signal quality
US7715592B1 (en) 1999-02-11 2010-05-11 British Telecommunications Public Limited Company Analysis of video signal quality
US7133066B2 (en) 2000-03-31 2006-11-07 British Telecommunications Public Limited Company Image processing
US7233348B2 (en) 2000-05-26 2007-06-19 British Telecommunications Public Limited Company Test method
WO2002049369A3 (en) * 2000-12-12 2002-09-26 Koninkl Philips Electronics Nv System and method for providing a scalable dynamic objective metric for automatic video quality evaluation
WO2002049369A2 (en) * 2000-12-12 2002-06-20 Koninklijke Philips Electronics N.V. System and method for providing a scalable dynamic objective metric for automatic video quality evaluation
WO2002056605A1 (en) * 2001-01-10 2002-07-18 Koninklijke Philips Electronics N.V. Scalable objective metric for automatic video quality evaluation
DE10112528A1 (de) * 2001-03-15 2002-09-19 Rohde & Schwarz Verfahren und Prüfvorrichtung zur Prüfung der elektromagnetischen Verträglichkeit von Bildschirmgeräten
WO2002087259A1 (en) * 2001-04-25 2002-10-31 Koninklijke Philips Electronics N.V. Apparatus and method for combining random set of video features in a non-linear scheme to best describe perceptual quality of video sequences using heuristic search methodology
WO2003005726A2 (en) * 2001-07-03 2003-01-16 Koninklijke Philips Electronics N.V. Method of measuring digital video quality
WO2003005726A3 (en) * 2001-07-03 2003-05-22 Koninkl Philips Electronics Nv Method of measuring digital video quality
CN1299515C (zh) * 2001-07-03 2007-02-07 皇家菲利浦电子有限公司 一种处理数字图像的输入序列的方法
EP1433117A4 (de) * 2001-08-01 2006-05-17 Teranex Inc Verfahren zur messung und analyse der digitalen videoqualität
EP1433117A1 (de) * 2001-08-01 2004-06-30 Teranex, Inc. Verfahren zur messung und analyse der digitalen videoqualität
WO2004008780A1 (en) * 2002-07-17 2004-01-22 Koninklijke Philips Electronics N.V. A method and apparatus for measuring the quality of video data
WO2005125220A1 (de) * 2004-06-18 2005-12-29 Rohde & Schwarz Gmbh & Co. Kg Verfahren und vorrichtung zur bewertung der güte eines signals
AU2005255982B2 (en) * 2004-06-18 2009-08-20 Rohde & Schwarz Gmbh & Co. Kg Method and device for evaluating the quality of a signal
WO2011105988A1 (en) * 2010-02-24 2011-09-01 Thomson Licensing Split screen for 3d
CN102771113A (zh) * 2010-02-24 2012-11-07 汤姆逊许可证公司 用于3d的分割屏幕

Similar Documents

Publication Publication Date Title
DE60020795T2 (de) Echtzeitmodellierung des Verhaltens menschlicher Sehvermögenssysteme
DE69910358T2 (de) Verfahren und vorrichtung zur objektiven bewertung der videoqualität
DE69937276T2 (de) In-Betrieb-Echtzeitanalyse der Bildqualität
DE69837728T2 (de) Adaptives Filter
DE602004010683T2 (de) Verfahren und vorrichtung zur modellierung von filmkorn-mustern im frequenzbereich
DE60020019T2 (de) Prüfung der Dekodierung von Bitströmen
DE60307967T2 (de) Bildverarbeitungsverfahren für die untersuchung des erscheinungsbildes
DE19521408C1 (de) Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder
DE102005025629A1 (de) Bildverarbeitungsverfahren zur Reduzierung von Blocking-Artefakten
DE60005798T2 (de) Analyse der qualität von videosignalen
EP1648174A1 (de) Verfahren und Anordnung zur Reduktion von Codierungsartefakten von blockbasierten Bildcodierungsverfahren und objektbasierten Bildcodierungsverfahren
DE69929127T2 (de) Bildqualitätsmessung durch die Gegenwart von Blöcken
EP3073924A1 (de) Auswertung eines während einer mammographie erzeugten röntgenbildes einer brust
DE102005010076A1 (de) Bildbearbeitungsverfahren für ein digitales medizinisches Untersuchungsbild und zugehörige Untersuchungseinrichtung
EP1383322A2 (de) Verfahren zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes
DE69831130T2 (de) Vorrichtung, Verfahren und Aufzeichnungsmedium zur Video-Inspektion
DE60217243T2 (de) Zeitverarbeitung für eine Echtzeitmodellierung vom Verhalten des menschlichen Sehvermögensystems
EP2064898B1 (de) Vorrichtung zum bestimmen von informationen zur zeitlichen ausrichtung zweier informationssignale
DE60004852T2 (de) Verfahren zur qualitätsbeurteilung von audiovisuellen sequenzen
EP2023638A2 (de) Verfahren zur Reduktion von Bildartefakten
DE10024374B4 (de) Verfahren und Vorrichtung zum Messen des in einem Bild enthaltenen Rauschens
EP0897247A2 (de) Verfahren zur Berechnung von Bewegungsvektoren
EP3655920B1 (de) Verfahren und vorrichtung zur bewertung von bildausschnitten für eine korrespondenzbildung
DE60306800T2 (de) Verfahren und system zur messung von videobildverschlechterung, hervorgerufen durch kodierung zur bitratenreduktion
EP3853816A1 (de) Computerimplementiertes verfahren zur komprimierung von messdaten aus einer messung eines messvolumens

Legal Events

Date Code Title Description
8100 Publication of patent without earlier publication of application
D1 Grant (no unexamined application published) patent law 81
8364 No opposition during term of opposition
R071 Expiry of right