DE69936029T2 - Methode und verfahren zur erzeugung von einzelbildern aus einer sequenz von quellenbildern durch herstellung eines oder mehrerer direkt vor den quellenbildern sich befindlichen zwischenbildern - Google Patents

Methode und verfahren zur erzeugung von einzelbildern aus einer sequenz von quellenbildern durch herstellung eines oder mehrerer direkt vor den quellenbildern sich befindlichen zwischenbildern Download PDF

Info

Publication number
DE69936029T2
DE69936029T2 DE69936029T DE69936029T DE69936029T2 DE 69936029 T2 DE69936029 T2 DE 69936029T2 DE 69936029 T DE69936029 T DE 69936029T DE 69936029 T DE69936029 T DE 69936029T DE 69936029 T2 DE69936029 T2 DE 69936029T2
Authority
DE
Germany
Prior art keywords
images
image
source
pixels
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE69936029T
Other languages
English (en)
Other versions
DE69936029D1 (de
Inventor
Patrick F. Meijers
Hendrik Dijkstra
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of DE69936029D1 publication Critical patent/DE69936029D1/de
Application granted granted Critical
Publication of DE69936029T2 publication Critical patent/DE69936029T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/12Systems in which the television signal is transmitted via one channel or a plurality of parallel channels, the bandwidth of each channel being less than the bandwidth of the television signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/261Image signal generators with monoscopic-to-stereoscopic image conversion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/0132Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the field or frame frequency of the incoming video signal being multiplied by a positive integer, e.g. for flicker reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)
  • Liquid Crystal Display Device Control (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

  • HINTERGRUND DER ERFINDUNG
  • Die vorliegende Erfindung bezieht sich auf ein Verfahren nach dem Oberbegriff des Anspruchs 1. US 4.736.248 beschreibt, wie Wiedergabebilder erzeugt werden sollen durch Interpolation zwischen Quellenbildpaare. Der Transformationsalgorithmus wird von Punktpaaren hergeleitet, die in den beiden aufeinander folgenden Quellenbildern auftreten. Die Interpolation benutzt dieselbe Transformation für andere Pixelpaare, die in diesen beiden Quellenbildern auftreten. Manchmal ist ein bestimmtes Quellenpixel in nur einem Bild der zwei Quellenbildern vorhanden, so dass nur für dieses bestimmte Quellenpixel Extrapolation effektuiert werden muss. Das oben genannte Patent beabsichtigt die Bildrenderung in einer dynamischen Luftbildvermessung zu verbessern.
  • Ein anderer Anwendungsbereich betrifft weitgehend interaktive Computerspiele und ähnliche Multimediaumgebungstypen. In diesem Bereich ist es wichtig, über eine hohe Bildrate verfügen zu können, so dass wiedergegebene Bewegung möglicht geschmeidig ist. Im Grunde wird dies auch eine minimale Latenz zwischen vom Benutzer ausgelösten Ereignissen und damit verbundener sichtbarer Rückkopplung ergeben. Dies ist besonders wichtig für Navigationssteuerung, wie in Flugsimulationsspielen. Es wurde bereits vorgeschlagen, die Bildrate auf einen Wert zu steigern, der vergleichbar ist mit der Wiedergabeerneuerungsrate, die 60-72 Hz sein kann. Weiterhin hat es sich herausgestellt, dass Virtual Reality (VR) Systeme eine niedrige Latenz brauchen um einen Benutzer vor Bewegungskrankheit zu schützen. Der allgemeine Gebrauch aber von Interpolation nach dem Bezugsmaterial wird eine zusätzliche Latenz einführen, weil die jeweiligen Interpolarisationsparameter nur nach Empfang des späteren Quellenbildes bekannt sein wird, sogar, wenn unter allen Pixeln bestimmte Wiedergabebildpixel nur von vergangenen Quellenbildpixeln abhängig sein wird.
  • ZUSAMMENFASSUNG DER ERFINDUNGG
  • Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, die Latenzzunahme, verursacht durch die Gesamtinterpolation, zu vermeiden. Dazu ist nach einem der As pekte die vorliegende Erfindung gekennzeichnet entsprechend dem kennzeichnenden Teil des Anspruchs 1. Der Z-Puffer wird während der Renderung der Quellenbilder erzeugt, was kein Teil der vorliegenden Erfindung ist. Der Z-Puffer kann zum Umwandeln der 2-D-Bilder in 3-D-Raum benutzt werden, so dass Änderungen in Perspektive sowie beliebige 3-D Kameradrehungen und geradlinige Verlagerungen implementiert werden können (Gleichung 8). Diese zwei Transformationstypen sind die Hauptursachen für die Änderung einer Szene.
  • Ein spezifisches Problem, verursacht durch Extrapolation, ist, dass ein Szenenteil, der in einem früheren Quellenbild verdunkelt wurde, danach in einem extrapolierten Bild enthüllt wird, weil das verdunkelnde Objekt auf eine transversale Weise gegenüber dem verdunkelten Teil sich verlagert hat. Eine Lösung wird erreicht durch eine laterale Extrapolation von benachbarten Pixeln, die in dem vorhergehenden Quellenbild nicht einer Verdunklung ausgesetzt worden sind. Die Extrapolation kann zusammen mit der oder entgegen die Abtastrichtung stattfinden. Wenn die Extrapolation auf ein Hintergrundmuster oder eine andere Entität mit einer groben Körnigkeit angewandt wird, ist das Ergebnis meistens effektiv oder nahezu effektiv. Andererseits wird der Effekt eines kleinen Items, das plötzlich von hinter einem verdunkelnden Objekt aufgedeckt wird, ignoriert, bis das nächste Quellenbild eintrifft. Meistens ist der Effekt dieser Vortäuschung zulässig. Im Gegensatz zu dem Obenstehenden würde eine Beschränkung der Extrapolation auf eine 2-D-affine Transformation oft unangemessene Verzerrungen in den extrapolierten Bildern schaffen, weil ein bisheriger verdunkelnder aber verlagerter Teil nun um einen großen Teil erweitert wird. Dieses Problem wird dadurch gelöst, dass die Extrapolation speziell von der Tiefe (zv2) abhängig gemacht wird, ausgedrückt in den Sichtkoordinaten der Gleichung 12.
  • Eine Wiedergabesequenz kann aus den Quellenbildern zusammen mit Zwischenbildern bestehen. Auf alternative Weise können alle oder bestimmte Quellenbilder unbenutzt bleiben, unter der Bedingung aber, dass die Zwischenbilder oft genug auftreten. Die erfindungsgemäße Technologie hält die Bildlatenz klein. Andererseits kann das Wiedergeben von Wiedergabebildern oft die Latenz auf einen unerwünschten Betrag steigern.
  • Die vorliegende Erfindung bezieht sich auch auf eine bildbasierte Anordnung zum Praktizieren des genannten Verfahrens. Weitere vorteilhafte Aspekte der vorliegenden Erfindung sind in den Unteransprüchen definiert.
  • Die vorliegende Erfindung ermöglicht die Berechnung von Pixelverlagerungen zum Bilden von Zwischenbildern zwischen Bildern, die von der 3-D Renderungspipeline selber erzeugt worden sind. Die Verlagerungen können während der Abtastumwandlung der Quellenbilder zunehmend berechnet werden, und zwar durch eine konsistente Verwendung von Ergebnissen, erreicht für ein unmittelbar angrenzendes Pixel längs der Abtastlinie. Dies erfordert für das nächste Pixel nur eine geringe Anzahl arithmetischer Berechnungen auf Basis früher behandelter Pixel.
  • Die vorliegende Erfindung ermöglicht die Verwendung bekannter Kamerabewegung in Bezug auf ein jüngstes Quellenbild zum Erzeugen augenblicklicher Kohärenz zwischen Pixeln dieses Quellenbildes und Pixeln eines unmittelbar nachfolgenden synthetisierten Wiedergabebildes nach der Gleichung 9.
  • KURZE BESCHREIBUNG DER ZEICHNUNG
  • Ausführungsbeispiele der vorliegenden Erfindung sind in der Zeichnung dargestellt und werden im Folgenden näher beschrieben. Es zeigen:
  • 1A1C drei ein Wiedergabebild erzeugende Verfahren;
  • 2 eine schaubildliche Übersicht der Erzeugung;
  • 3 Beziehungen zwischen Anordnungs- und Sehkoordinaten;
  • 4 dasselbe in Perspektive gesehen,
  • 5 eine Anordnung zum Implementieren der vorliegenden Erfindung,
    Tabelle 1 gibt mehrere mathematische Ausdrücke.
  • DETAILLIERTE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
  • 1A zeigt ein erstes Verfahren zum Steigern der Wiedergaberate. Die obere Reihe hat eine Zeitsequenz räumlich einheitlich verteilter Quellenbilder "a". Zwischen jedes Paar aneinander grenzender Quellenbilder wird ein zusätzliches Bild "b" interpoliert, wie durch Pfeile angegeben. Durch Verwendung der beiden ursprünglichen "a" Bilder sowie der interpolierten "b" Bilder als Wiedergabebilder, wird die Rate verdoppelt. Die Latenz ist beträchtlich, weil ein b Bild nicht erzeugt werden kann, bevor das nächste a Bild verfügbar geworden ist.
  • 1B zeigt ein zweites Verfahren zur Steigerung der Wiedergabebildrate. Zwischen jedes Paar aneinander grenzender Quellenbilder wird eine zusätzliches Bild "c" extrapoliert, das ausschließlich auf dem letzten vorhergehenden "a" Bild basiert, was durch Pfeile angegeben ist. Um sie als Wiedergabebilder zu verwenden, werden die ursprünglichen "a" Bilder und die interpolierten "c" Bilder die Rate verdoppeln. Die Latenz ist kleiner als in 1A, weil ein "c" Bild unmittelbar erzeugt werden kann, wenn ein vorhergehendes "a" Bild verfügbar geworden ist.
  • 1C zeigt ein drittes Verfahren zur Steigerung der Wiedergabebildrate. Zwischen jedes Paar zwischen liegender aneinander grenzender Quellenbilder wird ein zusätzliches "d" Bild extrapoliert, und zwar ausschließlich basiert auf das letzte vorhergehende "a" Bild, wie durch Pfeile angegeben. Im Gegensatz zu 1B ist die Verzögerung zwischen einem Quellenbild und dem extrapolierten "d" Bild nicht einheitlich. Die Verwendung der Hälfte der ursprünglichen "a" Bilder sowie der interpolierten "d" Bilder wird die Rate um einen Faktor von 50% steigern. Die Latenz ist kleiner als in 1A, weil ein "d" Bild unmittelbar erzeugt werden kann, wenn das vorhergehende "a" Bild verfügbar geworden ist.
  • 2 zeigt eine schaubildliche Übersicht der Erzeugungsumgebung, wie auf einem XYZ-Koordinatensystem basiert. Die wirkliche Kameraposition Informationssignal im Original mit der Sehachse in der negativen Z-Richtung; die Kamera hat eine "aufwärts" Richtung längs der Y-Achse.
  • 3 zeigt geometrische Beziehungen zwischen Anordnung und Sehkoordinaten. Die Kamera ist wieder in dem Ursprung mit der Achse in der negativen Z-Richtung. Die horizontale Achse in der Figur ist die Xview Achse, die Yview Achse ist senkrecht zu der Zeichenebene. Das Objekt OBJ ist projiziert zur Wiedergabe an dem Schirm mit der x Koordinate xs. Wie dargestellt hat die Figur eine perspektivische oder zentrale Projektion. Eine parallele Projektion ist eine denkbare Alternative.
  • 4 zeigt diese Geometrie in einem dreidimensionalen Raum. Ganz links ist der Augenpunkt der Kameraposition. Die Fernbegrenzungsebene fcp auf der rechten Seite und die Nahbegrenzungsebene ncp in der Mitte stehen senkrecht auf der Sehachse, und zusammen begrenzen sie ein Sehwinkelkegelstumpf. Ähnliche Begrenzungsebenen erstrecken sich in der x- und in der y-Richtung. In der Projektionsebene sind die mit einem Vorzeichen versehene Abstände oben, unten, links und rechts angegeben. Weiterhin sind die Abstände nah und fern zwischen dem Ursprung und der Projektionsebene und der Objektebene angegeben. Auch der Höhenwinkel fi ist dargestellt.
  • 5 zeigt eine Anordnung zum Implementieren der vorliegenden Erfindung. Der Aufsatz zentriert sich um den Kommunikationsbus 20 und den Hauptspeicher 30 herum. Die zu verarbeitende Information wird dem Speicher entnommen und den Verarbeitungsmodulen 22, 24, 26 zugeführt, die in Reihe geschaltet sind um aufeinander folgende Vorgänge zu symbolisieren, wie diese in den nachfolgenden Tabellen aufgereiht sind. Die Verarbeitungsmodule können kollektiv auf gemeinsamer Hardware, wie einer CPU, abgebildet werden. Nach Verarbeitung und möglicherweise einer erreichen die aufeinander folgenden Wiedergabebilder das Subsystem 34 zur Wiedergabe an einen Benutzer. Das gesamte Steuersystem 28 ist über Steuerleitungen 23, 25, 27 mit den Verarbeitungsmodulen verbunden, was über den Bus 20 laufen kann. Auf diese Weise können die Daten in der CPU in ein Bild umgesetzt werden. Das Steuersystem 28 kann Steuer- und Datensignale von mehreren Quellen empfangen, wie manuelle oder andere Eingaben 32 von einem wirklichen Benutzer, externe Signale von anderen Benutzern in einer interaktiven Umgebung, oder von Kameras oder weiteren Subsystemen, die der Kürze wegen nicht dargestellt sind.
  • MATHEMATISCHE FORMULIERUNG DER PROZEDUREN
  • Im Allgemeinen kann durch Kameradrehung, -translation oder Zoombewegungen der komplette Bildinhalt sich mit der Zeit ändern. Wenn die geometrischen Beziehungen zwischen der vorhergehenden Kameraposition und -richtung und der neuen Kameraposition und -richtung bekannt sind, wird die Kohärenz zwischen den Pixeln des alten Quellenbildes und des neuen zu extrapolierenden zwischen liegenden Wiedergabebildes auch bekannt sein. Die Tabelle 1 gibt mehrere mathematische Ausdrücke, einschließlich Beziehungen zwischen mehreren Koordinaten, wie Sehraumkoordinaten, Projektionskoordinaten, normalisierten Anordnungskoordinaten und Schirm-Raumkoordinaten.
  • Zunächst ist die Gleichung (1) die schaubildliche Projektionsmatrix. Sie definiert die jeweiligen Größen nah, fern, oben, unten links und rechts in Bezug auf Ebenenpositionen des in 4 dargestellten Sehstumpfes; es kann aber auch ein asymmetrischer Stumpf verwendet werden. Danach definieren die Gleichungen (3) die Verwendung des Höhenwinkels fi und das Seitenverhältnis "a" um weiterhin den Sehkegel zu spezifizieren. Die Gleichung (4) drückt die Beziehungen zwischen den Projektionskoordinaten (postscript p) und homogenen Sehkoordinaten (postscript v) über die Projektionsmatrix P. Andere Projektionen, wie orthogonal sind auch denkbar. Die Gleichung (5) gibt normali sierte Anordnungskoordinaten (subscript n). Zum Schluss gibt die Gleichung (6) die Schirmkoordinaten (postscript s). Eine eindeutige Einfügung leitet die endgültigen Beziehungen zwischen Schirmkoordinaten und Sehkoordinaten her, wie in (7) gegeben. Unter Verwendung von {xv1, yv1, zv1} und {xs1, ys1} als die Koordinaten in dem Quellenbild lässt sich {xv1, yv1} entsprechend der Gleichung (8) schreiben.
  • Die Matrixtransformation der Sehkoordinaten durch Kamerabewegung und/oder Objektänderungen ist in (9) gegeben. Die Gleichung (10) gibt die Koordinaten in dem extrapolierten Bild, so dass die Ausdrücke für (xs2, ys2) eindeutig gefunden werden können, wie in (11) gegeben. Weiterhin ist (12) der Ausdruck für zv2. Nun ist fz linear auf die Schirmkoordinaten xs1 und ys1 bezogen, und fz kann nun zunehmend während der Abtastung berechnet werden durch Hinzufügung eines konstanten Deltas, d.h. der Zeitabgeleiteten der Bewegung. Folglich erfordert die Berechnung zv Folgendes:
    • – Hinzufügen von Delta zu fz
    • – Multiplizieren mit zv1
    • – Hinzufügen von m23.
  • Weiterhin können xs2 und ys2 entsprechend dem Ausdruck (13) geschrieben werden. Auch fx und fy beziehen sich linear zu den Schirmkoordinaten xs1 und ys1, so dass sie auch zunehmend durch Hinzufügung eines konstanten Deltas berechnet werden können. Deswegen erfordert die zunehmende Berechnung von xs2 und ys2 Folgendes, und zwar zusätzlich zu der Berechnung von zx2:
    • – Berechnen von zv2 reziprok (d.h. 1 teilen durch zv2)
    • – Hinzufügen von Delta zu fy
    • – Multiplizieren der beiden Ergebnisse mit zv1
    • – Hinzufügen der beiden Produkte zu h·k·m03/2 und h·k·m13/2
    • – Multiplikation der beiden Ergebnisse mit dem Reziprokwert von zv2
    • – Hinzufügen zu w/2 und h/2.
  • Das Obenstehende fügt bis zu acht Additionen, fünf Multiplikationen und eine Division hinzu.
  • Weiterhin werden viele Spielapplikationen ein oder mehrere Objekte am Schirm präsentieren, was ein dynamisches Verhalten bietet, das unabhängig von der Kamerabewegung ist. Dieses Verhalten kann durch eine relative Transformation in Bezug auf die Kamera für jedes derartige Objekt dargestellt werden, das meistens als ein einzi ger starrer Körper dargestellt wird, oder als Zusammensetzung bestehend aus mehreren mit einander verbundenen starren Körpern. Objektbewegung kann durch Multiplikation der Kameratransformationsmatrix Mcam mit der Starrkörpertransformation Mobj für alle Pixel des betreffenden Objektes. Daraufhin werden die oben beschriebenen Verlagerungsfunktionen die Bewegungsvektoren der jeweiligen Pixel berechnen. Jedes Pixel soll einen Identifizierer des Objektes haben, zu dem es gehört, wobei diese Identifikation weiterhin auf die schlussendliche Transformationsmatrix M = Mcam·Mobj dieses Objektes in dem Sehraum des jüngsten gerenderten Quellenbildes zeigt. Dies kann durch Einführung einer zusätzlichen Beschreibungsebene eingeführt werden, die Objekt- oder Matrixzeiger enthält. Meistens wird die Anzahl der artiger Körper in einer Szene kleiner sein als 256, so dass ein zusätzliches Byte je Pixel ausreichen dürfte. Die Objektebene kann auf effiziente Weise durch Lauflängencodierung RLE komprimiert werden, da die Ebene meistens große Gebiete einheitlich bewerteter Pixel enthalten, die zu einem einzigen starren Körper gehören.
  • TABELLE
    Figure 00080001
  • Symmetrischer Sehrkegelstumpf, gegeben durch: b = –t; l = –r (2)
  • Verwendung des Höhenwinkels fi und des Seitenverhältnisses a zum Spezifizieren des Kegelstumpfes: k = 1/Tan[2 fi] a = w/h; t = n/k; r = ta; (3)
  • Projektionskoordinaten:
    • {xp, yp, zp, wp} = P·{xv, yv, zv, 1}; (4)
  • Normalisierte Anordnungskoordinaten:
    • {xn, yn} = {xp, yp}/wp; (5)
  • Schirmkoordinaten:
    • {xs, ys} = {12 1 w(xn + 1), 12 2h(yn + 1)}; (6)
  • Was durch Substitution der nachfolgenden Gleichung entspricht:
    Figure 00090001
  • Folglich kann unter Verwendung von {xv1, yv1, zv1} und {xs1, ys1} als die Koordinaten in dem Quellenbild, {xv1, yv1} wie folgt geschrieben werden:
    Figure 00090002
  • Die Matrixtransformation der Sehkoordinaten durch die Kamera- und/oder Objektänderungen:
    Figure 00090003
  • Koordinaten in dem Zwischenbild: {xv2, yv2, zv2, wv2} = M·{xv1, yv1, zv1, 1}; (10)
  • Folglich:
    Figure 00090004
    und zv2 ist gleich:
    Figure 00100001
  • fz ist linear bezogen auf die Schirmkoordinaten xc1 und ys1, so dass fz zunehmend berechnet werden kann, durch Hinzufügung einer konstanten Delta während der Abtastumwandlung. Folglich erfordert die zunehmende Berechnung von zv2:
    • – Hinzufügung von Delta zu fz
    • – Multiplikation mit zv1
    • – Hinzufügung zu m23
    xs2 und ys2 lassen sich wie folgt neu schreiben:
    Figure 00100002
  • Auch fx und fy sind linear auf die Schirmkoordinaten xs1 ud ys1 bezogen, so dass sie zunehmend berechnet werden können, und zwar durch Hinzufügung einer konstanten Delta. Auf diese Weise erfordert die zunehmende Berechnung von xs2 und ys2 Folgendes: (zusätzlich zu der Berechnung von xv2):
    • – Berechnung von zv2 reziprok (1 teilen durch zv2)
    • – Hinzufügung von Delta zu fx und Hinzufügung von Delta zu fy
    • – Multiplikation der beiden Ergebnisse mit zv1
    • – Hinzufügen zu h k m03/2 und h k m13/2,
    • – Multiplizieren der beiden Ergebnisse mit dem Reziprokwert zv2
    • – Hinzufügen zu w/2 und h/2.
    • Insgesamt gibt es: 1 Teilung, 5 Multiplikationen, and 8 Additionen!

Claims (10)

  1. Verfahren zur Wiedergabe einer ersten Folge von Wiedergabebildern, wobei dieses Verfahren die nachfolgenden Verfahrensschritte umfasst: – das Empfangen einer zweiten Folge von Quellenbildern mit einer Quellenbildrate, und das Synthetisieren eines oder mehrerer zwischen liegender Bilder durch Anwendung eines geometrischen Transformationsverfahrens, und zwar auf Basis der genannten zweiten Folge für ein Paar unmittelbar aneinander grenzender Quellenbilder, dadurch gekennzeichnet, dass jedes zwischen liegendes Bild ausschließlich auf einem unmittelbar vorhergehenden Quellenbild basiert, durch Extrapolation von Kameratransformationen, und durch, auf Basis von Z-Pufferinformation, Im-Bild-Extrapolation unbedeckter tieferer Pixel von ähnlicherweise tiefer liegender aber zu dem betreffenden Zeitpunkt ständig sichtbarer derartiger tiefer liegender Pixel, – um, auf Basis einer Folge der genannten zwischen liegenden Bilder, und vielleicht auch auf Basis der genannten Quellenbilder, die genannten Wiedergabebilder mit einer höheren Wiedergabebildrate gegenüber der genannten Quellenbildrate zu selektieren.
  2. Verfahren nach Anspruch 1, um, unter Verwendung der bekannten Kamerabewegung gegenüber einem jüngsten Quellenbild, eine augenblickliche Kohärenz zwischen Pixeln dieses genannten Quellenbildes und Pixeln eines unmittelbar nachfolgenden synthetisierten Wiedergabebildes zu erzeugen.
  3. Verfahren nach Anspruch 1, und basiert auf Im-Bild-Extrapolation, die ausschließlich zusammen mit oder entgegen der Wiedergabe von Zeilenabtastbewegung arbeitet.
  4. Verfahren nach Anspruch 1, wobei weiterhin ein Festkörper in einem extrapolierten Bild entsprechend einer Transformationsmatrix M = Mcam·Mobj wiedergegeben wird.
  5. Verfahren nach Anspruch 1, wobei ein nicht bedecktes Item ignoriert wird, das sich auf ein nicht ständig sichtbares Pixel bezieht, bis zum Eintreffen eines nächsten Quellenbildes, das ein derartiges Item wie wiedergegeben hat.
  6. Bild-basierte Anordnung, vorgesehen zum Wiedergeben einer ersten Folge von Wiedergabebildern, wobei diese Anordnung die nachfolgenden Elemente umfasst: – Empfangsmittel zum Empfangen einer zweiten Folge von Quellenbildern mit einer Quellenbildrate, und Synthetisiermittel zum Synthetisieren eines oder mehrerer zwischen liegender Bilder durch Anwendung eines geometrischen Transformationsverfahrens, und zwar auf Basis der genannten zweiten Folge für ein Paar unmittelbar aneinander grenzender Quellenbilder, dadurch gekennzeichnet, dass die genannten Synthetisiermittel dazu vorgesehen sind um jedes zwischen liegende Bild ausschließlich auf einem unmittelbar vorhergehenden Quellenbild zu basieren, und zwar durch Extrapolation von Kameratransformationen, und durch, auf Basis von Z-Pufferinformation, Im-Bild-Extrapolation unbedeckter tieferer Pixel von ähnlicherweise tiefer liegender aber zu dem betreffenden Zeitpunkt ständig sichtbarer derartiger tiefer liegender Pixel, – und Auslieferungsmittel, um, gespeist durch die genannten Synthetisierungsmittel, auf Basis einer Folge der genannten zwischen liegenden Bilder, und vielleicht auch auf Basis der genannten Quellenbilder, die genannten Wiedergabebilder mit einer höheren Wiedergabebildrate gegenüber der genannten Quellenbildrate auszuliefern.
  7. Anordnung nach Anspruch 6, wobei die genannten Synthetisierungsmittel dazu vorgesehen sind, Kamerabewegungsinformation in Bezug auf ein jüngstes Quellenbild zu empfangen um eine augenblickliche Kohärenz zwischen Pixeln dieses genannten Quellenbildes und Pixeln eines unmittelbar nachfolgenden synthetisierten Wiedergabebildes zu erzeugen.
  8. Anordnung nach Anspruch 6, wobei die genannten Synthetisierungsmittel Im-Bild-Extrapolationsmittel aufweisen, die ausschließlich zusammen mit oder entgegen Wiedergabezeilenabtastbewegung arbeiten.
  9. Anordnung nach Anspruch 6, mit Matrixmultiplikationsmitteln zum Wiedergaben eines Festkörpers in einem extrapolierten Bild entsprechend einer Transformationsmatrix M = Mcam·Mobj.
  10. Anordnung nach Anspruch 6, mit Ignorierungsmitteln zum Ignorieren eines unbedeckten Items, das sich auf ein nicht ständig sichtbares Pixel bezieht, bis an das Eintreffen eines nächsten Quellenbildes, das ein derartiges Item wie wiedergegeben hat.
DE69936029T 1998-04-01 1999-03-22 Methode und verfahren zur erzeugung von einzelbildern aus einer sequenz von quellenbildern durch herstellung eines oder mehrerer direkt vor den quellenbildern sich befindlichen zwischenbildern Expired - Lifetime DE69936029T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP98201034 1998-04-01
EP98201034 1998-04-01
PCT/IB1999/000486 WO1999051029A2 (en) 1998-04-01 1999-03-22 A method and device for generating display frames from a sequence of source frames through synthesizing one or more intermediate frames exclusively from an immediately preceding source frame

Publications (2)

Publication Number Publication Date
DE69936029D1 DE69936029D1 (de) 2007-06-21
DE69936029T2 true DE69936029T2 (de) 2008-01-10

Family

ID=8233549

Family Applications (1)

Application Number Title Priority Date Filing Date
DE69936029T Expired - Lifetime DE69936029T2 (de) 1998-04-01 1999-03-22 Methode und verfahren zur erzeugung von einzelbildern aus einer sequenz von quellenbildern durch herstellung eines oder mehrerer direkt vor den quellenbildern sich befindlichen zwischenbildern

Country Status (8)

Country Link
US (1) US6442303B1 (de)
EP (1) EP0986906B1 (de)
JP (1) JP4236705B2 (de)
KR (1) KR100632195B1 (de)
CN (1) CN1134983C (de)
DE (1) DE69936029T2 (de)
TW (1) TW401699B (de)
WO (1) WO1999051029A2 (de)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0010685D0 (en) * 2000-05-03 2000-06-28 Koninkl Philips Electronics Nv Autostereoscopic display driver
TWI233751B (en) 2000-12-20 2005-06-01 Pts Corp Method of filling exposed areas in digital images
KR20030048303A (ko) * 2001-12-12 2003-06-19 주식회사 하빈 주위환경 자동적응형 디지털 오디오 재생장치
WO2008150647A1 (en) * 2007-05-30 2008-12-11 Georgia-Pacific Chemicals, Llc Binder compositions for fiber mats, and fiber mats and articles comprising them
KR101545510B1 (ko) * 2008-12-24 2015-08-20 삼성전자주식회사 프레임 속도 조절이 가능한 2차원 영상 또는 3차원 영상 디스플레이 방법 및 장치
CN101867730B (zh) * 2010-06-09 2011-11-16 马明 一种基于用户轨迹的多媒体合成方法
CN103260044B (zh) * 2013-05-10 2015-05-20 深圳创维-Rgb电子有限公司 3d超高清信号处理方法和装置
JP6708407B2 (ja) * 2015-12-25 2020-06-10 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
DE102016221204A1 (de) * 2016-10-27 2018-05-03 Siemens Aktiengesellschaft Bestimmung mindestens eines genäherten Zwischendatensatzes für eine Echtzeitanwendung
US20220180473A1 (en) * 2019-03-21 2022-06-09 Apple Inc. Frame Rate Extrapolation

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE3531677A1 (de) 1985-09-05 1987-03-12 Philips Patentverwaltung Verfahren und anordnung zur erzeugung von zwischenbildsignalen aus referenzbildsignalen mit verringerter bildfrequenz
JPH04348692A (ja) * 1991-05-27 1992-12-03 Matsushita Electric Ind Co Ltd ディジタルコンバーゼンス装置
US5706417A (en) * 1992-05-27 1998-01-06 Massachusetts Institute Of Technology Layered representation for image coding
US5971852A (en) * 1994-06-20 1999-10-26 Kabushiki Kaisha Sega Enterprises Image processing method and apparatus
US5604856A (en) * 1994-10-13 1997-02-18 Microsoft Corporation Motion compensated noise reduction method and system for computer generated images
US5550543A (en) * 1994-10-14 1996-08-27 Lucent Technologies Inc. Frame erasure or packet loss compensation method
EP0815538A1 (de) * 1995-03-22 1998-01-07 IDT INTERNATIONAL DIGITAL TECHNOLOGIES DEUTSCHLAND GmbH Verfahren und gerät zur tiefenmodellierung und tiefeninformationenerzeugung von sich bewegenden objekten

Also Published As

Publication number Publication date
DE69936029D1 (de) 2007-06-21
KR100632195B1 (ko) 2006-10-11
TW401699B (en) 2000-08-11
EP0986906B1 (de) 2007-05-09
CN1273001A (zh) 2000-11-08
CN1134983C (zh) 2004-01-14
KR20010013243A (ko) 2001-02-26
US6442303B1 (en) 2002-08-27
WO1999051029A2 (en) 1999-10-07
EP0986906A2 (de) 2000-03-22
JP4236705B2 (ja) 2009-03-11
WO1999051029A3 (en) 1999-12-16
JP2002508146A (ja) 2002-03-12

Similar Documents

Publication Publication Date Title
DE3686233T2 (de) Videosignalverarbeitung.
DE69434685T2 (de) Bildverarbeitungsverfahren und -gerät
DE3177295T4 (de) Vordezimierungsfilter für Bildveränderungssystem.
DE60115034T2 (de) Verfeinerung von dreidimensionalen polygonalen gitterdaten
DE69621778T2 (de) Tiefenabhängige parallaktische pixelverschiebung
DE69331031T2 (de) Vorrichtung zur parallelen Bilderzeugung
DE3873792T2 (de) Elektronische bildverarbeitung.
DE60014420T2 (de) Verfahren zur 2d/3d videoumwandlung
DE69028690T2 (de) Speziale Effekte mit Polarbildkoordinaten
DE3853336T2 (de) Rechnergraphikgerät zur Verarbeitung von Beleuchtungsmodellinformation.
DE112018000311T5 (de) Stereoskopisches Rendering unter Verwendung von Raymarching und ein Broadcaster für eine virtuelle Ansicht für solches Rendering
DE69228139T2 (de) System zur Abbildung von Videobildern
DE69427210T2 (de) Verfahren und Gerät zur Erzeugung von dreidimensionaler Animation
DE69531583T2 (de) Bildverarbeitungsverfahren und -gerät
DE69714551T2 (de) Treiberstufe für stereoskopische bildanzeige
DE69730565T2 (de) Gerät zur Erzeugung eines stereoskopischen bewegenden Bildes mittels Computergraphik
DE69521739T2 (de) Verfahren und Vorrichtung zur Bildverarbeitung
DE69028160T2 (de) Verfahren zur Teilung des Bewegungsfeldes eines Bildes zum Kodieren eines Videobildes
DE3022454A1 (de) Optisches abbildesystem mit computererzeugtem bild fuer einen bodenfesten flugsimulator
EP1451775A1 (de) Erzeugung einer stereo-bildfolge aus einer 2d-bildfolge
DE69534697T2 (de) Verfahren zur Erzeugung texturierter Bilder und Spezialvideoeffekte
DE69722139T2 (de) Dreidimensionale abbildung von bildtexturen
DE69936029T2 (de) Methode und verfahren zur erzeugung von einzelbildern aus einer sequenz von quellenbildern durch herstellung eines oder mehrerer direkt vor den quellenbildern sich befindlichen zwischenbildern
DE69601577T2 (de) Verfahren und einrichtung zur aufnahme stereoskopischer bilder
DE69328584T2 (de) Lokales Bildkompressionberechnungsverfahren und Vorrichtung zur Steuerung des Antialiasing-Filterns in dreidimensionaler Behandlung von zweidimensionalen Bildern

Legal Events

Date Code Title Description
8364 No opposition during term of opposition