DE60218159T2 - Umsetzungseinheit und -verfahren und bildverarbeitungsvorrichtung - Google Patents

Umsetzungseinheit und -verfahren und bildverarbeitungsvorrichtung Download PDF

Info

Publication number
DE60218159T2
DE60218159T2 DE60218159T DE60218159T DE60218159T2 DE 60218159 T2 DE60218159 T2 DE 60218159T2 DE 60218159 T DE60218159 T DE 60218159T DE 60218159 T DE60218159 T DE 60218159T DE 60218159 T2 DE60218159 T2 DE 60218159T2
Authority
DE
Germany
Prior art keywords
images
input
series
image
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60218159T
Other languages
English (en)
Other versions
DE60218159D1 (de
Inventor
J. Franciscus PETERS
Gerard De Haan
H. Johan GELISSEN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pendragon Wireless LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of DE60218159D1 publication Critical patent/DE60218159D1/de
Application granted granted Critical
Publication of DE60218159T2 publication Critical patent/DE60218159T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/002Special television systems not provided for by H04N7/007 - H04N7/18

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Systems (AREA)
  • Image Processing (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Description

  • Die vorliegende Erfindung bezieht sich auf eine Bildverarbeitungsanordnung.
  • Die vorliegende Erfindung bezieht sich weiterhin auf eine Umsetzungseinheit.
  • Die vorliegende Erfindung bezieht sich ferner auf ein Umsetzungsverfahren.
  • Eine Bildverarbeitungsanordnung der eingangs beschriebenen Art ist aus dem Buch: "Computer Graphics Principles and Practice" von J.D. Foley, A. van Dam, S.K. Feiner, J.F. Hughes, von Addison-Wesley, Reading etc. 1996 bekannt. In dem Abschnitt 4 dieses Buches wird beschrieben, dass herkömmlicherweise Bilddaten, herrührend aus einer Graphikpipeline in einem Frame-Puffer gespeichert werden. Ein Videocontroller greift auf diesen Frame-Puffer zu um Daten zu der Wiedergabeanordnung zu übertragen.
  • Die Frequenz der Wiedergabe von Bildern an der Wiedergabeanordnung wird die Wiedergabeaktualisierungsrate genannt. Die Frame-Pufferaktualisierung, d.h. das Einschreiben von Bilddaten in den Frame-Puffer ist üblicherweise variabel und nicht zu der Wiedergabeaktualisierungsrate genau zugeschnitten. Um sichtbare Artefakte in den Bildern an der Wiedergabeanordnung zu vermeiden kann eine Doppelpufferung angewandt werden. Das bedeutet, dass der Videocontroller auf einen der Frame-Puffer zugreifen kann, während der andere Frame-Puffer durch die Graphikpipeline aktualisiert werden kann. Die Kombination von Frame-Pufferen und Videocontroller ist eine Umsetzungseinheit.
  • Die Frame-Pufferaktualisierungsrate kann aber durch beispielsweise unzureichende Systemmittel für die Graphikpipeline, langsam sein, dies im Vergleich zu der Wiedergabeframerate. Dies beeinträchtigt die Qualität der an der Wiedergabeanordnung sichtbaren Bilder. Insbesonder kann Bewegung als wackelig gesehen werden. Die Mittel der Graphikpipeline können einen Prozessor, einen Speicher und einen Datenbus umfassen.
  • In US 5.303.045 wird ein digitales Eingangssignal mit einer Framerate von 50 Hz oder 60 Hz in ein digitales Ausgangsvideosignal mit einer anderen Framerate und einer anderen Anzahl Pixelzeilen je Frame umgesetzt. Eine erste Reihe progressiver Abtastformatframes wird aus dem Eingangssignal gebildet. Danach wird eine zweite Reihe von Frames aus der ersten Reihe von Frames gebildet, und zwar unter Anwendung von bewegungskompensierter zeitlicher Interpolation zwischen aufeinander folgende Frames der ersten Reihe bei der Erzeugung wenigstens einiger Frames der zweiten Reihe, um den Unterschied in den Frameraten zu schaffen. Bevor oder nachdem die zweite Reihe mit Frames gebildet wird, wird eine vertikale räumliche Interpolation durchgeführt um eine Differenz in der Anzahl Pixelzeilen je Frame zu schaffen.
  • Gillies D. u. a.: "V.L.S.I. Realisations for picture in picture and flicker free television display ", "IEEE Transactions on consumer electronics IEEE Inc", New York, USA, Heft 43, Nr. 1, Februar 1988 (1988-2), Seiten 253–260, XP001150759 ISSN: 0098-3063 introduziert zwei CMOS Anordnungen, die durch die Kombination der digitalen Signalverarbeitung und der externen DRAM, die Wiedergabe von Fernsehsignalen mit einer höheren Qualität und mit mehr Merkmalen ermöglicht. Die eine Anordnung ermöglicht die gleichzeitige Wiedergabe zweier unabhängiger Videoquellen, während die andere die wiedergegebene Bildqualität steigert durch Verdopplung der Teilbildwiedergabefrequenz zum Eliminieren großflächiger Flimmereffekte.
  • Es ist nun u. a. eine Aufgabe der vorliegenden Erfindung, eine Umsetzungseinheit der eingangs beschriebenen Art zu schaffen, die imstande ist, eine Reihe von Ausgangsbildern zu erzeugen, die eine relativ geschmeidige Bewegung zeigen.
  • Es ist weiterhin eine Aufgabe der vorliegenden Erfindung, ein Umsetzungsverfahren der eingangs beschriebenen Art zu schaffen, zum Erzeugen einer Reihe von Ausgangsbildern, die eine relativ geschmeidige Bewegung zeigen.
  • Die erste Aufgabe der vorliegenden Erfindung wird durch eine Umsetzungsanordnung nach Anspruch 1 erfüllt. Der Hauptvorteil dieser Umsetzungsanordnung ist, dass sie mit Hilfe zeitlicher Interpolation der Bilder der Eingangsreihe neue Bilder erzeugt. Eine Bildanordnung nach dem Stand der Technik "dupliziert" nur Bilder: sie gibt die ursprünglichen Bilder mehrere Male wieder. Mit einer Umsetzungseinheit nach der vorliegenden Erfindung ist es möglich, dass die Reihe mit Ausgangsbildern nebst den neuen Bildern Kopien der Bilder der Eingangsreihe enthält. Die Umsetzungseinheit erfordert Information über die Erzeugungszeit der jeweiligen Eingangsbilder, damit die Interpolation gesteuert wird. Das Ergebnis ist, dass die Umsetzungseinheit funktioniert, sogar wenn das erste Zeitintervall wesentlich anders ist als ein zweites Zeitintervall zwischen der zweiten Erzeugungszeit des zweiten Eingangsbildes und einer dritten Erzeugungszeit eines dritten Bildes der Eingangsreihe. Das erste Zeitintervall und das zweite Zeitintervall können verschieden sein, beispielsweise wegen einer variablen Belastung der Mittel der graphischen Pipeline.
  • Zeitliche Interpolation ist in Fernsehsystemen von Philips in Aufwärtsmischung bekannt. In dem Fall aber sind die Zeitintervalle zwischen aufeinander folgenden Bilder der Eingangsreihe untereinander gleich. Es ist folglich nicht erforderlich, die Zeitintervalle zu bestimmen um die Interpolation in dem Fall zu steuern.
  • Eine Ausführungsform der Bildverarbeitungsanordnung nach der vorliegenden Erfindung umfasst weiterhin einen Bewegungsschätzer zur Steuerung der Mittel zum Berechnen der Reihe mit Ausgangsbildern, damit bewegungskompensierte Interpolation durchgeführt wird. Die kann beispielsweise ein Bewegungsschätzer sein, wie beschrieben von G. de Haan u. a. in: "True motion estimation with 3-D recursive search blockmatching" in "Proceedings IEEE Transactions on Circuits and Systems for Video Technology", 1994, Heft 3, Seiten 249–256. Der Vorteil der bewegungskompensierten Interpolation ist eine bessere Bildqualität. Für die Bewegungsschätzung ist es möglich, mehr als zwei aufeinander folgende Bilder für die Interpolation zu verwenden.
  • Eine Ausführungsform der Bildverarbeitungsanordnung nach der vorliegenden Erfindung umfasst ein zweites Mittel zum Empfangen einer zweiten Reihe von Eingangsbildern, wobei die Umsetzungsanordnung entworfen ist zum Berechnen der Reihe mit Ausgangsbildern auf Basis von Bildern der ersten Reihe mit Eingangsbildern und der zweiten Reihe mit Eingangsbildern. Ein Beispiel dieser Ausführungsform ist ein Fernseher, der imstande ist, eine Sequenz von Videobildern zusammen mit den Graphiken, wie diese von der Graphikpipeline erzeugt werden, zu aktualisieren, welche die Einstellungen des Fernsehers darstellen, d.h. am-Schirm-Wiedergabe. Einige Teile der Umsetzungseinheit können zur Kostensparung gemeinsam benutzt werden. Es lassen sich zwei gemeinsame Benutzungstypen unterscheiden:
    • – zeitlich: Teile der Umsetzungseinheit werden wechselweise zum Verarbeiten von Bildern der ersten Eingangsreihe und Bildern der zweiten Eingangsreihe verwendet. Etwaige Zwischenergebnisse werden vorübergehend gespeichert.
    • – räumlich: es wird die Tatsache benutzt, dass Teile von Bildern der ersten Reihe mit "Teilen der Bilder der zweiten Eingangsreihe vermischt werden müssen. Es ist möglich, beispielsweise Speicherstellen gemeinsam zu benutzen, die diesen Teilen entsprechen.
  • In einer Ausführungsform der Bildverarbeitungsanordnung nach der vorliegenden Erfindung ist die Umsetzungseinheit entworfen:
    • – zum Berechnen eines ersten zwischen liegenden bewegungskompensierten interpolierten Bildes durch Interpolation zwischen dem ersten Eingangsbild und dem zweiten Eingangsbild der ersten Reihe von Eingangsbildern;
    • – zum Berechnen eines zweiten zwischen liegenden bewegungskompensierten interpolierten Bildes durch Interpolation zwischen Bildern der zweiten Reihe von Eingangsbildern; und
    • – zum Vermischen des ersten zwischen liegenden Bildes mit dem zweiten zwischen liegen den Bild zum Schaffen eines kombinierten Ausgangsbildes.
  • Es ist möglich, die Reihenfolge der Interpolation und der Vermischung zu ändern. Die Reihenfolge aber, wie diese für diese Ausführungsform gewählt worden ist, führt zu einer außergewöhnlichen Bildqualität der Ausgangsbilder.
  • Diese und andere Aspekte der Umsetzungseinheit nach Anspruch 1, des Verfahrens nach Anspruch 6 und der Bildverarbeitungsanordnung nach Anspruch 7 dürften aus den Implementierungen und Ausführungsformen, wie nachstehend anhand der beiliegenden Figuren näher beschrieben, hervorgehen. Es zeigen:
  • 1A eine schematische Darstellung einer Ausführungsform der Bildverarbeitungsanordnung,
  • 1B eine schematische Darstellung einer Ausführungsform der Bildverarbeitungsanordnung mit einem Bewegungsschätzer,
  • 1C eine schematische Darstellung einer Ausführungsform der Bildverarbeitungsanordnung, die entworfen ist zum gleichzeitigen Verarbeiten zweier Reihen mit Eingangsbildern,
  • 2A eine schematische Darstellung einer Ausführungsform der Umsetzungseinheit,
  • 2B eine schematische Darstellung einer Ausführungsform der Umsetzungseinheit mit einem Bewegungsschätzer,
  • 2C eine schematische Darstellung einer Ausführungsform der Umsetzungseinheit, die zum gleichzeitigen Verarbeiten zweier Reihen mit Eingangsbilder entworfen ist,
  • 3 eine schematische Darstellung, die angibt, dass Eingangsbilder zweier Reihen in der zeitlichen Domäne interpoliert und zu einer einzigen Reihe mit Ausgangsbildern vermischt.
  • 1A zeigt schematisch eine Ausführungsform der Bildverarbeitungsanordnung 100, die Folgendes umfasst:
    • – eine Graphikpipeline 101 mit einem Prozessor 108,
    • – eine Umsetzungseinheit 105 mit:
    • – einem Mittel zum Empfangen 102 der ersten Reihe mit Eingangsbildern 110114, erzeugt von der Graphikpipeline 101; und
    • – einem Mittel zum Berechnen 104 einer Reihe von Ausgangsbildern 116126; und
    • – eine Wiedergabeanordnung 106 zur Wiedergabe der Ausgangsbilder. Diese Wiedergabeanordnung ist fakultativ. Es ist auch möglich, dass die Ausgangsbilder an einer Wiedergabeanordnung außerhalb der Bildverarbeitungsanordnung 100 wiedergegeben werden, beispielsweise im Falle einer Settopbox.
  • Das erste Eingangsbild 110, das zweite Eingangsbild 112 und das dritte Eingangsbild 114 werden zu den Zeitpunkten T1, T2 bzw. T3 erzeugt. Die Umsetzungseinheit 105 ist entworfen um das Zeitintervall zwischen aufeinander folgenden Eingangsbildern zu ermitteln, beispielsweise ein erstes Zeitintervall 128 zwischen T1 und T2 oder ein zweites Zeitintervall 130 zwischen T2 und T3. Um ein Zeitintervall 128, 130 zu ermitteln, braucht die Umsetzungseinheit 105 die Information über die Erzeugungszeit von Eingangsbildern. Diese Information wird von dem Prozessor 108 der Graphikpipeline 101 geschaffen. Die jeweiligen Zeitintervalle 128, 130 zwischen der Erzeugung von Eingangsbildern können ungleich sein. Die Ausgangsbilder 116126 werden zu den Zeitpunkten TA, TB, TC, TD, TE bzw. TF erzeugt. Das Zeitintervall 132 zwischen zwei Ausgangsbildern, beispielsweise 116, 118 ist im Wesentlichen gleich einem vorbestimmten Wert. Die Ausgangsbilder 116126 werden mit Hilfe von Interpolation zwischen Bildern der Reihe mit Eingangsbildern berechnet. Die nachfolgende Tabelle gibt ein Beispiel der Beziehung zwischen Eingangs- und Ausgangsbildern.
  • Figure 00050001
  • 1B zeigt schematisch eine Ausführungsform der Bildverarbeitungsanordnung 103 mit einer Umsetzungseinheit 107, die einen Bewegungsschätzer 109 aufweist. Dies kann beispielsweise ein Bewegungsschätzer sein, wie dieser von G. de Haan u. a. in: "True motion estimation with 3-D recursive search block-matching" in "Proceedings IEEE International Conference on Circuits and Systems for Video Technology", 1994, Heft 3, Seiten 249–256 beschrieben worden ist. Der Bewegungsschätzer 109 liefert dem Mitteln zum Berechnen 104 einer Reihe mit Ausgangsbildern 116126 Bewegungsvektorfelder. Die Vektoren dieser Bewegungsvektorfelder werden verwendet zum Verschieben von Blöcken mit Pixeln, d.h. Teilen der Eingangsbilder 110114, um Bewegungskompensierte Ausgangsbilder 116126 zu berechnen. Die Mittel zum Berechnen 104 einer Reihe mit Ausgangsbildern braucht drei Eingabetypen;
    • – Eingangsbilder, wobei es sich um zweidimensionale Anordnungen von Pixelwerten handelt,
    • – Bewegungsvektorfelder, wobei es sich um zweidimensionale Anordnungen von Vektoren handelt, und
    • – Zeit bestimmende, skalare Werte, welche die Erzeugungszeit der jeweiligen Bilder angeben.
  • 1C zeigt schematisch eine Ausführungsform der Bildverarbeitungsanordnung 111, die entworfen ist zum gleichzeitigen Verarbeiten zweier Reihen mit Eingangsbildern. Nebst einer ersten Reihe mit Eingangsbildern 308, 310 wird eine zweite Reihe mit Eingangsbildern 302306 geschaffen. Die Eingangsbilder 302306 der zweiten Reihe werden außerhalb der Bildverarbeitungsanordnung 111 erzeugt. Die Eingangsbilder 302306 der zweiten Reihe werden der Bildverarbeitungsanordnung 111 über den Eingangsanschluss 106 zugeführt. Diese Bilder können beispielsweise von einem Sender oder von einer örtlichen Speicheranordnung herrühren. Die Umsetzungseinheit 113 umfasst ein zweites Mittel zum Empfangen 115 und zum Puffern der zweiten Reihe mit Eingangsbildern 302306. Die Zeitpunkte T1, T3 und T4 der Erzeugung der Eingangsbilder 302, 304 bzw. 306 haben in dem Zeitraum gleiche Abstände. Die Größe der Bilder der ersten Reihe und der zweiten Reihe kann verschieden sein. Die Mittel zum Berechnen 104 einer Reihe mit Ausgangsbildern ist entworfen zum Vermischen von Bildern, sogar wenn sie verschieden groß sind. Dies kann mit Hilfe von Zooming erzielt werden. Es ist auch möglich, dass ein ganzes Bild einer der Reihen mit einem Teil der anderen Reihe vermischt wird in dem Fall, dass dieses letztere Bild wesentlich größer ist als das vorhergehende Bild.
  • 2A zeigt schematisch eine Ausführungsform der Umsetzungseinheit 200. Die Umsetzungseinheit 200 braucht eine Reihe mit Eingangsbilder 110114 an dem Eingangsanschluss 206. Die Speicheranordnung der Empfangsmittel ist entworfen zum Speichern wenigstens zweier Eingangsbilder. Die Umsetzungseinheit 200 braucht für jedes Bild der Eingangsbilder 110114 Information über die Erzeugungszeit T1–T3 an dem Steueranschluss 201. Die Ausgangsbilder 116126 werden in dem Zeitraum in gleichen Abständen erzeugt. Nach jedem vorbestimmten Zeitintervall 132 wird von den Mitteln zum Berechnen 204 auf Basis der Eingangsbilder, wie diese in der Speicheranordnung der Empfangsmittel 202 gespeichert sind, ein neues Ausgangsbild erzeugt. Die Interpolation, wie diese von den Mitteln zum Berechnen 204 angewandt wird, wird durch die Beziehung zwischen den Zeiten T1–T3 der Erzeugung der Eingangsbilder und der Zeit der Erzeugung TA, TB, TC, TD, TE, TF eines bestimmten Ausgangsbildes gesteuert.
  • 2B zeigt schematisch eine Ausführungsform der Umsetzungseinheit 203, die einen Bewegungsschätzer 205 aufweist. Der Bewegungsschätzer 205 liefert den Mitteln zum Berechnen 204 einer Reihe mit Ausgangsbildern Bewegungsvektorfelder. Die Vektoren dieser Bewegungsvektorfelder werden zum verschieben von Blöcken mit Pixeln verwendet, d.h. von Teilen der Eingangsbilder 110114, um bewegungskompensierte Ausgangsbilder 116126 zu berechnen.
  • 2C zeigt schematisch eine Ausführungsform der Umsetzungseinheit 207, die entworfen ist zum gleichzeitigen Verarbeiten zweier Reihen mit Eingangsbildern. Die erste Reihe mit Eingangsbildern wird der Umsetzungseinheit 207 bei dem ersten Eingangsanschluss 206 zugeführt. Die zweite Reihe mit Eingangsbildern wird der Umsetzungseinheit 207 bei dem zweiten Eingangsanschluss 211 zugeführt. Ein Untersatz der ersten Reihe wird in der Speicheranordnung der ersten Mittel zum Empfangen 202 gespeichert. Ein Untersatz der zweiten Reihe wird in der Speicheranordnung der zweiten Mittel zum Empfangen 209 gespeichert. Der Bewegungsschätzer 205 schaltet zwischen Berechnung eines Bewegungsvektorfeldes entsprechend Bildern der ersten Reihe und Berechnung eines Bewegungsvektorfeldes entsprechend Bildern der zweiten Reihe. Diese Bewegungsvektorfelder sind Eingabe für die Mittel zum Berechnen 204. Eventuell werden Bewegungsvektorfelder vorübergehend gespeichert. Die Mittel zum Berechnen 204 berechnen ein erstes Zwischenbild durch bewegungskompensierte Interpolation von Eingangsbildern einer der Eingangsreihen. Nachdem ein zweites Zwischenbild auf Basis von Eingangsbildern der anderen Reihe berechnet worden ist, werden das erste und das zweite Zwischenbild vermischt und dem Ausgangsanschluss 208 zugeführt.
  • 3 zeigt schematisch, dass Eingangsbilder 302310 zweier Reihen in der zeitlichen Domäne interpoliert und zu einer einzigen Reihe mit Ausgangsbilder 316326 vermischt worden sind. Die erste Reihe mit Eingangsbildern umfasst die Bilder 308, 310, die zu dem Zeitpunkt T2 bzw. T5 erzeugt werden. In der unteren linken Ecke des Bildes 308 gibt es einen Pfeil 312 in der vertikalen Richtung. In der unteren linken Ecke des Bildes 310 gibt es einen Pfeil 314 mit einer horizontalen Richtung. Die zwei Reihen mit Bildern werden einer Umsetzungseinheit 207 mit bewegungskompensierten interpolierten Ausgangsbildern 316324 zugeführt. In jedem dieser letzteren Bilder ist ein Pfeil 326334 vorhanden, der einige Zustände zwischen vertikal und horizontal darstellt. Wegen der einzelnen Interpolationen von Bildern der ersten Eingangsreihe und von Bildern der zweiten Eingangsreihe werden keine sichtbaren Artefakte in die direkte Umgebung der Pixel entsprechend den Pfeilen 326334, wie in den Ausgangsbildern 316324 vorhanden, eingeführt.
  • Es sei bemerkt, dass die oben genannten Ausführungsformen die vorliegende Erfindung illustrieren statt begrenzen und dass der Fachmann imstande sein wird, im Rahmen der beiliegenden Patentansprüche alternative Ausführungsformen zu entwerfen. In den Ansprüchen sollen eingeklammerte Bezugszeichen nicht als den Anspruch begrenzend betrachtet werden. Das Wort "umfassen" schließt das Vorhandensein von Elementen oder Verfahrensschritten, die nicht in dem Anspruch genannt werden, nicht aus. Das Wort "ein" vor einem Element schließt das Vorhandensein einer Anzahl derartiger Elemente nicht aus. Die vorliegende Erfindung kann mit Hilfe von Hardware mit verschiedenen einzelnen Elementen und mit Hilfe eines auf geeignete Art und Weise programmierten Computers implementiert werden. In den Einheitsansprüchen, wobei verschiedene Mittel nummeriert sind, können einige dieser Mittel durch ein und dasselbe Hardware-Item verkörpert werden.

Claims (10)

  1. Umsetzungseinheit (200, 105), welche die nachfolgenden Elemente umfasst: – ein Mittel zum Empfangen (202, 102) einer ersten Reihe von Eingangsbilder (110114) mit aufeinander folgend einem ersten Eingangsbild (110), einem zweiten Eingangsbild (112) und wenigstens einem dritten Eingangsbild (114); und – ein Mittel zum Berechnen (104) einer Reihe von Ausgangsbildern (116126) auf Basis der ersten Reihe von Eingangsbildern, wobei ein Ausgangsbild (120, 122, 124, 126) um ein vorbestimmtes Zeitintervall (132) von einem Vorgänger (118, 120, 122, 124) entfernt ist, wenn überhaupt, dadurch gekennzeichnet, dass die Umsetzungseinheit (200, 105) entworfen ist um ein erstes Zeitintervall (128) zwischen einem ersten Zeitpunkt der Erzeugung (T1) des ersten Eingangsbildes (110) und einem zweiten Zeitpunkt der Erzeugung (T2) des zweiten Eingangsbildes (112) zu ermitteln und um ein bestimmtes Ausgangsbild (116, 118) zu berechnen durch Interpolation zwischen dem ersten Eingangsbild (110) und dem zweiten Eingangsbild (112) auf Basis des ersten Zeitintervalls (128), und um ein zweites Zeitintervall (130) zwischen der Zeiterzeugung (T2) des zweiten Eingangsbildes (112) und einer dritten Zeiterzeugung (T3) des dritten Eingangsbildes zu ermitteln und um ein bestimmtes Ausgangsbild (120, 122, 124, 126) durch Interpolation zwischen dem zweiten Eingangsbild (112) und dem dritten Eingangsbild (114) auf Basis des zweiten Zeitintervalls (130) zu berechnen.
  2. Umsetzungseinheit (203) nach Anspruch 1, dadurch gekennzeichnet, dass diese weiterhin einen Bewegungsschätzer (205) aufweist zur Steuerung der Mittel zum Berechnen (204) der Reihe von Ausgangsbildern (116126), zum Durchführen einer bewegungskompensierten Interpolation.
  3. Umsetzungseinheit (207) nach Anspruch 1, dadurch gekennzeichnet, dass sie weiterhin ein zweites Mittel aufweist zum Empfangen (209) einer zweiten Reihe von Eingangsbildern (308, 310) und dass die Umsetzungseinheit (207) dazu entworfen ist, die Reihe von Ausgangsbildern (316326) auf Basis von Bildern der ersten Reihe von Eingangsbildern (308, 310) und der zweiten Reihe von Eingangsbildern (302, 306) zu berechnen.
  4. Umsetzungseinheit (207) nach Anspruch 2, dadurch gekennzeichnet, dass sie weiterhin ein zweites Mittel aufweist zum Empfangen (209) einer zweiten Reihe von Eingangsbildern (308, 310) und dass die Umsetzungseinheit (207) dazu entworfen ist, die Reihe von Ausgangsbildern (316, 326) auf Basis von Bildern der ersten Reihe von Eingangsbildern (308, 310) und der zweiten Reihe von Eingangsbildern (302, 306) zu berechnen.
  5. Umsetzungseinheit (207) nach Anspruch 3, dadurch gekennzeichnet, dass sie entworfen ist: – zum Berechnen eines ersten zwischen liegenden bewegungskompensierten interpolierten Bildes durch Interpolation zwischen dem ersten Eingangsbild (110) und dem zweiten Eingangsbild (112) der ersten Reihe von Eingangsbildern; – zum Berechnen eines zweiten zwischen liegenden bewegungskompensierten interpolierten Bildes durch Interpolation zwischen Bildern der zweiten Reihe von Eingangsbildern; und – zum Vermischen des ersten zwischen liegenden Bildes mit dem zweiten zwischen liegenden Bild zum Schaffen eines kombinierten Ausgangsbildes.
  6. Umsetzungsverfahren, das die nachfolgenden Verfahrensschritte umfasst: – einen Schritt zum Empfangen einer ersten Reihe von Eingangsbildern umfasst das Empfangen von nacheinander einem ersten Eingangsbild (110), einem zweiten Eingangsbild (112) und wenigstens einem dritten Eingangsbild (114); und – einen Schritt zum Berechnen einer Reihe von Ausgangsbildern auf Basis der ersten Reihe von Eingangsbildern, wobei ein Ausgangsbild (118) um ein vorbestimmtes Zeitintervall (132) von einem Vorgänger (116) entfernt liegt, falls überhaupt, und weiterhin zum Berechnen eines Ausgangsbildes (120, 122, 124, 126), das um ein vorbestimmtes Zeitintervall (132) von einem Vorgänger (118, 120, 122, 124) entfernt liegt, dadurch gekennzeichnet, dass das Verfahren einen Zeitbestimmungsschritt umfasst, der die Ermittlung eines ersten Zeitintervalls (128) zwischen einem ersten Zeitpunkt der Erzeugung (T1) des ersten Eingangsbildes (110) und einem zweiten Zeitpunkt der Erzeugung (T2) des zweiten Eingangsbildes (112) umfasst, und die Ermittlung eines zweiten Zeitintervalls (130) zwischen dem Erzeugungszeitpunkt (T2) eines zweiten Eingangsbildes (112) und einem dritten Erzeugungszeitpunkt (T3) eines dritten Eingangsbildes (114) und – dass der Schritt der Berechnung die Berechnung einer bestimmten Ausgangsbildes (116, 118) für die Reihe von Ausgangsbildern (116 und 118) durch Interpolation zwischen dem ersten Eingangsbild (110) und dem zweiten Eingangsbild (112) auf Basis des ersten Zeitintervalls (128) umfasst, und – die Berechnung eines bestimmten Ausgangsbildes (120, 122, 124, 126) für die Reihe von Ausgangsbildern (120, 122, 124, 126) durch Interpolation zwischen dem zweiten Eingangsbild (112) und dem dritten Eingangsbild (114) auf Basis des zweiten Zeitintervalls (130).
  7. Bildverarbeitungsanordnung (100) mit einer Umsetzungseinheit nach Anspruch 1, wobei die Bildverarbeitungsanordnung (100) weiterhin die nachfolgenden Elemente umfasst: – eine Prozessor (108) basierte graphische Pipeline (101) zum Erzeugen einer ersten Reihe von Eingangsbildern (110114) mit nacheinander einem ersten Eingangsbild (110) und einem zweiten Eingangsbild (112); und – eine Wiedergabeanordnung (106) zur Wiedergabe der Reihe von Ausgangsbildern (116126).
  8. Bildverarbeitungsanordnung (103) nach Anspruch 7, dadurch gekennzeichnet, dass die Umsetzungseinheit (107) weiterhin einen Bewegungsumsetzer (109) aufweist zur Steuerung der Mittel zum Berechnen (104) der Reihe von Ausgangsbildern (116126) um eine bewegungskompensierte Interpolation durchzuführen.
  9. Bildverarbeitungsanordnung (111) nach Anspruch 8, dadurch gekennzeichnet, dass die Umsetzungseinheit (113) weiterhin ein zweites Mittel aufweist zum Empfangen (115) einer zweiten Reihe von Eingangsbildern (302306) und dass die Umsetzungseinheit (113) dazu entworfen ist, die Reihe von Ausgangsbildern (316324) auf Basis von Bildern der ersten Reihe von Eingangsbildern (308, 3l0) und der zweiten Reihe von Eingangsbildern )302306) zu berechnen.
  10. Bildverarbeitungsanordnung (111) nach Anspruch 9, dadurch gekennzeichnet, dass die Umsetzungseinheit (113) entworfen ist: – zum Berechnen eines ersten zwischen liegenden bewegungskompensierten interpolierten Bildes durch Interpolation zwischen dem ersten Eingangsbild (110) und dem zweiten Eingangsbild (112) der ersten Reihe von Eingangsbildern; – zum Berechnen eines zweiten zwischen liegenden bewegungskompensierten interpolierten Bildes durch Interpolation zwischen Bilder der ersten Reihe von Eingangsbildern; und – zum Vermischen des ersten zwischen liegenden Bildes mit dem zweiten zwischen liegenden Bild um ein kombiniertes Ausgangsbild zu schaffen.
DE60218159T 2001-06-06 2002-06-03 Umsetzungseinheit und -verfahren und bildverarbeitungsvorrichtung Expired - Lifetime DE60218159T2 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP01202165 2001-06-06
EP01202165 2001-06-06
PCT/IB2002/002064 WO2002099749A2 (en) 2001-06-06 2002-06-03 Conversion unit and method and image processing apparatus

Publications (2)

Publication Number Publication Date
DE60218159D1 DE60218159D1 (de) 2007-03-29
DE60218159T2 true DE60218159T2 (de) 2007-10-25

Family

ID=8180428

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60218159T Expired - Lifetime DE60218159T2 (de) 2001-06-06 2002-06-03 Umsetzungseinheit und -verfahren und bildverarbeitungsvorrichtung

Country Status (8)

Country Link
US (1) US20040165110A1 (de)
EP (1) EP1399883B1 (de)
JP (1) JP4232869B2 (de)
KR (1) KR100880116B1 (de)
CN (1) CN1273930C (de)
AT (1) ATE354138T1 (de)
DE (1) DE60218159T2 (de)
WO (1) WO2002099749A2 (de)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101479767A (zh) * 2006-06-30 2009-07-08 Nxp股份有限公司 视频缝合的方法和设备
CN101191719A (zh) * 2006-12-01 2008-06-04 鸿富锦精密工业(深圳)有限公司 影像焦点合成***及方法
JP4513873B2 (ja) * 2008-02-18 2010-07-28 ソニー株式会社 映像処理装置、及び映像処理方法
FR2958824A1 (fr) * 2010-04-09 2011-10-14 Thomson Licensing Procede de traitement d'images stereoscopiques et dispositif correspondant
CN106357967B (zh) * 2016-11-29 2018-01-19 广东欧珀移动通信有限公司 控制方法、控制装置和电子装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2259212B (en) * 1991-08-27 1995-03-29 Sony Broadcast & Communication Standards conversion of digital video signals
US5835160A (en) * 1995-09-13 1998-11-10 Oak Technology, Inc. Sampling rate conversion using digital differential analyzers

Also Published As

Publication number Publication date
WO2002099749A2 (en) 2002-12-12
JP4232869B2 (ja) 2009-03-04
ATE354138T1 (de) 2007-03-15
EP1399883B1 (de) 2007-02-14
CN1526114A (zh) 2004-09-01
JP2004522356A (ja) 2004-07-22
KR20030027004A (ko) 2003-04-03
EP1399883A2 (de) 2004-03-24
DE60218159D1 (de) 2007-03-29
WO2002099749A3 (en) 2004-01-15
CN1273930C (zh) 2006-09-06
KR100880116B1 (ko) 2009-01-23
US20040165110A1 (en) 2004-08-26

Similar Documents

Publication Publication Date Title
DE69605936T2 (de) Bewegungskompensierte interpolation
DE3850709T2 (de) Reduzierung der Bewegungsvektoren in Fernsehbildern.
DE69417476T2 (de) Fernsehgerät fähig zum Vergrössern und Verkleinern des Bildes
DE3854171T2 (de) Bewertung von Bewegungsvektoren in Fernsehbildern.
DE69704685T2 (de) Verfahren und Vorrichtung zur Übertragung und zum Empfang dreidimensionaler Fernsehsignale von stereoskopischen Bildern
DE3233882C2 (de)
DE69405740T2 (de) Verfahren und anordnung für bewegungskompensierende interpolation
EP1397915A2 (de) Verfahren und vorrichtung zur konversion von video signalen
DE3689905T2 (de) Fernsehempfänger mit der Möglichkeit zum Darstellen mehrerer Bilder.
DE3851655T2 (de) Verarbeitung des Bewegungsvektors in Fernsehbildern.
DE69017691T2 (de) Bildumkehrvorrichtung.
DE3720163A1 (de) Verfahren und anordnung zum einfrieren eines fernsehbildes
DE3687234T2 (de) Video-uebertragungs-systeme.
DE60212417T2 (de) Bildprozessor und anzeigegerät mit einem solchen bildprozessoren
DE69938024T2 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfarhen und Bereitstellungsmedium mit einem Programm für die Ausführung des Verfahrens
DE4143074A1 (de) Verfahren und einrichtung zum umformatieren verschachtelter videodaten zur darstellung auf einem computer-ausgabedisplay
DE60218159T2 (de) Umsetzungseinheit und -verfahren und bildverarbeitungsvorrichtung
DE4210116A1 (de) Digitale zoomvorrichtung mit bildpufferspeichern
DE4310385B4 (de) Vorrichtung zum Ausgleichen eines Bildsignals für einen Fernsehempfänger
DE60126642T2 (de) Bewegungskompensierte abtastratenhochsetzung für videosignale
EP0579651B1 (de) Verfahren zur codierung
DE69009842T2 (de) Bildwiedergabegerät.
DE69315906T2 (de) Vorrichtung zur Videosignal-Umwandlung und Rauschunterdrückung
DE602004006102T2 (de) Anordnung zur erzeugung eines 3d videosignals
DE102004029041B4 (de) Abtastwandlungsvorrichtung und -verfahren

Legal Events

Date Code Title Description
8320 Willingness to grant licences declared (paragraph 23)
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: IPG ELECTRONICS 503 LTD., ST. PETER PORT, GUER, GB

8328 Change in the person/name/address of the agent

Representative=s name: PATENTANWAELTE BRESSEL UND PARTNER, 12489 BERLIN

R081 Change of applicant/patentee

Ref document number: 1399883

Country of ref document: EP

Owner name: PENDRAGON WIRELESS LLC (A NEVADA MANAGED LIMIT, US

Free format text: FORMER OWNER: IPG ELECTRONICS 503 LTD., ST. PETER PORT, GB

Effective date: 20121213

R082 Change of representative

Ref document number: 1399883

Country of ref document: EP

Representative=s name: PATENTANWAELTE BRESSEL UND PARTNER, DE

Effective date: 20121213