DE60211978T2 - Laufbildsystem mit bildinterpolation und variabler bildfrequenz - Google Patents
Laufbildsystem mit bildinterpolation und variabler bildfrequenz Download PDFInfo
- Publication number
- DE60211978T2 DE60211978T2 DE60211978T DE60211978T DE60211978T2 DE 60211978 T2 DE60211978 T2 DE 60211978T2 DE 60211978 T DE60211978 T DE 60211978T DE 60211978 T DE60211978 T DE 60211978T DE 60211978 T2 DE60211978 T2 DE 60211978T2
- Authority
- DE
- Germany
- Prior art keywords
- sequence
- pictures
- image
- frame rate
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
- H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Circuits (AREA)
- Studio Devices (AREA)
Description
- Die Erfindung bezieht sich auf ein verbessertes System zur Wiedergabe von Laufbildern. Insbesondere wird zur Optimierung der Laufbildqualität eine Bildfolge mit variabler Bildfrequenz interpoliert.
- Laufbildsysteme sind seit mehr als hundert Jahren im Gebrauch. Diese Systeme beruhen auf dem Aufnehmen und Wiedergeben einer Folge von Stehbildern. Wenn die Bildfolge mit ausreichend hoher Bildfrequenz wiedergegeben wird, nehmen das menschliche Auge und das menschliche Gehirn die Bilder nicht als einzelne Stehbilder, sondern wie auch in einer realen Szene als fortlaufende Folge von Laufbildern wahr. Die Mindestbildfrequenz, mit der die Bilder aufgenommen oder wiedergegeben werden, ist bei verschiedenen Abbildungssystemen etwas unterschiedlich. Zum Beispiel wird herkömmlicher Laufbildfilm normalerweise mit einer Bildfrequenz von 24 Bildern pro Sekunde aufgenommen und vorgeführt. Beim NTSC-Fernsehen beträgt die Rate 30 Bilder pro Sekunde, bei PAL 25. Manchmal werden Bildfolgen auch aus künstlerischen Gründen mit einer Bildfrequenz aufgenommen und mit einer anderen wiedergegeben, zum Beispiel um Zeitlupenwiedergaben zu erzeugen.
- Bei höheren Wiedergabe-Bildfrequenzen können Änderungen des Szenengehalts (etwa Kameraschwenks, Objektbewegungen oder Szenenänderungen) durch höhere Wiedergabe-Bildfrequenzen angenehmer erscheinen, weil dadurch die sichtbare Detailgenauigkeit verbessert, Unschärfen vermindert und die Bewegung geglättet wird. Die für die Aufrechterhaltung der Illusion einer glatten Bewegung erforderliche Bildfrequenz ist jedoch abhängig von Art und Inhalt der Szene. Das Verhalten des Betrachters macht die Lage noch komplizierter. Zum Beispiel hängen Umfang und Position der in einer Laufbildfolge wahrgenommenen Details zumindest teilweise davon ab, ob die Augen des Betrachters ein sich bewegendes Objekt in der Bildfolge verfolgen. Somit ist die für die optimale Betrachtung einer Laufbildfolge erforderliche Bildfrequenz abhängig von der Art des Bildmaterials und dem Verhalten des Betrachters sowie auch der Betrachtungsumgebung.
- Heute kann die Darstellung von Laufbildern entweder mittels herkömmlicher Laufbildfilme oder mittels elektronischer – analoger oder digitaler – Abbildungsgeräte erfolgen. Für digitale Laufbildfolgen sind extrem umfangreiche Computerressourcen nötig, da sie ungeheure Mengen an Speicherplatz, hochauflösende Aufnahme- und Wiedergabegeräte, enorme Rechenleistungen und für die Kommunikation eine große Bandbreite erfordern.
- Da die Bilddatenmenge in hohem Maße von der Bildfrequenz abhängt, muss für jedes digitale Abbildungssystem ein Kompromiss zwischen Bilddatenmenge und wahrgenommener Laufbildqualität gefunden werden.
- Die Änderung der Bildfrequenz von Laufbildfolgen sowohl bei der Erfassung als auch bei der Wiedergabe ist bereits bekannt. US-A-3 723 644, erteilt am 27. März 1973 an Haskell et al., beschreibt ein System zum Analysieren des Laufbildgehalts einer Bildfolge und zum Anpassen der Bilderfassungsfrequenz mit dem Ziel, die wahrgenommene Bewegung zu vervollkommnen. Dabei werden die Bilder gezählt, und anhand der Zählung wird die Frequenz für das Playback bestimmt, um die Anforderungen an die Übermittlungsbandbreite zu verringern. WO 99/67590, veröffentlicht am 29. Dezember 1999, beschreibt die Änderung der Wiedergabebildfrequenz einer Bildfolge mit dem Ziel, die Herstellung von Raubkopien zu verhindern. Auch Kompromisse zwischen Bildfrequenz und Bilddetail sind bekannt. US-A-S 389 965, erteilt am 14. Februar 1995 an Kuzma, beschreibt die Übermittlung einer Bildfolge über einen Kanal fester Bandbreite, bei der die Frequenz bei abnehmenden Bilddetailgehalt erhöht wird.
- Bildfolgen, die mit einer festen Bildfrequenz aufgenommen wurden, können umgewandelt und mit einer anderen Bildfrequenz wiedergegeben werden. Zum Beispiel können auf Film mit einer Bildfrequenz von 24 Bildern pro Sekunde aufgenommene Bildfolgen für die Fernsehausstrahlung in Realzeit mit einer Frequenz von 30 Bildern pro Sekunde wiedergegeben werden. Diese Umwandlungen werden entweder durch Wiederholen von Bildern oder durch zeitliches Interpolieren und Einfügen neuer Bilder zwischen vorhandene Bilder erreicht.
- Heute werden Bildfolgen mit einer festen Bildfrequenz aufgenommen, wobei gegebenenfalls bei der Nachbearbeitung die Bildfrequenz für die Zwecke der Kompression oder Kommunikation verringert wird. Die Kosten einer höheren Aufnahmebildfrequenz sind prohibitiv hoch, insbesondere bei Laufbildfilm, da die verbrauchte Filmmenge entsprechend der Erhöhung der Bildfrequenz steigt. Und selbst wenn die Bildfolgen mit einer höheren Bildfrequenz aufgenommen oder digital gespeichert werden, ist der damit verbundene Anstieg der Rechner-Ressourcen, Kommunikations-Bandbreite, usw., problematisch.
- US-A-6 192 079 beschreibt eine verbesserte Interpolationseinrichtung mit Estimation der Vordergrund- und Hintergrund-Bewegung. US-A-S 828 786 beschreibt ein Komprimierverfahren, das darauf beruht, sich wiederholende Bilder einer Folge auszulassen, um Redundanzen zu vermeiden.
- Es besteht daher ein Bedarf an einem Laufbild-Wiedergabesystem, das die Bewegungsqualität optimiert und die für die Speicherung, Manipulation und Kommunikation einer digitalen Laufbildfolge erforderlichen Rechner-Ressourcen minimiert.
- Gemäß der in Anspruch 1 definierten Erfindung wird dieser Bedarf erfüllt durch die Bereitstellung eines Verfahrens zum Aufzeichnen und Bearbeiten einer Folge digitaler Laufbilder mit den Schritten: Aufzeichnen einer Folge digitaler Laufbilder mit einer Aufnahmefrequenz; Bestimmen verschiedener effektiver Frequenzen für Bildgehaltsänderungen in Abhängigkeit von den Bildgehaltsänderungen in verschiedenen Abschnitten der Bildfolge und Verarbeiten der digitalen Laufbildfolge mit dem Ziel, eine verarbeitete digitale Laufbildfolge herzustellen, die Abschnitte mit den ausgewählten effektiven Veränderungs-Bildfrequenzen enthält.
- Die Erfindung bietet den Vorteil, die Laufbildqualität einer Folge von Laufbildern zu verbessern und dabei gleichzeitig die Kommunikations-, Rechen- und Speicherkosten für die Laufbildfolge zu reduzieren.
- Die Erfindung wird im Folgenden anhand eines in der Zeichnung dargestellten Ausführungsbeispiels näher erläutert.
- In den Zeichnungen zeigen:
-
1 ein Diagramm zur Erläuterung einer effektiven Bildfrequenz einer Bildgehaltsänderung gemäß der Erfindung; -
2 ein Diagramm zur Erläuterung einer interpolierten Bildfolge gemäß der Erfindung; -
3 ein Diagramm zur Erläuterung einer anderen interpolierten Bildfolge gemäß der Erfindung; -
4 eine Darstellung eines bekannten Bildspeicherformats; -
5 ein Diagramm zur Erläuterung einer interpolierten Bildfolge mit wiederholten Bildern gemäß der Erfindung; und -
6 ein schematisches Diagramm eines Systems zur Ausführung des erfindungsgemäßen Verfahrens. - Die Erfindung stellt ein Verfahren zur Wiedergabe einer Folge digitaler Laufbilder mit unterschiedlichen effektiven Bildfrequenzen der Bildgehaltsänderungen (effektive Bildfrequenz) dar. Die effektive Bildfrequenz ist die Frequenz, mit der sich der Bildgehalt innerhalb eines Abschnitts einer Laufbildfolge ändert. Digitale Laufbildfolgen werden zunächst mit bestimmten Bildfrequenzen aufgenommen. Die Änderungen innerhalb einer Bildfolge bestimmen die effektive Bildfrequenz und sind abhängig von den Veränderungen des Szenengehalts zwischen den einzelnen Bildern einer Bildfolge. Erfindungsgemäß wird die digitale Laufbildfolge zunächst analysiert, um eine effektive Bildfrequenz zu bestimmen, und anschließend verarbeitet, um eine Laufbildfolge zu erzeugen, deren Bildgehaltsänderung mit der effektiven Bildfrequenz dargestellt werden kann. Wenn die digitale Laufbildfolge mit einer Bildfrequenz wiedergegeben wird, die niedriger ist als die effektive Bildfrequenz, werden die Änderungen im Szenengehalt der Folge nicht als glatt, sondern als ruckhaft oder zittrig wahrgenommen. Wenn die digitale Laufbildfolge mit einer höheren Bildfrequenz wiedergegeben wird als der effektiven Bildfrequenz, erscheint die Bewegung in der Folge zwar glatt, es werden aber mehr Bilder als nötig für die Wiedergabe der Bildfolge verwendet, so dass digitale Abbildungsressourcen verschwendet werden.
- Die effektive Bildfrequenz kann in verschiedenen Abschnitten einer Bildfolge unterschiedlich sein. In manchen Abschnitten werden nur sehr wenige Bilder benötigt, um Änderungen im Szenengehalt effektiv wiederzugeben. In anderen Abschnitten werden sehr viel mehr Bilder benötigt, um die Änderungen im Szenengehalt effektiv wiederzugeben.
- In
1 ist ein Beispiel einer 10 Sekunden langen Laufbildfolge mit 240 Bildern mit einer ursprünglichen Bild-Zeitzeile10 und einer effektiven Bild-Zeitzeile12 dargestellt. Die Bilder 1 bis 48 können effektiv mit vier in zwei Sekunden dargestellten Bildern wiedergegeben werden. Die Bilder 49 bis 120 können effektiv mit 72 in drei Sekunden dargestellten Bildern wiedergegeben. Die Bilder 121 bis 192 können effektiv mit 144 in drei Sekunden dargestellten Bildern wiedergegeben werden. Die Bilder 193 bis 240 können effektiv mit 144 in zwei Sekunden dargestellten Bildern wiedergegeben werden. Die für die Laufbildfolge insgesamt benötigte Zeit bleibt gleich – 10 Sekunden -, aber die Anzahl der Gesamtbilder in der Folge und die Anzahl effektiver Bilder je Sekunde verändert sich während der Bildfolge. Die effektive Bildfrequenz14 verändert sich, um Änderungen des Szenengehalts effektiv wiederzugeben. In jedem Fall vollziehen sich die sichtbaren Szenenänderung mit der Geschwindigkeit, mit der sie ursprünglich aufgenommen wurden, das heißt, das Zeitmaß hat sich nicht verändert. - Wenn die effektive Bildfrequenz niedriger ist als die ursprüngliche Bildfrequenz, kann die Zahl der Bilder in einfacher Weise durch Weglassen von Bildern, durch Ersetzen einer Anzahl von Bildern durch einen über mehrere Bilder ermittelten Mittelwert oder durch Interpolieren eines repräsentativen Bildes für die mehreren Bilder der Laufbildfolge erreicht werden, so dass man eine Bildfolge mit der effektiven Bildfrequenz erhält. Wenn die effektive Bildfrequenz größer ist als die ursprüngliche Aufnahme-Bildfrequenz, können zusätzliche Bilder durch Bild-Interpolation erzeugt werden, so dass man eine Bildfolge mit der effektiven Bild frequenz erhält. Unter Bild-Interpolation versteht man das Verfahren zum Erzeugen neuer Bilder innerhalb einer Bildfolge durch Analyse des Bildgehalts der dem neuen Bild vorausgehenden und folgender Bilder und Erzeugung des neuen Bildes aus den Daten der vorausgehenden und folgenden Bilder. Hierfür sind dem Fachmann verschiedene Berechnungstechniken bekannt, insbesondere die Laufbildvektoranalyse und Estimation. Vorzugsweise wendet man die Laufbildvektoranalyse und Interpolation an. Das Cineon-System von Eastman Kodak liefert zum Beispiel ein solches Tool. Alternativ können auch bekannte Morphing-Techniken zur Erzeugung interpolierter Bilder angewandt werden.
- In
2 wurde eine Laufbildfolge20 ursprünglich mit 24 Bildern pro Sekunde aufgenommen. Wegen der Änderungen im Bildgehalt wird für die Wiedergabe eine effektive Änderungs-Bildfrequenz von 48 Bildern pro Sekunde gewählt. Zur Erzeugung dieser Bildfolge mit schnellerer Bildfrequenz wird die Bildfolge20 verarbeitet. Ein (mit einem Sternchen gekennzeichnetes) interpoliertes Bild, das ein in der Mitte zwischen den ursprünglichen Bildern liegendes Bild repräsentiert, wird berechnet und zwischen jeweils zwei ursprüngliche Bilder eingefügt, so dass man eine verarbeitete, interpolierte Bildfolge22 erhält. Die Bilder der verarbeiteten Bildfolge können dann mit der effektiven Bildfrequenz von 48 Bildern pro Sekunde dargestellt werden. -
3 zeigt ein komplexeres Beispiel. In3 wird eine ursprüngliche Laufbildfolge30 mit einer Bildfrequenz von 24 Bildern pro Sekunde aufgenommen, und die effektive Bildfrequenz wird mit 32 Bildern pro Sekunde festgestellt. Zur Erzeugung einer verarbeiteten Folge32 mit einer effektiven Bildfrequenz von 32 Bildern pro Sekunde wird die Bildfolge interpoliert, wobei jedoch in diesem Beispiel nur jedes dritte ursprüngliche Bild erhalten bleibt, während die übrigen interpoliert werden. Mit einem Apostroph gekennzeichnete Bilder werden an einem Punkt drei Viertel der Strecke zwischen den beiden Bildern interpoliert, mit einem Sternchen markierte Bilder werden an einem Punkt mitten zwischen den Bildern interpoliert, während mit einem Et-Zeichen markierte Bilder an einem Punkt ein Viertel der Strecke zwischen den Bildern interpoliert werden. - Die Wiedergabe einer Laufbildfolge mit einer effektiven Bildfrequenz kann in zweierlei Weise erfolgen. Bei einer Ausführungsform kann ein Wiedergabegerät ein Bild beliebig lange darstellen. Bei dieser Ausführungsform hat jedes Bild der verarbeiteten Folge digitaler Laufbilder eine ihm zugeordnete Dauer, die die Dauer der Wiedergabe des Bildes angibt. Diese Dauer kann von einem Bild der Folge zum anderen unterschiedlich sein. Hierzu wird jedem Bild der Bildfolge eine Metadaten-Information hinzugefügt, die die Bildfrequenz (oder Belichtungszeit) jedes Bildes in der Bildfolge wiedergibt. Diese Information kann in einem Bilddatei-Header oder in Form zusätzlicher beschreibender Information gespeichert werden, die der betreffenden Bilddatei zugeordnet, aber getrennt von ihr gespeichert wird. Die Techniken zum Speichern von Information in Verbindung mit einem digitalen Bild sind dem Fachmann bekannt. In
4 ist ein bekanntes Speicherformat40 zum Speichern der Bilder 42 und der Metadaten44 in einem Datei-Header 46 dargestellt. - Bei einer zweiten Ausführungsform arbeitet das Wiedergabegerät mit einer festen Wiedergabe-Bildfrequenz, die ein ganzes Vielfaches einer der effektiven Bildfrequenzen der Laufbildfolge ist. Dabei ist jedem Bild ein Wiederholungswert zugeordnet, der wiedergibt, wie oft jedes Bild wiedergegeben werden soll, damit die Bilder mit der effektiven Bildfrequenz wiedergegeben werden. Diese Technik ist in
5 dargestellt, wo eine ursprüngliche Folge mit 24 Bildern pro Sekunde erfasst wird, aber effektive Bildfrequenzen von 24, 32 und 48 für verschiedene Abschnitte der Bildfolge aufweist. Das kleinste gemeinsame Vielfache dieser effektiven Frequenzen ist die Wiedergabefrequenz 96. Jeder Abschnitt wird interpoliert (wie in2 und3 dargestellt). Bei dem Beispiel gemäß5 weist der Abschnitt60 eine effektive Bildfrequenz 24 auf, so dass jedes Bild viermal angezeigt wird, der Abschnitt62 hat die effektive Bildfrequenz 32, so dass jedes Bild dreimal angezeigt wird, und der Abschnitt64 hat die effektive Bildfrequenz 48, so dass jedes Bild zweimal angezeigt wird. Beim Speichern können wiederholte Bilder mehrfach gespeichert werden oder, was effizienter ist, es kann jedem Bild eine Wiederholungszahl in Form von Metadaten hinzugefügt werden, die dann vom Wiedergabegerät verwendet wird. - Weil das niedrigste gemeinsame Vielfache der verschiedenen effektiven Bildfrequenzen innerhalb einer Bildfolge schnell sehr groß werden kann, ist es zweckmäßig, die Anzahl zulässiger effektiver Bildfrequenzen (und damit die maximale Wiedergabe-Bildfrequenz) zu begrenzen. Dies kann in einfacher Weise dadurch geschehen, dass man die effektive Bildfrequenz für einen Abschnitt einer Bildfolge auf die nächste höchstzulässige Bildfrequenz run det. Zwar erfordert eine Erhöhung der effektiven Bildfrequenz mehr Bilder und Bilddaten als unbedingt nötig, sie begrenzt aber andererseits die physischen Anforderungen an das Wiedergabesystem und vereinfacht gegebenenfalls die Systemhardware.
- In
6 sind die Komponenten eines erfindungsgemäßen Systems dargestellt. Diese Komponenten sind ähnlich denen, die von herkömmlichen Laufbildfilm- oder Videosystemen verwendet werden, aber die Anzeige- und Rechenkomponenten können mit Bildern beliebiger Dauer oder beliebigen Widerholungszahlen arbeiten. In6 speichert ein Bildaufzeichnungsgerät70 , etwa eine Film-, Video- oder digitale Kamera, Laufbilder einer Szene. Die Bilder werden nötigenfalls in ein digitales Format umgewandelt, wenn dies zum Beispiel für die Entwicklung des Films in einem Standard-Filmentwicklungsgerät (nicht dargestellt) und das Scannen des Films in einem Filmscanner72 erforderlich ist. Alternativ kann die digitale Laufbildfolge auch direkt mit einer digitalen Kamera73 aufgenommen werden. Die die Laufbildfolge repräsentierenden digitalen Daten werden in einem digitalen Computer76 verarbeitet, um eine Bildfolge zu erstellen, in der verschiedene Abschnitte unterschiedliche effektive Bildfrequenzen aufweisen. Die verarbeitete digitale Bildfolge wird auf einem Speichermedium, etwa einer optischen Platte80 , gespeichert oder über einen Verteilerkanal82 an ein Wiedergabegerät84 übermittelt, wo sie einem Betrachter vorgeführt werden kann. Das Wiedergabegerät gibt die Bildfolge mit unterschiedlichen effektiven Bildfrequenzen oder einem festen Vielfachen der in der Bildfolge enthalten effektiven Bildfrequenzen wieder. In der Praxis wird das Wiedergabegerät hinsichtlich der Bildfrequenz in gewisser Weise beschränkt sein. Zum Beispiel hat das System eine maximale Frequenz, mit der Daten aus einem Speichermedium ausgelesen werden können, oder gegebenenfalls eine feste Bild- oder Pixel-Wiederholfrequenz, die die maximal erzielbare Bildfrequenz begrenzt. - Die Bestimmung der effektiven Bildfrequenz kann auf unterschiedliche Weise erfolgen. Zum einen kann sie aufgrund der vorherigen Kenntnis der Szene, ihrer Komponenten und der gewünschten Wirkung willkürlich für unterschiedliche Abschnitte einer Bildfolge auf eine gewünschte Frequenz festgelegt werden. Eine zweite anwendbare Technik besteht darin, Abschnitte der Bilder der Bildfolge automatisch zu analysieren, um die effektive Bildfrequenz für den betreffenden Abschnitt zu berechnen, und diese effektive Bildfrequenz dann anzu wenden. Dann kann sich die Bildfrequenz je nach dem in dem betreffenden Abschnitt vorliegenden Bildgehalt dynamisch ändern.
- Auch um andere Probleme zu lösen, kann die effektive Bildfrequenz geändert werden. Zum Beispiel könnte die effektive Bildfrequenz als Antwort auf andere Beschränkungen des Systems, etwa bezüglich der Speicher- oder Bandbreiten- oder Rechenkapazitäten, oder zum Ausgleich für Verarbeitungsartefakte verringert werden. Alternativ ist es auch möglich, die effektive Bildfrequenz unabhängig von den Aspekten der optimalen Betrachtung oder der Rechnermöglichkeiten ausschließlich für gewisse künstlerische Effekte zu manipulieren. Auch kann eine Bedienungsperson in eine Bildfolge eingreifen, um die effektive Frequenz willkürlich zu manipulieren oder auszuwählen. Dies ist in
6 mit einem herkömmlichen Computer76 , einem Anzeigesystem74 , interaktiven Geräten wie Tastaturen und einer Maus78 und einem Speichergerät80 dargestellt. Herkömmliche Effekte, etwa Zeitlupenwiedergaben, werden in einfacher Weise an dieser Stelle des Verfahrens realisiert. - Nachdem die Bildfolge zur Optimierung der Frequenz für jedes Bild verarbeitet wurde, wird die Bildfolge mittels herkömmlicher digitaler Speicher- und Kommunikationsgeräte, etwa magnetischer oder optischer Medien, Telekommunikationssysteme, usw., gespeichert und übermittelt. Zur weiteren Optimierung dieses Prozesses können auch vorhandene Techniken wie die Kompression eingesetzt werden.
- An dem Ort der Wiedergabe wird die verarbeitete Bildfolge dargestellt. Das Wiedergabegerät liest jedes Bild der Laufbildfolge zusammen mit den Metadaten aus, welche die Bilddauer oder die diesem Bild zugeordnete Wiederholungszahl angeben. Dann wird jedes Bild der Bildfolge für die vorgegebene Zeitdauer oder mit der vorgegebenen Wiederholungszahl zum Betrachten angezeigt.
- In der Praxis können die interpolierten oder wiederholten Bilder auch in Realzeit im Wiedergabegerät erzeugt werden. In diesem Fall müssen die die gewünschte Bildfrequenz angebenden Daten an das Wiedergabegerät übermittelt werden, so dass dieses die entsprechenden interpolierten Bilder erzeugen kann. Dies kann die Anforderungen hinsichtlich der Kommunikations-Bandbreite oder der Speicherkapazität für die Bildfolge verringern, wenn zu erwarten ist, dass die effektive Bildfrequenz insgesamt schneller sein wird als beim Original. Alternativ können die interpolierten Bilder auch vor dem Anzeigen der Bildfolge erzeugt werden. Diese Lösung verringert die Rechen-Anforderungen an das Wiedergabegerät.
- Eine Laufbildfolge mit effektiven Bildfrequenzen kann auch dann erzeugt und Betrachtern vorgeführt werden, wenn sie ursprünglich nicht mit einer festen Bildfrequenz, sondern mit einer variablen Bildfrequenz aufgenommen wurde. Beim Verarbeiten oder Manipulieren kann dann dasselbe Verfahren zum Bestimmen der effektiven Bildfrequenzen durchgeführt werden; die Bilder werden nach Bedarf interpoliert oder gelöscht, und die entsprechenden Metadaten werden erzeugt und den betreffenden Bildern zugeordnet. Dies kann bei einer Bilderfassung mit variablen Bildfrequenzen das Endergebnis verbessern, da bei Erfassung mit variablen Frequenzen eine größere Menge der erforderlichen Information erhalten werden dürfte.
- Die Erfindung stellt eine einfache Möglichkeit zur Verbesserung von Laufbildfolgen hinsichtlich Wiedergabequalität und Speicherungs-, Kommunikations- und Manipulationsanforderungen bereit.
Claims (12)
- Verfahren zum Aufzeichnen und Bearbeiten einer Folge digitaler Laufbilder, mit den Schritten: a) Aufzeichnen einer Folge digitaler Laufbilder mit einer konstanten Bilderfassungsfrequenz, um eine zeitlich geordnete Bildfolge zu erzeugen; b) Auswählen einer Vielzahl aufeinanderfolgender Bilder in einer zeitlich geordneten Folge, um einen ersten Abschnitt der digitalen Laufbildfolge zu erzeugen; c) Analysieren der Unterschiede im Szenengehalt der Bilder des ersten Abschnitts, um eine erste effektive Bildfrequenz zu bestimmen, die sich von der Bilderfassungsfrequenz unterscheidet; d) Erzeugen erster neuer Filmbilder, deren Szenengehalt zeitlich interpoliert ist zwischen den Bildern im ersten Abschnitt und zeitliches Ordnen der ersten neuen Filmbilder zwischen den Bildern im ersten Abschnitt, um eine Folge digitaler Laufbilder mit einem interpolierten ersten Abschnitt mit einer ersten effektiven Bildfrequenz zu schaffen; e) Auswählen zweier oder mehrerer aufeinanderfolgender Bilder in der zeitlich geordneten Folge, die sich von den Bildern im ersten Abschnitt unterscheiden, um einen zweiten Abschnitt der Folge digitaler Laufbilder zu erzeugen; f) Analysieren der Unterschiede im Szenengehalt der Bilder des zweiten Abschnitts, um eine zweite effektive Bildfrequenz zu bestimmen, die sich von der ersten effektiven Bildfrequenz unterscheidet; g) Erzeugen zweiter neuer Filmbilder, deren Szenengehalt zeitlich interpoliert ist zwischen den Bildern im zweiten Abschnitt und zeitliches Ordnen der zweiten neuen Filmbilder zwischen den Bildern im zweiten Abschnitt, um eine Folge digitaler Laufbilder mit einem interpolierten zweiten Abschnitt mit einer zweiten effektiven Bildfrequenz zu schaffen; h) nacheinander erfolgendes Anzeigen von Bildern im interpolierten ersten Abschnitt mit der ersten effektiven Bildfrequenz und der Bilder im interpolierten zweiten Abschnitt mit der zweiten effektiven Bildfrequenz.
- Verfahren nach Anspruch 1, worin mindestens eine der ersten und zweiten effektiven Bildfrequenzen größer ist als die Erfassungsbildfrequenz.
- Verfahren nach Anspruch 1, worin die Erzeugungsschritte mindestens einen Bearbeitungsschritt umfassen, der aus der Gruppe bestehend aus Bildwiederholung, Bildinterpolation und Bildlöschung ausgewählt wird.
- Verfahren nach Anspruch 3, worin der Bearbeitungsschritt der Bildinterpolation eine Laufbildvektorinterpolation umfasst.
- Verfahren nach Anspruch 1, worin die Schritte des Bestimmens effektiver Bildfrequenzen von einer Bedienungsperson ausgeführt werden.
- Verfahren nach Anspruch 1, worin die Schritte des Bestimmens effektiver Bildfrequenzen automatisch erfolgen.
- Verfahren nach Anspruch 1, mit den Schritten des Komprimierens der Folge digitaler Laufbilder nach dem Aufzeichnungsschritt; Übertragen der Folge digitaler Laufbilder an einen entfernten Ort; und Dekomprimieren der komprimierten Folge digitaler Laufbilder vor dem Auswahlschritt.
- Verfahren nach Anspruch 1 oder 2, worin der Anzeigeschritt die Interpolation von Bildern gemäß den Anleitungen in einer Displayvorrichtung umfasst.
- Verfahren nach Anspruch 7, worin die Kompression eine MPEG Kompression ist.
- Verfahren nach Anspruch 1, worin der Aufzeichnungsschritt das Erfassen einer Folge von Laufbildern auf Silberhalogenidfilm umfasst, das Entwickeln des Films und das Scannen des Films, um eine Folge digitaler Laufbilder zu erzeugen.
- Verfahren nach Anspruch 1, worin der Aufzeichnungsschritt das Erfassen einer Folge von Laufbildern mit einer Videokamera umfasst sowie das Digitalisieren der erfassten Folge.
- Verfahren nach Anspruch 1, worin der Aufzeichnungsschritt das Erfassen einer Folge von Laufbildern mit einer Digitalkamera umfasst.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/792,314 US7242850B2 (en) | 2001-02-23 | 2001-02-23 | Frame-interpolated variable-rate motion imaging system |
US792314 | 2004-03-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE60211978D1 DE60211978D1 (de) | 2006-07-20 |
DE60211978T2 true DE60211978T2 (de) | 2007-01-18 |
Family
ID=25156469
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE60211978T Expired - Lifetime DE60211978T2 (de) | 2001-02-23 | 2002-02-11 | Laufbildsystem mit bildinterpolation und variabler bildfrequenz |
Country Status (4)
Country | Link |
---|---|
US (1) | US7242850B2 (de) |
EP (1) | EP1237370B1 (de) |
JP (1) | JP2002359778A (de) |
DE (1) | DE60211978T2 (de) |
Families Citing this family (44)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020039138A1 (en) * | 2000-09-29 | 2002-04-04 | Edelson Steven D. | Method and apparatus for automatically adjusting video panning and zoom rates |
WO2003077549A1 (en) * | 2002-03-13 | 2003-09-18 | Imax Corporation | Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data |
US20040090554A1 (en) * | 2002-10-23 | 2004-05-13 | Takahiro Nishi | Picture coding method |
US7471314B2 (en) * | 2002-11-15 | 2008-12-30 | Sony Corporation | Transmission device, transmission method, reproduction device, reproduction method, program, and recording medium |
KR100542361B1 (ko) * | 2003-02-12 | 2006-01-10 | 삼성전자주식회사 | 피피피오이 네트워크 시스템 및 이 시스템의 접속 방법 |
EP1672917A1 (de) * | 2003-10-01 | 2006-06-21 | Matsushita Electric Industrial Co., Ltd. | Videosignal-verarbeitungsvorrichtung |
CN1954602A (zh) * | 2004-03-15 | 2007-04-25 | 夏普株式会社 | 录像再生编辑装置 |
US20050254011A1 (en) * | 2004-05-17 | 2005-11-17 | Weisgerber Robert C | Method for exhibiting motion picture films at a higher frame rate than that in which they were originally produced |
US20110025911A1 (en) * | 2004-05-17 | 2011-02-03 | Weisgerber Robert C | Method of enhancing motion pictures for exhibition at a higher frame rate than that in which they were originally produced |
US20090027549A1 (en) * | 2004-05-17 | 2009-01-29 | Weisgerber Robert C | Method for processing motion pictures at high frame rates with improved temporal and spatial resolution, resulting in improved audience perception of dimensionality in 2-D and 3-D presentation |
US20060244917A1 (en) * | 2004-05-17 | 2006-11-02 | Weisgerber Robert C | Method for exhibiting motion picture films at a higher frame rate than that in which they were originally produced |
JP4483501B2 (ja) * | 2004-09-22 | 2010-06-16 | 株式会社ニコン | 静止画を動画再生するための前処理を行う画像処理装置、プログラム、および方法 |
WO2006049616A1 (en) * | 2004-11-01 | 2006-05-11 | Thomson Licensing | Anticamcorder media projection using enhanced frame rate |
JP4429148B2 (ja) * | 2004-11-25 | 2010-03-10 | 富士フイルム株式会社 | 画像撮影記録装置及び方法 |
JP4516536B2 (ja) * | 2005-03-09 | 2010-08-04 | 富士フイルム株式会社 | 動画生成装置、動画生成方法、及びプログラム |
CA2611009A1 (en) * | 2005-06-08 | 2006-12-14 | Dean K. Goodhill | Method and apparatus for inhibiting the piracy of motion pictures |
EP2270591B1 (de) * | 2005-08-22 | 2015-01-07 | Nds Limited | Kopierschutz für Filme |
JP4887727B2 (ja) * | 2005-10-20 | 2012-02-29 | ソニー株式会社 | 画像信号処理装置、カメラシステム、および画像信号処理方法 |
WO2007085950A2 (en) * | 2006-01-27 | 2007-08-02 | Imax Corporation | Methods and systems for digitally re-mastering of 2d and 3d motion pictures for exhibition with enhanced visual quality |
EP2033164B1 (de) | 2006-06-23 | 2015-10-07 | Imax Corporation | Verfahren und systeme zur umwandlung von 2d-filmen für stereoskopische 3d-vorführung |
US8885099B2 (en) * | 2007-02-16 | 2014-11-11 | Marvell World Trade Ltd. | Methods and systems for improving low resolution and low frame rate video |
US8749752B2 (en) * | 2007-04-28 | 2014-06-10 | Robert C. Weisgerber | Compact acquisition format for dimensionalized digital cinema projection at forty-eight images per second |
JP5125294B2 (ja) * | 2007-07-31 | 2013-01-23 | 株式会社ニコン | プログラム、画像処理装置、撮像装置および画像処理方法 |
JP5018332B2 (ja) * | 2007-08-17 | 2012-09-05 | ソニー株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
JP4831017B2 (ja) | 2007-08-27 | 2011-12-07 | ソニー株式会社 | 画像処理装置、現像装置、画像処理方法、現像方法、画像処理プログラム、および現像プログラム |
US8179466B2 (en) * | 2009-03-11 | 2012-05-15 | Eastman Kodak Company | Capture of video with motion-speed determination and variable capture rate |
US8405770B2 (en) * | 2009-03-12 | 2013-03-26 | Intellectual Ventures Fund 83 Llc | Display of video with motion |
US8346915B2 (en) * | 2009-05-04 | 2013-01-01 | Qualcomm Incorporated | System and method of recording and sharing mobile application activities |
US8358782B2 (en) * | 2009-06-26 | 2013-01-22 | Eastman Kodak Company | Method for displaying a video of a scene |
US9286709B2 (en) * | 2009-07-27 | 2016-03-15 | Dreamworks Animation Llc | Variable frame rate rendering and projection |
KR20110056837A (ko) * | 2009-11-23 | 2011-05-31 | 삼성전자주식회사 | 3차원 영상 디스플레이 장치 및 디스플레이 방법 |
JP5980604B2 (ja) * | 2012-07-18 | 2016-08-31 | オリンパス株式会社 | 内視鏡システム |
US20140056354A1 (en) * | 2012-08-21 | 2014-02-27 | Mediatek Inc. | Video processing apparatus and method |
US9277169B2 (en) * | 2013-02-21 | 2016-03-01 | Robert C. Weisgerber | Method for enhancing motion pictures for exhibition at a higher frame rate than that in which they were originally produced |
US9736448B1 (en) * | 2013-03-15 | 2017-08-15 | Google Inc. | Methods, systems, and media for generating a summarized video using frame rate modification |
US9392215B2 (en) * | 2014-03-25 | 2016-07-12 | Robert C. Weisgerber | Method for correcting corrupted frames during conversion of motion pictures photographed at a low frame rate, for exhibition at a higher frame rate |
US9865205B2 (en) * | 2015-01-19 | 2018-01-09 | Himax Technologies Limited | Method for transmitting data from timing controller to source driver and associated timing controller and display system |
EP3764632B1 (de) * | 2018-03-26 | 2023-02-22 | Huawei Technologies Co., Ltd. | Verfahren und elektronische vorrichtung zur videoaufzeichnung |
CN111277895B (zh) * | 2018-12-05 | 2022-09-27 | 阿里巴巴集团控股有限公司 | 一种视频插帧方法和装置 |
US11239637B2 (en) | 2018-12-21 | 2022-02-01 | Kyocera Sld Laser, Inc. | Fiber delivered laser induced white light system |
US11421843B2 (en) | 2018-12-21 | 2022-08-23 | Kyocera Sld Laser, Inc. | Fiber-delivered laser-induced dynamic light system |
US11526970B2 (en) | 2019-09-04 | 2022-12-13 | Samsung Electronics Co., Ltd | System and method for video processing with enhanced temporal consistency |
CN111225150B (zh) * | 2020-01-20 | 2021-08-10 | Oppo广东移动通信有限公司 | 插帧处理方法及相关产品 |
WO2021242873A1 (en) * | 2020-05-26 | 2021-12-02 | Dolby Laboratories Licensing Corporation | Picture metadata for variable frame-rate video |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3723644A (en) | 1972-04-24 | 1973-03-27 | Bell Telephone Labor Inc | Variable frame rate recording system using speed measurement |
US5327243A (en) * | 1989-12-05 | 1994-07-05 | Rasterops Corporation | Real time video converter |
JP2530090B2 (ja) | 1992-02-28 | 1996-09-04 | 三星電子株式会社 | 映像信号符号化装置 |
JP3548191B2 (ja) * | 1993-03-22 | 2004-07-28 | キヤノン株式会社 | カメラ |
US5389965A (en) | 1993-04-01 | 1995-02-14 | At&T Corp. | Video telephone station having variable image clarity |
US5828786A (en) | 1993-12-02 | 1998-10-27 | General Instrument Corporation | Analyzer and methods for detecting and processing video data types in a video data stream |
US6222589B1 (en) * | 1996-08-08 | 2001-04-24 | Yves C. Faroudja | Displaying video on high-resolution computer-type monitors substantially without motion discontinuities |
US5893062A (en) * | 1996-12-05 | 1999-04-06 | Interval Research Corporation | Variable rate video playback with synchronized audio |
US6151075A (en) * | 1997-06-11 | 2000-11-21 | Lg Electronics Inc. | Device and method for converting frame rate |
US6192079B1 (en) | 1998-05-07 | 2001-02-20 | Intel Corporation | Method and apparatus for increasing video frame rate |
DK79298A (da) | 1998-06-08 | 1999-12-09 | Norsk Hydro As | Profil for køling af brændstof, en brændstofledning samt en fremgangsmåde til fremstilling heraf |
US6034733A (en) * | 1998-07-29 | 2000-03-07 | S3 Incorporated | Timing and control for deinterlacing and enhancement of non-deterministically arriving interlaced video data |
JP3542911B2 (ja) | 1998-08-24 | 2004-07-14 | 日本電気株式会社 | 動画圧縮装置 |
US6542198B1 (en) * | 1999-03-30 | 2003-04-01 | Ati International Srl | Method and apparatus for optimizing video playback at arbitrary refresh rates |
US6469744B1 (en) * | 1999-07-06 | 2002-10-22 | Hitachi America, Ltd. | Methods and apparatus for encoding, decoding and displaying images in a manner that produces smooth motion |
US6351545B1 (en) * | 1999-12-14 | 2002-02-26 | Dynapel Systems, Inc. | Motion picture enhancing system |
AU2465001A (en) * | 1999-12-30 | 2001-07-16 | Applied Science Fiction, Inc. | System and method for digital color dye film processing |
US6433839B1 (en) * | 2000-03-29 | 2002-08-13 | Hourplace, Llc | Methods for generating image set or series with imperceptibly different images, systems therefor and applications thereof |
US20020149696A1 (en) * | 2001-02-23 | 2002-10-17 | Eastman Kodak Company | Method for presenting improved motion image sequences |
-
2001
- 2001-02-23 US US09/792,314 patent/US7242850B2/en not_active Expired - Lifetime
-
2002
- 2002-02-11 DE DE60211978T patent/DE60211978T2/de not_active Expired - Lifetime
- 2002-02-11 EP EP02075555A patent/EP1237370B1/de not_active Expired - Lifetime
- 2002-02-22 JP JP2002045934A patent/JP2002359778A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
US20030016750A1 (en) | 2003-01-23 |
EP1237370A3 (de) | 2003-12-17 |
DE60211978D1 (de) | 2006-07-20 |
EP1237370B1 (de) | 2006-06-07 |
JP2002359778A (ja) | 2002-12-13 |
US7242850B2 (en) | 2007-07-10 |
EP1237370A2 (de) | 2002-09-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE60211978T2 (de) | Laufbildsystem mit bildinterpolation und variabler bildfrequenz | |
DE69124283T2 (de) | Videosignalaufzeichnungs/-wiedergabegerät | |
DE69513541T2 (de) | Verfahren zum Detektieren von durch Kamarabewegungen verursachte Szenenänderungen | |
DE69328656T2 (de) | Bilddatenverarbeitung | |
DE69615947T2 (de) | Bildverarbeitungsgerät | |
DE69418367T2 (de) | Verfahren zur Detektion einer Szenenänderung | |
DE68928438T2 (de) | Verfahren und Vorrichtung zur Erzeugung von beweglichen Bildern | |
DE3814627C2 (de) | ||
DE69422208T2 (de) | Filmbilderkennung in einer Videosequenz | |
DE69826155T2 (de) | Verfahren und Vorrichtung zur digitalen Videosignalfilterung und -kodierung | |
DE69324958T2 (de) | Kompression und Dekompression von Bildern | |
DE68923532T2 (de) | Digitaler Videobandrecorder, geeignet zur Bildwiedergabe mit hoher Geschwindigkeit. | |
DE69619220T2 (de) | Manipulaton von grafikbildern | |
DE602004008794T2 (de) | Bildwiedergabe mit interaktiver bewegungsparallaxe | |
DE69524896T2 (de) | Wiedergabe von Videobildern mit erhöhter Geschwindigkeit | |
DE69225211T2 (de) | Verfahren und Vorrichtung zum Aufzeichnen von Videosignalen auf einem Aufzeichnungsträger | |
DE69325933T2 (de) | Vorrichtung zur digitalen Aufzeichung und/oder Wiedergabe eines Videosignals | |
DE2937282C2 (de) | ||
DE19531004C2 (de) | Verfahren und Vorrichtung zur wahrnehmungsoptimierten Übertragung von Video- und Audio-Daten | |
DE3233882C2 (de) | ||
DE69320689T2 (de) | Vorrichtung und Verfahren zur Verarbeitung von Bilddaten | |
DE69120499T2 (de) | Bildverbesserung in Videosichtgeräten | |
DE602004002171T2 (de) | Verfahren zum adaptiven abspielen von videorahmen | |
DE69732089T2 (de) | Vorrichtung und verfahren zur zeitlichen und räumlichen integration und verwaltung einer vielzahl von videos sowie speichermedium zur speicherung eines programms dafür | |
DE112004002391B4 (de) | Räumlich-zeitliche Erzeugung von Bewegungsunschärfe |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition |