DE69015419T2 - Umwandlung eines Videosignals auf einen photographischen Film. - Google Patents
Umwandlung eines Videosignals auf einen photographischen Film.Info
- Publication number
- DE69015419T2 DE69015419T2 DE69015419T DE69015419T DE69015419T2 DE 69015419 T2 DE69015419 T2 DE 69015419T2 DE 69015419 T DE69015419 T DE 69015419T DE 69015419 T DE69015419 T DE 69015419T DE 69015419 T2 DE69015419 T2 DE 69015419T2
- Authority
- DE
- Germany
- Prior art keywords
- video signal
- motion
- motion vector
- frame
- digital video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000033001 locomotion Effects 0.000 claims description 361
- 239000013598 vector Substances 0.000 claims description 318
- 230000000750 progressive effect Effects 0.000 claims description 44
- 238000000034 method Methods 0.000 claims description 35
- 238000010894 electron beam technology Methods 0.000 claims description 7
- 238000012360 testing method Methods 0.000 description 42
- 238000006243 chemical reaction Methods 0.000 description 20
- 230000000875 corresponding effect Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 13
- 239000003638 chemical reducing agent Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000009467 reduction Effects 0.000 description 7
- 230000003068 static effect Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 5
- 238000011946 reduction process Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 206010017367 Frequent bowel movements Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/84—Television signal recording using optical recording
- H04N5/843—Television signal recording using optical recording on film
- H04N5/846—Television signal recording using optical recording on film the film moving intermittently
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0112—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards corresponding to a cinematograph film standard
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S348/00—Television
- Y10S348/911—Line doubler adapted for reproducing program originally from film, e.g. 24 frame per second
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
- Television Signal Processing For Recording (AREA)
Description
- Diese Erfindung betrifft Verfahren und eine Vorrichtung zur Umwandlung eines Videosignals in ein photografisches Filmbild.
- Figur 1 der begleitenden Zeichnungen zeigt in Form eines Blockdiagramms eine Vorrichtung, die wir kürzlich vorgeschlagen haben, zur Umwandlung eines Videosignals in ein photografisches Filmbild. Die Vorrichtung beinhaltet ein Videobandaufzeichnugsgerät (VTR) 1, einen Videosignalumwandler 2, eine Gammakorrekturvorrichtung 3 und eine Elektronenstrahl- Aufzeichnungsvorrichtung 4, die wie gezeigt verbunden sind. Die Funktionsweise kann wie folgt kürz beschrieben werden:
- Der VTR 1 reproduziert ein hochauflösendes Videosignal (HDVS), welches aus 60 im Zeilensprung abgetasteten Halbbildern pro Sekunde besteht. Der Umwandler 2 ist eine relativ einfache Vorrichtung, die aus dem reproduzierten Videosignal ein umgewandeltes Videosignal entsprechend einer Geschwindigkeit von 24 Abtast-Vollbilder pro Sekunde erzeugt, die durch Auslassen jedes fünften Eingangshalbbildes und Verbinden der verbleibenden Eingangshalbbilder erreicht wird, um fortschreitende Abtast-Vollbilder zu erzeugen, die an die Elektronenstrahl- Aufzeichnungsvorrichtung 4 geliefert werden, um sie auf einem photografischen Film aufzuzeichnen.
- Diese Vorrichtung bringt das Problem mit sich, daß, falls in einer Szene eine sigifikante Bewegung vorliegt, das verwendete Umwandlungsverfahren zu einer sehr störenden 6 Hz Bewegungs- Verwacklungs-Komponente im Bild führt.
- Höherentwickelte Videosignalumwandler sind in Form von Videostandardumwandlern bekannt, die verwendet werden, um Videosignale von einem Fernsehstandard in den anderen umzuwandeln, zum Beispiel von einem 625 Zeilen pro Vollbild, 50 Halbbilder pro Sekunde Standard zu einem 525 Zeilen pro Vollbild, 60 Halbbilder pro Sekunde Standard. Die Videostandardumwandlung kann aufgrund von temporären und vertikalen Schwankungen, die bei einem Videosignal vorliegen, nicht bloß durch einfache lineare Interpolationstechniken zufriedenstellend erreicht werden. Somit erzeugt eine einfache lineare Interpolation ungewollte Effekte im resultierenden Bild, im Besonderen sind die Bilder vertikal verzerrt und wackeln gelegentlich.
- Um diese Probleme zu reduzieren wurde vorgeschlagen, daß Videostandardumwandler adaptive Techniken verwenden sollten, um die Parameter eines linearen Interpolators in Abhängigkeit vom Grad der Bewegung im Bild, was durch das eingehende Videosignal dargestellt wird,zu verändern.
- Es wurde auch vorgeschlagen, zum Beispiel zum Zweck der Datenreduzierung bei einer Videosignalverarbeitung durch Block-Übereinstimmungstechnik Bewegungsvektoren aus einem eingehenden Videosignal zu erzeugen, bei der der Inhalt eines Suchblocks in einem Halbbild oder Vollbild mit den jeweiligen Inhalten einer Vielzahl von Suchblöcken, die in einem Suchgebiet im folgenden Halbbild oder Vollbild eingeschlossen sind, verglichen wird, um die Minimaldifferenz zwischen den so verglichenen Inhalten zu bestimmen und hieraus die Richtung und Entfernung der Bewegung (falls es eine gibt) des Inhalts des Originalsuchblocks zu bestimmen.
- Gemäß der vorliegenden Erfindung ist ein Verfahren zur Umwandlung eines Videosignals in ein photografisches Filmbild mit den Schritten vorgesehen:
- aus einem Eingangsvideosignal wird ein bewegungskompensiertes digitales Videosignal gewonnen entsprechend 24 fortschreitender Abtast-Vollbilder pro Sekunde;
- das digitale Videosignal wird in einem Videosignal-Aufzeichnungsgerät aufgezeichnet;
- das digitale Videosignal wird wiedergegeben;
- das wiedergegebene digitale Videosignal wird digital/analog-umgewandelt in ein analoges Videosignal entsprechend 24 fortschreitender Abtast-Vollbilder pro Sekunde; und
- das analoge Videosignal wird einem photographischen Aufzeichnungsgerät zugefuhrt, um den Inhalt des analogen Videosignals auf einem photographischen Film aufzuzeichnen.
- Gemäß der vorliegenden Erfindung ist auch eine Einrichtung zur Umwandlung eines Videosignals in ein photografisches Filmbild vorgesehen. Die Vorrichtung umfaßt:
- einen Fernseh-Standardumwandler, der aus einem Eingangsvideosignal ein bewegungskompensiertes digitales Videosignal gewinnt entsprechend 24 fortschreitenden Abtast- Vollbildern pro Sekunde;
- ein Videosignal-Aufzeichnungsgerät zum Aufzeichnen des digitalen Videosignals;
- einen Digital/Analog-Wandler zum Umwandeln des digitalen Videosignals nach der Wiedergabe in ein analoges Videosignal entsprechend 24 fortschreitender Abtast-Vollbilder pro Sekunde; und
- ein photographisches Aufzeichnungsgerät, dem das analoge Videosignal zugeführt wird, um des Inhalt des analogen Videosignals auf dem photographischen Film aufzuzeichnen.
- Die Erfindung wird nun anhand von Beispielen in Bezug auf die begleitenden Zeichnungen erläutert, wobei gleiche Teile durch gleiche Bezugszeichen bezeichnet werden, wobei:
- Figur 1 ein Blockdiagramm einer kürzlich vorgeschlagenen Vorrichtung zur Umwandlung eines Videosignals in ein photografisches Filmbild ist;
- Figur 2 ein Blockdiagramm eines Teils einer Ausführungsform der Vorrichtung zur Umwandlung eines Videosignals in ein photografisches Filmbild gemäß der vorliegenden Erfindung ist;
- Figur 3 ein Blockdiagramm eines anderen Teils der Ausführungsform ist;
- Figur 4 ein detaillierteres Blockdiagramm eines Teils der Ausführungsform ist;
- Figur 5 eine fortschreitende Abtastumwandlung in Form eines Diagramms zeigt;
- Figuren 6 bis 9 in Form von Diagrammen die Reihenfolge der Zeilen über die Reihenfolge der Halbbilder zeigen, um die fortschreitende Abtastumwandlung zu erläutern;
- Figur 10 ein Blockdiagramm ist, das die Schritte der bewegungsangepaßten fortschreitenden Abtastumwandlung zeigt;
- Figur 11 in Diagrammform das fortschreitende Abtasten zeigt, besonders die erforderliche Schätzung und den Differenzwert zwischen aufeinanderfolgenden Halbbildern;
- Figuren 12 und 13 Diagramme sind, die verwendet werden, um die Technik von Figur 11 delaillierter zu beschreiben. Figur 12 zeigt eine fortschreitende Abtastnormierfunktion und Figur 13 zeigt eine nicht-lineare Abtastfunktion;
- Figur 14 in Diagrammform die Erzeugung von Pixel in fehlenden Zeilen in der fortschreitenden Abtastumwandlung zeigt;
- Figuren 15 und 16 in Digrammform Suchblöcke und Suchbereiche und deren Beziehungen zueinander zeigen;
- Figur 17 eine Korrelationsfläche zeigt;
- Figuren 18 und 19 in Diagrammform zeigen, wie ein Suchblock entstanden ist;
- Figur 20 die Bereiche eines Vollbilds, in denen eine Suchblockübereinstimmung nicht möglich ist, zeigt;
- Figur 21 in Diagrammform ein sich bewegendes Objekt zeigt, das drei Suchblöcke durchläuft;
- Figuren 22 bis 24 jeweils drei resultierende Korrelationsflächen zeigen;
- Figuren 25 und 26 weitere Beispiele von Korrelationsflächen, die verwendet werden, um einen Schwellentest zu beschreiben;
- Figuren 27 und 28 noch weitere Beispiele von Korrelationsflächen zeigen, die verwendet werden, um einen Ringtest zu beschreiben;
- Figur 29 in Diagrammform zeigt, wie die Richtung in der ein Suchblock gebildet wird, bestimmt wird;
- Figur 30 in Diagrammform zeigt, wie eine Korrelationsfläche gewichtet wird;
- Figur 31 das Verhältnis zwischen Abtastblocks und Suchblocks und eines Videovollbilds zeigt;
- Figur 32 Bewegungsvektorbereiche in einem Videovollbild zeigt;
- Figur 33 bis 35 Diagramme zeigen, die verwendet werden, um die Bewegungsvektorreduktion in den jeweiligen Bereichen eines Videovollbilds zu erläutern;
- Figuren 36 und 37 in Diagrammform eine erste Stufe der Bewegungsvektorauswahl zeigen;
- Figuren 38 und 39 in Diagrammform zeigen, wie eine Schwelle während der Bewegungsvektorauswahl erreicht wird;
- Figur 40 in Diagrammform eine zweite Stufe der Bewegungsvektorauswahl zeigt;
- Figuren 41 bis 47 Pixelfelder mit verbundenen Bewegungsvektoren zeigen, um die Bewegungsvektornachbearbeitung zu erläutern; und
- Figur 48 in Diagrammform den Betrieb eines Interpolators zeigt;
- Die zu beschreibende Ausführungsform der Vorrichtung zur Umwandlung eines Videosignals in einen photografischen Film bzw. Filmbild ist besonders für den Gebrauch bei der Umwandlung eines hochauflösenden Videosignals (HDVS), welches 1125 Zeilen pro Vollbild, 60 Halbbilder pro Sekunde hat, in einen 24 Vollbilder pro Sekunde 35mm Film, geplant. Es ist jedoch ersichtlich, daß die Erfindung diesbezüglich nicht beschränkt ist und daß sie leicht an die Umwandlung anderer Eingangsvideosignale angepaßt werden kann.
- Die Vorrichtung kann günstigerweise in zwei Teilen betrachtet werden; der erste Teil, der in Figur 2 gezeigt ist, betrifft die Umwandlung des HDVS Eingangssignals in ein fortschreitendes digitales Videoabtastsignal entsprechend 24 Vollbildern pro Sekunde, welches auf einem VTR aufgezeichnet wird; und der zweite Teil, der in Figur 3 gezeigt ist, gibt das aufgezeichnete Videosignal wieder und überträgt es auf den photografischen Film.
- Der Teil der Vorrichtung, der in Figur 2 gezeigt ist, besteht aus einem hochauflösenden digitalen VTR 11, einem Fernseh-Standardumwandler 12, einem Vollbild-Aufzeichnungsgerät 13, der bis zu einer Sekunde Videosignale aufzeichnen kann, einem zweiten hochauflösenden VTR 14, einer Systemsteuerung 15, die mit einer Trackballsteuerung 16, einer Tastatur 17 und einem Grafikbildschirm 18 verbunden ist, und Fersehbildschirmen 19 und 20, die wie gezeigt miteinander verbunden sind und wie unten beschrieben arbeiten. Der zweite Teil der Vorrichtung, die in Figur 3 gezeigt ist, beinhaltet einen hochauflösenden VTR 31, eine digitale Schnittstelleneinheit (I/F) 32, eine Gamma-Korrekturvorrichtung 33, einen Digital-Analog-Wandler 34, ein Elektronenstrahl- Aufzeichnungsgerät 35, einen Fernsehtmonitor 36 und einen Schalter 37, die wie gezeigt verbunden sind. Die Arbeitsweise wird unten beschrieben.
- Mit Bezug auf Figur 2 sind die Videosignalverbindungen D digitale Verbindungen, die Y, U/V Signale aufweisen. Die Videosignalverbindungen A sind analoge Verbindungen, die R, B, G Signale aufweisen. Das Eingangsvideosignal, das auf einen Film übertragen werden soll und das von einer hochauflösenden Videokamera stammen kann, wird auf ein Magnetband aufgezeichnet, das vom digitalen VTR 11 gelesen wird. Der digitale VTR 11 ist in der Lage, das aufgezeichnete Videosignal mit 1/8 Geschwindigkeit wiederzugeben, wobei dies eine günstige Betriebsgeschwindigkeit für die darauffolgenden Schaltkreise darstellt, besonders für den Standard-Umwandler 12. Die Elemente 11 bis 14, 19 und 20 werden von der Systemsteuerung 15 gesteuert, wobei die Systemsteuernng 15 der Reihe nach durch Eingaben am Trackball 16 und der Tastatur 17 gesteuert werden kann und die mit dem Grafikbildschirm 18 verbunden ist, auf dem die auf den Fortschritt der Umwandlung bezogenen Informationen dargestellt werden.
- Ein Teil des HDVS Eingangssignals wird vom digitalen VTR 11 wiedergegeben und an den Standard-Umwandler 12 geliefert. Dieser bewirkt, wie unten detaillierter beschrieben, daß aus dem Videoeingangssignal, das ein zwischenzeilenabgetastetes Videosignal mit 60 Halbbildern pro Sekunde ist, zuerst ein bewegungsangepaßtes digitales Abtastvideosignal mit 60 Vollbildern pro Sekunde und dann aus diesem das erforderliche bewegungskompensierte fortschreitende digitale Abtastvideosignal entsprechend 24 Vollbildern pro Sekunde erzeugt, aber nicht unbedingt mit dieser Geschwindigkeit. Das Videosignal wird vom digitalen VTR 14 aufgezeichnet und, falls der digitale VTR 14 in der lage ist, in Zeitlupe aufzunehmen, was der Wiedergabegeschwindigkeit des digitalen VTR 11 entspricht, ist theoretisch das Vollbild-aufzeichnungsgerät 13 nicht erforderlich. Jedoch kann das Vollbild-aufzeichnungsgerät 13 in der Praxis auf jeden Fall einen nützlich Zusatz zur Vorrichtung darstellen, da er eine zeitweilige gewünschte Unterbrechung des Betriebs eher zuläßt. Ein solcher intermittierender Betrieb wird grundsätzlich für die Umwandlung eines Videosignals in einen Film benötigt, weil in häufigen Intervallen geprüft werden soll, ob die Umwandlung erfolgreich vor sich geht. Somit muß abhängig vom Inhalt des Videosignals, das umgewandelt werden soll, die Einstellung der Parameter, besonders die des Standard-Umwandlers 12, getroffen werden und die Ergebnisse beurteilt werden, bevor fortgefahren wird. Die Monitore 19 und 20 sind desweiteren zur Überprüfüng des Videosignals an den jeweiligen Punkten der Vorrichtung vorgesehen.
- Im zweiten Teil der Vorrichtung, die in Figur 3 gezeigt ist, wird das bewegungskompensierte fortschreitende digitale Abtastvideosignal, das vom digitalen VTR 14 (Figur 2) aufgezeichnet wurde, vom digitalen VTR 31 wiedergegeben und über die digitale I/F Einheit 32 zur Gamma- Korrekturvorrichtung 33 weitergeleitet, deren Zweck das Anpassen der Gamma-Charakteristiken des Videosignals an die Gamma-Charakteristiken des zu verwendeten Films ist. Der durch die Aufzeichnung des bewegungskompensierten fortschreitenden digitalen Abtastvideosignals durch den digitalen VTR 13 (Figur 2) für die Wiedergabe durch den digitalen VTR 31 gestattete getrennte Betrieb ermöglicht eine genaue Einstellung der Garnma-Korrektur durch die Gamma- Korrekturvorrichtung 33, da die unterbrochene und wiederholte Ausführung möglich ist, so daß verschiedene Anpassungen der im allgemeinen nicht-linearen Gamma-Charakeristiken des Videosignals vom digitalen VTR 31 an die im allgemeinen linearen Gamma-Charakteristiken des Films überprüft werden können. Diese Gamma-Einstellung kann zum Beispiel die Verwendung eines Stufenkeils zur Folge haben. Das Gamma-korrigierte digitale Videosignal wird dann durch den Digital-Analog-Wandler 34 in ein Analogsignal umgewandelt und an das Elektronenstrahlaufzeichnungsgerät 35 geliefert, um es auf den photografischen Film aufzuzeichnen. Diese Aufzeichnung kann zum Beispiel in Form von drei monochromen Vollbildern für jedes Vollbild des Videosignals geschehen, wobei die drei Vollbilder jeweils rot, grün und blau entsprechen. Desweiteren kann der Fernsehmonitor 36 über den Schalter 37 mit dem Ausgangssignal des digitalen VTR 31 oder dem Ausgangssignal des Digital-Analog-Wandlers 34 selektiv verbunden werden oder alternativ hierzu können natürlich auch zwei seperate Fernsehmonitore vorgesehen werden.
- Die Charakteristiken der Vorrichtung sind derart, daß sie ein scharfes, klares Bild mit einer guten Bewegungsporträtierung auf dem Film produziert, und im Besonderen erzeugt sie Bilder ohne Bewegungsverzerrung und ohne jegliche zusätzliche Verwacklungskomponenten mithineinzubringen. Desweiteren erlaubt die getrennte Ausführung, die durch die Aufzeichnung des bewegungskompensierten digitalen Abtastvideosignals auf den digitalen VTR 14 gestattet wird, der Reihe nach ein einfaches und häufiges Überprüfen der Vorrichtungsparameter, um die Qualität der auf dem Film erhaltenen Bilder zu garantieren. Ein iterativer Betrieb ist vollständig möglich, so daß die Ergebnisse schnell ausgewertet werden können und die Umwandlung mit jeglichen Fehlern, die durch die Einstellung der Parameter korrigiert werden, wiederholt werden kann. Um den Betrieb mit einer höheren Geschwindigkeit zu erreichen, ist es natürlich möglich, den ersten Teil der Vorrichtung, das ist der Teil, der in Figur 2 gezeigt ist, mehrmals nachzubilden, um dem digitalen VTR 31 zusätzliche Eingangssignale bereitzustellen, um so eine intensivere Nutzung der in Figur 3 gezeigten Vorrichtung zu erlauben und so eine allgemein höhere Umwandlungsgeschwindigkeit zu erreichen.
- Figur 4 ist ein Blockdiagramm des Standard-Umwandlers 12, der nun detaillierter beschrieben wird. Der Standard-Umwandler 12 besteht aus einem Eingangsanschluß 41, dem ein Eingangsvideosignal zugeführt wird. Der Eingangsanschluß ist mit dem fortschreitenden Abtastumwandler 42 verbunden, in dem die Eingangsvideohalbbilder in Videovollbilder umgewandelt werden, die einer direkten Blockübereinstimmungsschaltung 43 zugeführt werden, in der die Korrelationsflächen gebildet werden. Diese Korrelationsflächen werden von einer Bewegungsvektorschätzeinrichtung 44 analysiert, die Bewegungsvektoren herleitet und zur Bewegungsvektorreduzierschaltung 45 führt, in der die Anzahl der Bewegungsvektoren für jedes Pixel reduziert wird, bevor sie an die Bewegungsvektorauswahlschaltung 46 geliefert werden, die auch ein Ausgangssignal aus dem fortschreitenden Abtastumwandler 42 empfängt. Jede Unregelmäßigkeit in der Auswahl der Bewegungsvektoren durch die Bewegungsvektorauswahlschaltung 46 wird von einem Bewegungsvektornachbearbeiter 47 entfernt, von dem die bearbeiteten Bewegungsvektoren einem Interpolator 48 zugeführt werden und diesen auch steuern, der auch ein Eingangssignal vom fortschreitenden Abtastumwandler 42 empfängt. Der Ausgangssignal des Interpolators 48, der ein standard-konvertiertes und bewegungskompensiertes Videosignal darstellt, wird an den Ausgangsanschluß 49 geliefert. Jeder Teil des Standard-Umwandlers 12 und dessen Betrieb wird unten detaillierter beschrieben.
- Der fortschreitende Abtast-Umwandler 42 erzeugt als Ausgangssignal Vollbilder mit der gleichen Anzahl wie die Eingangshalbbilder. Bezugnehmend auf Figur 5, die eine Abfolge von fortlaufenden Zeilen in einer Abfolge von fortlaufenden Halbbildern zeigt, wobei die Kreuze Zeilen, die in den Eingangshalbbilder vorliegen, darstellen und wobei die Quadrate interpolierte Zeilen darstellen, enthält jedes Ausgangsvollbild die doppelte Anzahl von Zeilen als ein Eingangshalbbild, wobei die Zeilen zwischen den Zeilen aus dem Eingangsvideosignal und den Zeilen, die durch eine der unten beschriebenen Verfahren interpoliert wurden, alternieren. Die interpolierten Zeilen können als ein interpoliertes Halbbild mit der zum Eingangshalbbild entgegengesetzten Polarität betrachtet werden, aber in der gleichen zeitlichen Lage. Die fortschreitende Abtastumwandlung wird aus zwei Hauptgründen vorzugsweise ausgeführt; erstens, um den folgenden direkten Blockübereinstimmungs- bzw. -vergleichsvorgang (im folgenden als Blockübereinstimmung bezeichnet) einfacher zu machen, und zweitens unter dem Gesichtspunkt des entgültigen Ausgangsvideoformats.
- Die direkte Blockübereinstimmung wird verwendet, um eine genaue Schätzung der horizontalen und vertikalen Bewegung zwischen zwei aufeinanderfolgenden Videohalbbildern, wie unten detaillierter beschrieben, zu erhalten. Jedoch können aufgrund der Zeilensprung-Struktur des Videosignals, bei dem eine direkte Blockübereinstimmung vorgenommen wurde, Probleme entstehen.
- Bezugnehemend auf das in Figur 6 dargestellte Bild, welches eine Abfolge von fortlaufenden Zeilen und eine Abfolge von fortlaufenden Halbbildern zeigt, stellen offene Quadrate weiße Pixel dar, die schwarzen Quadrate stellen schwarze Pixel dar und die schraffierten Quadrate stellen graue Pixel dar. Deshalb stellt dies ein stehendes Bild mit einer hohen Vertikalfrequenzkomponente dar, die in einem HDVS 1125/3 Zyklen pro Bildhöhe betragen würde. Da dieses Bild durch das gewöhnliche Zeilensprungabtastverfahren abgetastet wurde, scheint jedes Halbbild eine statische Vertikalfrequenz-Leuchtdichtenkomponente Y von 1125/6 cph zu beinhalten, wie in Figur 7 dargestellt ist. Jedoch scheint die Frequenzkomponente in jedem Halbbild in Antiphase zu sein. Die Versuche, eine direkte Blockübereinstimmung zwischen diesen zwei Halbbildern zu vollziehen, führt zu einer Anzahl von verschiedenen Werten für die vertikale Bewegungskomponente, von denen alle falsch sind. Dies wird in Figur 8 dargestellt, in der die Abkürzung LPF Zeilen pro Halbbild bedeutet. Aus Figur 8 geht hervor, daß eine direkte Blockübereinstimmung keine korrekte Antwort für die vertikale Bewegungskomponente liefert, die tatsächlich null sein sollte. Dies rührt daher, daß die direkte Blockübereinstimmung in der Tat eher ein Aufspüren der Alias (engl. alias) Komponente des Videosignals ist als der aktuellen Bewegung.
- Betrachtet man nun Figur 9, die das gleiche statische Bild wie in Figur 6 darstellt, außer daß nun jedes Eingangshalbbild der fortschreitenden Abtastumwandlung unterzogen wurde, um ein Vollbild zu erzeugen, stellen die Dreiecke interpolierte Pixel dar. Daraus geht hervor, daß jedes Vollbild nun die gleiche statische vertikale Frequenzkomponente wie die Ursprungseingangshalbbilder beinhaltet, welche 1125/3 cph beträgt. Somit kann die direkte Blockubereinstimmung zwischen zwei aufeinanderfolgenden Vollbildern nun den genauen Wert für die Vertikalbewegung bestimmen, der null ist. Das Aufspüren des vertikalen Alias wurde also vermieden. Desweiteren führt eine direkte Blockübereinstimmung bei fortschreitenden abtastumgewandelten Vollbildern zu einer genaueren vertikalen Bewegungsschätzung führt, da die direkte Blockübereinstimmung bei Vollbildern, die die doppelte Anzahl von Zeilen besitzen, angewandt wird.
- Was die Überlegung zum endgültigen Videoausgangsformat betrifft, wird im Fall der vorliegenden Ausführungsform das umgewandelte Videosignal über ein Band an das Elektronenstrahlaufzeichnungsgerät geliefert und muß aus Vollbildern entsprechend der Filmgeschwindigkeit des bewegten Bildes von 24 Vollbildem pro Sekunde zusammengesetzt sein. Aus diesem Grund ist deshalb eine Erzeugung von fortschreitenden abtastumgewandelten Vollbildern notwendig. Überdies können fortschreitende abtastumgewandelte Vollbilder auch als Rückfall dahin verwendet werden, wo eine bewegungskompensierte Standardumwandlung zu unakzeptablen Ergebnissen führt. Bspw. dann, wenn die Bewegung zu vielfältig ist, um zufriedenstellend analysiert zu werden. In diesem Fall kann die Verwendung des am nächsten liegenden fortschreitenden abtastumgewandelten Vollbilds als erforderliches Ausgangssignal zu angemessenen akzeptablen Ergebnissen führen.
- Fortschreitende Abtastumwandlungen auf viele Arten ausgeführt werden, bspw. beim Ersetzten des vorhergehenden Halbbilds, beim Zwischenfiltern, wo drei räumlich aufeinanderfolgende Zeilen geprüft werden ( diese drei Zeilen stammen von zwei aufeinanderfolgenden Halbbildern), oder bei Bewegungskompensationstechniken, die eine Mehrfach-Gradienten-Bewegungserkennung gefolgt von einer linearen INterpolation in mehrere Richtungen benutzen. Jedoch ist bei der vorliegenden Ausführungsform das bevorzugte Verfahren die bewegungsangepaßte fortschreitende Abtastumwandlung, deren Stufen im Blockdiagamm von Figur 10 dargestellt sind. Der Gedanke ist, Zwischenhalbbildinterpolationen in gänzlich statischen Bildbereichen zu nutzen, um soviel Vertikalinformation wie möglich beizubehalten und eine Innerhalbbildinterpolation zu verwenden, wenn eine signifikante Bewegung vorliegt. Dies hilft auch der weichen Bewegungsdarstellung. In Szenen, in denen die Bewegung irgendwo zwischen diesen zwei Extremen liegt, wird eine Schätzung der lokalen Bewegung im Bild vorgenommen. Dies wird dann genutzt, um verschiedene Anteile von Zwischen- und der Innerhalbbildinterpolation zusammenzumischen.
- Zunächst wird zuerst der Betrag der Vollbilddifferenz zwischen vorhergehenden und nächsten Halbbildern erzeugt, was in Figur 11 dargestell ist. Um diese geforderten Schätzungen vorzunehmen, wird an jedem Punkt der Btrag des Zwischenvollbilddifferenzhalbbilds aus einem vorhergehenden und einem nächsten Halbbild erzeugt:
- Δu (Pixel, momentane Zeile, momentanes Halbbild) = Y(Pixel, momentane Zeile, nächstes Halbbild) - Y(Pixel, momentane Zeile, voriges Halbbild)
- wobei:
- Δu das unnormierte Betrags-Differenzfeld ist, und
- Y das Leuchtdichtefeld entsprechend des 3D Bilds ist.
- Der Differenzbetrag wird dann normiert, um die Bedeutung der Änderungen in kleineren Leuchtdichtegebieten zu justieren:
- ΔN (Pixel, momentane Zeile, momentanes Halbbild) = F( (Pixel, momentane Zeile)) * Δu (Pixel, momentane Zeile, momentanes Halbbild)
- wobei:
- ΔN das normierte Modulus-Differenzfeld ist der Leuchtdichtewert des Zwischen-Vollbild-Durchschnitts ist (Pixel, momentane Zeile) = (Y(Pixel, momentane Zeile, voriges Halbbild) + Y(Pixel, momentane Zeile, nächstes Halbbild))/2, und
- F( ) (Die Normierfünktion) wie in Figur 12 hergeleitet wird.
- Das Differenzfeld Δ wird dann zusammen mit der vorigen Felddifferenz mit Hilfe eines dreistufigen Filters vertikal gefiltert (Beispiele von Koeffizienten sind einviertel, einhalb, einviertel oder null, gleich, null), um vertikale alias Probleme zu reduzieren und im Besonderen die durch temporäre alias auftretenden Probleme zu minimieren. Somit gilt:
- ΔF (Pixel, momentane Zeile, momentanes Halbbild) = ΔN (Pixel, momentane Zeile-1, voriges Halbbild) * C&sub1; + ΔN (Pixel, momentane Zeile, momentanes Halbbild) * C&sub2; + ΔN (Pixel, momentane Zeile+1, voriges Halbbild) * C&sub1;
- wobei:
- ΔF das gefilterte normierte Differenzfeld ist, und
- C&sub1; und C&sub2; Filterkoeffizienten sind, und 2C&sub1; + C&sub2; = 1 ist, so daß der Gleichspannungs- Verstärkungs-Einheitswert erhalten bleibt.
- Dann wird ein vertikaler und horizontaler Zwischenhalbbildfilter mit bis zu fünf mal fünzehn Stufen verwendet, um die Differenzwerte innerhalb des momentanen Wertes zu glätten. In der Praxis ist ein Filter mit drei mal drei Stufen zufriedenstellend. Schließlich wird eine nicht-lineare Abbildungsfunktion verwendet, um die eigentliche Bewegungsschätzung vorzunehmen, wobei eine Funktion verwendet wird, die die Bewegungsschätzung (ME) liefert:
- ME (Pixel, momentane Zeile) =
- δ (räumlich gefiltertes ΔF (Pixel, momentane Zeile))
- Die nicht-lineare Funktion δ wird wie in Figur 13 gezeigt hergeleitet. Das statische Bild ME ist null, für Vollbewegung ist ME eins, und für unterbrochene Bewegungen kommt ein gesteueiter Übergang vor.
- Um ein interpoliertes Pixel zu erzeugen, werden die Pixel in der fehlenden Zeile durch Übernehmen von Teilen aus den umliegenden Zeilen erzeugt, wie in Figur 14 gezeigt. Die Bewegungsschätzung ME wird dann auf die Innervollbild interpolierten Werte angewandt (erzeugt durch einen zwei-, vier-, sechs- oder besser acht-stufiger Filter), und 1-ME wird auf den Zwischenhalbbilddurchschnitt (oder alternativ auf einen komplexeren interpolierten Wert) angewandt. Diese werden aufaddiert, um die fortschreitende Pixelabtastschätzung zu gewinnen:
- out (Pixel, momentane Zeile) = ME (Pixel, momentane Zeile) * {Σ/n=0..3 (Yin (Pixel, momentane Zeile-1-2n, momentanes Halbbild) + Yin (Pixel, momentane Zeile+1+2n, momentanes Halbbild))*Cn} + (1-ME) (Pixel, momentane Zeile) * (Yin (Pixel, momentane Zeile, vohergehendes Halbbild) + Yin (Pixel, moentane Zeile, nächstes Halbbild ))/2
- wobei:
- C&sub0;, C&sub1;, C&sub2; und C&sub3; Innervollbild-Filter-Koeffizienten sind und 2(C&sub0;+C&sub1;+C&sub2;+C&sub3;) = 1 ist, so daß der Gleichspannungs-Verstärkungsfaktor beibehalten wird.
- Dieses Verfahren der fortschreitenden Abtastumwandlung wird angewendet, um aus den Eingangshalbbildern qualitativ hochwertige Vollbilder zu erzeugen, besonders weil ein bewegtes Objekt von einem feststehenden Hintergrund isoliert und auf verschiedene Weisen interpoliert werden kann.
- Bezugnehmend auf Figur 4 werden die Videovollbilder, die durch die fortschreitenden Abtastumwandlungsvorrichtung 42 gewonnen werden, verwendet, um Bewegungsvektoren zu gewinnen. Die Schätzung der Bewegungsvektoren beinhaltet zwei Stufen. Zuerst werden Korrelationsflächen durch korrelierende Suchblöcke aus aufeinanderfolgenden Vollbildern erzeugt. Nachdem dann diese Korrelationsflächen erhalten wurden, müssen sie untersucht werden, um die Position oder Positionen, an der die Korrelation am besten ist, zu bestimmen. Es existieren mehrere verschiedene Verfahren, diese Korrelationsflächen zu erhalten, wobei die zwei Hauptverfahren die Phasenkorrelation und die direkte Blockübereinstimmung sind. Es gibt jedoch eine ganze Anzahl von Problemen, die mit der Verwendung der Phasenkorrelation verbunden sind, wobei dies kurz gesagt Probleme sind, die den Umwandlungsmechanismus, die Fensterfünktion, die Blockgröße und die veränderliche Qualität der Kontur der gebildeten Fläche betreffen. Deshalb wird in der vorliegenden Ausführungsform die direkte Blockübereinstimmung bevorzugt.
- Die direkte Blockubereinstimmungsvorrichtung 43 arbeitet wie folgt. Zwei Blöcke, die jeweils aus einem rechteckigen Pixelfeld aus aufeinanderfolgenden Vollbildern des fortschreitenden Abtastumwandlungsvideosignals bestehen, sind in Korrelation, um eine Korrelationsfläche zu bilden, aus der ein Bewegungsvektor gewonnen wird.
- Bezugnehmend auf Figur 15 wird zuerst ein kleiner Block, Suchblock genannt, mit der Größe 32 Pixel auf 23 Zeilen aus einem Vollbild genommen, wie in Figur 15 gezeigt ist. Dann wird ein größerer Block der Größe 128 Pixel auf 69 Zeilen, der Suchgebiet genannt wird, aus dem nächsten Vollbild genommen. Dann wird der Suchblock (SB) in jede mögliche Position im Suchgebiet (SA), wie in Figur 16 gezeigt, gelegt und für jede Position die Summe der Absolutdifferenz des Pixelleuchtdichtepegels zwischen zwei Blöcken berechnet. Dieser Wert wird dann als Höhe der Korrelationsfläche am Punkt, an dem er gewonnen wurde, verwendet. Er kann dann in Verbindung mit anderen ähnlich gewonnenen Werten für jede mögliche Position des Suchblocks im Suchgebiet verwendet werden, um eine Korrelationsfläche zu gewinnen, von der ein Beispiel in Figur 17 gezeigt wird. Zur besseren Übersichtlichkeit ist die Fläche invertiert gezeigt. Da sie tatsächlich das benötigte Minimum ist, ist der benötigte Punkt in Figur 17 der Hauptspitzenwert.
- Die Größe des Suchblocks wird durch Untersuchen der Minimalgröße eines Objekts, das eine Bewegungskompensation erfordert, gewählt. Für PAL-Signale mit 625 Zeilen pro Vollbild und 50 Halbbildern pro Sekunde wurde herausgefünden, daß ein Suchblock von 16 Pixeln auf 6 Zeilen angemessen ist, um ein kleines Objekt ohne Zulassen irgendeiner Umgebungsinformation nicht innerhalb des Objekts sondern innnernoch innerhalb des Suchblocks aufzufinden, um das Objekt aufzufinden. Diese Annäherung wurde deshalb in die vorliegende Ausführungsform übernommen, aber verglichen mit PAL 625/50 verändert, um die verschiedene Anzahl von aktiven Pixeln pro Zeile, von aktiven Zeilen pro Vollbild und das Bildformat eines HDVS zu berücksichtigen. Nachfolgend die vergleichenden Zahlen, wobei HDVS an erster Stelle gesetzt ist; 1920 (720) aktive Pixel pro Zeile, 1035 (575) aktive Zeilen pro Vollbild, 3:5.33 (3:4) Bildformat.
- Es soll noch erwähnt werden, daß es ein Argument für die Verwendung eines größeren Suchblocks gibt, nämlich daß damit ein größeres Objekt aufgefünden werden kann. Andererseits gibt es auch einen Grund für die Verwendung eines kleineren Suchblocks. Damit läßt sich verhindern, daß ein kleines Objekt durch die Auswirkung eines großen Objekts oder eines Hintergrundgebiets überdeckt wird. Es existiert jedoch auch der Vorteil, daß bei kleinen Suchblöcken nicht mehr als ein Bewegungsvektor aus jedem Suchblock erzeugt werden muß. Da es viel leichter ist, nur einen einzigen Bewegungsvektor zu haben und nicht mehrere, beginnt die vorliegende Ausführungsform mit einem kleinen Suchblock wie oben beschrieben. Dann wird der Suchblock zu einem größeren Suchblock vergrößert, falls kein zufriedenstellendes Ergebnis erzielt wurde. Dies umfaßt dann die Vorteile von beiden, einem kleinen und einem großen Suchblock. Das Kriterium für ein zufriedenstellendes Ergebnis wird durch die Bewegungsvektorschätzvorrichtung 44 (Figur 4) gesetzt, die unten detaillierter beschrieben wird, und den Bewegungsvektor aus einer gegebenen Korrelationsfläche bestimmt.
- Die Technik, einen Suchblock zu vergrößern, ist nicht nur vorteilhaft, um große Objekte aufzufinden. Es kann auch helfen, die Bewegung eines Objekts aufzufinden, das die Form eines regulären periodischen Musters besitzt. Betrachtet man demgemäß Figur 18, in der ein Suchblock A mit dem Suchgebiet B an den Orten V1, V2 und V3 zusammenpaßt, scheint jeder von ihnen ein korrektes Maß an Bewegung zu geben. In diesem Fall zeigt die Bewegungsvektorschätzung jedoch, d.h. der Vorgang, der die Korrelationsfläche tatsächlich analysiert, daß eine gute Korrelation an drei Orten, die kolinear sind, auftritt. Der Suchblock wird deshalb horizontal vergrößert, bis er die dreifache Breite seiner ursprünglichen Breite besitzt, wobei dies die Richtung ist, in der in diesem Fall eine mehrfache Korrelation auftrat. Das Suchgebiet wird auch entsprechend horizontal vergrößert. Wie in Figur 19 gezeigt ist, gibt es beim vergrößerten Suchblock 3A nur einen einzigen Korrelationspunkt, der sich korrekt auf die Bewegung des Objekts bezieht.
- In diesem besonderen Fall sind sowie der Suchblock und das Suchbegiet gewachsen, da die Richtung der Mehrfach-Korrelation horizontal ist. Es ist jedoch gleichermaßen möglich, daß sich der Suchblock und das Suchgebiet vertikal, oder in der Tat in beiden Richtungen vergrößern, wenn es die Korrelationsfläche vorschlägt.
- Es soll angemerkt werden, daß die Blockübereinstimmung nicht auf alle Suchblöcke im Vollbild angewandt werden kann, da an der Randgegend nicht genügend Platz vorhanden ist, aus der ein Suchblock hervorgehen kann. Somit kann keine Blockubereinstimniung am Randgebiet des in Figur 20 schraffiert gezeigten Vollbilds vorgenommen werden. Mit diesem Problem setzt sich die Bewegungsrichtungsreduziervorrichtung 45 (Figur 4), die unten detaillierter beschrieben wird, auseinander, die versucht, dieses schraffierte Gebiet mit Suchblöcken mit passenden Bewegungsvektoren zu versorgen.
- Aus der Korrelationsfläche (Figur 17), die für jeden Suchblock in einem Vollbild erzeugt wird, leitet die Bewegungsvektorschätzvorrichtung 44 (Figur 4) die geeignete Zwischen-Vollbild- Bewegung zwischen dem Suchblock und seines entsprechenden Suchgebiets ab. Es soll nocheinmal erwähnt werden, daß der Klarheit wegen alle Diagramme der Korrelationsflächen invertiert gezeigt sind, was zur Folge hat, daß ein Minimum als Spitzenwert gezeigt ist.
- Die Bewegungsvektorschätzvorrichtung 44 (Fugur 4) bedient sich Bewegungsvektorschätzalgorithmen, um den Minimalpunkt an jeder Korrelationsfläche zu erkennen. Dies stellt der Punkt einer maximalen Korrelation zwischen dem Suchblock und dem Suchgebiet dar und zeigt daher die wahrscheinliche Bewegung zwischen ihnen. Diese Verschiebung dieses Minimums auf der Korrelationsfläche bezüglich des Ursprungs, in diesem Fall das Zentrum der Fläche, ist ein direktes Maß der Bewegung mit der Einheit Pixel pro Vollbild. Im einfachsten Fall, bei dem die Korrelationsfläche ein einzelnes, klares Minimum beinhaltet, ist die Erkennung des Minimalpunkts auf der Korrelationsfläche ausreichen, um die Bewegung zwischen dem Suchblock und dem Suchgebiet genau zu bestimmen. Wie zuvor erwähnt verbessert die Verwendung kleiner Suchblöcke die Erkennung der Bewegung und die Genauigkeit der Bewegungsschätzung, aber unglücklicherweise sind kleine einzelne Suchblöcke nicht in der Lage, eine Bewegung in einer Zahl von Fällen, die nun beschrieben werden, zu erkennen.
- Figur 21 zeigt ein Objekt mit den Bewegungsvektoren (5, 0), die drei Suchblöcke 1A, 2A und 3A in einem Vollbild durchlaufen. Wenn die Suchblöcke 1A und 3A bezüglich den Suchgebieten (1B und 3B) in Korrelation stehen, ergibt sich im nächsten Vollbild (t+1) eine Korrelationsfläche, die in Figur 22 gezeigt ist und ein Minimum bei (5, 0) aufweist. (Dies setzt eine rauschfreie Videoquelle voraus.) Wenn jedoch der Suchblock 2A mit seinem entsprechenden Suchgebiet 2B in Korrelation steht, wird die Korrelationsfläche, die in Figur 23 gezeigt ist, erzeugt, in der der Suchblock 2A mit dem Suchgebiet 2B an jedem Punkt in Richtung der y-Achse in Korrelation steht. Deshalb gibt es kein einzelnes Minimum auf der Korrelationsfläche und daher kann die Bewegung zwischen Suchblock 2A und Suchgebiet 2B nicht bestimmt werden.
- Nun soll jedoch der Fall betrachtet werden, daß der Suchblock 2A so vergrößert ist, daß er alle drei Suchblöcke 1A, 2A und 3A beinhaltet. Wenn der vergrößerter Suchblock 2A mit einem Suchgebiet in Korrelation steht, das die Originalsuchgebiete 1B , 2B und 3B abdeckt, existiert eine wie in Figur 24 gezeigte resultierende Korrelationsfläche. Diese zeigt ein einziges Minimum bei (5, 0), das die korrekte Bewegung des Originalblocks 2A andeutet. Dieses Beispiel erläutert die Notwendigkeit einiger einheitlicher Merkmale in der Videosignalquelle, um eine Bewegung richtig zu erkennen. Somit hatten beide Suchblöcke 1A und 3A einheitliche vertikale und horizontale Merkmale, d.h. Kanten am Objekt. Deshalb konnte eine Bewegung bestimmt werden. Im Gegensatz dazu hatte der Suchblock 2A ein einheitliches vertikales Merkmal, allerdings kein einheitliches horizontales Merkmal. Somit konnte keine horizontale Bewegung festgestellt werden. Jedoch kann durch Vergrößern des Suchblocks bis zum Erreichen des horizontalen als auch des vertikalen Merkmals die gesamte Bewegung für diesen Suchblock bestimmt werden. Desweiteren kann gezeigt werden, daß die Vergrößerung des Suchblocks nützlich ist, wenn Rauschen in der Videoquelle vorhanden ist.
- Bezugnehmend auf Figur 25 wird nun ein weiteres Beispiel betrachtet. Dieses zeigt eine Korrelationsfläche für einen Suchblock, bei dem der Bewegungsvektor (5, 3) ist. Jedoch ist die wirkliche Bewegung durch die zahlreichen anderen Korrelationen, die zwischen dem Suchblock und dem Suchgebiet stattgefünden haben, schwierig zu erkennen. Ein Beispiel für eine Videoquelle, die eine solche Korrelationsfläche erzeugen könnte, wäre ein kontrastarmer Baum, der sich im Wind bewegt. Es wird nun angenommen, daß der Suchblock und der Suchbereich vergrößert werden. Das Vergrößern kann in horizontaler Richtung, wie im vorigen Beispiel, oder in vertikaler Richtung oder in beiden Richtungen stattfinden. Die mittlere Auswirkung auf die resultierende Korrelationsfläche besteht in einer Vergrößerung der Minima bei (5, 3) um einen größeren Betrag als die der anderen Hauptkorrelations-Spitzenwerte unter der Annahme, daß die Nachbarblöcke die gleiche Bewegung haben. Dies ist in Figur 26 gezeigt, die andeutet, daß es dann leichter ist, den korrekten Bewegungsvektor zu erkennen.
- Die Weise, in der sie Suchblöcke vergrößert werden, wird nun mit Bezug auf Figur 21 weiter erläutert. Hiebei war es notwendig, das Gebiet des Suchblocks 2A zu vergrößern, um die Gebiete der Suchblöcke 1A und 3A einzuschließen und die resultierende Korrelationsfläche zu erzeugen. Tatsächlich werden die resultierenden Korrelationsflächen direkt durch Addition der Elemente der drei Korrelationsflächen entsprechend den Suchblöcke 1A, 2A und 3A erzeugt. Wenn in der Praxis jede Korrelationsfläche als eine Matrix aus Punktgrößen betrachtet wird, dann stellt die Korrelationsfläche des vergrößerten Suchblocks 1A die Matrixaddition der Korrelationsfläche der Originalsuchblöcke 1A, 2A und 3A dar.
- Das Gebiet des Suchblocks 2A könnte auch durch Addition der Korrelationsfächen des oberen und unteren Suchblocks vertikal vergrößert werden. Wenn der Suchblock 2A aber horizontal und vertikal vergrößert wird, dann müssen auch die vier benachbarten diagonalen Korrelationsflächen addiert werden. Daraus ist ersichtlich, daß der eigentliche Vorgang des Vergrößerns eines Suchblocks, um benachbarte Suchblöcke einzuschließen, relativ einfach ist, wobei der schwierigere Vorgang in Betracht gezogen werden soll, wenn die Vergrößerung stattfinden sollte und dessen benachbarten Suchblöcke eingeschlossen werden sollten. Grundsätzlich sollte das Gebiet der Suchblöcke vergrößert werden bis ein korrektes Minimum oder ein korrekter Bewegungsvektor erkannt wird. Deshalb ist es notwendig zu spezifizieren, wann ein Bewegungsvektor als ein korrekter Bewegungsvektor angesehen wird. Dies kann tatsächlich aus den oben gegebenen Beispielen abgeleitet werden.
- Bei dem mit Bezug auf die Figuren 21 bis 24 erläuterten Beispiel war es notwendig, den Suchblock horizontal zu vergrößern, um ein einheitliches horizontales Merkmal des Objekts einzuschließen und somit ein einziges Minimum zu erhalten. Diese Stelle wurde durch eine Reihe von identischen Minima auf der Korrelationsfläche von Figur 23 und eines einzelnen Minimums auf der Korrelationsfläche von Figur 24 charakterisiert. Daraus kann ein erstes Kriterium für ein korrektes Minimum erhalten werden; ein gutes Minimum ist der Punkt mit dem kleinsten Wert auf der Korrelatiosfläche, für den die Differenz zwischen diesem und dem Wert des nächsten kleinsten Punkts einen gegebenen Wert übersteigt. Der gegebene Wert ist als Schwellenwert bekannt. Deshalb wird dieser Test als Schwellenwerttest bezeichnet.
- An dieser Stelle soll angemerkt werden, daß der nächste kleinste Punkt nicht innerhalb der Grenzen eines weiteren, später als Ringtest beschriebenen Tests liegen soll. Bei einem Ringtest, der drei Ringe verwendet, geht der nächste kleinste Punkt nicht von einem Punkt aus, der in einem Umfeld von drei Pixeln vom in Frage stehenden Punkt liegt, aus. Im Beispiel der Figuren 21 bis 24 hätte die Korrelationsfläche den Schwellenwerttest nicht bestanden; das Suchgebiet 2A wurde deshalb vergrößert, und wenn ein passender Schwellenwert vorgegeben ist, wird die Korrelationsfläche den Schwellenwerttest bestehen.
- Der Schwellenwerttest kann auch dazu verwendet werden, die Vergrößerung bezugnehmend auf die Figuren 25 und 26 des oben beschriebenen Beispiels zu bewirken. Vor der Vergrößerung des Suchblocks ist das korrekte Minimum wegen der fast ähnlichen Werte der umgebenden Punkte nicht erkennbar. Wenn jedoch ein passender Schwellenwert gegeben ist, wird die Korrelationsfläche den Schwellenwerttest nicht bestehen und der Suchblock vergrößert. Das Ergebnis ist, daß es dann möglich ist, das Minimum unter den anderen unererwünschten Punkten zu erkennen.
- Es ist ersichtlich, daß die Verwendung eines Schwellenwerts ein subjektiver Test ist, aber ein korrekter Schwellenwert für die Korrelationsfläche, die getestet wird, kann durch Normieren des Schwellenwerts als Teil des Wertebereichs innerhalb der Korrelationsfläche ausgewählt werden. Dies vermindert bspw. auch die Auswirkungen des Kontrasts der Videoquelle.
- Der Ringtest, der oben kurz erwähnt wurde, und der weit weniger subjektiv ist, wird nun genauer beschrieben. Die Grundlage des Ringtests ist die Annahme, daß ein korrektes Minimum (oder Maximum) umliegende Punkte mit steigendem (oder fallendem) Wert besitzt. Figur 27 erläutert diese Annahme, wobei die Figur ein Minimum bei (0, 0) zeigt, bei dem die umgebenden drei Punktringe sich verkleinernde Durchschnittswerte besitzen. Dies ist gegensätzlich zur Korrelationsfläche, die in Figur 28 gezeigt ist, in der die Ringe, insbesondere der zweitinnerste Ring, keine fallenden Durchschnittswerte besitzen.
- In diesem Fall ist das Kriterium für ein korrektes Miniumum, das durch den Ringtest definiert wird, daß der Durchschnittsabfall monoton ist. Deshalb muß für eine vorher festgelegte Ringanzahl von Punkt die das in Frage stehende Minimum umgeben, der Durchschnittswert jedes Rings -bei der Bewegung vom innersten Ring nach Außen- größer sein als der des vorigen Rings. Kommt man zurück auf das mit Bezug auf die Figuren 21 bis 24 beschriebene Beispiel, geht aus den Figuren 23 und 24 hervor, daß die Korrelationsfläche der Figur 23 den Ringtest nicht bestanden hätte, aber daß die Korrelationsfläche der Figur 24 den Ringtest bestanden hätte. Da der Ringtest Durchschnuttswerte und nicht Absolutwerte vergleicht, ist er weit weniger subjektiv als der Schwellenwerttest. In der Tat ist die einzige Variable im Ringtest die betrachtete Anzahl der Ringe.
- Nachdem der Mechanismus der Vergrößerung eines Suchblocks beschrieben wurde, ist es nun notwendig, zu überlegen, wie anhand der Form der Korrelationsfläche die wirkungsvollste Richtung, in die der Suchblock vergrößert werden soll, bestimmt werden kann.
- Diese Korrelationsfläche entstand mit Bezug auf Figur 23 da, wo es ein einheitliches vertikales Merkmal, nicht aber ein einheitliches horizontales Merkmal gab. Dies spiegelt sich in der Korrelationsfläche am Minimum wieder, das aufgrund der zahlreichen Korrelationen in dieser Richtung horizontal über die Korrelationsfläche läuft. Daraus kann abgeleitet werden, daß der Suchblock horizontal vergrößert werden sollte. Im Gegensatz hierzu würde dies die Notwendigkeit zur vertikalen Vergrößerung des Suchblocks bedeuten, falls eine Zeile der zahlreichen Korrelationen vertikal laufen sollte, während eine kreisförmige Sammlung von zahlreichen Korrelationen die Notwendigkeit zeigen würde, den Suchblock vertikal und horizontal zu vergrößern.
- Wenn dieses Kriterium verwendet wird, ist eine quantitative Bestimmung der Korrelationsflächenform erforderlich, um zu bestimmen, in welcher Richtung der Suchblock vergrößert werden muß. Diese Bestimmung wird wie folgt durchgeführt. Zuerst wird ein Schwellenwert bestimmt. Dann wird jeder Punkt auf der Korrelationsfläche unterhalb des Schwellenwerts betrachtet. Dieser Schwellenwert, entsrpechend dem im Schwellenwerttest verwendeten, wird als Teil des Wertebereichs innerhalb der Korrelationsfläche normiert. Unter Verwendung dieses Schwellenwerts werden die Punkte auf der Korrelationsfläche der Reihe nach in vier spezifischen Sequenzen untersucht. In jeder Sequenz wird der Punkt, an dem der Korrelationsflächenwert unter den Schwellenwert fällt, vermerkt. Diese vier Sequenzen werden in Diagrammform in Figur 29 erläutert, in denen sich die oben, unten, links und rechts liegenden Zahlen 1, 2, 3 und 4 auf die vier Sequenzen beziehen. Das schraffierte Gebiet bezeichnet die Punkte, die unter den Schwellenwert fallen:
- Suche nach einem Punkt A, der unter den Schwellenwert fällt, vom oberen Ende der Korrelationsfläche nach unten.
- Suche nach einem Punkt C, der unter den Schwellenwert fällt, vom unteren Ende der Korrelationsfläche nach oben.
- Suche nach einem Punkt D, der unter den Schwellenwert fällt, vom der linken Seite der Korrelationsfläche nach rechts.
- Suche nach einem Punkt B, der unter den Schwellenwert fällt, von der rechten Seite der Korrelationsfläche nach links.
- Die Lagen der vier resultierenden Punkt A, B, C und D werden verwendet, um die in Figur 29 angezeigten zwei Dimensionen X und Y zu berechnen, wobei diese Dimensionen X und Y die Größe des schraffierten Gebiets, das die Punkte enthält, die unter den Schwellenwert fallen, beschreiben. Deshalb kann aus den Dimensionen X und Y abgeleitet werden, ob die Form in x- Richtung länger ist als in y-Richtung, oder umgekehrt, oder ob die Form annähernd rund ist. Ein marginaler Unterschied von bspw. 10 Prozent ist bei der Ableitung der Form zulässig, d.h.,, daß die Dimension X für die Form mindestens 10 Prozent größer sein muß als die Dimension Y der Form, für die angenommen wird, daß sie in der x Richtung länger ist. Ähnliches gilt für die y Richtung. Falls die Dimensionen X und Y innerhalb zehn Prozent voneinander liegen, wird die Form für kreisförmig gehalten und der Suchblock wird in beide Richtungen vergrößert. Im Beispiel in Figur 29 ist die X-Dimension größer als die Y-Dimension, und somit wird der Suchblock in die x- oder Horizontalrichtung vergrößert.
- Die Vergrößerung des Suchblocks setzt sich fort, bis eine oder mehrere Grenzen der Vergrößerung erreicht sind. Diese Grenzen sind darin zu sehen, daß das Minimum in der Korrelationsfläche sowohl den Schwellenwerttest als auch den Ringtest besteht; daß der Rand des Videovollbilds erreicht wird; oder, daß sich der Suchblock um eine bestimmte Anzahl horizontal und vertikal vergrößert hat. Diese letzte Einschränkung ist hardwareabhängig. D.h., daß sie durch die Anzahl der Bearbeitungen begrenzt ist, die in der verfügbaren Zeit ausgeführt werden können. In einer besonderen Ausführungsform der erfindungsgemäßen Vorrichtung wurde diese Grenze auf eine zweimalige horizontale und eine einmalige vertikale Vergrößerung gesetzt.
- Wenn das Minimum in der Korrelationsfläche sowohl den Schwellenwerttest als auch den Ringtest besteht, wird angenommen, daß ein korrekter Bewegungsvektor vorliegt, der dann an den Bewegungsvektorverminderer 45 (Figur 4) übergeben werden kann. Wenn jedoch der Rand eines Vollbilds erreicht ist, oder der Suchblock eine bestimmte Anzahl an Malen sowohl horizontal als auch vertikal vergrößert wurde, dann wird angenommen, daß ein korrekter Bewegungsvektor für diesen besonderen Suchblock nicht erkannt werden konnte. Anstatt zu versuchen, einen richtigen Bewegungsvektor zu bestimmen, wird durch Gewichtung der beste verfügbare Bewegungsvektor bestimmt.
- Die Korrelationsfläche wird derart gewichtet, daß die Auswahl des besten verfügbaren Bewegungsvektors in Richtung des stationären, d.h. des mittleren Bewegungsvektors gewichtet wird. Dies geschieht aus zwei Gründen: Erstens, weil es nicht möglich ist, einen korrekten Bewegungsvektor zu erkennen, wenn der Suchblock selbst nach einer Vergrößerung ein Teil des großen leeren Bereichs der Videoquelle ist. Da die Videoquelle jedoch aus einem leeren Bereich besteht, führt ein stationärer Bewegungsvektor zum korrekten Ergebnis im fortlaufenden Verfahren. Zweitens, da die Gewichtung dafür ausgelegt ist, die Möglichkeit, daß ein ernsthaft falscher Bewegungsvektor an den Bewegungsvektorverminderer 45 (Figur 4) weitergegeben wird, reduziert wird. Dies wird deshalb getan, weil davon ausgegangen wird, daß ein kleiner nicht richtiger Bewegungsvektor einem großen nicht richtigen Bewegungsvektor vorgezogen wird, wenn ein korrekter Bewegungsvektor nicht bestimmt werden kann.
- Figur 30 zeigt ein Beispiel, wie die Gewichtungsfünktion auf die Korrelationsfläche angewandt werden kann. In diesem Beispiel ist die Gewichtung, die auf einen gegebene Punkt auf der Korrelationsfläche angewandt wurde, direkt zur Entfernung dieses Punkts vom stationären, zentralen Bewegungsvektor proportional. Die Größe des Punkts auf der Korrelationsfläche wird mit dem Gewichtungsfaktor multipliziert. Zum Beispiel könnte der Gradient der Gewichtungsfünktion derart sein, daß Punkte plus oder minus 32 Pixel vom zentralen, stationären Bewegungsvektor mit dem Faktor drei multipliziert werden. D.h., daß die Gewichtungsfünktion ein umgekehrter auf dem zentralen, stationären Bewegungsvektor zentrierter Kegel ist, wie in Figur 30 gezeigt ist, in der der zentrale, stationäre Bewegungsvektor durch schwarze Kreise angedeutet ist.
- Nachdem die Korrelationsfläche gewichtet wurde, wird sie erneut dem Schwellenwerttest und dem Ringtest übergeben. Wenn ein Minimum erkannt wird, das diese beiden Tests durchlaufen hat, dann wird angenommen, daß es sich um einen richtigen Bewegungsvektor handelt, der dann markiert wird, um anzuzeigen, daß es ein korrekter Bewegungsvektor ist, aber daß Gewichtung verwendet wurde. Diese Markierung wird zusammen mit dem Bewegungsvektor dem Bewegungsvektorreduzierer 45 (Figur 4) übergeben. Wenn andererseits weder ein korrekter Bewegungsvektor noch ein bester verfügbarer Bewegungsvektor bestimmt werden kann, nicht einmal nach einer Gewichtung, dann wird eine Markierung gesetzt, um anzuzeigen, daß jeder Bewegungsvektor, der an den Bewegungsvektorreduzierer 45 (Figur 4) gegeben wird, für diesen Suchblock ein schlechter Bewegungsvektor ist. Es ist notwendig, dies zu tun, da falsche Bewegungsvektoren im Bewegungsvektorreduktionsvorgang nicht verwendet werden dürfen, sondern ausgetauscht werden müssen, wie unten beschrieben wird.
- Zusammenfassend besteht demnach die Funktion des Bewegungsvektorschätzers 44 (Figur 4) darin, aus der durch die direkte Blockübereinstimmung 43 (Figur 4) erzeugten Korrelationsfläche den Punkt der besten Korrelation zu gewinnen, d.h., daß Minimum. Das Minimum wird dann dem Schwellenwerttest und dem Ringtest unterzogen, wobei das Minimum beide Tests bestehen muß, um zu erkennen, daß es die Bewegung des Suchblocks darstellt. Nebenbei soll noch erwähnt werden, daß der beim Schwellenwerttest und Ringtest verwendete Schwellenwert entweder ein absoluter Wert oder ein Teilwert sein kann. Falls das Minimum keinen der Tests besteht, wird der Suchblock vergrößert, ein neues Minimum bestimmt und der Schwellenwerttest und der Ringtest erneut ausgeführt. Die für die Vergrößerung des Suchblocks wirkungsvollste Richtung wird aus der Form der Korrelationsfläche bestimmt.
- Bezugnehmend auf Figur 4 wird nun der Vorgang der Bewegungsvektorreduktion beschrieben. Bei Verwendung eines HDVS wird von einem Suchblock von 32 Pixeln auf 23 Zeilen ausgegangen, wobei gezeigt werden kann, daß dies zu einem möglichen Maximum von 2451 Bewegungsvektoren führt. Die Wahl der Suchblockgröße stellt einen Kompromiß zwischen dem Erhalt der Auflösung und Vermeidung eines zu großen Hardwareaufwands dar. Falls alle diese Bewegungsvektoren der Bewegungsvektorauswahlvorrichtung 46 übergeben würden, wäre die Arbeit der Bewegungsvektorauswahlvorrichtung durch den Umfang der erforderlichen Bearbeitung nicht durchführbar. Um diesem Problem aus dem Weg zu gehen, ist der Bewegungsvektorreduzierer 45 zwischen dem Bewegungsvektorschätzer 44 und der Bewegungsvektorauswahlvorrichtung 46 vorgesehen. Der Bewegungsvektorreduzierer 45 nimmt die Bewegungsvektoren, die vom Bewegungsvektorschätzer 44 erzeugt wurden, und übergibt der Bewegungsvektorauswahlvorrichtung 46 bspw. vier Bewegungsvektoren pro Suchblock einschließlich derjenigen in Randbereichen, anstelle aller aus dem Vollbild ermittelten Bewegungsvektoren. Es ergibt sich daraus eine zweifacher Wirkung. Erstens wird es hierdurch viel leichter, den richtigen Bewegungsvektor auszuwählen, solange er sich innerhalb der Gruppe der vier Bewegungsvektoren, die der Bewegungsvektorauswahlvorrichtung 46 übergeben werden, befindet. Zweitens bedeutet es jedoch, daß, falls der Bewegungsvektor nicht als einer der vier übergeben wird, die Bewegungsvektorauswahlvorrichtung 46 dann nicht in der Lage ist, den richtigen auszuwählen. Desahlb ist es notwendig, vesuchen sicherzustellen, daß der Bewegungsvektorreduzierer 45 den richtigen Bewegungsvektor unter denen, die der Bewegungsvektorauswahlvorrichtung 46 übergeben wurden, einschließt. Es soll auch noch erwähnt werden, daß, obwohl vier Bewegungsvektoren durch den Bewegungsvektorreduzierer 45 an die Bewegungsvektorauswahlvorrichtung 46 übergeben wurden, nur drei eine wirkliche Bewegung darstellen, wobei der vierte Bewegungsvektor immer der stationäre Bewegungsvektor ist, der mit augneommen ist, um sicherzustellen, daß die Bewegungsvektorauswahlvorrichtung 46 nicht gezwungen ist, einen Bewegungsvektor, der eine Bewegung darstellt, einem stationären Pixel hinzuzufügen. Jede andere Anzahl von Bewegungsvektoren kann der Bewegungsvektorauswahlvorrichtung 46 zugeführt werden, in einem alternativen Ausführungsbeispiel bspw. vier Bewegungsvektoren, die die Bewegung darstellen, und der stationäre Bewegungsvektor.
- Demnach bezieht sich der Ausdruck "Abtastblock" auf einen Block in einem Videovollbild, in dem für jedes Pixel die gleichen vier Bewegungsvektoren durch den Bewegungsvektorreduzierer 45 bereitgestellt werden. Daher ist ein Abtastblock das gleiche wie ein Suchblock, bevor sich der Suchblock vergrößert hat. Wie in Figur 31 gezeigt ist, sind die Anfangspositionen der Abtastblöcke und der Suchblöcke in einem Videovollbild gleich.
- Der Bewegungsvektorreduzierer 45 (Figur 4) empfängt die Bewegungsvektoren und die Kennungen (engl.: flags) vom Bewegungsvektorschätzer 44 (Figur 4) und bestimmt durch Untersuchen der Kennungen die Qualität der Bewegungsvektoren. Wenn der Bewegungsvektor nicht aus einer mehrdeutigen Fläche hervorging, was bedeutet, daß die Wahrscheinlichkeit der Richtigkeit hoch ist, dann wird er als korrekter Bewegungsvektor ausgewiesen. Wenn aber ein bestimmtes Maß an Mehrdeutigkeit existiert, dann wird der Bewegungsvektor als falscher Bewegungsvektor ausgewiesen. Beim Bewegungsvektorreduktionsvorgang werden alle Bewegungsvektoren, die als falsche Bewegungsvektoren ausgewiesen sind, ignoriert, weil es wichtig ist, daß kein falscher Bewegungsvektor jemals an die Bewegungsvektorauswahlvorrichtung 46 (Figur 4) übergeben wird, wodurch in diesem Fall ein falscher Bewegungsvektor ausgewählt würde. Eine solche Auswahl würde grundsätzlich zu einem verfälschten Punkt im Endbild führen, was deutlich sichtbar wäre.
- Jeder der Bewegungsvektoren, der an den Bewegungsvektorreduzierer 45 (Figur 4) geliefert wurde, wurde von einem besonderen Suchblock und somit einem besonderen Abtastblock (Figur 31) erhalten, wobei deren Position zusammen mit dem Bewegungsvektor vermerkt wird. Da jeder Bewegungsvektor, der als falscher Bewegungsvektor ausgewiesen ist, ignoriert wird, besitzen nicht alle Abtastblöcke einen Bewegungsvektor, der an dieser Position aus einem Suchblock hervorging. Die Bewegungsvektoren, die als korrekte Bewegungsvektoren ausgewiesen sind und die sich auf einen bestimmten Suchblock und somit einem bestimmten Abtastblock beziehen, werden lokale Bewegungsvektoren genannt, da sie aus dem Bereich stammen, aus dem der Abtastblock erhalten wurde. Zusätzlich bestimmt ein anderer Bewegungsvektorreduktionsvorgang die Auftrittshäufigkeit jedes korrekten Bewegungsvektors, ohne daß die aktuelle Positionen der Suchblöcke, die zur Gewinnung dieser verwendet werden, berücksichtigt werden. Diese Bewegungsvektoren werden dann mit absteigender Häufigkeit sortiert und werden allgemeine Bewegungsvektoren genannt. Im schlechtesten Fall stehen nur drei allgemeine Bewegungsvektoren zur Verfügung, und diese sind mit dem stationären Bewegungsvektor verbunden, um die vier Bewegungsvektoren, die der Bewegungsvektorauswahlvorrichtung 46 (Figur 4) übergeben werden, zu erhalten. Weil es jedoch öfter mehr als drei allgemeine Bewegungsvektoren gibt, muß die Anzahl verringert werden, um eine reduzierte Gruppe allgemeiner Bewegungsvektoren auszubilden, die als globale Bewegungsvektoren bezeichnet werden.
- Eine einfache Art, die Anzahl der allgemeinen Bewegungsvektoren zu reduzieren, ist die drei häufigsten allgemeinen Bewegungsvektoren zu verwenden und den Rest außer Acht zu lassen. Die drei häufigsten allgemeinen Bewegungsvektoren sind jedoch oft diejenigen drei Bewegungsvektoren, die anfänglich um plus oder minus eine Pixelbewegung vertikal und/oder horizontal voneinander sind. D.h., daß diese allgemeinen Bewegungsvektoren die gleiche Bewegung mit einer geringfügigen Differenz zueinander aufspüren. Die anderen außer Acht gelassenen allgemeinen Bewegungsvektoren hätten tatsächlich andere Bewegungen aufgespürt.
- Um die allgemeinen Bewegungsvektoren, die alles oder das meiste der Bewegung in einer Szene darstellen, auszuwählen, muß die Auswahl der globalen Bewegungsvektoren, die die gleiche Bewegung verkörpern, verhindert werden. Somit ist die tatsächlich verwendete Strategie, zuerst die drei am häufigsten vorkommenden Bewegungsvektoren zu nehmen, und zu überprüfen, ob der seltenste unter ihnen sich innerhalb einer Vertiaklbewegung von plus oder minus einem Pixel und/oder einer Horizontalbewegung von plus oder minus einem Pixel zu einem der zwei anderen allgemeinen Bewegungsvektoren befindet. In diesem Fall wird er zurückgewiesen und der nächste am häufigsten auftretende allgemeine Bewegungsvektor wird ausgewählt, um ihn zu ersetzten. Dieser Vorgang wird für alle am häufigsten vorkommenden Bewegungsvektoren fortgeführt, bis es entweder drei allgemeine Bewegungsvektoren gibt, die zueinander nicht ähnlich sind, oder bis drei oder weniger allgemeine Bewegungsvektoren übrig sind. Wenn jedoch mehr als drei allgemeine Bewegungsvektoren übrig sind, wird dieser Vorgang, bei dem diesmal überprüft wird, ob sich der seltenste unter ihnen innerhalb plus oder minus zwei Pixelbewegungen horizontal und/oder plus oder minus zwei Pixelbewegungen vertikal zu einem anderen befindet. Dies wird falss notwendig mit vergrößertem Abstand fortgesetzt. Diese drei allgemeinen Bewegungsvektoren sind die erforderlichen globalen Bewegungsvektoren, und es ist wichtig anzumerken, daß diese immernoch nach ihrer Auftrittshäufigkeit geordnet sind.
- Wenn der Bewegungsvektorreduktionsvorgang und die Abtastblöcke eines Videovollbilds betrachtet werden, ist es notwendig, auf drei verschiedene Arten von Abtastblöcken zu sehen. Diese Arten sind auf ihre aktuelle Position in einem Videovollbild bezogen und in Figur 32 als Bereiche gezeigt. Bereich A besteht aus Abtastblöcken, die von anderen Abtastblöcken vollständig umgeben sind und sich nicht in der Nähe der Bildgrenze befinden. Bereich B enthält Abtastblöcke, die teilweise von anderen Abtastblöcken umgeben sind und sich nicht in der Nähe der Bildgrenze befinden. Schließlich enthält Bereich C Abtastblöcke, die sich nahe der Bildgrenze befinden. Der für jeden dieser Bereiche verwendete Bewegungsvektorreduktionsalgorithmus ist verschieden. Diese Algorithmen werden unten beschrieben. Zunächst soll aber nocheinmal daran erinnert werden, daß für einige der Abtastblöcke im Videovollbild korrekte Bewegungsvektoren existieren und daß es zusätzlich auch drei globale Bewegungsvektoren gibt, die den größten Anteil der vorherrschenden Bewegung in einer Szene repräsentieren. Eine Auswahl dieser Bewegungsvektoren wird verwendet, um die drei Bewegungsvektoren zusammen mit dem stationären Bewegungsvektor für jeden Abtastblock weiterzugeben.
- Figur 33 beschreibt in Diagrammform die Bewegungsvektorreduktion in Bereich A. Dies ist der komplexeste Bereich mit dem umgegangen werden muß, da er die größte Zahl zu überprüfender Bewegungsvektoren besitzt. Figur 33 zeigt einen zentralen Abtastblock, der schraffiert ist, umgeben von anderern Abtastblöcken a bis h. Zuerst wird der lokal entstandene Bewegungsvektor untersucht, um zu sehen, ob er als korrekter Bewegungsvektor ausgewiesen wurde. Falls dem so war und er zugleich nicht der gleiche wie der stationäre Bewegungsvektor ist, wird er weitergegeben. Wenn er jedoch keinen dieser Test besteht, wird er ignoriert. Dann wird der mit dem Abtastblock d verbundene Bewegungsvektor überprüft, ob er als korrekter Bewegungsvektor ausgewiesen war. Wenn er dies war, und wenn er weder gleich irgendeinem anderen schon ausgewählten Bewegungsvektor ist, noch gleich dem stationären Bewegungsvektor ist, dann wird er auch weitergegeben. Falls er irgendeinen dieser Tests nicht besteht, wird er auch ignoriert. Dann läuft dieser Vorgang in ähnlicher Weise in der Reihenfolge e, b, g, a, h, c und f fort. Sobald drei Bewegungsvektoren, die den stationären Bewegungsvektor nicht einschließen, erhalten wurden, bricht der Algorithmus ab, da dies für die Auswahl des Bewegungsvektors für diesen Bereich ausreicht. Es ist jedoch möglich, alle oben genannten Überprüfüngen ohne die gewonnenen drei korrekten Bewegungsvektoren auszuführen. In diesem Fall werden die verbleibenden Leerräume mit den globalen Bewegungsvektoren aufgefüllt, wobei die häufigeren Bewegungsvektoren Priorität haben.
- Figur 34 beschreibt die Bewegungsvektorreduktion in Bereich B. Die Abtastblöcke in Bereich B sind die gleichen wie die in Bereich A, mit der Ausnahme, daß sie von anderen Abtastblöcke nicht vollständig umgegeben sind. Somit ist der Vorgang der bei diesen Abtastbläcken verwendet wird, exakt der gleiche wie der für den Bereich A, mit der Ausnahme, daß nicht in allen umliegenden Abtastblöcken gesucht werden kann. Somit ist es wie in Figur 34 gezeigt nur möglich, die Bewegungsvektoren für die Abtastblöcke a bis e zu prüfen. Alle verbleibenden Lücken für Bewegungsvektoren werden wie zuvor mit globalen Bewegungsvektoren aufgefüllt. Es ist ersichtlich, daß nur drei angrenzende umgebende Blöcke geprüft werden müssen, bevor auf globale Bewegungsvektoren ausgewichen wird, wenn der schraffierte Abtastblock in Figur 34 um zwei Positionen nach links verschoben wird.
- Figur 35 beschreibt die Bewegungsvektorreduktion im Bereich C. Diese ist der schwierigste Fall, weil die Abtastblöcke weder einen lokal entstandenen Bewegungsvektor besitzen noch viele umgebende Abtastblöcke aufweisen, deren Bewegungsvektoren verwendet werden könnten. Die einfachste Art, dieses Problem zu lösen, besteht darin, den Abtastblöcken des Bereichs C die globalen Bewegungsvektoren zusammen mit dem stationären Bewegungsvektor zu geben. Jedoch wurde herausgefünden, daß dies durch den plötzlichen Wechsel in den Bewegungsvektoren, die für die Abtastblöcke in dem Bereich C verglichen mit den angrenzenden Abtastblöcken im Bereich B stehen, zu einem blockähnlichen Effekt im resultierenden Bild führt. Deshalb ist eine bevorzugte Strategie, für die Abtastblöcke im Bereich C die Abtastbewegungsvektoren wie diejenigen für die Abtastblöcke im Bereich B zu verwenden, da dies plötzliche Wechsel verhindert. Vorzugsweise wird jedem Abtastblock im Bereich C die gleichen Bewegungsvektoren zugeordnet, wie dem Abtastblock im Bereich B, der physisch am nächsten zu ihtn steht. Demnach würde im Beispiel der Figur 35 jeder der schraffierten Abtastblöcke im Bereich C die gleichen Bewegungsvektoren zugeordnet, wie dem Abtastblock im Bereich B. Es wurde herausgefünden, daß dies zu den besten Ergebnissen führt.
- Um nocheinmal auf Figur 4 zurückzukommen, ist der Zweck der Bewegungsvektorauswahlvorrichtung 46 darin zu sehen, einen der vier an die Bewegungsvektorauswahlvorrichtung gelieferten Bewegungsvektoren jedem einzelnen Pixel innerhalb des Abtastblocks zuzuordnen. Auf diese Weise können die Bewegungsvektoren dem Umriß der Objekte korrekt angepaßt werden. Mit der Durchführung dieser Zuordnung ist inbesondere beabsichtigt, zu verhindern, daß der feine Details umschließende Hintergrund eine bessere Anpassung ermöglicht als bei einem richtigen Bewegungsvektor. Um dies zu erreichen, wird der Bewegungsvektorauswahlvorgang in zwei Haupschritte aufgeteilt. Im ersten Schritt werden die Bewegungsvektoren für jedes Pixel im Eingangsvollbild erzeugt. D.h., daß es keinen Versuch gibt, die Bewegungsvektorwerte für die Pixel an den Vollbildausgangspositionen zu bestimmen. Im zweiten Schritt werden die vom ersten Schritt erzeugten Bewegungsvektorwerte verwendet, um die Bewegungsvektorwerte für jedes Pixel im Ausgangsvollbild zu bestimmen.
- Bezugnehmend auf Figur 36 wird nun jedes Pixel des Eingangsvollbilds 2 auf die beste Leuchtdichtewert-Übereinstimmung mit dem vorigen und dem folgenden Eingangsvollbild 1 und 3 der Videodaten getestet, wobei jeder der vier zugeführten Bewegungsvektoren verwendet wird. Die Pixel-Leuchtdichtedifferenz wird berechnet aus
- wobei:
- P1nm der Leuchtdichtewert eines Vollbild-Pixels 1 innerhalb eines 4x4 Pixelblocks, der das Pixel, dessen Lage durch Subtrahieren der Koordinaten des Bewegungsvektors, der getestet wird, von der Lage des Pixels, das in Vollbild 2 getestet wir, erhalten wird
- P2nm ist der Leuchtdichtewert eines Vollbild-Pixels 2 innerhalb eines 4x4 Pixelblocks, der das Pixel, das geteste wird, umgibt
- P3nm ist der Helligkeitswert eines Vollbild-Pixels 3 innerhalb eines 4x4 Pixelblocks, dessen Lage durch Addieren der Koordinaten des Bewegungsvektors, der getestet wird, mit der Lage des Pixels, das in Vollbild 2 getestet wird, erhalten wird
- Die minimale Pixeldifferenz deutet dann die beste Leuchtdichteübereinstimmung an und deshalb ist der korrekte Bewegungsvektor auf das Pixel, das getestet wird, anwendbar. Wenn der korrekte Bewegungsvektor nicht verfügbar ist, oder es unbedeckte oder bedeckte Bereiche gibt, auf die unten detaillierter eingegangen wird, tritt keine gute Übereinstimmung auf.
- Eine schlechte Übereinstimmung wird angezeigt, wenn die durchschnittliche Pixeldifferenz innerhalb des verwendeten Pixelblocks über einem bestimmten Schwellenwert liegt. Dieser Schwellenwert ist wichtig, da Hochfrequenzdetails eine schlechte Übereinstimmung erzeugen könnten, selbst wenn der korrekte Bewegungsvektor getestet wird. Der Grund für diese schlechte Übereinstimmung besteht in der Möglichkeit eines Halbpixelfehlers im abgeschätzten Bewegungsvektor. Um zu bestimmen, welcher Schwellenwert eine schlechte Übereinstimmung anzeigen sollte, ist es notwendig, den Schwellenwert auf den Frequenzinhalt des Bildes innerhalb des Datenblocks zu beziehen, der das Pixel, für das der Bewegungsvektor erforderlich ist, umgibt. Um dies zu erreichen, wird ein Auto-Schwellenwert bestimmt, wobei der Schwellenwert der Hälfte der maximalen horizontalen oder vertikalen Pixelleuchtdichtedifferenz des zu testenden Pixels gleicht. Um sicherzustellen, daß der erhaltene Schwellenwert für den ganzen Datenblock, der verglichen wird, repräsentativ ist, wird ein Durchschnittswert für die vier zentralen Pixel eines verwendeten 4x4 Blocks erhalten.
- Bezüglich der Figur 38, die einen 4x4 Block zeigt, bestimmt sich der erforderliche Schwellenwert T als:
- T = (T1 + T2 + T3 + T4)/8
- wobei T3 zum Beispiel, wie in Figur 39 angezeigt ist, gleich dem Maximum der vier Pixelleuchtdichtedifferenzwerte bestimmt ist mit:
- den zwei Vertikaldifferenzen B2-B3 und B4-B3 , und
- den zwei Horizontaldifferenzen A3-B3 und C3-B3
- Auf diese Weise wird ein Vollbild der Bewegungsvektoren als Ausgangsvollbild erreicht und in ähnlicher Weise wird ein Vollbild der Bewegungsvektoren für das Eingangsvollbild 3 erreicht, wie in Figur 37 gezeigt ist.
- Neben den Szenenwechseln, ist es das Phänomen einer unbedeckten/bedeckten Fläche, die ein Auftreten einer Nichtübereinstimmung beim oben genannten Schritt der Bewegungsvektorauswahl bewirkt. Wenn ein Objekt, sagen wir ein Auto, in einen Tunnel fährt, dann wird das Auto bedeckt, während wenn es herausfährt, es unbedeckt ist. Wenn der Teil des Autos, der in den Vollbildern 1 und 2 unbedeckt ist, in den Vollbildern 3 und 4 bedeckt ist, dann ist der grundlegende Vektorauswahlprozeß nicht in der Lage, den richtigen Vektor zu bestimmen. Darüber hinaus werden die Straße und Objekte hinter dem Auto abgedeckt während das Auto, das in den Tunnel fährt, abgedeckt wird. In ähnlicher Weise ist das den Tunnel verlassende Auto unbedeckt, aber die Straße und die Objekte hinter dem Auto werden abgedeckt. Im Allgemeinen existieren deshalb sowohl abgedeckte als auch unbedeckte Objekte zur gleichen Zeit. Das Ende einer Szene besitzt auch eine Bewegungsunterbrechung, die ähnlich einem Objekt ist, das abgedeckt wird. Bei einem Versuch, einen Bewegungsvektor selbst unter solchen Umständen zu bestimmen, wird die Leuchtdichtewertblockübereinstimmung zu einer Übereinstimmung zweier Vollbilder reduziert, anstatt der Übereinstimmung von drei Vollbildern der Figuren 36 und 37. Das Vollbild, für das die Bewegungsvektoren erforderlich sind (sagen wir Vollbild 2) ist durch Verwendung der vier bereitgestellten Bewegungsvektoren individuell dem vorigen und dem nächsten Vollbild blockangepaßt (im Falle von Vollbild 2 jeweils Vollbild 1 und Vollbild 3). Der Bewegungsvektor, der die beste Übereinstimmung erzielt, wird als der Bewegungsvektor gewählt, der auf das zu testende Pixel angewandt wird. In diesem Fall wird jedoch eine Kennzeichnung gesetzt, um anzuzeigen, daß nur eine Übereinstimmung zweier Vollbilder verwendet wurde.
- Es ergeben sich besonders bei Fernsehkameras des Integrationstyps Situationen, bei denen keine Übereinstimmung auftritt. Wenn sich ein Objekt über einen detaillierten Hintergrund bewegt, dann erzeugt eine integrierende Kamera einheitliche Bildanteile, in denen die führenden und hinterherlaufenden Kanten des Objekts mit dem Detail des Hintergrunds gemischt werden. Unter solchen Umständen könnte eine Übereinstimmung zweier Vollbilder sogar eine Durchschnittspixeldifferenz über dem Schwellenwert erzeugen. In diesen Fällen wird der Bewegungsvektorwert auf null gesetzt und eine Fehlerkennung gesetzt.
- Die zweite Stufe der Bewegungsvektorauswahl bedient sich der zwei Vollbilder der Bewegungsvektoren, die durch die erste Stufe gewonnen werden. Ein Vollbild der Bewegungsvektoren (Eingangsvollbild 2) wird als das Referenzvollbild betrachtet, und das darauffolgende Vollbild (Eingangsvollbild 3) wird auch verwendet. Die Ausgangsvollbildposition existiert dann irgendwo zwischen diesen beiden Vollbildern der Bewegungsvektoren. Bezugnehmend auf Figur 40 wird für jede Ausgangspixelposition die vier möglichen Bewegungsvektoren, die mit dem Abtastblock des Eingangsvollbilds 2 verbunden sind, getestet. Eine durch die Ausgangspixelposition unter dem Winkel des zu testenden Bewegungsvektors gezogene Linie zeigt auf eine Position von dem Eingangsvollbild 2 als auch dem Eingangsvollbild 3. Im Falle eines ungeraden Bewegungsvektorwerts, zum Beispiel 1, 3 und 5, würde ein Punkt der sich in der Mitte zwischen zwei Eingangsvollbildpixeln befindet, dann angezeigt, wenn das Ausgangsvollbild sich genau auf dem halben Weg zwischen dem Eingangsvollbild 1 und 2 befindet. Um diese Ungenauigkeit zu berücksichtigen und auch die Sensitivität auf einzelne Pixel zu reduzieren, wird ein 3x3 Bewegungsvektorblock für jedes Vollbild benötigt, der sich mittig auf der nahesten Pixelposition befindet. In der Praxis wird dann eine Blockübereinstimmung zwischen jedem der 3x3 Blöcke der Bewegungsvektoren und dem Block, der den zu testenden Bewegungsvektor enthält, ausgeführt. Die verwendete Bewegungsvektordifferenz stellt den räumlichen Unterschied der zwei Bewegungsvektorwerte dar, die gegeben sind durch:
- [((x1 - x2)² + (y1 - y2)²)
- wobei:
- x1 und y1 die Kartesischen Koordinaten des Bewegungsvektors in einem der Blöcke sind
- x2 und y2 die Kartesischen Koordinaten des zu testenden Bewegungsvektors sind
- Eine durchschnittliche Vektordifferenz pro Pixel wird als Ergebnis der Blockübereinstimmung erzeugt.
- Eine Bewegungsvektorübereinstimmung wird zuerst wie oben erzeugt, wobei nur Bewegungsvektorwerte verwendet werden, die durch Verwendung dreier Eingangsvollbilder berechnet wurden; das sind Eingangsvollbild 1, 2 und 3 für das Eingangsvollbild 2 (Figur 36), und Eingangsvollbild 2, 3 und 4 für das Eingangsvollbild 3 (Figur 37). Das Ergebnis wird dementsprechend skaliert. Vorzugsweise existieren mindestens vier verwendbare Bewegungsvektoren in einem Neunerblock. Wenn sowohl der Bewegungsvektorblock von Vollbild 2 als auch Vollbild 3 verwendet werden können, ist der Bewegungsvektordifferenzwert aus der Hälfte des Bewegungsvektordifferenzwerts von Vollbild 2 plus der Hälfte des Bewegungsvektordifferenzwerts von Vollbild 3 zusammengesetzt. Welcher Bewegungsvektor auch immer den minimalen Bewegungsvektordifferenzwert unter Verwendung der oben genannten Technik erzeugt, wird für den Bewegungsvektor gehalten, der auf das zu testende Ausgangspixel anwendbar ist. Falls der Bewegungsvektordifferenzwert, der durch den Drei- Vollbildübereinstimmungs-Eingangsbewegungsvektor erzeugt wird (Figuren 36 und 37) größer als der Einheitswert ist, wird dann eine bedeckte oder unbedeckte Fläche erkannt und der gleiche Vorgang wiederholt, aber dieses mal werden die Fehlerkennungen ignoriert. Das heißt, daß die Bewegungsvektorwerte, die unter Verwendung zweier Eingangsvollbilder berechnet wurden, verwendet werden. Theoretisch ist dies nur bei unbedeckten/bedeckten Flächen notwendig, obwohl hierdurch in der Tat Verbesserungen in allgemeineren Bereichen im Bild erhalten werden können.
- Falls die minimale Bewegungsvektorübereinstimmung größer als zwei ist, nachdem die oben genannten Tests ausgeführt worden sind, wird der Bewegungsvektorwert auf null gesetzt und eine Fehlerkennung wird für die Nutzung durch den Bewegungsvektornachbearbeiter 47 gesetzt (Figur 4).
- Im Anschluß an die Bewegungsvektorauswahl wird es in irgendeinem wirklichen Bild fast sicher Situationen geben, bei denen verfälschte Bewegungsvektoren verbunden mit bestimmten Pixel zurückbleiben. Figuren 41 bis 46 zeigen, was unter verfälschten Bewegungsvektoren verstanden wird. In jeder der Figuren stellen die Dreiecke Pixel dar, mit denen Bewegungsvektoren verbunden sind, die verschieden zu denen sind, die mit den umgebenden Pixeln verbunden sind. Ein Kreis zeigt den zu testenden Bewegungsvektor an.
- Figur 41 zeigt eine Punktsingularität, bei der ein einzelnes Pixel einen Bewegungsvektor besitzt, der sich von denen aller umgebenden Pixeln unterscheidet.
- Figur 42 zeigt einen horizontalen Bewegungsvektorimpuls, bei dem drei horizontal angeordnete Pixel einen von denen der umgebenden Pixeln verschiedenen Bewegungsvektor besitzen.
- Figur 43 zeigt einen vertikalen Bewegungsvektorimpuls, bei dem drei vertikal angeordnete Pixel einen von denen der umgebenden Pixeln verschiedenen Bewegungsvektor besitzen.
- Figur 44 zeigt einen diagonalen Bewegungsvektorimpuls, bei dem drei diagonal angeordnete Pixel einen von denen der umgebenden Pixeln verschiedenen Bewegungsvektor besitzen.
- Figur 45 zeigt einen horizontalen plus vertikalen Bewegungsvektorimpuls, bei dem fünf zu einem senkrechten Kreuz angeordneter Pixel einen von denen der umgebenden Pixeln verschiedenen Bewegungsvektor besitzen.
- Es wird angenommen, daß Pixelbewegungsvektoren, die unter irgendeine der oben genannten sechs Kategorien fallen, nicht wirklich zu dem reellen Bild gehören und ein direktes Ergebnis auf eine inkorrekte Bewegungsvektorauswahl darstellen. Wenn solche Bewegungsvektoren während des Interpolationsvorgangs verwendet werden, würden sie wahrscheiniich Punkte auf dem Endausgangsbild hervorrufen, und deshalb zieht man es vor, daß solche Bewegungsvektoren erkannt und eliminiert werden. Dies geschieht durch Verwendung eines Algorithmus, der alle der oben genannten Bewegungsvektorgruppierungen erkennt und kennzeichnet.
- Der Algorithmus verwendet ein zweistufiges Verfahren, bei dem jede Stufe identisch ist. Die Notwendigkeit für zwei Stufen ist ersichtlich. Figur 47, auf die Bezug genommen wird, zeigt ein Pixelfeld, bei der diejenigen mit einem Dreieck markiert werden, die den gleichen damit verbundenen Bewegungsvektor aufweisen. Der Block von neun Pixeln in der Mitte hat damit verbundene gleiche Bewegungsvektoren, die als Vektor 1 bis 9 bezeichnet sind, wobei die Bewegungsvektoren gleich oder nicht gleich sein können. Vektor 5 ist der zu testende Bewegungsvektor.
- Im ersten Durchgang wird Vektor 5 geprüft, um zu bestimmen, ob er der gleiche ist, oder innerhalb einer vorher festgelegten Toleranz von:
- Erstens
- Vektor 1 oder Vektor 3 oder Vektor 7 oder Vektor 9
- und zweitens
- Vektor 2 oder Vektor 4 oder Vektor 6 oder Vektor 8 liegt.
- Damit wird geprüft, ob der Vektor 5 der gleiche wie zumindest einer seiner horizontalen oder vertikalen Nachbarn ist, und der gleiche wie zumindest einer seiner diagonalen Nachbarn ist. In diesem Fall wird eine Kennung gesetzt, um anzuzeigen, daß Pixel 5 schlecht ist.
- Die erste Stufe kennzeichnet jene Bewegungsvektoren, die Punktsingularitäten, horizontale Bewegungsvektorimpulse, vertikale Bewegungsvektorimpulse, diagonale Bewegungsvektorimpulse und zwei Bewegungsvektorimpulse (Figuren 41 bis 44 und 46) betreffen, aber nicht die Bewegungsvektoren entsprechend horizontaler plus vertikaler Bewegungsvektorimpulse (Figur 45), für die Stufe 2 erforderlich ist. Die zweite Stufe prüft unter den gleichen Bedingungen wie die erste Stufe, aber in diesem Fall werden die Bewegungsvektoren, die schon als schlecht gekennzeichnet wurden, nicht in die Berechnung eingeschlossen. Somit wird, bezugnehmend auf Figur 45, nach der ersten Stufe nur der zentrale Bewegungsvektor als schlecht gekennzeichnet, aber nach der zweiten Stufe werden alle fünf der in einem senkrechten Kreuz angeordneten Bewegungsvektoren als schlecht gekennzeichnet.
- Nachdem die schlechten Bewegungsvektoren erkannt wurden, ist es dann notwendig, diese zu reparieren, was auch durch den Bewegungsvektornachbearbeiter 47 (Figur 4) bewirkt wird. Obwohl zahlreiche Verfahren wie Interpolation oder Mehrheitenersetzung verwendet werden können, liefert, was herausgefünden wurde, ein einfaches Ersetzen in der Praxis gute Resultate. Dies wird wie folgt bewirkt (und es soll erwähnt werden, daß Gleichheitszeichen nicht nur exakt gleich bedeuten, sondern auch innerhalb einer zuvor festgesetzten Toleranz von):
- Wenn Vektor 5 als schlecht gekennzeichnet ist, dann wird er ersetzt durch:
- Vektor 4, wenn (Vektor 4 gleich Vektor 6 ist)
- sonst mit Vektor 2, wenn (Vektor 2 gleich Vektor 8 ist)
- sonst mit Vektor 1, wenn (Vektor 1 gleich Vektor 9 ist)
- sonst mit Vektor 3, wenn (Vektor 3 gleich Vektor 7 ist)
- sonst mit nichts
- Bezugnehmend auf Figur 4 wird der letztendlich gewählte Bewegungsvektor für jedes Pixel vom Bewegungsvektornachbearbeiter 47 an den Interpolator 48 zusammen mit dem fortschreitenden abtastkonvertierten Vollbild mit 60 Vollbildern pro Sekunde vom fortschreitenden Abtastumwandler 42 geliefert. Der Interpolator 48 ist von relativ einfacher Form, wobei nur zwei fortschreitenden abtastkonvertierte Vollbilder verwendet werden, wie in Figur 48 angezeigt ist. Bei Verwendung der temporären Position des Ausgangsvollbildes relativ zu den fortlaufenden Eingangsvollbildern, Vollbild 1 und Vollbild 2 und der Bewegungsvektor für jedes Pixel im Ausgangsvollbild, bestimmt der Interpolator 48 in bekannter Weise, welcher Teil des ersten Vollbilds mit welchem Teil des zweften Vollbilds kombiniert werden sollte und mit welcher Gewichtung, um den korrekten Ausgangspixelwert zu erzeugen. D.h., daß der Interpolator 48 adaptiv interpoliert entlang der Bewegungsrichtung in Abhängigkeit der Bewegungsvektoren, um ein bewegungskompensiertes fortschreitendes Vollbild entsprechend 24 Vollbildern pro Sekunde zu erzeugen. Obwohl die Bewegungsvektoren nur durch die Leuchtdichtewerte der Pixel entstanden sind, werden die gleichen Bewegungsvektoren verwendet, um die erforderlichen Ausgangspixelfarbwerte zu gewinnen. Ein 8x8 Pixelfeld wird von jedem Vollbild verwendet, um den erforderlichen Ausgang zu erzeugen. Demnach ist der Interpolator 48 ein zweidimensionaler, vertikaler/horizontaler Interpolator und die für den Interpolator 48 verwendeten Koeffizienten können durch Verwendung des Remez Austauschalgorithmus gewonnen werden, der ausführlich erklärt ist in "Theory and application of digital signal processing", Lawrence R Rabiner, Bernard Gold. Prentice-Hall Inc., Seite 136 bis 140 und 227 gefünden werden kann.
- Figur 48 zeigt in Diagrammform die durch den Interpolator 48 (Figur 4) durchgeführte Interpolation für drei verschiedene Fälle. Der erste Fall, links gezeigt, herrscht vor, wenn es keine unbedeckten oder bedeckten Flächen gibt, der zweite Fall, in der Mitte gezeigt, liegt dann vor, wenn es eine bedeckte Fläche gibt, und der dritte Fall, rechts gezeigt, dann, wenn es eine unbedeckte Fläche gibt. Im Falle einer bedeckten Fläche, verwendet die Interpolation nur Vollbild 1, während im Fall einer unbedeckten Fläche die Interpolation nur Vollbild 2 verwendet.
- Im Interpolator 48 kann eine Einstellung vorgenommen werden, daß der Standardwert der nichtbewegten kompensierten Interpolation angenommen wird, wobei in diesem Fall das zeitlich naheste fortschreitende abtastumgewandelte Vollbild verwendet wird.
Claims (10)
1. Verfahren zur Umwandlung eines Videosignals in ein photografisches Filmbild mit den
Schritten:
aus einem Eingangsvideosignal wird ein bewegungskompensiertes digitales Videosignal
gewonnen entsprechend 24 fortschreitender Abtast-Vollbilder pro Sekunde;
das digitale Videosignal wird in einem Videosignal-Aufzeichnungsgerät (14)
aufgezeichnet;
das digitale Videosignal wird wiedergegeben;
das wiedergegebene digitale Videosignal wird digital/analog-umgewandelt in ein
analoges Videosignal entsprechend 24 fortschreitender Abtast-Vollbilder pro Sekunde; und
das analoge Videosignal wird einem photographischen Aufzeichnungsgerät (35)
zugeführt, um den Inhalt des analogen Videosignals auf einem photographischen Film
aufzuzeichnen.
2. Verfahren nach Anspruch 1 mit den Schritten:
aus dem Eingangsvideosignal wird ein bewegungsangepaßtes fortschreitendes digitales
Videosignal gewonnen, bei dem die fortschreitenden Abtast-Vollbilder die gleiche Rate
aufweisen wie die verschachtelten Eingangs-Abtast-Halbbilder im Eingangsvideosignal, und
aus dem bewegungsangepaßten digitalen Videosignal wird das bewegungskompensierte
digitale Videosignal gewonnen.
3. Verfahren nach Anspruch 2, wobei Blöcke in einem ersten Vollbild des
bewegungsangepaßten digitalen Videosignals jeweils mit mehreren Blöcken im
nachfolgenden Vollbild des bewegungsangepaßten digitalen Videosignals verglichen
werden, um Bewegungsvektoren zu gewinnen, die die Bewegung des Inhalts der jeweiligen
Blöcke zwischen dem ersten Vollbild und dem nachfolgenden Vollbild darstellen, und
wobei die Bewegungsvektoren zur Gewinnung des bewegungskompensierten digitalen
Videosignals benutzt werden.
4. Verfahren nach Anspruch 1, 2 oder 3, wobei das photographische Aufzeichnungsgerät
(35) ein Elektronenstrahl-Aufzeichnungsgerät (35) ist.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei das Eingangsvideosignal
ein hochauflösendes (high definition) Videosignal ist.
6. Einrichtung zum Umwandeln eines Videosignals in ein photographisches Filmbild
umfassend:
einen Fernseh-Standardumwandler (12), der aus einem Eingangsvideosignal ein
bewegungskompensiertes digitales Videosignal gewinnt entsprechend 24 fortschreitenden
Abtast-Vollbildern pro Sekunde;
ein Videosignal-Aufzeichnungsgerät (14) zum Aufzeichnen des digitalen Videosignals;
einen Digital/Analog-Wandler (34) zum Umwandeln des digitalen Videosignals nach
der Wiedergabe in ein analoges Videosignal entsprechend 24 fortschreitender
Abtast-Vollbilder pro Sekunde; und
ein photographisches Aufzeichnungsgerät (35), dem das analoge Videosignal zugeführt
wird, um den Inhalt des analogen Videosignals auf dem photographischen Film
aufzuzeichnen.
7. Einrichtung nach Anspruch 6, wobei der Fernseh-Standardumwandler (12) umfaßt:
eine Vorrichtung (42), die aus dem Eingangsvideosignal ein bewegungsangepaßtes
fortschreitendes digitales Videosignal gewinnt, bei dem die fortschreitenden
Abtast-Vollbilder die gleiche Rate aufweisen wie die verschachtelten
Eingangs-Abtast-Halbbilder im Eingangsvideosignal, und
eine Vorrichtung (43 bis 48), die aus dem bewegungsangepaßten digitalen Videosignal
das bewegungskompensierte digitale Videosignal gewinnt.
8. Einrichtung nach Anspruch 7, wobei der Fernseh-Standardumwandler (12) umfaßt:
eine Vorrichtung (43), die Blöcke in einem ersten Vollbild des bewegungsangepaßten
digitalen Videosignals jeweils mit mehreren Blöcken im nachfolgenden Vollbild des
bewegungsangepaßten digitalen Videosignals vergleicht, um Bewegungsvektoren zu
gewinnen, die die Bewegung des Inhalts der jeweiligen Blöcke zwischen dem ersten
Vollbild und dem nachfolgenden Vollbild darstellen, und
eine Vorrichtung (44), die abhängig von dem Vergleich Bewegungsvektoren gewinnt,
die zur Gewinnung des bewegungskompensierten digitalen Videosignals benutzt werden.
9. Einrichtung nach Anspruch 6, 7 oder 8, wobei das photographische Aufzeichnungsgerät
(35) ein Elektroneiistrahl-Aufzeichnungsgerät (35) ist.
10. Einrichtung nach einem der Ansprüche 6 bis 9, wobei das Eingangsvideosignal ein
hochauflösendes Videosignal ist.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GB8909656A GB2231228B (en) | 1989-04-27 | 1989-04-27 | Video signal to photographic film conversion |
Publications (2)
Publication Number | Publication Date |
---|---|
DE69015419D1 DE69015419D1 (de) | 1995-02-09 |
DE69015419T2 true DE69015419T2 (de) | 1995-05-04 |
Family
ID=10655828
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE69015419T Expired - Fee Related DE69015419T2 (de) | 1989-04-27 | 1990-04-11 | Umwandlung eines Videosignals auf einen photographischen Film. |
Country Status (5)
Country | Link |
---|---|
US (1) | US5016101A (de) |
EP (1) | EP0395276B1 (de) |
JP (1) | JPH02290382A (de) |
DE (1) | DE69015419T2 (de) |
GB (1) | GB2231228B (de) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2246925B (en) * | 1990-08-09 | 1994-04-27 | Sony Broadcast & Communication | Video signal processing |
JPH04304095A (ja) * | 1991-03-31 | 1992-10-27 | Sony Corp | 画像信号変換装置 |
JPH04304083A (ja) * | 1991-03-31 | 1992-10-27 | Sony Corp | 画像信号変換装置 |
US5428399A (en) * | 1991-04-15 | 1995-06-27 | Vistek Electronics Limited | Method and apparatus for image translation with improved motion compensation |
US5260787A (en) * | 1991-05-14 | 1993-11-09 | Sony Electronics Inc. | Film-to-video frame image conversion apparatus and method for selectively identifying video fields and frames |
US5430489A (en) * | 1991-07-24 | 1995-07-04 | Sony United Kingdom, Ltd. | Video to film conversion |
GB2262853B (en) * | 1991-12-20 | 1995-07-19 | Sony Broadcast & Communication | Digital video signal processing |
GB2264020B (en) * | 1992-01-31 | 1995-10-25 | Sony Broadcast & Communication | Digital video signal processing |
GB2265275B (en) * | 1992-03-18 | 1996-01-03 | Sony Broadcast & Communication | Digital video signal processing |
GB2266023B (en) * | 1992-03-31 | 1995-09-06 | Sony Broadcast & Communication | Motion dependent video signal processing |
GB2268659B (en) * | 1992-07-08 | 1996-03-27 | Sony Broadcast & Communication | Video to film conversion |
JP3443880B2 (ja) * | 1992-09-18 | 2003-09-08 | ソニー株式会社 | ビデオ信号符号化方法及び復号化方法 |
US5461420A (en) * | 1992-09-18 | 1995-10-24 | Sony Corporation | Apparatus for coding and decoding a digital video signal derived from a motion picture film source |
GB2271239B (en) * | 1992-09-29 | 1996-06-19 | Sony Broadcast & Communication | Video to film conversion |
GB2280080B (en) * | 1993-06-09 | 1998-01-14 | Sony Uk Ltd | Video frame rate conversion |
JPH08317336A (ja) * | 1995-03-15 | 1996-11-29 | Fuji Photo Film Co Ltd | 補間画像データ生成装置および方法 |
US5774183A (en) * | 1996-08-20 | 1998-06-30 | Eastman Kodak Company | Method for simulating an increased shutter time in digital video |
GB2361134A (en) * | 2000-04-07 | 2001-10-10 | Snell & Wilcox Ltd | Video standards conversion |
US7057627B2 (en) * | 2001-03-05 | 2006-06-06 | Broadcom Corporation | Video and graphics system with square graphics pixels |
EP1956839A4 (de) * | 2005-11-29 | 2010-03-17 | Pioneer Corp | Aufzeichnungseinrichtung, wiedergabeeinrichtung, aufzeichnungsverfahren, aufzeichnungsprogramm und computerlesbares aufzeichnungsmedium |
JP4983362B2 (ja) * | 2007-04-16 | 2012-07-25 | ソニー株式会社 | フィルム検出装置およびその方法、並びに映像信号処理装置およびその方法 |
JP5187266B2 (ja) * | 2009-04-21 | 2013-04-24 | 株式会社Jvcケンウッド | 動きベクトル検出装置及び方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3444317A (en) * | 1965-11-03 | 1969-05-13 | Minnesota Mining & Mfg | Electron beam recorder with frame rate conversion |
JPS60204182A (ja) * | 1984-03-28 | 1985-10-15 | Sony Corp | 映像信号の編集方式 |
US4942466A (en) * | 1985-12-24 | 1990-07-17 | British Broadcasting Corporation | Bandwidth compression for television signals |
DE3682068D1 (de) * | 1986-03-19 | 1991-11-21 | British Broadcasting Corp | Fernsehbild-bewegungsmessung. |
WO1987005770A1 (en) * | 1986-03-19 | 1987-09-24 | British Broadcasting Corporation | Video signal processing for bandwidth reduction |
DE3850709T2 (de) * | 1987-06-09 | 1994-11-24 | Sony Corp | Reduzierung der Bewegungsvektoren in Fernsehbildern. |
-
1989
- 1989-04-27 GB GB8909656A patent/GB2231228B/en not_active Expired - Lifetime
-
1990
- 1990-04-11 DE DE69015419T patent/DE69015419T2/de not_active Expired - Fee Related
- 1990-04-11 EP EP90303980A patent/EP0395276B1/de not_active Expired - Lifetime
- 1990-04-20 US US07/512,279 patent/US5016101A/en not_active Expired - Lifetime
- 1990-04-27 JP JP2114496A patent/JPH02290382A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
GB2231228A (en) | 1990-11-07 |
GB2231228B (en) | 1993-09-22 |
EP0395276A2 (de) | 1990-10-31 |
DE69015419D1 (de) | 1995-02-09 |
EP0395276B1 (de) | 1994-12-28 |
GB8909656D0 (en) | 1989-06-14 |
US5016101A (en) | 1991-05-14 |
JPH02290382A (ja) | 1990-11-30 |
EP0395276A3 (de) | 1991-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE69027479T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69015419T2 (de) | Umwandlung eines Videosignals auf einen photographischen Film. | |
DE69022470T2 (de) | Bewegungsabhängige Videosignalverarbeitung. | |
DE69031055T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69030896T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69131591T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69027809T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69028651T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69021431T2 (de) | Bewegungsabhängige Videosignalverarbeitung. | |
DE69132475T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69831886T2 (de) | Verfahren und Vorrichtung zur Bildsignalumsetzung | |
DE69519398T2 (de) | Abtastumsetzung mit Bewegungsadaptation unter Verwendung einer richtungsabhängigen Interpolation der Kanten | |
DE69123359T2 (de) | Videobildverarbeitung | |
DE69609482T2 (de) | Verfahren zur Interpolation von Vollbilden | |
DE69028792T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69415638T2 (de) | Formatdetektor für Videosignalempfänger | |
DE69422255T2 (de) | Verfahren und Vorrichtung zum bewegungsausgeglichenen Interpolieren von zwischenliegenden Halbbildern oder Bildern | |
DE69333103T2 (de) | Vorrichtung zur Umsetzung von digitalen Daten | |
DE60120031T2 (de) | Gerät und Verfahren zum Verdecken von Interpolationartefakten in einem Umwandler von Zeilensprungsvideo in Video mit progressiver Abtastung | |
DE69605936T2 (de) | Bewegungskompensierte interpolation | |
DE69510851T2 (de) | Verfahren und Gerät zur Reduzierung von Umwandlungsartefakten | |
DE69027704T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE69031144T2 (de) | Bewegungsabhängige Videosignalverarbeitung | |
DE3687434T2 (de) | Geraet zum ausgleich von bewegung in einem von einem von einem fernsehsignal abgeleiteten bild. | |
DE69318216T2 (de) | Verfahren und Vorrichtung zur adaptiven Interpolation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8364 | No opposition during term of opposition | ||
8339 | Ceased/non-payment of the annual fee |