DE10048884A1

DE10048884A1 - Verfahren zur Skalierung eines zeilenweise aufgebauten stereoskopischen Bild- oder Laufbildsignals

Info

Publication number: DE10048884A1
Application number: DE10048884A
Authority: DE
Original assignee: VEGA MEDIEN AG
Current assignee: VEGA MEDIEN AG
Priority date: 2000-09-29
Filing date: 2000-09-29
Publication date: 2002-04-11

Abstract

Die Erfindung betrifft ein Verfahren zur Skalierung eines aus einer Anzahl n von Zeilen aufgebauten stereoskopischen Bild- oder Laufbildsignals, bei dem ein erstes Teilbild von den geradzahligen Zeilen z = 1, 3, ... n-1 und ein zweites Teilbild von den ungeradzahligen Zeilen z = 2, 4, ..., n gebildet ist, mit folgenden Schritten: DOLLAR A a. Separieren des Signals in stereoskopische Einzelbilder; DOLLAR A b. Trennen der Einzelbilder in die beiden in den Einzelbildern enthaltenen Teilbilder mit der Zeilenzahl n/2; DOLLAR A c. Skalieren der Teilbilder in ein Format mit der Zeilenzahl m/2; DOLLAR A d. Zusammenfügen der skalierten Teilbilder zu stereoskopischen Einzelbildern mit der Zeilenzahl m; sowie DOLLAR A e. Kombinieren der Einzelbilder zu einem stereoskopischen Bild- oder Laufbildsignal mit der Zeilenzahl m.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Ska lierung eines aus einer Anzahl von Zeilen aufgebauten stereoskopischen Bildsignals, bei dem ein erstes Teilbild von ungeradzahligen Zeilen und ein zweites Teilbild von geradzahligen Zeilen gebildet wird.

Für die dreidimensionale Darstellung von Videospielen ist es bekannt, mit einer LCD-Shutterbrille dem linken und dem rechten Auge des Betrachters jeweils abwechselnd lin ke und rechte Vollbilder im sogenannten Page-flipping- Modus darzustellen. Da bei diesem Verfahren jedes Einzel bild ein Bild mit der vollen Zeilenzahl ist und die ste reoskopische Information durch die abwechselnde Darstel lung übermittelt wird, können die Bilder mit üblichen Verfahren von einer Bildschirmauflösung zu einer anderen skaliert werden. Die stereoskopische Information geht da bei nicht verloren. Dieser Modus ist jedoch für Fernseh- oder Videofilme in dreidimensionaler Darstellung nicht gut geeignet. Zudem wird der Page-flipping-Modus von Bet rachtern zumindest subjektiv als unangenehm empfunden.

Ein anderes Darstellungsverfahren für dreidimensionale Bilder sieht vor, daß die dreidimensionale Darstellung in der Weise erfolgt, daß zunächst ein erstes Teilbild zei lenweise aufgebaut wird, wobei nur jede zweite Zeile des Wiedergabegeräts beschrieben wird und dieses Bild wieder um über eine synchronisierte LCD-Shutterbrille einem Auge zugeführt wird. Sodann wird ein zweites Teilbild auf die bislang ungeschriebenen Zeilen des Wiedergabegeräts ge schrieben und durch die Shutterbrille dem jeweils anderen Auge des Betrachters zugänglich gemacht. Der Betrachter sieht also ein linkes Teilbild, das beispielsweise aus den ungeradzahligen Zeilen des Wiedergabegeräts aufgebaut ist, und ein rechtes Teilbild, das entsprechend aus den geradzahligen Zeilen des Wiedergabegeräts aufgebaut ist.

Verfahren zur Skalierung derartig aufgebauter 3D- Bildsignale sind nicht bekannt.

Es ist deshalb Aufgabe der vorliegenden Erfindung, Ver fahren zu schaffen, mit denen derart zeilenweise aufge baute stereoskopische Bilder, Laufbilder oder Videos ohne Verlust der stereoskopischen Wirkung skaliert werden kön nen.

Diese Aufgabe wird von Verfahren mit den Merkmalen der Ansprüche 1, 2 und 8 gelöst.

Das Verfahren nach Anspruch 1 löst die genannte Aufgabe für stereoskopische Bild- oder Laufbildsignale, deren Ausgangsgröße n Zeilen umfasst und deren Teilbilder je weils n halbe Zeilen umfassen.

Das Verfahren nach Anspruch 2 löst diese Aufgabe für Bild- oder Laufbildsignale, bei denen auch die Teilbilder in der vollen Zeilenzahl n verfügbar sind.

Das Verfahren nach Anspruch 8 schließlich löst die Aufga be für stereoskopische Einzelbilder.

Weil nach dem Verfahren gemäß Anspruch 1 die Schritte a) bis e) vorgesehen sind, kann ein stereoskopisches Bild- oder Laufbildsignal von einer Zeilenzahl n in eine Zei lenzahl m konvertiert werden, ohne daß die den einzelnen Teilbildern zukommende dreidimensionale Information be einträchtigt wird oder gar vollständig zerstört wird. Die Teilbilder werden vielmehr separat voneinander bearbeitet und danach zu Einzelbildern zusammengefügt, die schließ lich wieder zu einer Videosequenz kombiniert werden.

Bei dem Verfahren nach Anspruch 2 wird eine entsprechende Skalierung zweier korrelierter, n-zeiliger monoskopischer Bild- oder Laufbildsignale in ein Bild der Zeilenzahl m mit besonders guter Qualität möglich, wenn die ursprüng lichen Teilbilder mit jeweils der vollen Zeilenzahl n zur Verfügung stehen. Dann wird nach den Schritten a) bis e) zunächst jedes monoskopisch vorliegende Teilbild, das den linken bzw. den rechten Kanal des stereoskopischen Sig nals darstellt, von einem n-zeiligen Format in ein m- zeiliges Format oder ein m/2-zeiliges Format skaliert. Von den m-zeiligen Teilbildern werden dann jeweils nur jede gerade oder jede ungerade Zeile verwendet und hier aus ein m-zeiliges Einzelbild gebildet, das wiederum mit den vorhergehenden und nachfolgenden Bildern zu einer Vi deosequenz zusammengesetzt werden kann. Falls m/2-zeilige Teilbilder vorliegen, wird jede Zeile verwendet und hier aus ein m-zeiliges Einzelbild gebildet, das wiederum mit den vorhergehenden und nachfolgenden Bildern zu einer Vi deosequenz zusammengesetzt werden kann. Die Skalierung in m/2-zeilige Teilbilder ist dann vorteilhaft, wenn m grö ßer als n ist.

Bei dem Verfahren nach Anspruch 8 wird ohne die für die Bearbeitung von Laufbildsignalen erforderlichen Schritte die Konvertierung eines n-zeiligen Einzelbildes in ein m- zeiliges Einzelbild unter Erhaltung der dreidimensionalen Darstellung durchgeführt, indem die Schritte b) bis d) ausgeführt werden.

Bei dem Verfahren nach Anspruch 1 kann vor dem Schritt c) vorgesehen sein, die Zeilenzahl der Teilbilder zu vergrö ßern, insbesondere zunächst durch Verdoppelung bei den Teilbildern die Zeilenzahl n zu erreichen und diese dann durch Skalierung auf die Zeilenzahl m oder m/2 zu brin gen. Hiervon kann dann wiederum (falls die Zeilenzahl m ist) jede zweite Zeile benutzt werden, um die beiden Teilbilder mit je der Zeilenzahl m/2 zu erhalten. Dieses Verfahren ist vorteilhaft, wenn die Zahl m größer als die Zahl n ist oder die Teilbilder separat voneinander zur Betrachtung aufbereitet werden sollen.

Weiter ist bei den Verfahren nach Anspruch 1 und 2 von Vorteil, wenn das Signal, die Einzelbilder und/oder die Teilbilder mit einem die Zeilenstruktur erhaltenden Komp rimierungsverfahren komprimiert werden. In diesem Fall kann ohne Verlust des stereoskopischen Bildinhaltes eine entsprechende Bild- oder Laufbildfolge auch über Übertra gungskanäle mit eingeschränkter Bandbreite übermittelt werden. Der Schritt c) kann bei den genannten Verfahren mittels Interpolation erfolgen, was zu guten Ergebnissen führt.

Die Schritte a) und b) können zunächst jeweils auf die gesamte Bild- oder Laufbildfolge angewendet werden, so daß sämtliche Einzelbilder der gesamten Folge als Einzel bilder und separate Teilbilder vorliegen und danach ska liert und wieder zusammengefügt werden. Es kann aber auch vorgesehen sein, aus einem eingehenden Strom von Bild- oder Laufbildsignalen jeweils ein Bild den Schritten a) bis e) zu unterziehen, also zu konvertieren, und einer ausgehenden Folge anzuhängen. So wird der eingehende Strom von Signalen in einen skalierten ausgehenden Strom von Signalen umgewandelt, ohne daß die Gesamtzahl von Einzel- und Teilbildern gleichzeitig zwischengespeichert werden muss.

Die Skalierung erfolgt vorzugsweise in Echtzeit.

Im folgenden werden zwei Ausführungsbeispiele des vorlie genden Verfahrens beschrieben.

1. Skalierung eines Fernsehsignals mit 720 sichtbaren Zeilen für einen Computermonitor mit 480 Zeilen

Das dreidimensionale Videosignal liegt in einer Form vor, in der ein linkes Teilbild in den ungeradzahligen Zeilen 1 bis 719 dargestellt wird und im Interlaced- Modus das für das rechte Auge vorgesehene Teilbild von den geradzahligen Zeilen 2 bis 720 gebildet ist. Im ursprünglichen Format mit der Zeilenzahl n = 720 wer den die beiden Teilbilder im Interlaced-Modus auf ei nen Bildschirm geschrieben, wobei eine mit der Bild schirmwiedergabe synchronisierte Shutterbrille des Betrachters für das linke Auge durchsichtig ist, während die ungeradzahligen Zeilen geschrieben werden, und für das rechte Auge bei Erscheinen der geradzahli gen Zeilen durchlässig wird, während das jeweils ande re Auge eine undurchlässige LCD-Blende vor sich hat.

Der derart zusammengesetzte Strom von Videobildern wird nun zunächst mit einem Datenverarbeitungsgerät in der Weise bearbeitet, daß ein Einzelbild abgetrennt wird. Dieses Einzelbild wird dann in zwei Teilbilder mit der Zeilenzahl n/2 zerlegt. Jedes der Teilbilder wird unabhängig voneinander von der Zeilenzahl n/2 = 360 auf die Zeilenzahl m/2 = 240 skaliert. Die Skalie rung erfolgt durch Interpolationsverfahren, die bei der Skalierung von Computerbildschirmdarstellungen üb lich sind.

Die so erhaltenen Teilbilder der Zeilenzahl 240 werden dann zu einem Einzelbild der Zahl m = 480 zusammenge setzt, indem das linke Teilbild mit seinen 240 Zeilen die ungeradzahligen Zeilen 1 bis 479 des skalierten Einzelbildes bildet, während das rechte Teilbild die geradzahligen Zeilen 2 bis 480 des skalierten Einzel bildes ergibt.

Das auf diese Weise skalierte Einzelbild wird entspre chend der ursprünglichen Sequenz der Videobilder dem vorherigen, zuvor skalierten Einzelbild angehängt. An dieses Einzelbild wird dann das in der Sequenz folgen de, bei der nächsten Abarbeitung der Verfahrensschrit te skalierte Einzelbild wiederum angehängt, bis der gesamte Strom von Videobildern konvertiert ist. Bei entsprechender Rechenkapazität der Datenverarbeitungs anlage kann die Konvertierung in Echtzeit erfolgen. Für eine Übertragung der Daten vor oder nach der Konvertierung durch die Zeilenstruktur erhaltende Verfah ren komprimiert werden. Ebenso kann eine horizontale Skalierung erfolgen.

2. Konvertierung einer Videosequenz mit 480-zeiligen Teilbildern auf 1024 Zeilen

Liegt eine Videosequenz vor, bei der schon die ursprünglichen 3D-Bildsignale mit hoher Auflösung n = 480 als separate, korrelierte Videoströme zugänglich sind, weil sie beispielsweise mit zwei derart auflö senden Kameras aufgenommen wurden oder weil sie als Computergrafiken generiert wurden, so kann jedes Teil bild von der Zeilenzahl n = 480 auf die Zeilenzahl m = 1024 skaliert werden. Von jedem dieser skalierten Teilbilder wird dann wiederum für das linke Teilbild jede ungeradzahlige Zeile 1 bis 1023 und für das rech te Teilbild jede geradzahlige Zeile 2 bis 1024 verwen det. Die so zusammengesetzten Einzelbilder der Zeilen zahl m = 1024 werden dann wie bereits erläutert in der ursprünglichen Reihenfolge zu einer Videosequenz zu sammengesetzt, die in der dreidimensionalen Bildinfor mation dem ursprünglichen Bildinhalt nicht oder nur unwesentlich nachsteht.

Die beiden insoweit beispielhaft beschriebenen Verfahren sind insbesondere für folgende Skalierungen vorteilhaft anwendbar:

1. Skalierung von Fernsehfilmen unterschiedlicher Forma te, beispielsweise PAL zu NTSC oder HDTV;
2. Skalierung von Fernsehsignalen in übliche Formate für Computerdarstellungen;
3. Skalierung einer Computerbildschirmdarstellung der Zeilenzahl n in eine Computerbildschirmdarstellung der Zeilenzahl m, wobei m größer oder kleiner sein kann als n;
4. Reduzierung der Zeilenzahl von stereoskopischen Video sequenzen mit oder ohne Komprimierung für die Übertra gung im Internet.

Es ist dabei auch vorgesehen, eine horizontale Skalierung vorzunehmen, um in der Horizontalrichtung das gewünschte Endformat zu erreichen. Weiter ist es für die vorliegen den Verfahren unschädlich, wenn bei dem erzeugten, ska lierten Bild oder Videosignal eine oder mehrere Zeilen entfallen, beispielsweise ein Bild mit der Sollgröße von 480 Zeilen tatsächlich weniger Zeilen aufweist. So können die Teilbilder 240 und 239 Zeilen aufweisen, ohne dass der optische Eindruck hierdurch nennenswert beeinträch tigt wird.

Claims

1. Verfahren zur Skalierung eines aus einer Anzahl n von Zeilen aufgebauten stereoskopischen Bild- oder Lauf bildsignals, bei dem ein erstes Teilbild von den ge radzahligen Zeilen z = 1, 3, . . ., n - 1 und ein zweites Teilbild von den ungeradzahligen Zeilen z = 2, 4, . . ., n gebildet ist, mit folgenden Schritten:

a) Separieren des Signals in stereoskopische Einzel bilder;
b) Trennen der Einzelbilder in die beiden in den Ein zelbildern enthaltenen Teilbilder mit der Zeilenzahl n/2;
c) Skalieren der Teilbilder in ein Format mit der Zeilenzahl m/2;
d) Zusammenfügen der skalierten Teilbilder zu stereo skopischen Einzelbildern mit der Zeilenzahl m; sowie
e) Kombinieren der Einzelbilder zu einem stereoskopi schen Bild- oder Laufbildsignal mit der Zeilenzahl m.

2. Verfahren zur Skalierung eines aus einer Anzahl von Zeilen aufgebauten stereoskopischen Bild- oder Lauf bildsignals, bei dem zwei korrelierte Videoströme je weils monoskopisches Teilbild mit jeweils n Zeilen enthalten, wobei die monoskopischen Teilbilder zusam men die stereoskopische Information enthalten, mit folgenden Schritten:

a) Trennen jedes Signals in monoskopische Teilbilder unter Beibehaltung der Zuordnung der Teilbilder zu einander als Einzelbild;
b) Skalieren der Teilbilder in ein Format mit der Zeilenzahl m/2; oder
c) Skalieren der Teilbilder in ein Format mit der Zeilenzahl m;
d) Zusammenfügen der skalierten Teilbilder zu stereo skopischen Einzelbildern mit der Zeilenzahl m, wobei nach b. jeweils jede Zeile der Teilbilder verwendet wird oder nach c. jeweils jede zweite Zeile der Teil bilder verwendet wird; sowie
e) Kombinieren der Einzelbilder zu einem stereoskopi schen Bild- oder Laufbildsignal mit der Zeilenzahl m.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß vor dem Schritt c. vorgesehen ist, die Zeilenzahl der Teilbilder zu vergrößern, insbesondere zunächst durch Verdopplung auf die Zahl n, und dann durch Ska lierung auf die Zahl m anzupassen.

4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß das Signal, die Einzel bilder und/oder die Teilbilder mit einem die Zeilen struktur erhaltenden Komprimierungsverfahren kompri miert werden.

5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß der Schritt c. mittels Interpolation erfolgt.

6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Schritte a bis e zyk lisch wiederholt werden, indem aus einer sequentiell eingehenden Laufbildfolge ein Einzelbild abgetrennt, nach den Schritten b bis d verarbeitet, und dann ei ner ausgehenden Laufbildfolge angehängt wird, wonach das nächste Einzelbild der eingehenden Laufbildfolge entsprechend verarbeitet wird.

7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß die Skalierung in Echt zeit erfolgt.

8. Verfahren zur Skalierung eines aus einer Anzahl n von Zeilen aufgebauten stereoskopischen Einzelbildes, bei dem ein erstes Teilbild von den geradzahligen Zeilen z = 1, 3, . . ., n - 1 und ein zweites Teilbild von den unge radzahligen Zeilen z = 2, 4, . . ., n gebildet ist, mit fol genden Schritten:

a) Trennen des Einzelbildes in die beiden in dem Ein zelbild enthaltenen Teilbilder mit der Zeilenzahl n/2;
b) Skalieren der Teilbilder in ein Format mit der Zeilenzahl m/2;
c) Zusammenfügen der skalierten Teilbilder zu einem stereoskopischen Einzelbild mit der Zeilenzahl m.

9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, daß vor dem Schritt d. eine horizontale Skalierung auf eine Endgröße erfolgt.