DE3144050A1 - Verfahren zur uebertragung und wiedergabe von videoszenen, insbesondere luftbildszenen, mit reduzierter bildfolgefrequenz - Google Patents

Description

.:'. .=. *^:..^: .:. Patentanwalt

Dipl.-lng. -*- Harro Gralfs

Gialfs Patentanwalt Am Büigerpafk 8 D 3300 Braunschweig Geimany

Am Bürgerpark 8 D 3300 Braunschweig, Germany Telefon 0531-74798 Cable patmarks braunschweig

Deutsche Forschungs- und G/WS - D 707

Versuchsanstalt für Luft- ' und Raumfahrt e.V. Linder Höhe

5000 Köln 90

Verfahren zur übertragung und Wiedergabe von Videoszenen, insbesondere Luftbildszenen, mit reduzierter Bildfolgefrequenz

Die Erfindung bezieht sich auf ein Verfahren zur übertragung und Wiedergabe von Videoszenen nach dem Oberbegriff des Patentanspruchs 1 und stellt eine Verbesserung und weitere Ausbildung des Verfahrens nach der Patentanmeldung P 30 18 329.0-31 dar.

Die Wiedergabegüte der nach dem im Hauptpatent beschriebenen Verfahren in die Folge der übertragenen Bilder eingefügten Zwischenbilder ist insbesondere von der Genauigkeit der diskreten Bilddarstellung, der Genauigkeit des Äbbildungsmodells für die Erzeugung der Zwischenbilder und der Genauigkeit der Rechenoperationen abhängig. Dabei ergeben sich, je nach Realisierungsaufwand, unterschiedliche Grenzen, die eine Abflachung steiler Grauwertübergänge (Beschränkung des Detailkontrastes) und stochastische Grauwertschwankungen an Bildkanten (Kantenunruhe) zur Folge haben und die Erkennbarkeit und damit die Auswertbarkeit von Bildeinzelheiten beeinträchtigen können.

Aufgabe der Erfindung ist es, das Verfahren nach dem Hauptpatent im Hinblick auf Verbesserungen in der Auswertbarkeit von Bildeinzelheiten weiterzuentwickeln, ohne daß dabei der Aufwand wesentlich gesteigert werden muß.

Diese Aufgabe wird gemäß der Erfindung dadurch gelöst, daß jeweils das erste von zwei übertragenen Bildern für eine Zeitdauer als Festbild dargestellt wird und daß sich an diese Festbilddarstellung eine Wiedergabe von Zwischenbildern anschließt, die aus dem jeweiligen Festbild und einem nachfolgend übertragenen Bild durch die abbildungsangepaßte Interpolation und/öder Extrapolation erzeugt werden.

In einer zweckmäßigen Ausführungsform ist die Zeitdauer der Festbilddarstellung relativ zur Zeitdauer der Bewegtbilddarstellung wählbar.

Im nachstehenden ist zunächst das Verfahren nach de.m Hauptpatent anhand der Zeichnung beschrieben.

Fiq. 1 zeigt die geometrische Anordnung für die Aufnahme einer Luftbildszene aus der Höhe H über Grund bei schräg nach vorn ausgerichteter (Video-) Kamera. (Die x- und x-Achse verlaufen senkrecht zur Zeichenebene).

Fig. 2 zeigt die Bildaufnahmeebene der Kamera mit dem Weg für zwei Punkte der Objektebene bei Bewegung der Kamera in Flugrichtung nach Fig. 1.

Fig. 3 zeigt die -zeitliche Anordnung zweier übertragener Bilder (Bild 0 und Bild N) und eines dazwischenliegenden, wiedergabeseitig interpolierten Bildes (Bild n), mit den durch Messung ermittelten, objektgleichen Bildpunktpositionen Ag₈ A_n bzw. Bq, B_n sowie der nach einem linearen Modell daraus bestimmten Bildpunktzuordnung C_n, C_n bzw. C_n, C_n.

Bei der geometrischen Anordnung nach Fig. 1 werden Geraden, die in der Szene (Objektebene) parallel zur y-Achse verlaufen, in der Bildaufnahmeebene (Fig. 2)· entsprechend der Abbildungsperspektive als schräg zur y¹-Achse.verlaufende Geraden abgebildet. Sie repräsentieren zugleich jeweils den geometrischen Ort der Bildpunktpositionen für einen Objektpunkt (hier: den im Bild durchlaufenen Weg) bei Bewegung der Kamera in Flugrichtung (s. Fig. 1).

Die Abhängigkeit der Bildpunktposition eines Objektpunktes von der Zeit, d.h. dessen Bild-zu-Bild-Versatz, ist durch die Gesetzmäßigkeiten der Abbildungsgeometrie festgelegt. Sie kann vereinfachend,wie in Fig. 3, durch einen linearen Verlauf approximiert werden. Bei Kenntnis der Positionszuordnung für ein Paar von Objektpunkten in zwei Referenzbildern, z.B. den Positionen (Bildpunkten) Aq, B- in Bild 0 und A«, B« in Bild N nach Fig. 3, lassen sich die Zuordnungen für den Rest des Bildfeldes, z.B. für die Bildpunkte Cq, C_n, aus dem Verhältnis der Bildpunktabstände nach dem Strahlensatz ermitteln. Die Zuordnung zwischen den objektgleichen Bildpunkten C_Q und C_n mit den Koordinaten x£q y'_n bzw. xi_N, yL, und dem entsprechenden Bildpunkt C mit den Koordinaten xi , y' in einem Bild η wird durch eine fUr diesen Punkt jeweils spezifische Zuordnungsgerade zwischen den Bildern 0 und N charakterisiert und kann aus den in Xp bzw. y'_c linearen Koordinatenbeziehungen

^yC ^{= h}l^yC ^+h2 · M

^L0 ^L' ^Ln ^L

x' ^g₁XA + g₂ (2)

und

yA ■ h₃ y' + h₄ , (3)

χ' β g, x' + g₄ · . (4) '

^LN ^{ό C}n ⁴ ·

bestimmt werden.

Die Koeffizienten f^ bis h- und g^^ bis g₄ ergeben sich aus den gemessenen Bildpunktzuordnungen Aq, A_n und B_Q, B_n, wobei h. (1=1,2,3,4) für jedes η (d.hi innerhalb jedes Bildes) und g.. für jedes yi (d.h. innerhalb jeder Bildzeile) konstant ist (siehe unten). Der durchⁿdie Gleichungen dargestellte Algorithmus ermöglicht eine zeilen- und bildsequentielle Verarbeitung im Sinne des auszugebenden Videosignals und ist dadurch für die technische Realisierung des Verfahrens besonders geeignet.

Aus den Grauwerten S_CQ und S_CN für die Bildpunkte C_Q und C_n mit den nach den Gleichungen (1) bis (4) ermittelten Koordinaten x£q, y^Q bzw. xL·, y£_N ergibt sich der zu regenerierende Grauwert S- für den Bildpunkt C durch Interpolation nach der Beziehung

oder durch Extrapolation gemäß

S_r = S_r . (6a) oder S_r ■ S_r (6b) ^cn _Q Si ^LN

Die Extrapolation wird in Bildteilen angewendet, in denen einer oder mehrere der aus den Gleichungen (1) bis (4) ermittelten Koordinatenwerte außerhalb des Wertebereichs . . , -

-?-^yC ^C "7 ' (7)

ί t₀ C_n ί

a < _v ι _w ι < a

" "7 " ^xr *» ^xr 7 ^{z 1}O ^CN ^Z

liegen, d.h. außerhalb der Bildaufnahmeebene mit der Breite a und der Höhe b nach Fig. 2.

Eine Extrapolation statt der Interpolation kann in weiteren Fällen zweckmäßig sein, z.B. wenn die Zuordnung zwischen den Referenzbildern vorübergehend nur ungenau zu ermitteln oder die Überlappung der Bildinformation relativ gering 1st.

Objektbewegungen in der Szene treten in einer dur*'ch Extrapolation regenerierten Bild- (oder Teilbild-) Folge nicht in Erscheinung, während sie bei der Interpolation im allgemeinen durch ein allmähliches Ab- und Aufklingen der' · Helligkeitsintensität gekennzeichnet sind-. Dieser Fall, in dem der Interpolation nicht objektgleiche Bildpunkte zugrundeliegen, entspricht in seiner Wirkung einem überblenden zwischen den Positionen des bewegten Objektes in aufeinanderfolgenden Referenzbildern.

-c-

Ähnlich sind die Verhältnisse bei Kanal störungen. Durch Störungen in einem Referenzbild hervorgerufene Grauwertänderungen nehmen in der interpolierten Bildfolge allmählich, d.h. innerhalb von N Bildperioden, zu und klingen anschließend wieder entsprechend ab.

Die für das Verfahren erforderliche Referenzpunktzuordnung A_Q, A_n und ß_Q, B_n 180t ε-eh u.a.durch eine Bildkorrelationsmethode oder aus empfangsseitig bekannten Bordmeßdaten ermitteln. Zur Erhöhung der Entscheidungssicherheit ist die Messung der Zuordnung für weitere Bildpunkte und anschließende Auswahl nach vorgegebenen Kriterien (wie z.B. Zuverlässigkeits- oder Majoritätskriterien) möglich. Werden Referenzpunktzuordnungen speziell für den Bereich eines innerhalb der Szene bewegten Objektes gemessen, so können auch in solchen Bereichen objektgleiche Bildpunkte für die Interpolation bestimmt und der Bewegungsablauf damit direkt statt durch das oben beschriebene Ab- und Aufklingen der Heliigkeitsintensität wiedergegeben werden.'

Im folgenden werden die in den Gleichungen (1) bis (4) verwendeten Koeffizienten h.| und g. (i - 1,2,3,4) definiert. Die gewählte Aufteilung der Gleichungen-bietet Vorteile für den Ablauf der Rechenoperationen in einer gerätetechnischen Einrichtung.

• N(I-I₁) * " ^kl ^yC_f

n^ ^S Ii _ 1 I") 9i ⁼ IL, i.l

(N-n)l₂ ^k2 ^(yC -^yC

^{l c}n

Die Größen h. und g. haben jeweils gleichen Nenner. Die Werte für h_i müssen ein Mal je Vertikalperiode (Dauer eines Bildes)· und die Werte für g.. ein Mal je Horizontalperiode (Dauer eine Zeile) des. Fernsehsignals bestimmt werden. Ober die Gleichungen (1) bzw. (3) ist g^ von h^ abhängig.

Es werden folgende Hilfsgrößen verwendet:

^dA ^A "^dB ^B ^tXB "^XA A A_n ö B_n B_n A

^k2 ^{a d}A ⁽¹"^kl ^yV ^{+ k}l ^XA,

I₂ - y_B -yi (1-I₁) · (^llb)'

^dA"^dB

<'^W ^(12C)

• ' x¹ - y'

D D '

_B

. Die Werte für ^y''-^^{1 k}i ^{und k}2 ^{mUssen e1n Ma1} J^{e N} Vertikalperioden bestimmt werden.

Die erforderlichen Koordinatenwerte sind durch Messung der Positionszuordnung der objektgleichen Bildpunkte A₀ (xj^, y^_Q) und A_n (x^,, y_A„) bzw. . ⁸O (^χΒ0» ^yB0^ ^{und 8}N ^BN·»^^ ^bekannt·

Das beschriebene Verfahren hat prinzipiell auch Gültigkeit, wenn die Bild'punktzuordnungen innerhalb der zeitlichen Folge durch die exakten Beziehungen der Abbildungsgeometrie statt durch das aufwandgünsti.gere linegre Modell beschrieben werden. .

Zuzüglich oder alternativ zur beschriebenen Interpolation bzw. Extrapolation des Bild-zu-Bild Versatzes für das Gesamtbild kann sine entsprechende Interpolation oder Extrapolation für vorbestimmte Bildbereiche erfolgen, beispielsweise für sich vor dem Hintergrund bewegende Objekte, für die dann jeweils die entsprechenden Koordinatenpunkte gesondert festzulegen sind, oder allgemein zur Erhöhung der Wiedergabegenauigkeit und/oder Hervorhebung einzelner Bildteile.

Grundsätzlich ist das Verfahren auch für andere Anwendungen mit Relativbewegung zwischen Aufnahmesensar und Szene einsetzbar.

Je nach Anzahl der eingefügten Zwischenbilder kann die Wiedergabe mit Originalgeschwindigkeit, Zeitraffung oder Zeitdehnung erfolgen.

Die Wiedergabegüte der im vorstehenden beschriebenen Verfahren in die Folge der übertragenen Bilder eingefügten Zwischenbilder ist insbesondere von der Genauigkeit der diskreten Bilddarstellung, der Genauigkeit des Abbildungemodells für die Erzeugung der Zwischenbilder und der Genauigkeit der Rechenoperationen abhängig. Dabei ergeben sich, je nach Realisierungsäufwand, unterschiedliche Grenzen, die eine Abflachung steiler Grauwertübergänge (Beschränkung des'Detailkontrastes) und stochastische Grauwertschwankungen an Bildkanten (Kantenunruhe} zur Folgen haben und die Erkennbarkeit und damit die Auswertbarkeit von Bildeinzelheiten beeinträchtigen können.

Die Auswertbarkeit von Bildeinzelheiten kann ohne wesentliche Steigerung des Aufwandes dadurch verbessert werden, daß jeweils das erste von zwei übertragenen Bildern für eine Zeitdauer als Festbild dargestellt wird und daß sich an diese Festbilddarstellung eine Darstellung von Zwischenbildern anschließt, die aus dem jeweiligen Festbild und einem nachfolgend übertragenen Bild durch die abbildungsangepaßte Interpolation und/oder Extrapolation erzeugt werden.

Unter dam Begriff "Fastbild" soll eine Wiedergabe eines Bildes ohne Änderung von Bildelementen verstanden werden· Die Festbilddarstellung erfolgt typisch durch Wiederholung der Wiedergabe des betreffenden übertragenen Bildes mit für das Wiedergabegerät üblicher Bildwiedergabefrequenz.

Während der für sine vorgegebene Zeit wirksamen Festbilddarstellung ist das Bild frei von den Beschränkungen, dar die Wiedergabegenauigkeit der durch Interpolation und/oder Extrapolation regenerierten Zwischenbilder unterliegt. Ein Bildbeobachter kann damit jeweils die Festbildphase ausnutzen» um sich auf Bildeinzelheiten (beispielsweise Einzelheiten, eines Zieles) zu konzentrieren. Die anschließende Bewegtbilddarstellung dient in diesem Fall dazu, den Beobachter weitgehend ermüdungsfrei auf das nächste übertragene Bild überzuleiten und es ihm außerdem zu ermöglichen, etwaige Objektbewegungen gegenüber dem Bildhintergrund zu erfassen."Der Beobachter kann dabei ihn interessierende Bildbereiche im Auge behalten und sich im nächsten Festbild sofort wieder auf die interessierenden Einzelheiten konzentrieren. Im Gegensatz dazu wird bei einer Folge übergangslos aufeinanderfolgender Festbilder im allgemeinen eine Mindestsuchzeit benötigt, um im nächsten Bild den entsprechenden interessierenden Bereich wieder aufzufinden, insbesondere bei relativ großem Bild-zuBild-Versatz. Durch die Möglichkeit, spezielle Detailinformation in der Festbil.dphase zu gewinnen, sind die durch die Bildregeneration entstehenden Begrenzungen der Wiedergabegenauigkait in der Bewegtbildphase weniger bedeutsam als bei ausschließlicher Bewegtbilddarstellung.

Bei Verwendung des Verfahrens im Echtzeitbetrieb wird die Bewegtbildphase zeitraffend wiedergegeben, da die für die Darstellung des Bild-zu-Bild-Übergangs zur Verfügung stehende Zeit kürzer ist als die Periodendauer der übertragenen Bildfolge

- 40-

und damit kürzer als der entsprechende zeitliche Abstand der Bilder bei der Aufnahme. Zum Beispiel beträgt bei einer übertragenen Bildfolge mit einer Periodendauer von 4 Sekunden (entsprechend einer Folgefrequenz von 0,25 Bildern pro Sekunde) und ' Wahl einer Fsstbildphase von 3 Sekunden die Bewegtbildphase statt 4 Sekunden (zeitlicher Abstand der Bilder bei der Aufnahme) nur 1 Sekunde.

Bei starker Zeitraffung während der Bewegtbildphase kann es zweckmäßig sein, anstelle eines Verlaufes mit konstanter Geschwindigkeit einen Verlauf mit zunächst allmählich zunehmender und anschließend allmählich abnehmender Geschwindigkeit v/orzu- ' sehen. Im Vergleich zu dem im Fall konstanter Geschwindigkeit auftretenden plötzlichen Einsetzen und Abbrechen der Bildbewegung bei Übergang vom bisherigen bzw. zum nachfolgenden Festbild treten im Fall der allmählichen Geschwindigkeitszunahme bzw. -abnähme geringere Bildbeschleunigungen bzw. -Verzögerungen auf, die sich bei der Bildbetrachtung subjektiv vorteilhaft auswirken. Dis Geschwindigkeit in Abhängigkeit von der Zeit kann beispielsweise nach einer Dreieck-, Winkel- (z.B. Sinusj Cosinus) oder Exponentialfunktion oder auch einer Approximation durch Polynome verlaufen.

Dauer und/oder Zeitpunkt der Festbilddarstellung können variabel gestaltet werden. So ist es möglich, die Wiedergabeeinrichtung so auszubilden, daß vom Beobachter Festbildfolgen geeigneter Länge in die Bewegtbilddarstellung wahlweise eingefügt werden, beispielsweise, wenn der Beobachter einer regenerierten Bewegtbildfolge auf Bildbereiche stößt, in denen er Einzelheiten genauer erkennen möchte. Die Umschaltung kann dabei von Hand durchgeführt werden. Es ist aber auch eine automatische Umschaltung, beispielsweise abhängig von vorgegebenen Bildelementen oder zeitabhängig, möglich. Bei ausreichender Über^ lappung des Inhalts aufeinanderfolgender Bilder bietet sich die Möglichkeit, -die Festbildphase wahlweise auch über die Periodendauer der übertragenen Bildfolge hinaus auszudehnen, indem nicht jedes der Bilder berücksichtigt, sondern durch Unterdrückung einzelner Bilder (z.B. jedes zweiten Bildes) mit größerem Bild-zu-Bild-Abstand gearbeitet wird.

Das Verhältnis der Dauer der Festbildphase zur Dauer der Bewegtbildphase läßt sich für einzelne Bildbereiche unterschiedlich wählen. Speziell kann zum Beispiel.die Einfügung einer Festbilddarstellung auf einen Bereich in der Bildmitte beschränkt werden, während die übrigen Bildteile beispielsweise ständig in der · . Bewegtbilddarstellung verbleiben.

Bekannte ZusatzmaBnahmen zur Bildwiedergabeverbesserung, insbesondere digitale Filteroperationen» bei denen in der Bewegtbildphase realisierungstschnische Begrenzungen zu ähnlichen Beschränkungen führen können wie bei der Bildregeneration nach dem Hauptpatent, sind vorteilhaft in der Festbildphase einsetzbar.. .

BedarfsweisB bietet sich die Möglichkeit, die Gesamtszene gegenüber Echtzeitbetrieb in kürzerer oder längerer Zeit darzubieten. Speziell kann beispielsweise durch eins der eingefügten Festbilddarstellqng proportionale Verlängerung der Gesamtdarstellungszeit erreicht werden, daß in der Bewegtbilddarstellung die Szenenbewegung mit der Geschwindigkeit des Echtzeitbetriebs, d.h. ohne Zeitraffung wiedergegeben wird.

-•Λ?-.

Leerseite

Claims (3)

1. Ansprüche

   Verfahren zur Übertragung und Wiedergabe von Videoszenen, insbesondere Luftbildszenen, mit reduzierter Bildfolgefrequenz bei Relativbewegung der aufgenommenen Szene gegenüber dem Aufnahmesensor, bei dem durch abbildungsangepaßte Interpolation und/oder Extrapolation unter Zugrundelegung von jeweils zwei übertragenen Bildern wiedergabsseitig erzeugte Zwischenbilder in die übertragene Bildfolge eingefügt werden und die für die Inter- bzw. Extrapolation jeweils zuzuordnenden objektgleichen Bildpunktposi.tionen der beiden übertragenen Bilder aus der als bekannt ermittelten Zuordnung der Bildpunktpositionen für wenigstens zwei auf vertikal und horizontal ungleichen Koordinaten liegende Objektpunkte in jedem der beiden übertragenen Bilder bestimmt werden, nach Patentanmeldung P 30 18 329.0-31, dadurch gekennzeichnet, . daß jeweils das erste von zwei übertragenen Bildern für eine Zeitdauer als Festbild dargestellt wird und daß sich an diese Festbilddarstellung eine Darstellung von Zwischenbildern anschließt, die aus dem jeweiligen Festbild und einem nachfolgend übertragenen Bild durch die abbildungsangepaßte Interpolation und/oder Extrapolation erzeugt werden»
2. 2. Verfahren nach Anspruch .1, dadurch gekennzeichnet, daß die Zeitdauer der Festbildwiedergabe variabel ist.
3. 3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzsichnet, daß jeweils Teilbereiche des Bildes als Festbild wiedergegeben werden.