DE3144050C2

DE3144050C2 - Verfahren zur Übertragung und Wiedergabe von Videoszenen, insbesondere Luftbildszenen, mit reduzierter Bildfolgefrequenz

Info

Publication number: DE3144050C2
Application number: DE19813144050
Authority: DE
Inventors: Reiner Dipl.-Ing. 3300 Braunschweig Lippmann
Original assignee: Deutsche Forschungs und Versuchsanstalt Fuer Luft und Raumfahrt EV 5000 Koeln; Deutsche Forschungs und Versuchsanstalt fuer Luft und Raumfahrt eV DFVLR
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 1981-11-03
Filing date: 1981-11-03
Publication date: 1983-09-29
Also published as: GB2110046A; FR2515910B2; DE3144050A1; GB2110046B; FR2515910A2

Abstract

Die Erfindung bezieht sich auf ein Verfahren zur Übertragung und Wiedergabe von Videoszenen, die sich relativ zum Aufnahmesensor fortlaufend bewegen, insbesondere Luftbildszenen, mit reduzierter Bildfolgefrequenz. Durch die reduzierte Bildfolgefrequenz wird die beispielsweise von einem Flugzeug oder dergleichen zu einer Bodenstation übertragene Datenmenge wesentlich reduziert. Durch abbildungsangepaßte Interpolation und/oder Extrapolation werden wiedergabeseitig Zwischenbilder erzeugt und in die übertragene Bildfolge eingefügt. Die für die Inter- bzw. Extrapolation jeweils zuzuordnenden objektgleichen Bildpunktpositionen der beiden übertragenen Bilder werden aus der als bekannt ermittelten Zuordnung der Bildpunktpositionen für wenigstens zwei auf vertikal und horizontal ungleichen Koordinaten liegende Objektpunkte in jedem der beiden übertragenen Bilder bestimmt. Jeweils das erste von zwei übertragenen Bildern wird für eine Zeitdauer als Festbild dargestellt. An diese Festbilddarstellung schließt sich eine Darstellung von Zwischenbildern an, die aus dem jeweiligen Festbild und einem nachfolgend übertragenen Bild durch die abbildungsangepaßte Interpolation und/oder Extrapolation erzeugt werden.

Description

40

Die Erfindung bezieht sich auf ein Verfahren zur Übertragung und Wiedergabe von Videoszenen nach dem Oberbegriff des Patentanspruchs 1 und stellt eine Verbesserung und weitere Ausbildung des Verfahrens nach dem Patent gemäß der DE-PS 3CU8 329 dar.

Die Wiedergabegüte der nach dem im Hauptpatent beschriebenen Verfahren in die Folge der übertragenen Bilder eingefügten Zwischenbüder ist insbesondere von der Genauigkeit der diskreten Bilddarstellung, der Genauigkeit des Abbildungsmodells für die Erzeugung der Zwischenbüder und der Genauigkeit der Rechenoperationen abhängig. Dabei ergeben sich, je nach Realisierungsaufwand, unterschiedliche Grenzen, die eine Abflachung steiler Grauwertübergänge (Beschränkung des Detailkontrastes) auf stochastische Grauwertschwankungen an Bildkanten (Kantenunruhe) zur Folge haben und die Erkennbarkeit und damit die Auswertbarkeit von Bildeinzelheiten beeinträchtigen können.

Aufgabe der Erfindung ist es, das Verfahren nach dem Hauptpatent im Hinblick auf Verbesserungen in der Auswertbarkeit von Bildeinzelheiten weiterzuentwikkeln, ohne daß dabei der Aufwand wesentlich gesteigert werden muß.

Diese Aufgabe wird gemäß der Erfindung dadurch gelöst, daß jeweils das erste von zwei übertragenen Bildern für eine Zeitdauer als Festbild dargestellt wird und daß sich an diese Festbilddarstellung eine Wiedergabe von Zwischenbildern anschließt, die aus dem jeweiligen Festbild und einem nachfolgend übertragenen Bild durch die abbildungsangepaßte

Interpolation und/oder Extrapolation erzeugt werden.

In einer zweckmäßigen Ausführungsform ist die Zeitdauer der Festbilddarstellung relativ zur Zeitdauer der Bewegtbilddarstellung wählbar.

Im nachstehenden ist zunächst das Verfahren nach dem Hauptpatent anhand der Zeichnung beschrieben.

Fig. 1 zeigt die geometrische Anordnung für die Aufnahme einer Luftbildszene aus der Höhe H über Grund bei schräg nach vorn ausgerichteter (Video-) Kamera. (Die x- und χ -Achse verlaufen senkrecht zur Zeichenebene.)

F i g. 2 zeigt die Bildaufnahmeebene der Kamera mit dem Weg für zwei Punkte der Objektebene bei Bewegung der Kamera in Flugrichtung nach F i g. 1.

F i g. 3 zeigt die zeitliche Anordnung zweier übertragener Bilder (Bild 0 und Bild N)und eines dazwischenliegenden, wiedergabeseitig interpolierten Bildes (Bild n), mit den durch Messung ermittelten, objektgleichen Bildpunktpositionen Aa, An bzw. ßb, Bs sowie der nach einem linearen Modell daraus bestimmten Bildpunktzuordnung C_n, Ca bzw. C_n, Cn-

Bei der geometrischen Anordnung nach F i g. 1 werden Geraden, die in der Szene (Objektebene) parallel zur/-Achse verlaufen, in der Bildaufnahmeebene (F i g. 2) entsprechend der Abbildungsperspektive als schräg zur y'-Achse verlaufende Geraden abgebildet. Sie repräsentieren zugleich jeweils den geometrischen Ort der Bildpunktpositionen für einen Objektpunkt (hier: den im Bild durchlaufenen Weg) bei Bewegung der Kamera in Flugrichtung (s. F i g. 1).

Die Abhängigkeit der Bildpunktposition eines Objektpunktes von der Zeit, d. h. dessen Bild-zu-Bild-Versatz, ist durch die Gesetzmäßigkeiten der Abbildungsgeometrie festgelegt. Sie kann vereinfachend, wie in Fig. 3, durch einen linearen Verlauf approximiert werden. Bei Kenntnis der Positionsordnung für ein Paar von Objektpunkten in zwei Referenzbildern, z. B. den Positionen (Bildpunkten) A₀, ßb in Bild 0 und A_n, S_n in Bild N nach F i g. 3, lassen sich die Zuordnungen für den Rest des Bildfeldes, z. B. für die Bildpunkte C₀, Cv, aus dem Verhältnis der Büdpunktabstände nach dem Strahlensatz ermitteln. Die Zuordnung zwischen den objektgleiciien Bildpunkten G und Cn mit den Koordinaten x'ca. y'cn bzw. x'cn, y'cN und dem entsprechenden Bildpunkt C_n mit den Koordinaten x'o„ y'cn in einem Bild η wird durch eine für diesen Punkt jeweils spezifische Zuordnungsgerade zwischen den Bildern 0 und N charakterisiert und kann aus den in x'c„ bzw. y'c„ linearen Koordinatenbeziehungen

y'c_u = λ, y'c_n + /h,

=£1

55

60

₁ + /u ,

(D (2)

bestimmt werden.

Die Koeffizienten /), bis /J₄ und g\ bis g* ergeben sich aus den gemessenen Bildpunktzuordnungen A₀, As und ßo, Bs, wobei h, (';= 1, 2, 3, 4) für jedes η (d. h. innerhalb jedes Bildes) und g, für jedes y'_c„ (d. h. innerhalb jeder Bildzeile) konstant ist (siehe unten). Der durch die Gleichungen dargestellte Algorithmus ermöglicht eine zeilen- und bildsequentielle Verarbeitung im Sinne des

auszugebenden Videosignals und ist dadurch für die technische Realisierung des Verfahrens besonders geeignet.

Aus den Grauwerten Sco und Scn für die Bildpunkte C₃ und C_n mit den nach den Gleichungen (1) bis (4) ermittelten Koordinaten x'co, y co bzw. χ'γν,Υ'cn ergibt sich der zu regenerierende Grauwru S_Cn für den Bildpunkt C_n durch Interpolation nach der Beziehung

Sc_n = Jj W- η) Sc₀ +η - S_Cv]
oder durch Extrapolation gemäß
Sc =S_Co

(55

10

(6a)

Sc„ =

(6b)

20

Die Extrapolation wird in Bildteilen angewendet, in denen einer oder mehrere der aus den Gleichungen (1) bis (4) ermittelten Koordinatenwerte außerhalb des Wertebereichs

(7)

(8)

25

30

liegen, d. h. außerhalb der Bildaufnahmeebene mit der Breite a und der Höhe b nach F i g. 2.

Eine Extrapolation statt der Interpolation kann in weiteren Fällen zweckmäßig sein, z. B. wenn die Zuordnung zwischen den Referenzbildern vorübergehend nur ungenau zu ermitteln oder die Überlappung der Bildinformation relativ gering ist.

Objektbewegungen in der Szene treten in einer durch Extrapolation regenerierten Bild- (oder Teilbild-) Folge -to nicht in Erscheinung, während sie bei der Interpolation im alleemeinen durch ein allmähliches Ab- und Aufklingen der Helligkeitsintensität gekennzeichnet sind. Dieser Fall, in dem der Interpolation nicht objektgleiche Bildpunkte zugrundeliegen, entspricht in seiner Wirkung einem Überblenden zwischen den Positionen des bewegten Objektes in aufeinanderfolgenden Referenzbildern.

Ähnlich sind die Verhältnisse bei Kanalstörungen. Durch Störungen in einem Referenzbild hervorgerufene w Grauwertänderungen nehmen in der interpolierten Bildfolge allmählich, d. h. innerhalb von N Bildperioden, zu und klingen anschließend wieder entsprechend ab.

Die für das Verfahren erforderliche Referenzpunktzuordnung A₀, A_n und B₀, Bs läßt sich u. a. durch eine Bildkorrelationsmethode oder aus empfangsseitig bekannten Bordmeßdaten ermitteln. Zur Erhöhung der Entscheidungssicherheit ist die Messung der Zuordnung für weitere Bildpunkte und anschließende Auswahl nach vorgegebenen Kriterien (wie z. B. Zuverlässigkeits- oder Majoritätskriterien) möglich. Werden Referenzpunktzuordnungen speziell für den Bereich eines innerhalb der Szene bewegten Objektes gemessen, so können auch in solchen Bereichen objektgleiche Bildpunkte für die Interpolation bestimmt und der Bewegungsablauf damit direkt statt durch das oben beschriebene Ab- und Aufklingen der Helligkeitsintensität wiedergegeben werden.

Im folgenden werden die in den Gleichungen (1) bis (4) verwendeten Koeffizienten Λ, und g, (i=\, 2, 3, 4) definiert. Die gewählte Aufteilung der Gleichungen bietet Vorteile für den Ablauf der Rechenoperationen in einer gerätetechnischen Einrichtung.

Λ, = . (9a)

A, = , (9b)

(9c)

g\ =-, T^ · ^(IOa)

¹ - fr Xi-„

_{g; =} ^ _(10b)

' ~ fr Λ'»

(10c) (lOd)

JV-/!	h
— η ■	·/, '
JV-/7	■/.)
/V(I-	■ Ι O/2
Γ.	■/, '
N-n	Xi '
i-fr	*-xi)*
fr O'c-„	■\ yc„
1-Ä i - fr	xi
i-fr

Die Größen /;, und g, haben jeweils gleichen Nenner. Die Werte für /i, müssen einmal je Vertikalperiode (Dauer eines Bildes) und die Werte für g, einmal je Horizontalperiode (Dauer eine Zeile) des Fernsehsignals bestimmt werden. Über die Gleichungen (1) bzw. (3) ist g, von /?, abhängig.

Es werden folgende Hilfsgrößen verwendet:

h =>'e_v-.»¹e„

fr =

</.4.ν.^-</β^β_ν ⁺ -^νβν

/- — ,/ H-L- ,,· \
*?. — ".Ί V I ^Λ1 Λ.4 \ /

_ x'b_s - x'b„

Xb-, -Xb₁,

(Ha) (lib)

(12a) (12b)

(12c) (12d)

Die Werte für /1, /2, k\ und fr> müssen einmal je N Vertikalperioden bestimmt werden.

Die erforderlichen Koordinatenwerte sind durch Messung der Positionszuordnung der objektgleichen

Bildpunkte A₀ (χ Ά ο, )'Άο) und Α_ν(χ'_Λν, γ'_ΛΝ> bzw. Bo (x'ho.}''bü) und Bm(χ'ιιν,}'«νbekannt.

Das beschriebene Verfahren hat prinzipiell auch Gültigkeit, wenn die Bildpunktzuordnungen innerhalb der zeitlichen Folge durch die exakten Beziehungen der Abbildungsgeometrie statt durch das aufwandgünstigere lineare Modell beschrieben werden.

Zuzüglich oder alternativ zur beschriebenen Interpolation bzw. Extrapolation des Bild-zu-Bild-Versatzes für das Gesamtbild kann eine entsprechende Interpolation oder Extrapolation für vorbestimmte Bildbereiche erfolgen, beispielsweise für sich vor dem Hintergrund bewegende Objekte, für die dann jeweils die entsprechenden Koordinatenpunkte gesondert festzulegen sind, oder allgemein zur Erhöhung der Wiedergabegenauigkeit und/oder Hervorhebung einzelner Bildteile.

Grundsätzlich ist das Verfahren auch für andere Anwendungen mit Relativbewegung zwischen Aufnahmesensor und Szene einsetzbar.

Je nach Anzahl der eingefügten Zwischenbilder kann die Wiedergabe mit Originalgeschwindigkeit, Zeitraffung oder Zeitdehnung erfolgen.

Die Wiedergabegüte der im vorstehenden beschriebenen Verfahren in die Folge der übertragenen Bilder eingefügten Zwischenbildcr ist insbesondere von der Genauigkeit der diskreten Bilddarstellung, der Genauigkeit des Abbildungsmodeiis für die Erzeugung der Zwischenbilder und der Genauigkeit der Rechenoperationen abhängig. Dabei ergeben sich, je nach Realisierungsaufwand, unterschiedliche Grenzen, die eine jo Abflachung steiler Grauwertübergänge (Beschränkung des Detailkontrastes) und stochastische Grauwertschwankungen an Bildkanten (Kantenunruhe) zur Folge haben und die Erkennbarkeit und damit die Auswertbarkeit von Bildeinzelheiten beeinträchtigen können.

Die Auswertbarkeit von Bildeinzelheiten kann ohne wesentliche Steigerung des Aufwandes dadurch verbessert werden, daß jeweils das erste von zwei übertragenen Bildern für eine Zeitdauer als Festbild dargestellt wird und daß sich an diese Festbilddarstellung eine -m Darstellung von Zwischenbildern anschließt, die aus dem jeweiligen Festbild und einem nachfolgend übertragenen Bild durch die abbildungsangepaßte Interpolation und/oder Extrapolation erzeugt werden.

Unter dem Begriff »Festbild« soll eine Wiedergabe eines Bildes ohne Änderung von Bildelementen verstanden werden. Die Festbilddarstellung erfolgt typisch durch Wiederholung der Wiedergabe des betreffenden übertragenen Bildes mit für das Wiedergabegerät üblicher Bildwiedergabefrequenz.

Während der für eine vorgegebene Zeit wirksamen Festbilddarstellung ist das Bild frei von den Bcschrän kungen, der die Wiedergabegenauigkeit der durch Interpolation und/oder Extrapolation regenerierten Zwischenbilder unterliegt. Ein Bildbeobachter kann damit jeweils die Festbildphase ausnutzen, um sich auf Bildeinzelheiten (beispielsweise Einzelheiten eines Zieles) zu konzentrieren. Die anschließende Bewegtbilddarstellung dient in diesem Fall dazu, den Beobachter weitgehend ermüdungsfrei auf das nächste übertragene Bild überzuleiten und es ihm außerdem zu ermöglichen, etwaige Objektbewegungen gegenüber dem Bildhintergrund zu erfassen. Der Beobachter kann dabei ihn interessierende Bildbereiche im Auge behalten und sich im nächsten Festbild sofort wieder auf die interessierenden Einzelheiten konzentrieren. Im Gegensatz dazu wird bei einer Folge übergangslos aufeinanderfolgender Festbilder im allgemeinen eine Mindestsuchzeit benötigt, um im nächsten Bild den entsprechenden interessierenden Bereich wieder aufzufinden, insbesondere bei relativ großem Bild-zu-Bild-Versatz. Durch die Möglichkeit, spezielle Detailinformation in der Festbildphase zu gewinnen, sind die durch die Bildregeneration entstehenden Begrenzungen der Wiedergabegenauigkeit in der Bewegtbildphase weniger bedeutsam als bei ausschließlicher Bewegtbilddarstellung.

Bei Verwendung des Verfahrens im Echtzeitbetrieb wird die Bewegtbildphase zeitraffend wiedergegeben, da die für die Darstellung des Bild-zu-Bild-Überganges zur Verfugung stehende Zeit kurzer ist als die Periodendauer der übertragenen Bildfolge und damit kurzer als der entsprechende zeitliche Abstand der Bilder bei der Aufnahme. Zum Beispiel beträgt bei einer übertragenen Büdfoige mit einer Periodendauer von 4 Sekunden (entsprechend einer Folgefrequenz von 0,25 Bildern pro Sekunde) und Wahl einer Festbildphase von 3 Sekunden die Bewegtbildphase statt 4 Sekunden (zeitlicher Abstand der Bilder bei der Aufnahme) nur 1 Sekunde.

Bei starker Zeitraffung während der Bewegtbildphase kann es zweckmäßig sein, anstelle eines Verlaufes mit konstanter Geschwindigkeit einen Verlauf mit zunächst allmählich zunehmender und anschließend allmählich abnehmender Geschwindigkeit vorzusehen. Im Vergleich zu dem im Fall konstanter Geschwindigkeit auftretenden plötzlichen Einsetzen und Abbrechen der Bildbewegung bei Übergang vom bisherigen bzw. zum nachfolgenden Festbild treten im Fall der allmählichen Geschwindigkeitszunahme bzw. -abnähme geringere Bildbeschleunigungen bzw. -Verzögerungen auf, die sich bei der Bildbetrachtung subjektiv vorteilhaft auswirken. Die Geschwindigkeit in Abhängigkeit von der Zeit kann beispielsweise nach einer Dreieck-, Winkel- (z. B. Sinus, Cosinus) oder Exponentialfunktion oder auch einer Approximation durch Polynome verlaufen.

Dauer und/oder Zeitpunkt der Festbilddarstellung können variabel gestaltet werden. So ist es möglich, die Wiedergabeeinrichtung so auszubilden, daß vom Beobachter Festbildfolgen geeigneter Länge in die Bewegtbilddarstellung wahlweise eingefügt werden, beispielsweise, wenn der Beobachter einer regenerierten Bewegtbildfolge auf Bildbereiche stößt, in denen er Einzelheiten genauer erkennen möchte. Die Umschaltung kann dabei von Hand durchgeführt werden. Es aber auch eine automatische Umschaltung, beispielsweise abhängig von vorgegebenen Bildelementen oder zeitabhängig, möglich. Bei ausreichender Überlappung des Inhalts aufeinanderfolgender Bilder bietet sich die Möglichkeit, die Festbildphase wahlweise auch über die Peräodendauer der übertragenen Bildfolge hinaus auszudehnen, indem nicht jedes der Bilder berücksichtigt, sondern durch Unterdrückung einzelner Bilder (z. B. jedes zweiten Bildes) mit größerem Bild-zu-BiId-Abstand gearbeitet wird.

Das Verhältnis der Dauer der Festbildphase zur Dauer der Bewegtbildphase läßt sich für einzelne Bildbereiche unterschiedlich wählen. Speziell kann zum Beispiel die Einfügung einer Festbilddarstellung auf einen Bereich in der Bildmitte beschränkt werden, während die übrigen Bildteile beispielsweise ständig in der Bewegtbilddarstellung verbleiben.

Bekannte Zusatzmaßnahmen zur Bildwiedergabeverbesserung, insbesondere digitale Filteroperationen, bei denen in der Bewegtbildphase realisierungstechnische Begrenzungen zu ähnlichen Beschränkungen führen können wie bei der Bildregeneration nach dem

Hauptpatent, sind vorteilhaft in der Festbildphase einsetzbar.

Bedarfsweise bietet sich die Möglichkeit, die Gesamtszene gegenüber Echtzeitbetrieb in kürzerer oder längerer Zeit darzubieten. Speziell kann beispielsweise

durch eine der eingefügten Festbilddarstellung proportionale Verlängerung der Gesamtdarstellungszeit erreicht werden, daß in der Bewegtbilddarstellung die Szenenbewegung mit der Geschwindigkeit des Echtzeitbetriebs, d. h. ohne Zeitraffung wiedergegeben wird.

Hierzu 1 Blatt Zeichnungen

Claims

Patentansprüche:

1. Verfahren zur Übertragung und Wiedergabe von Videoszenen, insbesondere Luftbildszenen, mit reduzierter Bildfolgefrequenz bei Relativbewegung der aufgenommenen Szene gegenüber dem Aufnahmesensor, bei dem durch abbildungsangepaßte Interpolation und/oder Extrapolation unter Zugrundelegung von jeweils zwei übertragenen Bildern wiedergabeseitig erzeugte Zwischenbüder in die übertragene Biidfolge eingefügt werden und die für die Inter- bzw. Extrapolation jeweils zuzuordnenden objektgleichen Bildpunktpositionen der beiden übertragenen Bilder aus der als bekannt ermittelten is Zuordnung der Bildpunktpositionen für wenigstens zwei auf vertikal und horizontal ungleichen Koordinaten liegende Objektpunkte in jedem der beiden übertragenen Bilder bestimmt werden, nach dem Patent gemäß der DE-PS 30 18 329, dadurch gekennzeichnet, daß jeweils das erste von zwei übertragenen Bildern für eine Zeitdauer als Festbild dargestellt wird und daß sich an diese Festbilddarstellung eine Darstellung von Zwischenbildern anschließt, die aus dem jeweiligen Fesibild und einem nachfolgend übertragenen Bild durch die abbildungsangepaßte Interpolation und/oder Extrapolation erzeugt werden.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß die Zeitdauer der Festbildwiedergabe jo variabel ist.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß jeweils Teilbereiche des Bildes als Festbild wiedergegeben werden.

35