.:'. .=. *:..: .:. Patentanwalt
Dipl.-lng. -*- Harro Gralfs
Gialfs Patentanwalt Am Büigerpafk 8 D 3300 Braunschweig Geimany
Am Bürgerpark 8 D 3300 Braunschweig, Germany Telefon 0531-74798 Cable patmarks braunschweig
Deutsche Forschungs- und G/WS - D 707
Versuchsanstalt für Luft- '
und Raumfahrt e.V.
Linder Höhe
5000 Köln 90
Verfahren zur übertragung und Wiedergabe von Videoszenen, insbesondere
Luftbildszenen, mit reduzierter Bildfolgefrequenz
Die Erfindung bezieht sich auf ein Verfahren zur übertragung und Wiedergabe von Videoszenen nach dem Oberbegriff des Patentanspruchs 1 und stellt
eine Verbesserung und weitere Ausbildung des Verfahrens nach der Patentanmeldung P 30 18 329.0-31 dar.
Die Wiedergabegüte der nach dem im Hauptpatent beschriebenen Verfahren
in die Folge der übertragenen Bilder eingefügten Zwischenbilder ist insbesondere von der Genauigkeit der diskreten Bilddarstellung, der Genauigkeit
des Äbbildungsmodells für die Erzeugung der Zwischenbilder und der Genauigkeit der Rechenoperationen abhängig. Dabei ergeben sich, je nach Realisierungsaufwand, unterschiedliche Grenzen, die eine Abflachung steiler
Grauwertübergänge (Beschränkung des Detailkontrastes) und stochastische
Grauwertschwankungen an Bildkanten (Kantenunruhe) zur Folge haben und
die Erkennbarkeit und damit die Auswertbarkeit von Bildeinzelheiten beeinträchtigen können.
Aufgabe der Erfindung ist es, das Verfahren nach dem Hauptpatent
im Hinblick auf Verbesserungen in der Auswertbarkeit
von Bildeinzelheiten weiterzuentwickeln, ohne daß dabei der
Aufwand wesentlich gesteigert werden muß.
Diese Aufgabe wird gemäß der Erfindung dadurch gelöst, daß
jeweils das erste von zwei übertragenen Bildern für eine Zeitdauer
als Festbild dargestellt wird und daß sich an diese Festbilddarstellung
eine Wiedergabe von Zwischenbildern anschließt, die aus dem jeweiligen Festbild und einem nachfolgend übertragenen
Bild durch die abbildungsangepaßte Interpolation und/öder Extrapolation erzeugt werden.
In einer zweckmäßigen Ausführungsform ist die Zeitdauer der
Festbilddarstellung relativ zur Zeitdauer der Bewegtbilddarstellung
wählbar.
Im nachstehenden ist zunächst das Verfahren nach de.m Hauptpatent
anhand der Zeichnung beschrieben.
Fiq. 1 zeigt die geometrische Anordnung für die Aufnahme einer Luftbildszene
aus der Höhe H über Grund bei schräg nach vorn ausgerichteter (Video-) Kamera. (Die x- und x-Achse verlaufen senkrecht zur Zeichenebene).
Fig. 2 zeigt die Bildaufnahmeebene der Kamera mit dem Weg für zwei Punkte
der Objektebene bei Bewegung der Kamera in Flugrichtung nach Fig. 1.
Fig. 3 zeigt die -zeitliche Anordnung zweier übertragener Bilder (Bild 0 und
Bild N) und eines dazwischenliegenden, wiedergabeseitig interpolierten Bildes
(Bild n), mit den durch Messung ermittelten, objektgleichen Bildpunktpositionen
Ag8 An bzw. Bq, Bn sowie der nach einem linearen Modell daraus bestimmten
Bildpunktzuordnung Cn, Cn bzw. Cn, Cn.
Bei der geometrischen Anordnung nach Fig. 1 werden Geraden, die in der Szene
(Objektebene) parallel zur y-Achse verlaufen, in der Bildaufnahmeebene (Fig. 2)·
entsprechend der Abbildungsperspektive als schräg zur y1-Achse.verlaufende
Geraden abgebildet. Sie repräsentieren zugleich jeweils den geometrischen Ort der Bildpunktpositionen für einen Objektpunkt (hier: den im Bild durchlaufenen Weg) bei Bewegung der Kamera in Flugrichtung (s. Fig. 1).
Die Abhängigkeit der Bildpunktposition eines Objektpunktes von der Zeit, d.h.
dessen Bild-zu-Bild-Versatz, ist durch die Gesetzmäßigkeiten der Abbildungsgeometrie festgelegt. Sie kann vereinfachend,wie in Fig. 3, durch einen linearen Verlauf approximiert werden. Bei Kenntnis der Positionszuordnung für ein
Paar von Objektpunkten in zwei Referenzbildern, z.B. den Positionen (Bildpunkten) Aq, B- in Bild 0 und A«, B« in Bild N nach Fig. 3, lassen sich die
Zuordnungen für den Rest des Bildfeldes, z.B. für die Bildpunkte Cq, Cn, aus
dem Verhältnis der Bildpunktabstände nach dem Strahlensatz ermitteln. Die Zuordnung zwischen den objektgleichen Bildpunkten CQ und Cn mit den Koordinaten x£q
y'n bzw. xiN, yL, und dem entsprechenden Bildpunkt C mit den Koordinaten xi ,
y' in einem Bild η wird durch eine fUr diesen Punkt jeweils spezifische Zuordnungsgerade zwischen den Bildern 0 und N charakterisiert und kann aus den
in Xp bzw. y'c linearen Koordinatenbeziehungen
yC = hlyC +h2 · M
L0 L' Ln L
x' ^g1XA + g2 (2)
und
yA ■ h3 y' + h4 , (3)
χ' β g, x' + g4 · . (4) '
LN ό Cn 4 ·
bestimmt werden.
Die Koeffizienten f^ bis h- und g^^ bis g4 ergeben sich aus den gemessenen
Bildpunktzuordnungen Aq, An und BQ, Bn, wobei h. (1=1,2,3,4) für jedes η
(d.hi innerhalb jedes Bildes) und g.. für jedes yi (d.h. innerhalb jeder
Bildzeile) konstant ist (siehe unten). Der durchndie Gleichungen dargestellte
Algorithmus ermöglicht eine zeilen- und bildsequentielle Verarbeitung im Sinne des auszugebenden Videosignals und ist dadurch für die technische Realisierung des Verfahrens besonders geeignet.
Aus den Grauwerten SCQ und SCN für die Bildpunkte CQ und Cn mit den nach den
Gleichungen (1) bis (4) ermittelten Koordinaten x£q, y^Q bzw. xL·, y£N ergibt
sich der zu regenerierende Grauwert S- für den Bildpunkt C durch Interpolation
nach der Beziehung
oder durch Extrapolation gemäß
Sr = Sr . (6a) oder Sr ■ Sr (6b)
cn _Q
Si LN
Die Extrapolation wird in Bildteilen angewendet, in denen einer oder mehrere
der aus den Gleichungen (1) bis (4) ermittelten Koordinatenwerte außerhalb des Wertebereichs . . , -
-?-yC ^C "7 ' (7)
ί t0 Cn ί
a < v ι w ι <
a
" "7 " xr *» xr 7
z 1O CN Z
liegen, d.h. außerhalb der Bildaufnahmeebene mit der Breite a und der Höhe b
nach Fig. 2.
Eine Extrapolation statt der Interpolation kann in weiteren Fällen zweckmäßig
sein, z.B. wenn die Zuordnung zwischen den Referenzbildern vorübergehend nur
ungenau zu ermitteln oder die Überlappung der Bildinformation relativ gering 1st.
Objektbewegungen in der Szene treten in einer dur*'ch Extrapolation regenerierten Bild- (oder Teilbild-) Folge nicht in Erscheinung, während sie bei der
Interpolation im allgemeinen durch ein allmähliches Ab- und Aufklingen der' ·
Helligkeitsintensität gekennzeichnet sind-. Dieser Fall, in dem der Interpolation nicht objektgleiche Bildpunkte zugrundeliegen, entspricht in seiner
Wirkung einem überblenden zwischen den Positionen des bewegten Objektes in
aufeinanderfolgenden Referenzbildern.
-c-
Ähnlich sind die Verhältnisse bei Kanal störungen. Durch Störungen in einem
Referenzbild hervorgerufene Grauwertänderungen nehmen in der interpolierten
Bildfolge allmählich, d.h. innerhalb von N Bildperioden, zu und klingen anschließend wieder entsprechend ab.
Die für das Verfahren erforderliche Referenzpunktzuordnung AQ, An und ßQ, Bn 180t ε-eh
u.a.durch eine Bildkorrelationsmethode oder aus empfangsseitig bekannten Bordmeßdaten ermitteln. Zur Erhöhung der Entscheidungssicherheit ist die Messung
der Zuordnung für weitere Bildpunkte und anschließende Auswahl nach vorgegebenen Kriterien (wie z.B. Zuverlässigkeits- oder Majoritätskriterien) möglich.
Werden Referenzpunktzuordnungen speziell für den Bereich eines innerhalb der Szene bewegten Objektes gemessen, so können auch in solchen Bereichen objektgleiche Bildpunkte für die Interpolation bestimmt und der Bewegungsablauf damit
direkt statt durch das oben beschriebene Ab- und Aufklingen der Heliigkeitsintensität wiedergegeben werden.'
Im folgenden werden die in den Gleichungen (1) bis (4) verwendeten Koeffizienten h.| und g. (i - 1,2,3,4) definiert. Die gewählte Aufteilung der Gleichungen-bietet Vorteile für den Ablauf der Rechenoperationen in einer gerätetechnischen Einrichtung.
• N(I-I1) * " kl yCf
n^ S Ii _ 1 I") 9i = IL, i.l
(N-n)l2 k2 (yC -yC
l cn
Die Größen h. und g. haben jeweils gleichen Nenner. Die Werte für hi müssen ein
Mal je Vertikalperiode (Dauer eines Bildes)· und die Werte für g.. ein Mal je
Horizontalperiode (Dauer eine Zeile) des. Fernsehsignals bestimmt werden. Ober die Gleichungen (1) bzw. (3) ist g^ von h^ abhängig.
Es werden folgende Hilfsgrößen verwendet:
dA ^A "dB ^B tXB "XA
A An ö Bn Bn A
k2 a dA (1"kl yV + kl XA,
I2 - yB -yi (1-I1) · (llb)'
dA"dB
<'^W
(12C)
• ' x1 - y'
D D '
B
. Die Werte für ^y''-^1 ki und k2 mUssen e1n Ma1 Je N Vertikalperioden bestimmt werden.
Die erforderlichen Koordinatenwerte sind durch Messung der Positionszuordnung
der objektgleichen Bildpunkte A0 (xj^, y^Q) und An (x^,, yA„) bzw. .
8O (χΒ0» yB0^ und 8N ^BN·»^^ bekannt·
Das beschriebene Verfahren hat prinzipiell auch Gültigkeit, wenn die Bild'punktzuordnungen innerhalb der zeitlichen Folge durch die exakten Beziehungen der Abbildungsgeometrie statt durch das aufwandgünsti.gere linegre Modell beschrieben werden. .
Zuzüglich oder alternativ zur beschriebenen Interpolation bzw.
Extrapolation des Bild-zu-Bild Versatzes für das Gesamtbild
kann sine entsprechende Interpolation oder Extrapolation für vorbestimmte Bildbereiche erfolgen, beispielsweise für sich
vor dem Hintergrund bewegende Objekte, für die dann jeweils die entsprechenden
Koordinatenpunkte gesondert festzulegen sind, oder allgemein zur Erhöhung der Wiedergabegenauigkeit und/oder Hervorhebung einzelner Bildteile.
Grundsätzlich ist das Verfahren auch für andere Anwendungen mit Relativbewegung zwischen Aufnahmesensar und Szene einsetzbar.
Je nach Anzahl der eingefügten Zwischenbilder kann die Wiedergabe mit Originalgeschwindigkeit, Zeitraffung oder Zeitdehnung
erfolgen.
Die Wiedergabegüte der im vorstehenden beschriebenen Verfahren in die Folge der übertragenen Bilder eingefügten Zwischenbilder
ist insbesondere von der Genauigkeit der diskreten Bilddarstellung,
der Genauigkeit des Abbildungemodells für die Erzeugung
der Zwischenbilder und der Genauigkeit der Rechenoperationen abhängig. Dabei ergeben sich, je nach Realisierungsäufwand,
unterschiedliche Grenzen, die eine Abflachung steiler Grauwertübergänge
(Beschränkung des'Detailkontrastes) und stochastische
Grauwertschwankungen an Bildkanten (Kantenunruhe} zur Folgen haben und die Erkennbarkeit und damit die Auswertbarkeit von Bildeinzelheiten
beeinträchtigen können.
Die Auswertbarkeit von Bildeinzelheiten kann ohne wesentliche Steigerung des Aufwandes dadurch verbessert werden, daß jeweils
das erste von zwei übertragenen Bildern für eine Zeitdauer als Festbild dargestellt wird und daß sich an diese Festbilddarstellung
eine Darstellung von Zwischenbildern anschließt, die aus dem jeweiligen Festbild und einem nachfolgend übertragenen
Bild durch die abbildungsangepaßte Interpolation und/oder Extrapolation
erzeugt werden.
Unter dam Begriff "Fastbild" soll eine Wiedergabe eines Bildes ohne Änderung von Bildelementen verstanden werden· Die Festbilddarstellung
erfolgt typisch durch Wiederholung der Wiedergabe des betreffenden übertragenen Bildes mit für das Wiedergabegerät
üblicher Bildwiedergabefrequenz.
Während der für sine vorgegebene Zeit wirksamen Festbilddarstellung
ist das Bild frei von den Beschränkungen, dar die Wiedergabegenauigkeit der durch Interpolation und/oder
Extrapolation regenerierten Zwischenbilder unterliegt. Ein Bildbeobachter kann damit jeweils die Festbildphase ausnutzen»
um sich auf Bildeinzelheiten (beispielsweise Einzelheiten, eines Zieles) zu konzentrieren. Die anschließende Bewegtbilddarstellung
dient in diesem Fall dazu, den Beobachter weitgehend ermüdungsfrei auf das nächste übertragene Bild überzuleiten und
es ihm außerdem zu ermöglichen, etwaige Objektbewegungen gegenüber dem Bildhintergrund zu erfassen."Der Beobachter
kann dabei ihn interessierende Bildbereiche im Auge behalten und sich im nächsten Festbild sofort wieder auf die interessierenden Einzelheiten konzentrieren. Im Gegensatz dazu
wird bei einer Folge übergangslos aufeinanderfolgender Festbilder
im allgemeinen eine Mindestsuchzeit benötigt, um im nächsten Bild den entsprechenden interessierenden Bereich
wieder aufzufinden, insbesondere bei relativ großem Bild-zuBild-Versatz. Durch die Möglichkeit, spezielle Detailinformation
in der Festbil.dphase zu gewinnen, sind die durch die Bildregeneration entstehenden Begrenzungen der Wiedergabegenauigkait
in der Bewegtbildphase weniger bedeutsam als bei ausschließlicher Bewegtbilddarstellung.
Bei Verwendung des Verfahrens im Echtzeitbetrieb wird die
Bewegtbildphase zeitraffend wiedergegeben, da die für die Darstellung
des Bild-zu-Bild-Übergangs zur Verfügung stehende
Zeit kürzer ist als die Periodendauer der übertragenen Bildfolge
- 40-
und damit kürzer als der entsprechende zeitliche Abstand der
Bilder bei der Aufnahme. Zum Beispiel beträgt bei einer übertragenen
Bildfolge mit einer Periodendauer von 4 Sekunden (entsprechend
einer Folgefrequenz von 0,25 Bildern pro Sekunde) und '
Wahl einer Fsstbildphase von 3 Sekunden die Bewegtbildphase
statt 4 Sekunden (zeitlicher Abstand der Bilder bei der Aufnahme)
nur 1 Sekunde.
Bei starker Zeitraffung während der Bewegtbildphase kann es zweckmäßig sein, anstelle eines Verlaufes mit konstanter
Geschwindigkeit einen Verlauf mit zunächst allmählich zunehmender und anschließend allmählich abnehmender Geschwindigkeit v/orzu- '
sehen. Im Vergleich zu dem im Fall konstanter Geschwindigkeit auftretenden plötzlichen Einsetzen und Abbrechen der Bildbewegung
bei Übergang vom bisherigen bzw. zum nachfolgenden Festbild treten im Fall der allmählichen Geschwindigkeitszunahme
bzw. -abnähme geringere Bildbeschleunigungen bzw. -Verzögerungen auf, die sich bei der Bildbetrachtung subjektiv vorteilhaft
auswirken. Dis Geschwindigkeit in Abhängigkeit von der Zeit kann beispielsweise nach einer Dreieck-, Winkel- (z.B. Sinusj Cosinus)
oder Exponentialfunktion oder auch einer Approximation durch
Polynome verlaufen.
Dauer und/oder Zeitpunkt der Festbilddarstellung können variabel gestaltet werden. So ist es möglich, die Wiedergabeeinrichtung
so auszubilden, daß vom Beobachter Festbildfolgen geeigneter
Länge in die Bewegtbilddarstellung wahlweise eingefügt werden, beispielsweise, wenn der Beobachter einer regenerierten Bewegtbildfolge
auf Bildbereiche stößt, in denen er Einzelheiten
genauer erkennen möchte. Die Umschaltung kann dabei von Hand durchgeführt werden. Es ist aber auch eine automatische Umschaltung,
beispielsweise abhängig von vorgegebenen Bildelementen oder zeitabhängig, möglich. Bei ausreichender Über^
lappung des Inhalts aufeinanderfolgender Bilder bietet sich
die Möglichkeit, -die Festbildphase wahlweise auch über die Periodendauer der übertragenen Bildfolge hinaus auszudehnen,
indem nicht jedes der Bilder berücksichtigt, sondern durch Unterdrückung einzelner Bilder (z.B. jedes zweiten Bildes) mit
größerem Bild-zu-Bild-Abstand gearbeitet wird.
Das Verhältnis der Dauer der Festbildphase zur Dauer der Bewegtbildphase
läßt sich für einzelne Bildbereiche unterschiedlich
wählen. Speziell kann zum Beispiel.die Einfügung einer Festbilddarstellung
auf einen Bereich in der Bildmitte beschränkt werden,
während die übrigen Bildteile beispielsweise ständig in der · .
Bewegtbilddarstellung verbleiben.
Bekannte ZusatzmaBnahmen zur Bildwiedergabeverbesserung,
insbesondere digitale Filteroperationen» bei denen in der Bewegtbildphase realisierungstschnische Begrenzungen zu ähnlichen
Beschränkungen führen können wie bei der Bildregeneration nach dem Hauptpatent, sind vorteilhaft in der Festbildphase einsetzbar..
.
BedarfsweisB bietet sich die Möglichkeit, die Gesamtszene
gegenüber Echtzeitbetrieb in kürzerer oder längerer Zeit darzubieten.
Speziell kann beispielsweise durch eins der eingefügten Festbilddarstellqng proportionale Verlängerung der Gesamtdarstellungszeit
erreicht werden, daß in der Bewegtbilddarstellung die Szenenbewegung mit der Geschwindigkeit des Echtzeitbetriebs,
d.h. ohne Zeitraffung wiedergegeben wird.
-•Λ?-.
Leerseite