DE3920160A1

DE3920160A1 - Anordnung zur bildverarbeitung

Info

Publication number: DE3920160A1
Application number: DE3920160A
Authority: DE
Inventors: Akio Oba
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1988-06-21
Filing date: 1989-06-20
Publication date: 1989-12-28
Anticipated expiration: 2009-06-21
Also published as: FR2633474A1; GB8914132D0; GB2221118B; CA1319417C; DE3920160B4; JPH0284889A; US4956706A; GB2221118A; JP3138264B2; FR2633474B1

Description

Die Erfindung bezieht sich auf eine Bildverarbeitungsanordnung bzw. ein Bildverarbeitungsgerät und insbesondere auf eine Bildverarbeitungs anordnung, die so ausgelegt ist, daß die Position eines Blickpunktes in bezug auf ein mittels einer Fernsehkamera aufgenommenes Bild, welches auf einem Monitor anzeigbar ist, auf Wunsch änderbar ist.

Um bei einer Fernsehsendung oder dergleichen einen Gegenstand auf dem Boden von einer Vielzahl von Betrachtungspositionen aus betrachten zu können, ist bisher so vorgegangen worden, daß die Fernsehkamera an hohen Stellen unter Verwendung eines Gerüstes für die Bildaufnahme oder eines Kranes derart angeordnet worden ist, daß die Bildaufnahmeposition der Fernsehkamera und damit die Betrachtungs- bzw. Blickpunktposition geändert wurde. Dadurch, daß allein auf derartige konventionelle Einrichtungen gebaut wurde, war es zuweilen jedoch unmöglich, die Blickpunktposition zu ändern, da der Kran oder das Gerüst für die Bildaufnahme aufgrund der Bedingungen an der Stelle, an der das Bild aufgenommen wurde bzw. wird, nicht zu installieren war bzw. ist.

Der Erfindung liegt demgemäß die Aufgabe zugrunde, eine Bildverarbeitungs anordnung bzw. ein Bildverarbeitungsgerät zu schaffen, bei der bzw. dem die Position des Blickpunkts in bezug auf einen auf einem Monitor anzuzeigenden Gegenstand auf einem Boden auf Wunsch bzw. wahlfrei änderbar ist, ohne die Bildaufnahmeposition der Fernsehkamera zu ändern.

Darüber hinaus soll eine Bildverarbeitungsanordnung geschaffen werden, bei der eine Unnatürlichkeit korrigierbar ist, die in dem Bild hervorgerufen wird, wenn die Position des Blickpunkts in bezug auf den auf einem Monitor angezeigten Gegenstand verschoben wird.

Gelöst wird die vorstehend aufgezeigte Aufgabe erfindungsgemäß durch eine Bildverarbeitungsanordnung, bei der die Position eines Sicht- bzw. Blickpunkts in bezug auf das auf einem Monitor angezeigte Bild verschiebbar ist, wozu gemäß der Erfindung ein Modell des aufgenommenen Bildes einer Oberfläche des Gegenstandes in einem dreidimensionalen Koordinatensystem erzeugt wird, und zwar auf der Grundlage der Koordinaten der Bildelemente in bzw. auf der Bildaufnahmeeinrichtung der Kamera und des Bildaufnahmewinkels der Kamera in bezug auf den Gegenstand bzw. das Objekt. Die von der Kamera abgegebenen Bilddaten werden auf dem in der zuvor erwähnten Weise erzeugten Modell abgebildet, und eine Rotations-Transformation wird bei dem Modell mit den darauf abgebildeten Videodaten in dem dreidimensionalen Koordinatensystem angewandt, woraufhin das Modell mit den darauf abgebildeten Bilddaten angezeigt wird.

Darüber hinaus wird bei einer Bildverarbeitungsanordnung gemäß der Erfindung, bei der die Position eines Sicht- bzw. Blickpunkts in bezug auf das auf einem Monitor angezeigte Bild verschiebbar ist, ein Bereich an einer gewünschten Position in dem Modell deformiert, welches in einem dreidimensionalen Koordinatensystem erzeugt ist, und zwar auf der Grundlage der Koordinaten der Bildelemente in bzw. auf der Bildaufnahmeeinrichtung der Kamera und des Bildaufnahmewinkels der Kamera in bezug auf den Gegenstand, um dadurch die Unnatürlichkeit in dem wiedergegebenen Bild zu korrigieren.

Anhand von Zeichnungen wird die Erfindung nachstehend beispielsweise näher erläutert.

Fig. 1 zeigt ein einem Blockdiagramm eine Ausführungsform einer Einrichtung zur Bildverarbeitung gemäß der vorliegenden Erfindung.

Fig. 2 und 3 zeigen schematische Diagramme zur Erläuterung des Prinzips der Erzeugung eines planaren Modells in einem dreidimensionalen Koordinatensystem, wie dies mittels der Einrichtung zur Bildverarbeitung gemäß der vorliegenden Erfindung ausgeführt wird.

Fig. 4 zeigt in einem schematischen Diagramm ein Beispiel eines von einer Kamera in der Einrichtung zur Bildverarbeitung gemäß der vorliegenden Erfindung aufgenommenen Bildes.

Fig. 5 veranschaulicht in einem schematischen Diagramm ein in Fig. 4 dargestelltes Bild, bezüglich dessen die Position des Blickpunktes in der Einrichtung zur Bildverarbeitung gemäß der vorliegenden Erfindung verschoben worden ist.

Fig. 6 zeigt schematische Diagramme zur Erläuterung des Prinzips der Korrektur von unnatürlichen Teilen in dem in Fig. 5 dargestellten Bild.

Fig. 7 veranschaulicht in einem schematischen Diagramm ein Bild nach Korrektur der unnatürlichen Teile in dem in Fig. 5 dargestellten Bild.

Fig. 8 und 9 zeigen schematische Diagramme zur Erläuterung des Prinzips der Erzeugung eines Modells mit Höhen und Tiefen in einem dreidimensionalen Koordinatensystem, welches mittels der Bildverarbeitung gemäß der vorliegenden Erfindung ausgeführt ist.

Fig. 10 zeigt ein schematisches Diagramm zur Erläuterung des Teiles, der unnatürlich wird, nachdem die Position des Blickpunkts in der Einrichtung zur Bildverarbeitung gemäß der vorliegenden Erfindung verschoben worden ist.

Fig. 11 zeigt ein Flußdiagramm zur Erläuterung der Art und Weise des Betriebs der in Fig. 1 dargestellten Einrichtung zur Bildverarbeitung.

Nunmehr wird die bevorzugte Ausführungsform der Erfindung detalliert beschrieben. Dazu wird unter Bezugnahme auf Fig. 1 im folgenden die Struktur der Bildverarbeitungsanordnung 1 gemäß der vorliegenden Erfindung erläutert. Ein Bild eines Gegenstandes, wie ein Golfplatz 3, wird mittels einer Fernsehkamera 2 aufgenommen. Zu diesem Zeitpunkt liegt die Fernsehkamera 2 fest bzw. ist fixiert, und der Bildaufnahmewinkel beträgt R. Der Bildaufnahmewinkel wird mittels einer Bildaufnahmewinkel-Meßeinrichtung 4 gemessen und einer ein planares Modell erzeugenden Erzeugungseinrichtung 5 zugeführt. Diese Erzeugungseinrichtung 5 erzeugt ein planares Modell auf der Grundlage des eingegebenen Bildaufnahmewinkels R. Die das planare Modell kennzeichnenden Daten, die von der Erzeugungseinrichtung 5 erzeugt sind, werden einer Höheninformations-Addiereinrichtung 6 zugeführt. Diese Einrichtung 6 modifiziert die für das planare Modell kennzeichnenden Daten auf der Grundlage einer Höhen-Information, die von einer Höheninformations-Eingabeeinrichtung 7 abgegeben wird, wodurch Daten erzeugt werden, die kennzeichnend sind für ein Modell, welches Höhen und Tiefen aufweist. Die Daten, die kennzeichnend sind für das Höhen und Tiefen aufweisende Modell, werden an eine Speichersteuereinrichtung 8 abgegeben. Ein Video-Ausgangssignal von der Fernsehkamera 2 wird einem Eingangs- Bildspeicher 9 zugeführt und in diesem gespeichert, so daß Bildelemente jeweils unter bestimmten Adressen gespeichert sind. Unterdessen erzeugt eine Sicht- bzw. Blickpunkt-Einstelleinrichtung 10 Sicht- bzw. Blickpunkt-Einstelldaten auf der Grundlage der Blickpunkt-Steuerdaten, die von einer Eingabeeinrichtung 11 her aufgenommen worden sind, und gibt die betreffenden Blickpunkt- Einstelldaten an die Speichersteuereinrichtung 8 ab. Eine Korrektureinrichtung 12 erzeugt Korrekturdaten auf der Grundlage von Korrektursteuerdaten, die von der Eingabeeinrichtung 11 aufgenommen worden sind, und gibt die Korrekturdaten an die Speichersteuereinrichtung 8 ab. Die Speichersteuereinrichtung 8 erzeugt auf der Grundlage der Daten, die kennzeichnend sind für das Höhen und Tiefen aufweisende Modell und die von der Höhen-Informations-Addiereinrichtung 6 abgegeben worden sind, sowie auf der Grundlage der Blickpunkt-Einstelldaten, die von der Blickpunkt-Einstelleinrichtung 10 abgegeben worden sind, und auf der Grundlage der Korrekturdaten, die von der Korrektureinrichtung 12 abgegeben worden sind, Leseadressen für den Eingabe- bzw. Eingangs-Bildspeicher 9 sowie Schreibadressen für einen Ausgabe- bzw. Ausgangs-Bildspeicher 13. Die Leseadressen für den Eingangs-Bildspeicher 9 und die Schreibadressen für den Ausgangs-Bildspeicher 13 werden dem Eingangs-Bildspeicher 9 bzw. dem Ausgangs-Bildspeicher 13 zugeführt, wodurch das in dem Eingangs-Bildspeicher 9 gespeicherte Videosignal gelesen und unter bestimmten Adressen des Ausgangs-Bildspeichers 13 gespeichert wird. Die aus dem Ausgangs-Bildspeicher 13 gelesenen Videosignale werden einem Monitor 14 zugeführt und auf dessen Anzeigeschirm angezeigt.

Nunmehr wird bei der Bildverarbeitungsanordnung 1 gemäß der vorliegenden Erfindung, welche ein Bild eines Golfplatzes 3 oder dergleichen mittels der Fernsehkamera 2 aufnimmt, das Prinzip der Erzeugung eines planaren Modells in einem dreidimensionalen Koordinatensystem auf der Grundlage des Bildaufnahmewinkels R zu dem betreffenden Zeitpunkt und der Abbildung eines von der Fernsehkamera 2 abgegebenen Videosignals auf dem in dem dreidimensionalen Koordinatensystem angeordneten planaren Modell beschrieben werden.

Fig. 2 veranschaulicht einen Zustand in dem Fall, daß ein Bild eines Gegenstands in einer Ebene P mittels einer Fernsehkamera 2 aufgenommen wird, die in der Richtung rechtwinklig zur Ebene P des Gegenstands in der Ebene P perspektivisch auf die Bildaufnahmeeinrichtung (Schirm 20) der Fernsehkamera 2 transformiert ist. Anders ausgedrückt heißt dies, daß die reale Position des Gegenstandes, dessen Bild mittels der Fernsehkamera 2 aufgenommen wird, in der Ebene P liegt, die in einer bestimmten Entfernung von dem Schirm 20 in der Richtung entgegengesetzt zur Position des Betrachtungspunktes 21 angeordnet ist. Wenn die Position OP des Gegenstands in der Ebene P gegeben ist mit (x, y, z), dann wird demgemäß die Position des Betrachtungspunktes 21 als Ursprung (O, O, O) genommen, wobei die Mitte C des Schirms 20 gegeben ist mit (O, O, SCP) und wobei die Position SP des Gegenstands, die perspektivisch auf dem Schirm 20 transformiert ist, gegeben ist mit (X, Y, SCP). Die Beziehung zwischen der Position OP des Gegenstands in der Ebene P und der Position SP des auf den Schirm 20 perspektivisch transformierten Gegenstands wird durch die nachstehend angegebenen Gleichungen ausgedrückt:

Sodann wird eine Ebene P′ betrachtet bzw. berücksichtigt, die eine um einen bestimmten Winkel geneigte Ebene der in Fig. 2 dargestellten Ebene P ist, wie dies Fig. 3 veranschaulicht. Es sei angenommen, daß diese Ebene P′ um einen Winkel R bezüglich der Ebene x-z an der Stelle M geneigt ist, wobei die Beziehung zwischen der Position OP eines Gegenstands in der Ebene P′ und der Position SP des auf dem Schirm 20 perspektivisch transformierten Gegenstands durch folgende Gleichungen ausgedrückt wird:

Durch Auflösen der Gleichungen (3) und (4) nach x und y erhält man:

Damit gelangt man zu z entsprechend folgender Beziehung:

z = Z + y · cos R. (7)

Wie aus den Gleichungen (5), (6) und (7) ersichtlich, kann durch Messen des Bildaufnahmewinkels R der Fernsehkamera 2 bezüglich der Ebene P′ zum Zeitpunkt, zu dem das Bild der Ebene P mittels der Fernsehkamera 2 aufgenommen wird, und durch Substituieren des Winkels R und der Position (X, Y, SCP) des jeweiligen Bildelements des auf den Schirm 20 in den Gleichungen (5), (6) und (7) perspektivisch transformierten Gegenstands die Ebene P′ in dem dreidimensionalen Koordinatensystem berechnet werden. Hierbei ist Z der Abstand von der Position des Blickpunktes 21 zur Position M in der Ebene P′. Dieser Abstand bzw. diese Strecke ist gleich dem Abstand zwischen dem Punkt, in welchem die optische Achse der Kamera 2 den Golfplatz 3 und die Kamera schneidet. Im folgenden wird die in der zuvor beschriebenen Weise erzeugte Ebene P′ als "planares Modell P" bezeichnet werden.

Durch Festlegen der Videodaten der Bildelemente des auf dem Schirm 20 perspektivisch transformierten Gegenstands in die entsprechenden Koordinaten auf dem planaren Modell P′, welches in der oben beschriebenen Weise erzeugt worden ist, wird die Abbildung der Videodaten auf dem planaren Modell P′ in dem dreidimensionalen Koordinatensystem erreicht. Damit ist es ermöglicht, in dem dreidimensionalen Koordinatensystem das planare Modell P′ zu erzeugen, welches in bezug auf die Ebene x-z um denselben Winkel wie den Bildaufnahmewinkel R der Fernsehkamera 2 geneigt ist, wenn das Bild des Gegenstands in der Ebene P aufgenommen wird, wobei das betreffende planare Modell die Videodaten aufweist. Die auf dem planaren Modell P′; welches in dem dreidimensionalen Koordinatensystem angeordnet ist, abgebildeten Videodaten werden dem in Fig. 1 dargestellten Monitor 14 zur Anzeige zugeführt.

Wie oben beschrieben, kann durch Hinzufügen von beliebigen Werten, die den Koordinatenwerten gegenseitig zugeordnet bzw. zugehörig sind, welche den Positionen der Bildelemente des in dem dreidimensionalen Koordinatensystem dargestellten planaren Modells P′ rotationsmäßig in dem dreidimensionalen Koordinatensystem transformiert werden. Dadurch ist es ermöglicht, die Position des Blickpunktes in bezug auf das auf dem Monitor 14 angezeigte planare Modell P′ zu ändern.

Sogar in dem Fall, daß der Bildaufnahmewinkel R der Fernsehkamera 2 in bezug auf den Golfplatz 3 festliegt, wie dies in Fig. 1 veranschaulicht ist, kann somit die Position des Blickpunktes in bezug auf den auf dem Monitor 14 angezeigten Golfplatz 3 geändert werden. Damit ist es leicht gemacht, die Position des Blickpunktes derart zu ändern, als wäre die Fernsehkamera 2 nach oben gebracht, um das Bild des Golfplatzes 3 von rechts oben aufzunehmen. Wenn eine Bildinformation vorliegt, wie sie beispielsweise in Fig. 4 als Bild vorliegt, das mittels einer Fernsehkamera 2 aufgenommen wird bzw. ist, dann kann insbesondere ein Bild, bezüglich dessen die Position des Blickpunktes zu einer Stelle oberhalb der Stelle verschoben worden ist, wie dies Fig. 5 veranschaulicht, ohne Änderung des Bildaufnahmewinkels R der Fernsehkamera 2 erhalten werden.

Demgemäß kann gemäß der vorliegenden Erfindung die Position des Blickpunktes wunschgemäß festgelegt werden, wodurch es leicht gemacht ist, die Bedeutung der Entfernung zu erfassen.

Wenn die Position des Blickpunkts wunschgemäß bzw. wahlfrei geändert wird, wie dies oben beschrieben worden ist, machen jedoch jene Teile, die nicht in der Ebene P′ liegen, wie Bäume W und Menschen T, in dem betreffenden Bild das Bild unnatürlich, wenn die Position des Blickpunkts verschoben wird, da das planare Modell P′ mit dem Gegenstand, wie dem Golfplatz 3, angenähert in einer Ebene gebildet ist.

Der Zustand eines Bildes eines derartigen Gegenstands, wie eines auf dem Boden Q stehenden Baumes W, der mittels einer Fernsehkamera 2 von einer Stelle eines Blickpunkts 21 aufgenommen wird, wie dies in Fig. 6A veranschaulicht ist, wird auf dem Monitor 14 dargestellt, wie dies Fig. 6B veranschaulicht. Falls, wie dies Fig. 6C veranschaulicht, die Position des Blickpunktes 21 in bezug auf den auf dem Monitor 14 angezeigten Gegenstand in die Position oberhalb des betreffenden Gegenstands gebracht wird, wie dies oben beschrieben worden ist, wird die Länge des Baumes W verlängert, wie dies Fig. 6D verdeutlicht. Der Grund hierfür liegt darin, daß der Zustand der das Bild des Gegenstands aufnehmenden Fernsehkamera 2, wie dies Fig. 6A veranschaulicht, nichts anderes ist als der Zustand, wie in Fig. 6C veranschaulicht, der Aufnahme des Bildes des auf dem Boden Q liegenden Baumes W, wie dies Fig. 6A veranschaulicht.

Nunmehr wird das Verfahren zur Korrektur der Länge des stehenden Baumes W oder Menschen T erläutert werden. Als Korrekturmittel wird ein Verfahren bzw. eine Technik angewandt, wie sie bereits früher angegeben worden ist (US-PS 47 91 581).

Zunächst wird ein zu verformender Bereich VCF innerhalb des planaren Modells P′ definiert, wie dies in Fig. 6C und 6D veranschaulicht ist. Sodann wird ein Deformationsvektor Vi mit einer Deformationsrichtung und Deformationsgröße festgelegt bzw. gebildet. Ferner wird ein Aktionspunkt CPi festgelegt bzw. gebildet, der die Position für die Anwendung der Deformation und eine Vektorfeldfunktion Fi anzeigt. Sodann ist bei Kennzeichnung des Positionsvektors des planaren Modells P′ vor der Deformation mit P _O der Positionsvektor P _N des planaren Modells P′ nach der Deformation durch folgende Beziehung gegeben:

Der Zustand des in der oben beschriebenen Weise deformierten planaren Modells P′ ist in Fig. 6E veranschaulicht. Dies bedeutet, daß der Baum W nunmehr aufrecht steht. Demgemäß ist, wie in Fig. 6F veranschaulicht, der verlängerte Zustand des Baumes W korrigiert, und damit werden der Boden Q und der Baum auf dem Monitor 14 in demselben Zustand angezeigt wie in dem Fall, daß die Fernsehkamera 2 in die Stellung rechts oberhalb des Baumes gebracht ist.

Durch Ausführen der oben beschriebenen Korrektur kann das Bild mit Menschen T und Bäumen W, die länger sind als der realen Größe entspricht, korrigiert werden, womit das in Fig. 7 dargestellte Bild erhalten werden kann.

Unter Bezugnahme auf Fig. 8 wird nunmehr der Fall beschrieben werden, daß die Höhen h (u, v) eines Gegenstandes, wie des Bodens Q′, durch eine Informationsquelle, wie einen topografischen Atlas, gegeben sind. Zunächst wird, wie dies oben beschrieben worden ist, durch Substituieren des Bildaufnahmewinkels R der Fernsehkamera 2 in bezug auf den Boden Q′ und der Positionen (X, Y, SCP) der Bildelemente des auf dem Schirm 20 perspektivisch transformierten Gegenstands entsprechend den Gleichungen (5), (6) und (7) ein planares Modell P′′ in dem in Fig. 9 dargestellten dreidimensionalen Koordinatensystem erhalten. Sodann wird das so erzeugte planare Modell P′′ deformiert, und zwar auf der Grundlage der Daten h (u, v), die kennzeichnend sind für die Höhe an einer beliebigen Positioin (x, y, z) des planaren Modells P′′. Die Koordinaten (x, y, z) einer beliebigen Position in dem dreidimensionalen Koordinatensystem des planaren Modells P′′ nach der Deformation werden aus folgenden Gleichungen berechnet:

Diese Gleichungen können aus den Gleichungen (6) und (7) dadurch abgeleitet werden, daß Komponenten längs der y-Achse und der z-Achse bezüglich der Höhe h (u, v) des Gegenstands zu dessen rechten Seiten hinzugenommen werden. Durch Verwendung der oben erwähnten Gleichungen (9), (10) und (11) kann ein Modell p′′′ mit Höhen und Tiefen, entsprechend dem Gegenstand in dem in Fig. 9 dargestellten dreidimensionalen Koordinatensystem, erzeugt werden. Durch Heranziehen der Gleichungen (9), (10) und (11) ist es ferner ermöglicht, eindeutig Positionen der Bildelemente des auf den Schirm 20 perspektivisch transformierten Gegenstands mit Koordinaten des Höhen und Tiefen aufweisenden Modells p′′′ zuzuordnen. Durch Zuweisen von Videodaten der Bildelemente des auf dem Schirm 20 perspektivisch transformierten Gegenstands zu entsprechenden Koordinaten des Höhen und Tiefen aufweisenden Modells p′′′ wird somit erreicht, daß die Videodaten auf dem Höhen und Tiefen aufweisenden Modell p′′′ in dem dreidimensionalen Koordinatensystem abgebildet werden. Damit kann das Höhen und Tiefen aufweisende Modell p′′′, welches in bezug auf die Ebene x-z um denselben Winkel geneigt ist wie den Bildaufnahmewinkel R der Fernsehkamera 2, wenn das Bild des Gegenstands auf dem Boden Q′ aufgenommen wird, und das Videodaten aufweist, in dem dreidimensionalen Koordinatensystem erzeugt werden. Die Videodaten des Höhen und Tiefen aufweisenden, in dem dreidimensionalen Koordinatensystem angeordneten Modells p′′′ werden dem Monitor 14 zugeführt, wie dies in Fig. 1 veranschaulicht ist, und auf diesem angezeigt.

Wie oben beschrieben, kann durch Hinzufügen von wünschenswerten bzw. wahlfreien Werten, die gegenseitig den Koordinaten zugehörig sind, welche den Positionen der Bildelemente des Höhen und Tiefen aufweisenden Modells p′′′ entsprechen und die in dem dreidimensionalen Koordinatensystem angeordnet sind, das Höhen und Tiefen aufweisende und in dem dreidimensionalen Koordinatensystem angeordnete Modell p′′′ gedreht werden. Dies bedeutet, daß der Neigungswinkel des Höhen und Tiefen aufweisenden Modells p′′′ in bezug auf die Ebene x-z wahlfrei geändert werden kann. Wenn die Videodaten des Höhen und Tiefen aufweisenden Modells p′′′, welches in dem dreidimensionalen Koordinatensystem angeordnet ist, auf dem Monitor 14 angezeigt werden, kann die Ausrichtung des Höhen und Tiefen aufweisenden angezeigten Modells p′′′ geändert werden. Mit anderen Worten ausgedrückt heißt dies, daß die Position des Blickpunktes in bezug auf das Modell p′′′ verändert werden kann.

Zum Zeitpunkt, zu dem die Positions des Blickpunktes in bezug auf das Höhen und Tiefen aufweisende Modell p′′′ geändert wird, wie dies oben beschrieben worden ist, wird, falls ein Baum W auf dem Boden Q′ vorhanden ist, wie dies in Fig. 10 dargestellt ist, die Länge des betreffenden Baumes W zu lang werden, wenn die Position des Blickpunktes nach oben oberhalb des betreffenden Baumes gebracht wird. Der Grund hierfür liegt darin, daß generell keine Daten, welche die Höhen der Bäume W angeben, in der Information bezüglich der Höhen des Bodens enthalten sind, die aus einem topografischen Atlas oder dergleichen erhalten werden. Wenn das Höhen und Tiefen aufweisende Modell p′′′ erzeugt wird, werden somit die Höhen von Bäumen W vernachlässigt; sie werden als auf dem Boden mit Höhen und Tiefen liegend betrachtet.

Die Länge des Baumes W, die zu groß wird, wenn die Position des betreffenden Betrachtungspunktes nach oben oberhalb des betreffenden Baumes gebracht wird, kann in derselben Weise korrigiert werden, wie dies oben unter Heranziehung von Fig. 6 beschrieben worden ist. Zunächst wird ein zu deformierender Bereich VCF in dem Höhen und Tiefen aufweisenden Modell p′′ definiert. Sodann wird ein Deformationsvektor Vi mit einer Deformationsrichtung und einer Deformationsgröße festgelegt. Ferner werden ein Aktionspunkt CPi, der die Position zur Anwendung bzw. Ausübung der Deformation anzeigt, und eine Vektorfeldfunktion Fi festgelegt bzw. gebildet. Durch Angabe bzw. Festlegen des Positionsvektors des Höhen und Tiefen aufweisenden Modells P′′′ vor der Deformation mit P _O wird sodann der Positionsverkehr P _N des Höhen und Tiefen aufweisenden Modells P′′′ nach der Deformation durch Heranziehen der Gleichung (8) berechnet. Danach wird das Höhen und Tiefen aufweisende Modell P′′′ ferner in Übereinstimmung mit dem Positionsvektor P _N deformiert, und dadurch kann die Länge des Baumes W korrigiert werden.

Wenn die Höhen h (u, v) des Gegenstandes, wie des Bodens Q′, von einer Informationsquelle geliefert werden, wie von einem topografischen Atlas, können durch Erzeugen eines Höhen und Tiefen aufweisenden Modells P′′′, wie dies oben beschrieben worden ist, und durch Abbilden der Videodaten auf dem betreffenden Modell die Höhen des Bodens nach Änderung der Position des Blickpunktes auf dem Monitor korrekt angezeigt werden.

Im folgenden wird die Betriebsweise der in Fig. 1 dargestellten Bildverarbeitungsanordnung 1 gemäß der vorliegenden Erfindung unter Bezugnahme auf Fig. 11 beschrieben werden.

Beim Schritt SP 1 beginnt die Bildverarbeitungsanordnung 1 zu arbeiten.

Beim Schritt SP 2 mißt die Bildaufnahme-Winkelmeßeinrichtung 4 den Bildaufnahmewinkel R der Fernsehkamera 2 in bezug auf den Gegenstand, wie einen Golfplatz 3. Der Bildaufnahmewinkel R kann auch manuell von der Bedienperson gemessen werden. Der durch die Bildaufnahme-Winkelmeßeinrichtung 4 gemessene Bildaufnahmewinkel R wird an die Planar-Modell-Erzeugungs einrichtung 5 abgegeben.

Beim Schritt SP 3 erzeugt die Planar-Modell-Erzeugungseinrichtung 5 ein planares Modell P′ in dem dreidimensionalen Koordinatensystem durch Substituieren des Bildaufnahmewinkels R und der Positionen (X, Y SCP) der Bildelemente des auf die Bildaufnahme einrichtung der Fernsehkamera 2 perspektivisch transformierten Gegenstands entsprechend den Gleichungen (5), (6) und (7). Die für das planare Modell P′ kennzeichnenden Daten, die in der Planar-Modell-Erzeugungseinrichtung 5 berechnet worden sind, werden an die Höhen-Informations-Addiereinrichtung 6 abgegeben.

Beim Schritt SP 4 wird bestimmt, ob eine Information bezüglich der Höhen (Höhen und Tiefen) des Golfplatzes 3 oder dergleichen vorhanden ist. Wenn bestimmt wird, daß die die Höhen betreffende Information beim Schritt SP 4 vorhanden ist, dann werden die für die Höhen kennzeichnenden Daten über die Höhen-Informations- Eingabeeinrichtung beim Schritt SP 5 an die Höhen-Informations- Addiereinrichtung 6 abgegeben bzw. dieser eingangsseitig zugeführt. Die betreffende Addiereinrichtung 6 addiert die für die Höhe kennzeichnenden Daten zu den Daten, die kennzeichnend sind für das planare Modell P′, welches in der Planar-Modell-Erzeugungseinrichtung 5 berechnet worden ist, wie dies in den Gleichungen (9), (10) und (11) angegeben ist. Wenn festgestellt bzw. bestimmt wird, daß keine Information bezüglich der Höhen vorhanden ist, und zwar beim Schritt SP 4, dann werden die in der Planar-Modell-Erzeugungseinrichtung 5 berechneten Daten, die kennzeichnend sind für das planare Modell p′, direkt an die Speichersteuereinrichtung 8 abgegeben.

Beim Schritt SP 6 erzeugt die Speichersteuereinrichtung 8 auf der Grundlage der von der Höhen-Informations-Addiereinrichtung 6 oder der Planar-Modell-Erzeugungseinrichtung 5 abgegebenen Daten Leseadressen für den Eingangs-Bildspeicher 9 und Schreibadressen für den Ausgangs-Bildspeicher 13, und diese Adressen werden an den Eingangs-Bildspeicher 9 bzw. an den Ausgangsbildspeicher 13 abgegeben. Das von der Fernsehkamera 2 abgegebene und in dem Eingangs-Bildspeicher 9 gespeicherte Videosignal wird in Übereinstimmung mit den Leseadressen ausgelesen, die von der Speichersteuereinrichtung 8 abgegeben sind, und das betreffende Signal wird in den Ausgangs-Bildspeicher 13 in Übereinstimmung mit den Schreibadressen eingeschrieben, die von der Speichersteuereinrichtung 8 abgegeben sind. Durch diesen Prozeß können Videodaten der Bildelemente des auf den Anzeigeschirm 20 perspektivisch transformierten Gegenstands den entsprechenden Koordinaten des planaren Modells P′ oder des Modells P′′′ mit Höhen und Tiefen zugeordnet werden. Dieser Vorgang ist die Abbildung.

Beim Schritt SP 7 werden die Daten, die kennzeichnend sind für den deformierten Bereich VCF, die Daten, die kennzeichnend sind für den Deformierungsvektor Vi, der die Deformierungsrichtung und die Deformierungsgröße anzeigt, und die Daten, die kennzeichnend sind für den Aktionspunkt CPi, der die Stelle anzeigt, an der die Deformation vorgenommen wird, sowie die Vektorfeldfunktion Vi über die Eingabeeinrichtung 11 der Korrektureinrichtung 12 zugeführt. Außerdem werden dieser Einrichtung die Daten, welche kennzeichnend sind für den Positionsvektor P _O des planaren Modells P′ vor der Deformation, oder die Daten, die kennzeichnend sind für den Positionsvektor P _O des Modells P′′′ mit Höhen und Tiefen vor der Deformation, von der Speichersteuereinrichtung 8 zugeführt. Die Korrektureinrichtung 12, die auf die eingangsseitigen Daten anspricht, berechnet den Positionsvektor P _N des planaren Modells P′ nach der Deformation oder den Positionsvektor P _N des Modells P′′′ mit Höhen und Tiefen nach der Deformation durch Heranziehen der Gleichung (8). Die Daten, die kennzeichnend sind für den berechneten Positionsvektor P _N des planaren Modells P′ nach der Deformation oder die kennzeichnend sind für den Positionsvektor P _N des Höhen und Tiefen aufweisenden Modells P′′′ nach der Deformation, werden der Speichersteuereinrichtung 8 zugeführt. Die Speichersteuereinrichtung 8 erzeugt auf der Grundlage der Daten, die kennzeichnend sind für den Positionsvektor P _N, der von der Korrektureinrichtung 12 abgegeben worden ist, die Leseadressen für den Eingangs-Bildspeicher 9 und die Schreibadressen für den Ausgangs-Bildspeicher 13; sie gibt diese Adressen an den Eingangs-Bildspeicher 9 bzw. an den Ausgangs-Bildspeicher 13 ab. Das in dem Eingangs- Bildspeicher 9 gespeicherte Videosignal wird in Übereinstimmung mit den von der Speichersteuereinrichtung 8 abgegebenen Leseadressen erneut ausgelesen und in Übereinstimmung mit den von der Speichersteuereinrichtung 8 abgegebenen Schreibadressen in den Ausgangs-Bildspeicher 13 eingeschrieben. Durch den beschriebenen Prozeß kann das planare Modell P′ oder das planare Modell P′′′ mit Höhen und Tiefen so eingestellt werden, daß die Längen von Menschen T und Bäumen W korrigiert sind.

Beim Schritt SP 8 wird bestimmt, ob die Korrektur beim Schritt SP 7 abgeschlossen worden ist oder nicht. Der Vorgang bei diesem Schritt 8 wird durch die Bedienperson ausgeführt, die bestimmt, ob das auf dem Monitor 14 angezeigte Bild in einen gewünschten Zustand gebracht worden ist oder nicht.

Beim Schritt SP 9 werden Blickpunkt- bzw. Betrachtungspunkt- Steuerungsdaten über die Eingabeeinrichtung 11 an die Blickpunkt- bzw. Betrachtungspunkt-Einstelleinrichtung 10 abgegeben, und die Betrachtungspunkt-Einstelleinrichtung 10 addiert ihrerseits die Werte, welche den Betrachtungspunkt- Steuerungsdaten entsprechen, zu den Koordinaten des planaren Modells P′ oder zu den Koordinaten des Höhen und Tiefen aufweisenden Modells P′′′, welche von der Speichersteuereinrichtung 8 abgegeben worden sind, um dadurch Blickpunkt- Einstelldaten zu erzeugen. Die Blickpunkt-Einstelldaten werden an die Speichersteuereinrichtung 8 abgegeben. Die Speichersteuereinrichtung 8 erzeugt auf der Grundlage der von der Blickpunkt- Einstelleinrichtung 10 abgegebenen Blickpunkt-Einstelldaten die Leseadressen für den Eingangs-Bildspeicher 9 und die Schreibadressen für den Ausgangs-Bildspeicher 13, und sie gibt diese Adresse an den Eingangs-Bildspeicher 9 bzw. an den Ausgangs-Bildspeicher 13 ab. Das in dem Eingangs-Bildspeicher 9 gespeicherte Videosignal wird in Übereinstimmung mit den von der Speichersteuereinrichtung 8 her zugeführten Leseadressen erneut ausgelesen und in den Ausgangs-Bildspeicher 13 eingeschrieben, und zwar in Übereinstimmung mit der Schreibadresse, die von der Speichersteuereinrichtung her abgegeben worden ist. Durch den beschriebenen Vorgang kann die Position des Blickpunkts in bezug auf das planare Modell P′ oder in bezug auf das Höhen und Tiefen aufweisende Modell P′′′ geändert werden.

Beim Schritt SP 10 bestimmt die Bedienperson aus der Anzeige auf dem Monitor 14, ob ein gewünschter Zustand erreicht worden ist oder nicht, und zwar als Ergebnis der Einstellung oder Änderung der Position des Blickpunkts in bezug auf das planare Modell, wie dies beim Schritt SP 9 ausgeführt worden ist. Wenn der gewünschte Zustand erreicht ist, wird der Vorgang beim folgenden Schritt SP 11 beendet. Dies bedeutet, daß die Einstellung der Position des Blickpunkts und die Korrektur des Bildes zwischen der Bedienperson und der Bildverarbeitungsanordnung 1 in einer interaktiven Weise ausgeführt werden.

Sogar dann, wenn der Bildaufnahmewinkel der Fernsehkamera 2 in bezug auf den Golfplatz 3 und dergleichen festliegt, wie dies in Fig. 1 veranschaulicht ist, kann gemäß der vorliegenden Erfindung die Position des Blickpunkts in bezug auf den auf dem Monitor 14 angezeigten Golfplatz 3 in wünschenswerter Weise bzw. wahlfrei geändert werden. Es ist daher leicht gemacht, die Position des Blickpunktes so zu ändern, als wäre die Fernsehkamera 2 nach oben gebracht, um das Bild des Golfplatzes 3 von rechts oben her aufzunehmen. Demgemäß kann die Richtung bzw. die Bedeutung der Entfernung leicht gewonnen werden.

Wenn die Höhen h (u, v) des Gegenstandes, wie des Golfplatzes, durch eine derartige Informationsquelle, wie einen topografischen Atlas, gegeben sind, wird das Höhen und Tiefen aufweisende Modell P′′′ in der oben beschriebenen Weise erzeugt, und die Videodaten werden darauf abgebildet, wodurch sogar in dem Fall, daß die Position des Blickpunkts geändert wird, die Höhen des Bodens auf dem Monitor 14 korrekt wiedergegeben werden können.

Obwohl der Golfplatz als Beispiel des Gegenstands bei der obigen Beschreibung des Ausführungsbeispiels verwendet worden ist, können verschiedene andere Plätze bzw. Stellen, wie Baseball- Felder, selbstverständlich als Gegenstand bei der vorliegenden Erfindung benutzt werden.

Ferner kann ein Bild, welches durch Abbilden von Bilddaten, die durch Aufnahme des Bildes eines Golfplatzes oder dergleichen erhalten worden sind, auf einem planaren Modell erhalten worden ist, welches durch Approximation des Golfplatzes oder dergleichen an eine Ebene erzeugt worden ist, mit einem Bild kombiniert werden, welches durch Abbilden von Bilddaten, die durch Aufnahmen des Bildes von Menschen, Bäumen oder dergleichen erhalten worden sind, auf einem planaren Modell erhalten worden ist, das durch Approximation der Bäume, Menschen oder dergleichen an eine Ebene erzeugt worden ist, wodurch ein Modell des Golfplatzes oder dergleichen mit Bäumen, Menschen oder dergleichen in einem dreidimensionalen Koordinatensystem erzeugt werden kann.

Claims

1. Anordnung zur Bildverarbeitung, die die Position eines Blickpunktes in bezug auf ein auf einem Monitor (14) angezeigtes Bild zu verschieben imstande ist;

a) mit einer Kamera (2) für die Aufnahme eines Bildes eines Gegenstandes (3),
b) mit einer Abbildungseinrichtung (8, 9, 13) für die Abbildung von Bilddaten, die von der Kamera (2) abgegeben sind, auf einem Modell, welches in einem dreidimensionalen Koordinatensystem erzeugt ist,
c) mit einer Transformationseinrichtung (10, 11) zur Rotations- Transformation des betreffenden Modells mit den darauf abgebildeten Bilddaten in dem genannten dreidimensionalen Koordinaten system,
d) wobei der Monitor (14) für die Anzeige des Modells mit den darauf abgebildeten Bilddaten dient,

dadurch gekennzeichnet,

e) daß eine Modell-Erzeugungseinrichtung (5, 6) vorgesehen ist, die auf der Grundlage von Koordinaten von Bildelementen der Bildaufnahmeeinrichtung der Kamera (2) in bezug auf den Gegenstand (3) das Modell erzeugt, welches kennzeichnend ist für eine Oberfläche des betreffenden Gegenstandes, dessen Bild in dem dreidimensionalen Koordinatensystem aufgenommen worden ist

2. Anordnung nach Anspruch 1, dadurch gekennzeichnet, daß eine Meßeinrichtung (4) vorgesehen ist, die den Bildaufnahmewinkel der Kamera in bezug auf den Gegenstand mißt.

3. Anordnung nach Anspruch 1, dadurch gekennzeichnet, daß eine Deformationseinrichtung (11, 12) vorgesehen ist, die einen bestimmten Teil des Modells mit den darauf abgebildeten Bilddaten deformiert.

4. Anordnung nach Anspruch 1, dadurch gekennzeichnet,
daß die Modellerzeugungseinrichtung (5, 6) einer Planar-Modell-Erzeugungseinrichtung (5) aufweist, welche ein planares Modell durch Approximation an eine Ebene der Oberfläche des Gegenstandes (3), dessen Bild aufgenommen worden ist, auf der Grundlage der Koordinaten der Bildelemente auf der Bildaufnahmeeinrichtung der Kamera (2) und des Bildaufnahmewinkels erzeugt, und
daß eine Einrichtung (6) vorgesehen ist für die Modifizierung des betreffenden planaren Modells auf der Grundlage von Daten, die kennzeichnend sind für die Höhe der betreffenden Oberfläche, deren Bild aufgenommen worden ist.