DE60024898T2 - Recheneinheit für Bildveränderung - Google Patents

Recheneinheit für Bildveränderung Download PDF

Info

Publication number
DE60024898T2
DE60024898T2 DE60024898T DE60024898T DE60024898T2 DE 60024898 T2 DE60024898 T2 DE 60024898T2 DE 60024898 T DE60024898 T DE 60024898T DE 60024898 T DE60024898 T DE 60024898T DE 60024898 T2 DE60024898 T2 DE 60024898T2
Authority
DE
Germany
Prior art keywords
image
coordinates
fisheye
calculation unit
coordinate calculation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE60024898T
Other languages
English (en)
Other versions
DE60024898D1 (de
Inventor
Fuminori Shiota
Tetsuji Matsui
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FIT Corp
Advanet Inc
Rios Corp
FIT Co Ltd Japan
Original Assignee
FIT Corp
Advanet Inc
Rios Corp
FIT Co Ltd Japan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FIT Corp, Advanet Inc, Rios Corp, FIT Co Ltd Japan filed Critical FIT Corp
Publication of DE60024898D1 publication Critical patent/DE60024898D1/de
Application granted granted Critical
Publication of DE60024898T2 publication Critical patent/DE60024898T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • G06T3/047Fisheye or wide-angle transformations

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Studio Circuits (AREA)
  • Image Analysis (AREA)

Description

  • HINTERGRUND DER ERFINDUNG
  • 1. Gebiet der Erfindung
  • Die vorliegende Erfindung bezieht sich auf eine Recheneinheit für die Bildtransformation sowie auf ein Überwachungssystem. Im spezielleren bezieht sich die Erfindung auf eine Recheneinheit für die Bildtransformation, um ein mittels einer Fischaugenlinse aufgenommenes Fischaugen-Bild in ein ebenes Bild für die Anzeige umzuwandeln, sowie auf ein die Recheneinheit aufweisendes Überwachungssystem.
  • 2. Beschreibung des einschlägigen Standes der Technik
  • Eine Recheneinheit für die Bildtransformation wird zum Beispiel in einem Überwachungssystem verwendet, das von einer Überwachungskamera Gebrauch macht. Die Bedienungsperson überwacht die Situation in einem Raum (zum Beispiel in einem Geschäft), in dem die Überwachungskamera installiert ist, durch das Beobachten von Bildern von der Überwachungskamera, die auf einem für das Überwachungssystem vorgesehenen Monitor angezeigt werden. Wenn es sich bei einer an der Kamera angebrachten Linse um eine normale Standardlinse handelt, kann der Raum nur innerhalb des Bereichs des Betrachtungswinkels der Standardlinse überwacht werden.
  • Zum Überwachen des gesamten Raums, in dem die Kamera installiert ist, ist es notwendig, einen Mechanismus zum geeigneten Ändern der Orientierung der Kamera vorzusehen. Bei der Ausbildung eines solchen Mechanismus ergeben sich höhere Kosten, und die Kamera muß ferngesteuert werden. Somit wird deren Handhabung für die Bedienungsperson schwierig.
  • Es gibt eine Idee, daß zum Beispiel eine Fischaugenlinse mit breitem Betrachtungswinkel an der Kamera angebracht wird und die Überwachung unter Verwendung der Fischaugenlinse erfolgt. Ein von einer Fischaugenlinse erzeugtes Bild ist jedoch im Vergleich zu einem Bild, das unter Verwendung einer Standardlinse geschaffen wird, verzerrt und für die Bedienungsperson sehr schwierig zu betrachten. Eine Technik zum Transformieren eines mittels einer Fischaugenlinse erzeugten Bildes in ein ebenes Bild ist als Kamera-Orientierungssystem in der WO92/21208 offenbart.
  • Das System wandelt ein kreisförmiges Bild, das man unter Verwendung der Fischaugenlinse erhält, durch einen Rechenvorgang in ein Bild um, wie es durch eine normale Aufnahmelinse (zum Beispiel eine Standardlinse) erzeugt wird, und es läßt sich ein von einer beliebigen Betrachtungsstelle gesehenes ebenes Bild erzielen. Wenn in diesem Fall eine mit hoher Geschwindigkeit arbeitende Recheneinheit verwendet wird, dann lassen sich ebene Bilddaten nur mittels Software in Echtzeit-Geschwindigkeiten erzielen.
  • In den meisten Fällen benötigt man viel Zeit für einen Kommunikationsvorgang, eine Operation als menschliche Schnittstelle und dergleichen bei einem Endgerät, das an ein Netzwerk angeschlossen ist. Daher ist es bevorzugt, ein Teil zu realisieren, bei dem der gleiche Vorgang mittels Hardware in einem Bildtransformationsprozeß wiederholt wird.
  • Da das Projektionsverfahren (stereoskopische Projektion, Äquidistanz-Projektion, orthogonale Projektion oder dergleichen) zum Projizieren eines Fischaugenlinsen-Bildes auf eine für die Kamera vorgesehenen Bildaufnahmevorrichtung (wie zum Beispiel eine CCD) zum Zeitpunkt der Konstruktion bestimmt wird, indem Rechenvorgänge in Abhängigkeit von mathematischen Gleichungen mittels Hardware durchgeführt werden, läßt sich das Bild in ein ebenes Bild umwandeln.
  • Wie in der WO92/21208 offenbart, ist es jedoch dann, wenn Berechnungen nach der Transformation durch mathematische Gleichungen ausgedrückt werden und mittels Hardware in Abhängigkeit von den mathematischen Gleichungen ausgeführt werden, erforderlich, viele Berechnungen mittels der Hardware durchzuführen, die nicht nur die Additionen, Subtraktionen, Multiplikationen und Divisionen beinhalten, sondern auch Quadratwurzelfunktionen, trigonometrische Funktionen und dergleichen. Infolgedessen wird die Einheit unweigerlich teuer.
  • Ähnliche rechenintensive Berechnungsvorgänge müssen auch bei dem in der US-A-5 694 531 offenbarten Lösungsweg ausgeführt werden, der eine Fischaugen-Bildtransformation beschreibt, die mit zwei Schritten arbeitet: einem ersten Schritt zum Auftragen eines aufgenommenen Fischaugen-Bildes auf einer Kugel sowie einem zweiten Schritt zum Auftragen dieses aufgetragenen kugelförmigen Bildes auf eine planare Oberfläche für die Anzeige.
  • Andere bekannte Fischaugen-Bildtransformationstechniken verwenden Nachschlagtabellen zum vorab erfolgenden Speichern von Transformationsparametern, wie dies zum Beispiel in der US-A-5 870 135 und der EP-A-0 695 085 offenbart ist. Weder die US-A-5 870 135 noch die Veröffentlichung EP-A-0 695 085 erwähnen jedoch die Verwendung einer imaginären kugelförmigen Oberfläche als zwischengeordnete Projektionseinrichtung zwischen dem Anzeigebild und dem Fischaugen-Bild.
  • Die Erfindung ist in Anbetracht der aktuellen Bedingungen der herkömmlichen Technik erfolgt, und ein Ziel der Erfindung besteht in der Angabe einer Recheneinheit für die Bildtransformation, die in der Lage ist, eine kostengünstige Hardware zum Umwandeln eines mittels einer Fischaugenlinse gebildeten Fischaugen-Bildes in ein ebenes Bild für die Anzeige zu bieten.
  • KURZBESCHREIBUNG DER ERFINDUNG
  • Zum Erreichen des genannten Ziels wird eine Recheneinheit für die Bildtransformation gemäß den beigefügten Ansprüchen 1 und 2 angegeben, wobei diese Recheneinheit ein unter Verwendung einer Fischaugenlinse aufgenommenes Fischaugen-Bild in ein ebenes Bild für die Anzeige umwandelt.
  • Ein Überwachungssystem gemäß dem beigefügten Anspruch 3 zeichnet sich dadurch aus, daß es die Recheneinheit für die Bildtransformation aufweist. Gemäß der Erfin dung kann die Recheneinheit gebildet sein durch Kombinieren von einfachen Rechenschaltungen, wobei sich die Kosten für den Hardware-Teil in der Recheneinheit für die Bildtransformation reduzieren lassen, so daß sich ein kostengünstiges Überwachungssystem schaffen läßt.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Es zeigen:
  • 1 eine schematische Darstellung zur Erläuterung der Einrichtung eines Koordinatensystems;
  • 2 eine schematische Darstellung zur Erläuterung eines bestimmten Korrekturkoeffizienten k1;
  • 3 eine schematische Darstellung zur Erläuterung eines Verfahrens zum Umwandeln von Koordinaten mittels Hardware; und
  • 4 ein Blockdiagramm von Schaltungen, die an einem PCI-Bus-Substrat angebracht sind.
  • AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
  • Im folgenden wird ein bevorzugtes Ausführungsbeispiel einer Recheneinheit für die Bildtransformation gemäß der Erfindung unter Bezugnahme auf die Zeichnungen ausführlich beschrieben.
  • Positionsmäßige Beziehung des Koordinatensystems
  • Unter Bezugnahme auf 1 wird die positionsmäßige Beziehung von umzuwandelnden Koordinaten beschrieben. Das Koordinatensystem wird folgendermaßen gebildet. Als Raum für die Darstellung der Position eines Objekts wird ein (X-, Y-, Z-) Koordi natenraum vorgegeben, in dem die Position einer Fischaugenlinse der Nullpunkt ist und die Richtung der optischen Achse die Z-Achse ist. Der Azimutwinkel (φ) und der Zenithwinkel (θ) werden als Parameter gesetzt, die die Position des Objekts ausgehend von dem Nullpunkt anzeigen.
  • Da die Position eines Objekts, dessen Bild mittels einer Fischaugenlinse aufgenommen wird, auf einer Bildaufnahmevorrichtung (wie zum Beispiel einer CCD) in einem Winkel bei Betrachtung durch die Fischaugenlinse bestimmt wird, sei angenommen, daß das Objekt auf der Oberfläche einer Halbkugel mit einem Radius von 1 positioniert ist. Die halbkugelförmige Oberfläche wird als imaginäre Objektfläche bezeichnet.
  • Ein zu erzielendes ebenes Bild ist in 1 durch ein (u-, v-) Koordinatensystem dargestellt. Es sei angenommen, daß das Zentrum (Nullpunkt) des (u-, v-) Koordinatensystems sich in einer Position befindet, die über eine Distanz 1 von dem Nullpunkt des (X-, Y-, Z-) Koordinatensystems entfernt angeordnet ist und sich in Berührung mit der halbkugelförmigen Oberfläche als imaginärer Objektfläche in Berührung befindet.
  • Die durch das (u-, v-) Koordinatensystem dargestellte Ebene wird auf einem Monitor entsprechend den Pixeln eines Anzeigebildes dargestellt. Der Winkel zwischen der u-Achse des Koordinatensystems und der (X-, Y-) Ebene, d.h. der Winkel zwischen der u-Achse und einer Schnittlinie einer Ebene, die durch den Nullpunkt des (u-, v-) Koordinatensystems hindurchgeht und parallel zu der (X-, Y-) Ebene ist, wird als (α) bezeichnet.
  • Ein ebenes Bild (Fischaugen-Bild), das durch die Fischaugenlinse aufgenommen wird, wird durch ein a- (p-, q-) Koordinatensystem ausgedrückt, wie es in 1 gezeigt ist. Es sei angenommen, daß das (p-, q-) Koordinatensystem parallel zu der (X-, Y-) Ebene ist und den Nullpunkt auf der Z-Achse hat. In einer Position auf einer Bildaufnahmefläche (zum Beispiel der Position eines Pixels auf einer CCD-Bildaufnahmevorrichtung) ist der Bildkreisdurchmesser in Abhängigkeit von der Größe der Bildaufnahmevorrichtung und der Brennpunktdistanz der Fischaugenlinse verschieden. Somit sei angenommen, daß ein Fischaugenbild in einem Kreis mit einem Radius 1 eines Bildes eines Objekts projiziert wird, das 90° (Z = 0) von der Front der Linse positioniert ist. Zum Zeitpunkt der tatsächlichen Verwendung erfolgt eine Vergrößerungseinstellung.
  • Ein Bild wird folgendermaßen umgewandelt. Die Projektionsposition auf der Bildaufnahmefläche (p-, q-Koordinaten) eines Punktes (u-, v-Koordinaten) auf einem ebenen Bild erhält man durch einen Rechenvorgang. Unter Bezugnahme auf Helligkeitsinformation an dieser Stelle können Daten des zu bildenden ebenen Bildes erzeugt werden. Information hinsichtlich der Betrachtungspunkte (φ, θ, α) und des Vergrößerungsfaktors (Zoom-Verhältnis) als Größe des ebenen Bildes wird von der Bedienungsperson durch eine Tastatur, eine Zeigervorrichtung oder dergleichen eingegeben, wobei diese Information vorab gebildet und in Form von Daten für die Berechnung mittels einer arithmetischen Verarbeitungseinheit höherer Ordnung vorgegeben werden.
  • Wie in den 1 und 2 gezeigt, handelt es sich bei erforderlichen Parametern um (X0, Y0, Z0), die das Zentrum (Nullpunkt) eines ebenen Bildes anzeigen, sowie Änderungsbeträge δux, δvx, δuy, δvy, δuz, δvz in den jeweiligen Achsen der (X-, Y-, Z-) Koordinaten bei Bewegung eines Punktes in den jeweiligen Richtungen in dem (u-, v-) Koordinatensystem um einen Betrag von einem Pixel (wobei dies einem Pixel auf dem Überwachungsschirm entspricht).
  • Die Parameter lassen sich in einfacher Weise anhand der Winkelinformation (φ, θ, α) des Betrachtungspunktes sowie der Vergrößerung des Bildes erzielen.
  • Berechnungsvorgang für die Bildtransformation
  • Im folgenden wird ein Berechnungsvorgang für die Bildtransformation unter Bezugnahme auf 3 beschrieben. Der Berechnungsvorgang erfolgt grob gesagt in zwei Schritten, nämlich einem ersten und einem zweiten Schritt.
  • Schritt 1
  • Zuerst werden die Koordinaten eines Punktes P' (erste Projektions-Koordinaten) auf der halbkugelförmigen Oberfläche als imaginären Objektfläche ermittelt, wobei es sich um eine Projektion eines Punktes P auf einem ebenen Bild (den u-, v-Koordinaten) handelt.
  • Unter der Annahme, daß die (X-, Y-, Z-) Koordinaten des Punktes P (X1, Y1, Z1) sind und die (u-, v-) Koordinaten (u1, v1) sind, ergeben sich folgende Gleichungen: X1 = X0 + u1·δux + v1·δvx Y1 = Y0 + u1·δuy + v1·δvy Z1 = Z0 + u1·δuz + v1·δvz.
  • Wie in 2 deutlich zu sehen ist, befindet sich der Punkt P' auf der Linie, die O und P verbindet. Wenn ein Koeffizient mit k1 vorgegeben wird, so wird die nachfolgende Beziehung erfüllt. (X2, Y2, Z2) = k1·(X1, Y1, Z1)
  • Die Distanz zwischen dem Nullpunkt O des (X-, Y-, Z-) Koordinatensystems und dem durch die Koordinaten (X2, Y2, Z2) ausgedrückten Punkt P' ist 1. Die Distanz zwischen dem Nullpunkt (X0, Y0, Z0) des (u-, v-) Koordinatensystems und dem durch die Koordinaten (X2, Y2, Z2) ausgedrückten Punkt P' ist dann gegeben durch 2 sin{1/2 arc tan (u1 2 + v1 2)0,5}. Die Distanz L von dem Nullpunkt des (u-, v-) Koordinatensystems bis zu dem Punkt P erhält man folgendermaßen: L = (u2 + v2)0,5.
  • Wenn die Distanz L bestimmt ist, dann ist k1 konstant. Somit wird eine Tabelle von k1 in bezug auf die Distanz L als Nachschlagtabelle gebildet, und es wird eine Multi plikation mit k1, den man aus der Nachschlagtabelle erhält, durchgeführt, so daß sich (X2, Y2, Z2) folgendermaßen erzielen lassen (siehe 3). X2 = k1·X1 Y2 = k1·Y1 Z2 = k1·Z1.
  • Auf diese Weise werden die ersten Projektionskoordinaten auf der halbkugelförmigen Fläche bestimmt.
  • Schritt 2
  • Als zweiter Schritt der Berechnung wird nun eine Verfahrensweise zum Erzielen von zweiten Projektions-Koordinaten w (p1, q1) auf einer Fischaugen-Bildfläche an Hand der bestimmten ersten Projektions-Koordinaten (X2, Y2, Z2) erläutert (hinsichtlich der Größe w siehe 1).
  • Wie vorstehend beschrieben worden ist, wird auf Grund der Tatsache, daß der Punkt P' sich auf der Oberfläche der Halbkugel mit dem Radius 1 befindet, der Zenitwinkel (θ1) vorbehaltlos von dem Wert von Z2 bestimmt (hinsichtlich θ1 siehe 1). Dadurch läßt sich die nachfolgende Gleichung (1) ableiten: θ1 = cos–1(Z2) ...(1).
  • Da der Azimut des Punktes w auf der Bildaufnahmefläche sowie des Punktes P' auf der halbkugelförmigen Fläche gleich sind, wird die nachfolgende Gleichung (2) erfüllt: (p1, q1) = k2·(X2, Y2) ...(2).
  • Da die Höhe (h) von dem Nullpunkt auf der Fischaugen-Bildfläche (Nullpunkt des p-, q-Koordinatensystems) bis zu dem Punkt w als Funktion von θ1 nach dem Fischaugen-Bildprojektionsverfahren ausgedrückt wird, wird die folgende Gleichung (3) erfüllt: h = F(θ1) ...(3).
  • Es werden einige Beispiele für spezielle Funktionen von F(θ1) gemäß dem Projektionsverfahren veranschaulicht. Unter der Annahme, daß die Brennweitendistanz der Fischaugenlinse f ist, ergeben sich folgende Relationen. Äquidistanz-Projektion: h = f·θ Stereoskopische Projektion: h = 2f·tan(θ/2).
  • Wenn die Gleichung (1) in die Gleichung (3) eingesetzt wird, ergibt sich die nachfolgende Gleichung (4). Dabei läßt sich h als Funktion ausdrücken, die durch Z2 bestimmt wird. h = F(cos–1(Z2)) ...(4).
  • In bezug auf die Distanz r von dem Nullpunkt des (X-, Y-, Z-) Koordinatensystems bis zu dem Punkt Q, den man erhält durch Projizieren des Punktes P' auf die (X-, Y-) Ebene, wird auf Grund der Tatsache, daß es sich bei dem Punkt P' um einen Punkt auf der Oberfläche der Halbkugel mit dem Radius von 1 handelt, die nachfolgende Gleichung (5) erfüllt. r = (1 – Z2 2)0,5 ...(5).
  • Aus den Gleichungen (4) und (5) ergibt sich somit die nachfolgende Gleichung (6). k2 = h/r = F(cos–1(Z2))/(1 – Z2 2)0,5 ...(6).
  • Das heißt, der Koeffizient k2 der Gleichung (2) läßt sich als Funktion von Z2 ableiten. Hinsichtlich des Koeffizienten k2 wird eine Nachschlagtabelle zum Ermitteln des Koeffizienten k2 aus dem Wert von Z2 gemäß der Gleichung (3) gebildet. Unter Verwendung dieses Werts erhält man zweite Projektions-Koordinaten (p1, q1) auf der Bildaufnahmefläche folgendermaßen. p1 = k2·X2 q1 = k2·Y2.
  • Wie vorstehend beschrieben, ist in dem ersten Schritt der Bildtransformation die Berechnung auf Addition und Multiplikation begrenzt, während man die übrigen Funktionen aus der Nachschlagtabelle erhält. Die Berechnung in dem zweiten Schritt ist auf eine Multiplikation begrenzt, und die übrige Berechnung von Funktionen und dergleichen erfolgt unter Bezugnahme auf die Nachschlagtabelle. Durch Ausführen der Rechenvorgänge gemäß den Schritten kann eine einfache Rechenschaltung (Logikschaltung, wie zum Beispiel ein Addierer) eine Pipeline-Architektur aufweisen.
  • Der Schaltungsumfang des Teils mit der komplizierten Funktionsberechnung wird unter Verwendung der Nachschlagtabelle reduziert. Durch Wechseln der Tabelle zum Ermitteln von k2 in dem zweiten Schritt ist ferner die Handhabung einer Fischaugenlinse mit einem anderen Projektionsverfahren mittels der gleichen Recheneinheit in einfacher Weise möglich.
  • Beispiel einer Schaltungskonfiguration
  • Eine spezielle Schaltungsblockkonfiguration wird nun unter Bezugnahme auf die 4 erläutert. Die Konfiguration bezieht sich auf ein Beispiel eines Substrats, das für ein Computersystem konfiguriert ist, das einen PCI-Bus (Zwischenverbindungs-Bus für periphere Komponenten) aufweist.
  • Eine Fischaugenlinse 2 ist an einer CCD-Kamera 1 angebracht, und von der CCD-Kamera 1 aufgenommene Bildinformation wird zu einem PCI-Bus-Substrat 3 geschickt und Prozessen für die Bildtransformation unterzogen. Das PCI-Bus-Substrat 3 weist folgendes auf: eine Kamera-Schnittstelle 30 zum Schaffen von Fischaugen-Bilddaten von einer für die CCD-Kamera 1 vorgesehenen CCD; einen Einzelbild-Speicher 31 zum Speichern von Fischaugen-Bilddaten eines Einzelbildes; eine Interpolations-Berechnungseinheit 32 zum Ausführen einer Interpolations-Berechnung auf der Basis des Rechenergebnisses eines Operationsteils 40; einen FIFO-Speicher 33; eine Aufnahme-Steuereinheit 34 zum Steuern der Aufnahme der Fischaugen-Bilddaten in dem Einzelbild-Speicher 31; das Operationsteil 40 (von einer gestrichelten Linie umgebener Bereich) mit der für die Erfindung charakteristischen Konfiguration; sowie eine PCI-Bus-Schnittstelle 39 zum Weiterleiten von ebenen Bilddaten, die man durch die Koordinaten-Transformation erhält.
  • Das Operationsteil 40 weist eine erste Koordinaten-Berechnungseinheit 35, eine zweite Koordinaten-Berechnungseinheit 36, eine mit der ersten Koordinaten-Berechnungseinheit 35 verbundene erste Nachschlagtabelle 37 sowie eine mit der zweiten Koordinaten-Berechnungseinheit 36 verbundene zweite Nachschlagtabelle 38 auf. Eine weitere Beschreibung erfolgt in Verbindung mit dem Koordinaten-Transformationsvorgang.
  • Bei der ersten Koordinaten-Berechnungseinheit 35 handelt es sich um eine Einrichtung zum Ausführen der Berechnung des in 3 dargestellten ersten Schrittes, mit dem sich die ersten Projektions-Koordinaten (X2, Y2, Z2) auf der Halbkugel-Fläche aus den (u-, v-) Koordinaten in dem ebenen Bild erzielen lassen. Bei der ersten Nachschlagtabelle 37 handelt es sich um eine Tabelle zum Ermitteln des Korrekturkoeffizienten k1 aus der Distanz L.
  • Bei der zweiten Koordinaten-Berechnungseinheit 36 handelt es sich um eine Einrichtung zum Ausführen der Berechnung des zweiten Schrittes der 3 zum Erzielen der zweiten Projektions-Koordinaten (p1, q1) auf der Fischaugen-Bildfläche an Hand der ersten Projektions-Koordinaten (X2, Y2, Z2), die durch die erste Koordinaten-Berechnungseinheit 35 abgeleitet werden. Bei der zweiten Nachschlagtabelle 38 handelt es sich um eine Tabelle zum Ermitteln des Korrekturkoeffizienten k2.
  • Beschreibung der Arbeitsweise der Schaltung
  • Im folgenden wird die Arbeitsweise der in 4 dargestellten Schaltung beschrieben.
  • Von der CCD-Kamera 1 ermittelte Fischaugen-Bilddaten werden über die Kamera-Schnittstelle 30 in den Einzelbild-Speicher 31 eingeschrieben. Da die Koordinaten (p, q) auf der Bildaufnahmefläche, die den Koordinaten (u, v) auf dem Anzeigeschirm entsprechen, in dem Betriebsteil 40 gebildet werden, werden den Koordinaten (p, q) entsprechende Bilddaten, die nacheinander von dem Operationsteil 40 benannt werden, aus dem Einzelbild-Speicher 31 ausgelesen und zu der Interpolations-Berechnungseinheit 32 geschickt.
  • Genau genommen stimmt die Position eines Pixels auf dem Fischaugen-Bild nicht mit einem Pixel auf dem ebenen Bild überein, das auf dem Monitor angezeigt werden soll. Somit werden mehrere Daten von in der Nähe befindlichen Pixeln aus dem Einzelbild-Speicher 31 ausgelesen, und es erfolgt eine Interpolation unter Bildung eines gewichteten Mittelwerts der Daten, so daß sich ein natürliches ebenes Bild erzielen läßt.
  • Die interpolierten Bilddaten werden durch den FIFO-Speicher einer Geschwindigkeitseinstellung unterzogen, und die resultierenden Daten werden über die PCI-Bus-Schnittstelle 39 einem Speicher auf der Seite eines übergeordneten Computers zugeführt. Da im Fall der exemplarischen Konfiguration der 4 die Vorgänge, wie zum Beispiel die Koordinaten-Berechnung und die Interpolations-Berechnung, von einer FPGA (oder Gate Array) mittleren Maßstabs ausgeführt werden können, läßt sich die Hardware relativ kostengünstig ausbilden.

Claims (3)

  1. Recheneinheit für die Bildtransformation, um ein mittels eines Fischaugen-Objektivs (2) aufgenommenes Fischaugen-Bild in ein ebenes Bild für die Anzeige umzuwandeln, wobei die Recheneinheit folgendes aufweist: – eine erste Koordinaten-Berechnungseinheit (35) zum Ermitteln von ersten Projektions-Koordinaten (X2, Y2, Z2), die durch Projizieren von Koordinaten (u1, v1) auf dem ebenen Bild auf eine imaginäre halbkugelförmige Objektfläche abgeleitet werden; und – eine zweite Koordinaten-Berechnungseinheit (36) zum Ermitteln von zweiten Projektions-Koordinaten (p1, q1), die durch Projizieren der mittels der ersten Koordinaten-Berechnungseinheit (35) ermittelten ersten Projektions-Koordinaten auf die Fischaugen-Bildfläche abgeleitet werden, dadurch gekennzeichnet, daß die Logikschaltung (1) der ersten und der zweiten Berechnungseinheit auf Additions- und Multiplikations-Rechenvorgänge begrenzt ist und andere Funktionsberechnungen unter Zuhilfenahme von Nachschlagtabellen (37, 38) ausgeführt werden, und daß die zweite Koordinaten-Berechnungseinheit (36) zum Ermitteln der zweiten Projektions-Koordinaten verwendet wird, indem die ersten Projektions-Koordinaten mit einem vorbestimmten Koeffizienten (k2) multipliziert werden, wobei der vorbestimmte Koeffizient (k2) aus einer Nachschlagtabelle (38) ermittelt wird.
  2. Recheneinheit nach Anspruch 1, dadurch gekennzeichnet, daß die Logikschaltung eine Pipeline-Architektur in jeder von der ersten und der zweiten Koordinaten-Berechnungseinheit (35, 36) aufweist.
  3. Überwachungssystem, das folgendes aufweist: – eine CCD-Kamera (1), an der ein Fischaugen-Objektiv (2) angebracht ist, und – ein eine Verbindung mit einer peripheren Komponente schaffendes Bus-Substrat (PCI-Bus-Substrat) (3), das mit der CCD-Kamera (1) verbunden ist und eine Recheneinheit gemäß Anspruch 1 oder 2 aufweist.
DE60024898T 1999-02-12 2000-01-07 Recheneinheit für Bildveränderung Expired - Fee Related DE60024898T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP3477099 1999-02-12
JP11034770A JP3126955B2 (ja) 1999-02-12 1999-02-12 画像変換用演算装置

Publications (2)

Publication Number Publication Date
DE60024898D1 DE60024898D1 (de) 2006-01-26
DE60024898T2 true DE60024898T2 (de) 2006-08-24

Family

ID=12423553

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60024898T Expired - Fee Related DE60024898T2 (de) 1999-02-12 2000-01-07 Recheneinheit für Bildveränderung

Country Status (4)

Country Link
US (1) US6574376B1 (de)
EP (1) EP1028389B1 (de)
JP (1) JP3126955B2 (de)
DE (1) DE60024898T2 (de)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010015751A1 (en) * 1998-06-16 2001-08-23 Genex Technologies, Inc. Method and apparatus for omnidirectional imaging
JP2002216136A (ja) * 2001-01-23 2002-08-02 Sony Corp 距離算出方法及び撮像装置
JP2002334322A (ja) * 2001-05-10 2002-11-22 Sharp Corp 透視投影画像生成システム、透視投影画像生成方法、透視投影画像生成プログラムおよび透視投影画像生成プログラムを記憶した記憶媒体
JP2003069990A (ja) * 2001-06-13 2003-03-07 Usc Corp 遠隔映像認識システム
JP3576126B2 (ja) * 2001-07-30 2004-10-13 株式会社ナムコ 画像生成システム、プログラム及び情報記憶媒体
JP3624288B2 (ja) * 2001-09-17 2005-03-02 株式会社日立製作所 店舗管理システム
US7042508B2 (en) * 2002-07-26 2006-05-09 Appro Technology Inc. Method for presenting fisheye-camera images
DE10243620A1 (de) * 2002-09-19 2004-04-01 Valeo Schalter Und Sensoren Gmbh Verfahren zur Bildverarbeitung der von einem System zur Umfelderfassung eines Fahrzeuges erfassten optischen Signale und System zur Umfelderfassung eines Fahrzeuges
TW565736B (en) * 2003-04-18 2003-12-11 Guo-Jen Jan Method for determining the optical parameters of a camera
TW565735B (en) * 2003-04-18 2003-12-11 Guo-Jen Jan Method for determining the optical parameters of a camera
US20050058360A1 (en) 2003-09-12 2005-03-17 Thomas Berkey Imaging system and method for displaying and/or recording undistorted wide-angle image data
JP2005252625A (ja) 2004-03-03 2005-09-15 Canon Inc 撮像装置および画像処理方法
JP2005339313A (ja) * 2004-05-28 2005-12-08 Toshiba Corp 画像提示方法及び装置
JP4661829B2 (ja) * 2007-06-14 2011-03-30 株式会社富士通ゼネラル 画像データ変換装置、及びこれを備えたカメラ装置
JP5067336B2 (ja) * 2007-12-26 2012-11-07 大日本印刷株式会社 画像変換装置および画像変換方法
JP4629131B2 (ja) 2008-09-03 2011-02-09 大日本印刷株式会社 画像変換装置
CN101742125B (zh) * 2008-11-27 2012-07-04 义晶科技股份有限公司 鱼眼图像校正及减轻透视变形的图像处理方法及相关装置
JP5245963B2 (ja) * 2009-03-19 2013-07-24 大日本印刷株式会社 画像変換装置
JP5233926B2 (ja) * 2009-09-10 2013-07-10 大日本印刷株式会社 魚眼監視システム
JP5678324B2 (ja) 2011-02-10 2015-03-04 パナソニックIpマネジメント株式会社 表示装置、コンピュータプログラム、及び表示方法
TW201239807A (en) * 2011-03-24 2012-10-01 Hon Hai Prec Ind Co Ltd Image capture device and method for monitoring specified scene using the image capture device
CN102694968B (zh) * 2011-03-25 2016-03-30 中山市云创知识产权服务有限公司 摄像装置及其环景监控方法
US8798451B1 (en) * 2013-06-15 2014-08-05 Gyeongil Kweon Methods of obtaining panoramic images using rotationally symmetric wide-angle lenses and devices thereof
JP5666069B1 (ja) * 2013-06-24 2015-02-12 三菱電機株式会社 座標算出装置及び方法、並びに画像処理装置及び方法
GB2551426B (en) * 2016-04-18 2021-12-29 Avago Tech Int Sales Pte Lid Hardware optimisation for generating 360° images
CN111047638B (zh) * 2018-10-12 2023-08-18 深圳富联富桂精密工业有限公司 单目测距装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5185667A (en) * 1991-05-13 1993-02-09 Telerobotics International, Inc. Omniview motionless camera orientation system
WO1993023835A1 (en) * 1992-05-08 1993-11-25 Apple Computer, Inc. Textured sphere and spherical environment map rendering using texture map double indirection
FR2714502A1 (fr) * 1993-12-29 1995-06-30 Philips Laboratoire Electroniq Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective.
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
US5508734A (en) * 1994-07-27 1996-04-16 International Business Machines Corporation Method and apparatus for hemispheric imaging which emphasizes peripheral content
CA2227195C (en) * 1995-07-27 2008-11-04 Sensormatic Electronics Corporation Image splitting, forming and processing device and method for use with no moving parts camera
US5694531A (en) * 1995-11-02 1997-12-02 Infinite Pictures Method and apparatus for simulating movement in multidimensional space with polygonal projections
JP2919428B2 (ja) 1997-04-10 1999-07-12 日本電気株式会社 画像変形装置
US6356296B1 (en) * 1997-05-08 2002-03-12 Behere Corporation Method and apparatus for implementing a panoptic camera system

Also Published As

Publication number Publication date
US6574376B1 (en) 2003-06-03
EP1028389A3 (de) 2003-07-02
JP3126955B2 (ja) 2001-01-22
JP2000235645A (ja) 2000-08-29
EP1028389B1 (de) 2005-12-21
DE60024898D1 (de) 2006-01-26
EP1028389A2 (de) 2000-08-16

Similar Documents

Publication Publication Date Title
DE60024898T2 (de) Recheneinheit für Bildveränderung
DE69820112T2 (de) Verbessertes bilderfassungssystem mit virtueller kamera
DE102018120304A1 (de) Verfahren und System zur Bildverzerrungkorrektur für Bilder, die durch Verwenden einer Weitwinkellinse aufgenommen werden
DE69411849T2 (de) Verfahren zur Verarbeitung von Luminanzpegel in einem zusammengesetzten Bild und Bildverarbeitungssystem zur Anwendung dieses Verfahrens
DE602005004694T2 (de) Verfahren und Vorrichtung für lokal adaptive Bildverarbeitungsfilter
DE69032971T2 (de) Stellungssteuerungsgerät eines visuellen Punktes
DE69430182T2 (de) Bildverarbeitungsverfahren und -gerät zur Erzeugung eines Zielbildes von einem Quellenbild mit Veränderung der Perspektive
US6778207B1 (en) Fast digital pan tilt zoom video
DE19782037C2 (de) Verfahren und Einrichtung zur Erzeugung eines zusammengesetzten Bildes
DE60225296T2 (de) Allzweckbildverbesserungsalgorithmus, der details in digitalbildern visuell besser erkennbar macht
DE69434779T2 (de) Videosystem
DE69426428T2 (de) Objektverfolgungsgerät
DE69601880T2 (de) Verfahren und vorrichtung zur erstellung der lage einer fernsehkamera zur verwendung in einem virtuellen studio
DE3920160B4 (de) Anordnung zur Bildverarbeitung
DE69028690T2 (de) Speziale Effekte mit Polarbildkoordinaten
DE69026415T2 (de) Zyklische Übertragung von Videobereichen für Videokonferenzsysteme
DE102020131265A1 (de) Segmentieren von video-rahmen unter verwendung eines neuronalen netzes mit verringerter auflösung und von masken aus vorhergehenden rahmen
DE102011056970A1 (de) Rasterausgabe von rotierten, interpolierten Pixeln, die für digitale Bildstabilisierung optimiert ist
DE102021118479A1 (de) Einbetten von komplexen 3d-objekten in eine erweiterte realitätsszene unter verwendung einer bildsegmentierung
DE19746910A1 (de) Übertragung von Texturen fotografischer Bilder auf CAD-Ebenen
CN110769323B (zh) 一种视频通信方法、***、装置和终端设备
DE102007037310A1 (de) Netzwerkkamera und Steuerungsverfahren hierfür
DE102018130086A1 (de) Mehrkameraprozessor mit merkmalsabgleich
DE69228187T2 (de) Darstellung der invers-perspektivischen Transformation eines Bildes auf einer Fläche, zur nachfolgenden Bildaufnahme
EP2052550A2 (de) Bildverarbeitungsvorrichtung für farb-bilddaten und verfahren zur bildverarbeitung von farb-bilddaten

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee