-
HINTERGRUND DER ERFINDUNG
-
1. Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung, ein Verfahren und ein Programm.
-
2. Beschreibung des Standes der Technik
-
Es wurden unterschiedliche Bildverarbeitungsmethoden vorgeschlagen. Beispielsweise gibt es folgende Methode: eine Methode, die aus jedem der Bilder mehrerer Kameras ein Objekt extrahiert, eine Größe in einem dreidimensionalen Raum auf einer Bodenfläche definiert und die Höhen der Objekte vergleicht, um festzustellen, dass es sich um dieselben Objekte handelt (
JP2000-020728A ); eine Methode, die ein Objekt erkennt, indem mindestens zwei Arten von Information, so z. B. Querschnittsfläche und Höhe, Querschnittsfläche und Volumen oder Volumen und Höhe von Größeninformation eines Objekts in ein neuronales Objekterkennungs-Netzwerk zusammen mit normierter Größeninformation eingegeben werden (
JP1995-318331A (
JP-H07-318331A )); und eine Methode, die aus Entsprechungspunkten von Stereokamerabildern vier Punkte auswählt, in diesen Punkten enthaltende dreidimensionale Ebeneninformation ermittelt, einen Kippwinkel aus der dreidimensionalen Information ermittelt und die Bilder derart korrigiert, dass sie nach vorne weisen (
JP2010-138554A ).
-
OFFENBARUNG DER ERFINDUNG
-
Für den Fall einer Form wie beispielsweise eines Rechtecks oder eines Parallelogramms, das von geraden Linien in einem Bild umgeben ist, besteht die Möglichkeit, in einfacher Weise durch Vergleich das Längen-Breiten-Verhältnis der Form zu bestimmen. Wenn allerdings eine Form wie z. B. ein Rechteck oder ein Parallelogramm, das von geraden Linien umgeben ist, in einem Bild enthalten ist, welches durch eine Bildaufnahme erhalten wird, so ist, falls seine Größe bekannt ist, die Form bekannt. Allerdings ist es nicht möglich, festzustellen, ob ein Zielobjekt in einem realen Raum, das durch die Form repräsentiert wird, tatsächlich ein Rechteck oder ein Parallelogramm ist, abhängig von einem Blickwinkel. Dies wird in den
JP2000-0202728A ,
JP1995-318331A (
JP-H07-318331A ) und
JP2010-198554A nicht berücksichtigt.
-
Ein Ziel der Erfindung ist es, festzustellen, ob eine von Geraden umgebene Form in einem durch Bildaufnahme erhaltenen Bild eine derartige Form ist, selbst wenn die Größe der Form im realen Raum nicht bekannt ist.
-
Eine Bildverarbeitungsvorrichtung gemäß der Erfindung umfasst eine Standardbild-Eingabeeinrichtung zum Eingeben eines durch Bildaufnahme erhaltenen Standardbilds; eine Referenzbild-Eingabeeinrichtung zum Eingeben eines Referenzbilds, erhalten durch Bildaufnahme unter einem Blickwinkel verschieden von einem Blickwinkel beim Aufnehmen des Standardbilds; eine Spezifischformkandidaten-Nachweiseinrichtung zum Abschätzen und Nachweisen einer durch gerade Linien umgebenen Form aus dem über die Standardbild-Eingabeeinrichtung eingegebenen Standardbild als einen spezifischen Formkandidaten mit einer spezifizierten Form; eine Virtuellzielobjekt-Informationserzeugungseinrichtung zum Erzeugen von Virtuellzielobjekt-Information zum Spezifizieren eines virtuellen Zielobjektbilds, erhalten für den Fall der Bildaufnahme eines Zielobjekts, welches durch den Spezifischformkandidaten repräsentiert wird, der von der Spezifischformkandidaten-Nachweiseinrichtung nachgewiesen wird, unter einem Blickwinkel, der verschieden ist von dem Blickwinkel bei der Aufnahme des Standardbilds; eine Virtuellzielobjekt-Bildnachweiseinrichtung zum Nachweisen des Virtuellzielobjekt-Bilds aus dem über die Referenzbild-Eingabeeinrichtung eingegebenen Referenzbild unter Verwendung der von der Virtuellzielobjekt-Informationserzeugungseinrichtung erzeugten Virtuellzielobjekt-Information; eine Formbestimmungseinrichtung zum Bestimmen des von der Spezifischformkandidaten-Nachweiseinrichtung nachgewiesenen Spezifischformkandidaten als eine spezifische Form mit der spezifizierten Form, wenn das Virtuellzielobjekt-Bild von der Virtuellzielobjekt-Bildnachweiseinrichtung nachgewiesen wurde; eine Erzeugungssteuereinrichtung zum Steuern der Virtuellzielobjekt-Informationserzeugungseinrichtung, um die Virtuellzielobjekt-Information zum Spezifizieren des durch Ändern der Größe und/oder der Lage des Virtuellzielobjekt-Bilds erhaltenen Virtuellzielobjekt-Bilds zu erzeugen, wenn das Virtuellzielobjekt-Bild nicht von der Virtuellzielobjekt-Bildnachweiseinrichtung nachgewiesen wurde; und eine Wiederholungssteuereinrichtung zum Wiederholen der Nachweisverarbeitung in der Virtuellzielobjekt-Bildnachweiseinrichtung, der Bestimmungsverarbeitung in der Formbestimmungseinrichtung und der Steuerungsverarbeitung in der Erzeugungssteuereinrichtung.
-
Die Erfindung schafft außerdem ein Bildverarbeitungsverfahren. Das heißt, das Verfahren umfasst einen Schritt, bei dem eine Standardbild-Eingabeeinrichtung ein durch Bildaufnahme erhaltenes Standardbild eingibt; einen Schritt, bei dem eine Referenzbild-Eingabeeinrichtung ein Referenzbild eingibt, erhalten durch Bildaufnahme unter einem Blickwinkel verschieden von einem Blickwinkel beim Aufnehmen des Standardbilds; einen Schritt, bei dem eine Spezifischformkandidaten-Nachweiseinrichtung eine durch gerade Linien umgebene Form abschätzt und nachweist anhand des von der Standardbild-Eingabeeinrichtung eingegebenen Standardbilds als einen Spezifischformkandidaten mit einer spezifizierten Form; einen Schritt, bei dem eine Virtuellzielobjekt-Informationserzeugungseinrichtung Virtuellzielobjekt-Information zum Spezifizieren eines Virtuellzielobjekt-Bilds erzeugt, erhalten für den Fall der Bildaufnahme eines Zielobjekts, welches durch den von der Spezifischformkandidaten-Nachweiseinrichtung nachgewiesenen Spezifischformkandidaten repräsentiert wird, unter einem Blickwinkel verschieden von dem Blickwinkel bei Aufnahme des Standardbilds; einen Schritt des Nachweisen des virtuellen Zielobjekt-Bilds aus dem von der Referenzbild-Eingabeeinrichtung eingegebenen Referenzbild unter Verwendung der von der Virtuellzielobjekt-Informationserzeugungseinrichtung erzeugten Virtuellzielbild-Information; einen Schritt, bei dem eine Formbestimmungseinrichtung den von der Spezifischformkandidaten-Nachweiseinrichtung nachgewiesenen Spezifischformkandidaten als eine spezifische Form bestimmt, welche die spezifizierte Form aufweist, wenn das Virtuellzielobjekt-Bild von der Virtuellzielobjektbild-Nachweiseinrichtung nachgewiesen wurde; einen Schritt, bei dem eine Erzeugungssteuereinrichtung eine derartige Steuerung ausführt, dass die Virtuellzielobjekt-Informationserzeugungseinrichtung die Virtuellzielobjekt-Information zum Spezifizieren des Virtuellzielobjekt-Bilds erzeugt, erhalten durch Ändern der Größe und/oder der Lage des Virtuellzielobjekt-Bilds, wenn das Virtuellzielobjekt-Bild nicht von der Virtuellzielobjektbild-Nachweiseinrichtung nachgewiesen wurde; und einen Schritt, bei dem eine Wiederholungssteuereinrichtung die Nachweisverarbeitung in der Virtuellzielobjektbild-Nachweiseinrichtung, die Bestimmungsverarbeitung in der Formbestimmungseinrichtung und die Steuerungsverarbeitung in der Erzeugungssteuereinrichtung wiederholt.
-
Die Erfindung schafft ein Programm, welches einen Computer einer Bildverarbeitungsvorrichtung steuert. Es wird ein Aufzeichnungsmedium geschaffen, welches das Programm speichert.
-
Die Bildverarbeitungsvorrichtung kann außerdem aufweisend: eine Korrektureinrichtung zum Korrigieren einer spezifischen Form, von der durch die Formbestimmungseinrichtung bestimmt wurde, dass sie eine Form mit der spezifizierten Form ist, in eine Form, die für den Fall erhalten wird, dass das Zielobjekt von der Formseite her als Bild aufgenommen wird.
-
Beispielsweise kann die Virtuellzielobjekt-Informationserzeugungseinrichtung die Virtuellzielobjekt-Information basierend auf einer oder mehreren, vorab festgelegten Größen dann erzeugen, wenn die Größe dies Zielobjekts bekannt ist.
-
Die Bildverarbeitungsvorrichtung kann weiterhin aufweisen: eine Winkelberechnungseinrichtung zum Berechnen eines Winkels, der repräsentiert wird durch die Kontur des Zielobjekts in einem realen Raum; und eine Spezifischform-Bestimmungseinrichtung zum Bestimmen eines Ziel-Spezifischformkandidaten unter den Spezifischformkandidaten, die von der Spezifischformkandidaten-Nachweiseinrichtung nachgewiesen wurden, basierend auf einem von der Winkelberechnungseinrichtung berechneten Winkel, wobei die Virtuellzielobjekt-Informationserzeugungseinrichtung virtuelle Zielobjektinformation zum Spezifizieren eines Virtuellzielobjekt-Bilds erzeugt, erhalten für den Fall einer Bildaufnahme eines Zielobjekts, das durch eine von der Spezifischform-Bestimmungseinrichtung bestimmten spezifischen Form repräsentiert wird, unter einem Blickwinkel verschieden von dem Blickwinkel bei der Aufnahme des Standardbilds.
-
Die Bildverarbeitungsvorrichtung kann weiterhin aufweisen: eine Zustandsbestimmungseinrichtung zum Bestimmen, ob mehrere spezifische Formen sich in derselben Ebene, in parallelen Ebenen oder vertikalen Ebenen befinden, falls es mehrere spezifische Formen gibt, die in der Formbestimmungseinrichtung spezifiziert wurden.
-
Die spezifizierte Form kann ein Dreieck, ein Rechteck, ein Trapez oder ein Parallelogramm sein.
-
Die Bildverarbeitungsvorrichtung kann weiterhin aufweisen: eine erste Bildaufnahmeeinrichtung, die das Standardbild aufnimmt, eine zweite Bildaufnahmeeinrichtung, die das Referenzbild aufnimmt. Die Standardbild-Eingabeeinrichtung und die Referenzbild-Eingabeeinrichtung können eine einzelne Bildaufnahmeeinrichtung sein. In diesem Fall können die Standardbild-Eingabeeinrichtung und die Referenzbild-Eingabeeinrichtung das Standardbild und das Referenzbild durch Bildaufnahme in dem Bildaufnahmegerät eingeben.
-
Erfindungsgemäß wird eine Form (beispielsweise ein Dreieck, ein Rechteck, ein Parallelogramm, ein Trapez oder dergleichen), die von geraden Linien umgeben ist, aus einem Standardbild abgeschätzt und nachgewiesen, welches durch Bildaufnahme eines eine spezifische Form aufweisenden Kandidaten erhalten wird (z. B. von einem Rechteck), der eine spezifizierte Form aufweist. Information über ein virtuelles Zielobjekt (diese kann Koordinaten und ein Bild eines virtuellen Zielobjekts enthalten) zum Spezifizieren eines Bilds eines virtuellen Zielobjekts, erhalten durch Bildaufnahme eines Zielobjekts in einem realen Raum, repräsentiert durch den nachgewiesenen Kandidaten mit der spezifischen Form bei einem Blickwinkel verschieden von dem Blickwinkel beim Aufnehmen des Standardbilds wird erzeugt. Wenn das Bild des virtuellen Zielobjekts aus einem Referenzbild nachgewiesen wird, das durch Bildaufnahme unter einem anderen Blickwinkel unter Verwendung der erzeugten virtuellen Zielobjektinformation erhalten wird, wird der nachgewiesene Kandidat der spezifischen Form festgestellt als eine spezifische Form mit der spezifizierten Form. Wenn der Kandidat für die spezifische Form die spezifizierte Form aufweist, wird das Bild des virtuellen Zielobjekts (im Folgenden auch: virtuelles Zielobjektbild) aus dem Referenzbild ermittelt. Wenn das virtuelle Zielobjektbild aus dem Referenzbild ermittelt wird, ist es damit möglich, den Kandidaten für die spezifische Form als spezifische Form mit der spezifizierten Form festzustellen, und man kann feststellen, dass der Kandidat eine solche spezifische Form selbst im realen Raum besitzt. Wird das virtuelle Zielobjektbild nicht nachgewiesen, so wird die Information über das virtuelle Zielobjekt zum Spezifizieren des virtuellen Zielobjektbilds in der Weise erzeugt, dass die Größe und/oder die Lage des virtuellen Zielobjektbilds geändert wird. Das Ermitteln des virtuellen Zielobjektbilds aus dem Referenzbild und die Formbestimmung werden unter Nutzung der erzeugten Information über das virtuelle Zielobjekt wiederholt. Selbst wenn die Größe im realen Raum nicht bekannt ist, kann eine spezifische Form mit der spezifizierten Form im realen Raum festgestellt werden.
-
KURZE BESCHREIBUNG DER ZEICHNUNGEN
-
1 zeigt ein Beispiel für die elektrische Konfiguration einer Bildverarbeitungsvorrichtung.
-
2 zeigt ein Beispiel eines realen Raums.
-
3 zeigt ein Beispiel eines Standardbilds.
-
4 zeigt ein Beispiel für ein Referenzbild.
-
5 ist ein Flussdiagramm einer Verarbeitungsprozedur der Bildverarbeitungsvorrichtung.
-
6 ist ein Flussdiagramm einer Verarbeitungsprozedur der Bildverarbeitungsvorrichtung.
-
7 veranschaulicht die Art und Weise, in der eine durch gerade Linien umgebene Form aus einem Standardbild nachgewiesen wird.
-
8 zeigt ein Beispiel eines virtuellen Zielobjektbilds.
-
9 zeigt die Art und Weise, auf die ein Zielobjekt abgebildet wird.
-
10 ist ein Flussdiagramm und zeigt einen Teil einer Verarbeitungsprozedur der Bildverarbeitungsvorrichtung.
-
11 ist ein Flussdiagramm einer Verarbeitungsprozedur der Bildverarbeitungsvorrichtung.
-
12 ist ein Flussdiagramm einer Verarbeitungsprozedur der Bildverarbeitungsvorrichtung.
-
13 zeigt die Art und Weise, auf die ein Zielobjekt als Bild aufgenommen wird.
-
14 ist ein Flussdiagramm, das eine Verarbeitungsprozedur der Bildverarbeitungsvorrichtung veranschaulicht.
-
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
-
1 zeigt ein Beispiel der Erfindung und ist ein Blockdiagramm, welches eine elektrische Konfiguration einer Bildverarbeitungsvorrichtung zeigt.
-
Die Bildverarbeitungsvorrichtung kann ein tragbares Gerät, wie z. B. ein Smartphone sein, und sie lässt sich im Freien installieren.
-
Der gesamte Arbeitsablauf der Bildverarbeitungsvorrichtung wird von einer CPU 9 gesteuert.
-
Die Bildverarbeitungsvorrichtung enthält eine erste Kamera (Standardbild-Eingabeeinrichtung) 1 und eine zweite Kamera (Referenzbild-Eingabeeinrichtung) 2. Die erste Kamera 1 gibt ein durch Bildaufnahme erhaltenes Standardbild an die Bildverarbeitungsvorrichtung, und die zweite Kamera gibt ein durch Bildaufnahme unter einem Blickwinkel verschieden von jenem des Standardbilds erhaltenes Referenzbild an die Bildverarbeitungsvorrichtung. Mindestens eine von der ersten Kamera 1 und der zweiten Kamera 2 kann ohne die Bildverarbeitungsvorrichtung ausgebildet sein, solange wie ein Standardbild und ein Referenzbild in die Bildverarbeitungsvorrichtung eingegeben werden. Beispielsweise können ein Standardbild und ein Referenzbild durch zweifache Bildaufnahme mit einer Kamera unter verschiedenen Blickwinkeln gewonnen werden. Die Kameras müssen nicht in der Bildverarbeitungsvorrichtung vorgesehen sein.
-
Die Bildverarbeitungsvorrichtung ist mit einer Anzeige 3 ausgestattet. Ein Tastfeld (Touch Panel) 4 ist auf einem Anzeigebildschirm der Anzeige 3 gebildet. Ein Befehl aus dem Tastfeld 4 wird in die CPU 5 eingegeben. Außerdem ist die Bildverarbeitungsvorrichtung mit einem Speicher 5 ausgestattet, der Daten speichert, außerdem mit einer Kommunikationseinrichtung 6, die zur Verbindung über ein Netzwerk dient, beispielsweise das Internet, und einer Speicherkarten-Schnittstelle 7. Ein Programm zur Steuerungsverarbeitung, die unten erläutert wird, speichernde Speicherkarte 8 wird über die Speicherkarten-Schnittstelle 7 ausgelesen. Das gelesene Programm wird in der Bildverarbeitungsvorrichtung installiert. Das Programm braucht nicht in einem tragbaren Speichermedium gespeichert zu sein, wie z. B. in der Speicherkarte 8, es kann auch über die Kommunikationseinrichtung 6 ein über ein Netzwerk gesendetes Programm empfangen werden, und das empfangene Programm kann in der Bildverarbeitungsvorrichtung installiert werden.
-
2 zeigt ein Beispiel für eine Szenerie im Freien.
-
An einer Straße 27 befinden sich ein erstes Gebäude 10 und ein zweites Gebäude 20. Eine Seitenwand des ersten Gebäudes 10 hat im realen Raum die Form eines Parallelogramms, eine Vorderwand 12 und ein Dach 13 des ersten Gebäudes 10 haben eine Rechteckform, und eine Rückwand 14 des ersten Gebäudes 10 besitzt bei Betrachtung von hinten eine Rechteckform. Während Wände 21 und 24 des zweiten Gebäudes 20 im realen Raum eine Rechteckform haben, besitzt eine Giebelseite 22 des zweiten Gebäudes 20 eine regelmäßige Dreieckform, und eine Dachfläche 23 besitzt eine Rechteckform. Es sei angenommen, dass diese Szenerie mit der ersten Kamera 1 und der zweiten Kamera 2 unter unterschiedlichen Blickwinkeln aufgenommen werden.
-
3 zeigt ein Beispiel für ein Bild (hier auch als Standardbild bezeichnet), das mit der ersten Kamera 1 aufgenommen wurde.
-
Das Standardbild enthält ein erstes Gebäudebild 10A, ein zweites Gebäudebild 20A und ein Straßenbild 27A. Das erste Gebäudebild 10A, das zweite Gebäudebild 20A und das Straßenbild 27A entsprechen dem ersten Gebäude 10, dem zweiten Gebäude 20 bzw. der Straße 27 in 2. Ein Seitenwandbild 11A, ein Vorderwandbild 12A und ein Rückwandbild 14A des ersten Gebäudes 10A entsprechen der Seitenwand 11, der Vorderwand 12 bzw. der Rückwand 14 des ersten Gebäudes 10 in 2, und ein Seitenwandbild 21A, ein Vorderwandbild 24A und ein Dachflächenbild 23A sowie ein Giebelwandbild 22A des zweiten Gebäudebilds 20A entsprechen der Seitenwand 21, der Vorderwand 24, der Dachfläche 23 bzw. der Giebelwand 22 des zweiten Gebäudes 20 in 2.
-
4 zeigt ein Beispiel für ein Bild (auch als Referenzbild bezeichnet), das mit Hilfe der zweiten Kamera 2 aufgenommen wurde.
-
Ähnlich dem Standardbild enthält das Referenzbild ein erstes Gebäudebild 10B, ein zweites Gebäudebild 20B und ein Straßenbild 27B. Das erste Gebäudebild 10B, das zweite Gebäudebild 20B und das Straßenbild 27B entsprechen dem ersten Gebäude 10, dem zweiten Gebäude 20 bzw. der Straße 27 in 2. Ein Seitenwandbild 11B, ein Vorderwandbild 12B und ein Rückwandbild 14B des ersten Gebäudebilds 10B entsprechen der Seitenwand 11, der Vorderwand 12 bzw. der Rückwand 14 des in 2 gezeigten ersten Gebäudes 10, und ein Seitenwandbild 21B, ein Vorderwandbild 24B, ein Dachflächenbild 23B und ein Giebelwandbild 22B des zweiten Gebäudebilds 22B entsprechen der Seitenwand 21, der Vorderwand 24, der Dachfläche 23 bzw. der Giebelwand 22 des zweiten Gebäudes 20 in 2.
-
Die erste Kamera 1 und die zweite Kamera 2 befinden sich in der Bildverarbeitungsvorrichtung 1 so, dass sie unterschiedliche Blickwinkel aufweisen. Damit besitzen ein Standardbild (3), das durch Bildaufnahme mit der ersten Kamera 1 erhalten wurde, und ein Referenzbild (4), das durch Bildaufnahme mit der zweiten Kamera 2 erhalten wurde, unterschiedliche Blickwinkel.
-
5 und 6 sind Flussdiagramme einer Verarbeitungsprozedur in der Bildverarbeitungsvorrichtung 1.
-
Diese Verarbeitungsprozedur bestimmt, ob ein Zielobjektbild, welches ein Zielobjekt einer spezifischen Form (z. B. eines Dreiecks, eines Rechtecks, eines Parallelogramms eines Trapez', eines Quadrat oder eines Polygons gleich oder größerer Ordnung als ein Fünfeck, umgeben von geraden Linien, wird als spezifische Form bezeichnet) mit einer Rechteckform (spezifischen Form) im realen Raum in dem Standardbild enthalten ist. Damit wird insbesondere festgestellt, ob ein Zielobjektbild, welches ein Zielobjekt mit einer Parallelogrammform repräsentiert, in dem Standardbild enthalten ist.
-
Als Erstes weist die CPU 2 gerade Linien aus einem Standardbild 10A nach, das durch Bildaufnahme erhalten wurde, (Schritt 31). Anschließend weist die CPU zwei Schnittpunkte der nachgewiesenen Geraden nach (Schritt 32). Ein von den Geraden umgebenes Rechteck (spezifische Form) wird als Parallelogramm-Kandidat ermittelt (ein Spezifischform-Kandidat mit einer spezifizierten Form) (Schritt 33).
-
7 zeigt ein Beispiel für einen nachgewiesenen Parallelogramm-Kandidaten (Spezifischform-Kandidat).
-
Parallelogrammkandidaten-Bilder 11C, 12C und 14C werden abgeschätzt und nachgewiesen aus der Seitenwand 11A, der Vorderwand 12A bzw. der Rückwand 14A des ersten Gebäudebilds 10A, die in dem in 2 gezeigten Standardbild enthalten sind, als jeweiliger Parallelogrammkandidat. Die CPU 9 führt eine Abschätzung und einen Nachweis von Parallelogrammkandidaten-Bildern 24C, 21C und 23C aus dem Seitenwandbild 21A, dem Vorderwandbild 24A und dem Dachflächenbild 23A des zweiten Gebäudebilds 20A, die in dem Standardbild nach 2 enthalten sind, als Parallelogramm-Kandidaten aus (eine Form, die durch Geraden umgeben ist, wird abgeschätzt und nachgewiesen als Spezifischform-Kandidat mit einer spezifizierten Form: Spezifischformkandidat-Nachweiseinrichtung).
-
Wenn das Parallelogrammkandidaten-Bild 11C, 12C, 14C, 21C, 23C und 24C nachgewiesen ist, erfolgt eine Abschätzung der Form und der Richtung eines durch diese Parallelogrammkandidaten-Bilder repräsentierten Parallelogramms in dem realen Raum (Schritt 34). Diese Abschätzung wird im Folgenden detailliert erläutert.
-
Anschließend erfolgt eine Annahme von Größe eines Zielobjekts, das durch die Parallelogrammkandidaten-Bilder 11C, 12C, 14C, 21C, 23C und 24C repräsentiert wird, in dem realen Raum sowie der Entfernung zu dem Zielobjekt (Schritt 35). Die Größe des Zielobjekts wird angenommen oder vermutet aufgrund einer allgemeinen Größe eines als Zielobjekt in Frage kommenden Objekts, beispielsweise eines Gebäudes, eines Fahrzeugs, eines Verkehrszeichens, eines Nummerschilds oder eines Buchs. Das Gleiche gilt für die Distanz zu dem Zielobjekt. Ähnlich wie das Nummernschild oder das Buch wird ein Objekt mit zuvor standardisierter Größe vorzugsweise eingerichtet aus Information bezüglich der Größenstandards, die in der Vorrichtung abgespeichert sind.
-
Die CPU 9 generiert Information über das virtuelle Zielobjekt (Schritt 36) (Virtuellzielobjekt-Informationserzeugungseinrichtung). Die Virtuellzielobjekt-Information spezifiziert ein virtuelles Zielobjekt-Bild, das durch Bildaufnahme eines Zielobjekts erhalten wird, repräsentiert durch das nachgewiesene Parallelogrammkandidaten-Bild (Spezifischformkandidaten-Bild) mit der zweiten Kamera. Die Information über das virtuelle Zielobjekt kann das Virtuellzielobjekt-Bild sein, oder es kann sich um die Koordinaten zum Spezifizieren der Lage und der Größe des virtuellen Zielobjektbilds handeln. Beim vorliegenden Beispiel sei angenommen, dass das virtuelle Zielobjektbild als Information über das virtuelle Zielobjekt verwendet wird.
-
8 zeigt ein Beispiel für das virtuelle Zielobjektbild.
-
Virtuelle Zielobjektbilder 11D, 12D, 14D, 21D, 23D und 24D werden für den Fall erhalten, dass eine Bildaufnahme von Parallelogramm-Zielobjekten aus dem Aufnahmewinkel der zweiten Kamera 2 unter der Annahme aufgenommen werden, dass die Parallelogrammkandidaten-Bilder 11C, 12C, 14C, 21C, 23C und 24C durch Bildaufnahme der Parallelogramm-Zielobjekte erhalten wurden.
-
Die CPU 9 führt eine Nachweisverarbeitung zu dem Zweck durch, festzustellen, ob die so erzeugten virtuellen Zielobjektbilder 11D, 12D, 14D, 21D, 23D und 24D in dem in 4 gezeigten Referenzbild enthalten sind über nicht (Schritt 37) (Virtuellzielobjekt-Bildnachweiseinrichtung). Wenn eines der virtuellen Zielobjektbilder 11D, 12D, 14D, 21D, 23D und 24D aus dem Referenzbild nachgewiesen wird (Schritt 38: JA), stellt die CPU fest, dass ein durch das Parallelogrammkandidaten-Bild entsprechend dem nachgewiesenen virtuellen Zielobjektbild repräsentiertes Zielobjekt ein Parallelogramm (spezifische Form) ist (Schritt 39) (Formbestimmungseinrichtung). Wenn beispielsweise das virtuelle Zielobjektbild 11D aus dem Referenzbild nach 2 nachgewiesen wird (da die Seitenwand 11 des zweiten Gebäudes 10 eine Parallelogramm-Form aufweist, wird die Seitenwand 11B des zweiten Gebäudes 10B ermittelt), wird festgestellt, dass ein Zielobjekt (die Seitenwand 11A des ersten Gebäudes 10) entsprechend dem virtuellen Zielobjektbild 11D im realen Raum ein Parallelogramm ist. Das Parallelogrammkandidaten-Bild 11D, von dem festgestellt wurde, dass es sich um ein Parallelogramm handelt, wird einer affinen Transformation unterzogen, und es wird ein Bild mit einer korrigierten Form erhalten durch Bildaufnahme eines Zielobjekts entsprechend dem Parallelogrammkandidaten-Bild von vorn (Schritt 40) (Korrektureinrichtung). Beispielsweise wird durch affine Transformation ein Bild von der Front her erhalten im Fall der Bildaufnahme der Seitenwand 11 des ersten Gebäudes 10 nach 2. Das Seitenwandbild 11A (siehe 3) entsprechend der Seitenwand 11, die als Parallelogramm ermittelt wurde, kann in einer Weise angezeigt werden, in der es sich um ein Parallelogramm handelt (z. B. von einer vorbestimmten Farbe umgeben), oder es können die Koordinaten, die Fläche, die Länge einer Seite oder dergleichen aufgezeichnet werden.
-
Für den Fall, dass aus dem Referenzbild nach 4 kein virtuelles Zielobjektbild nachgewiesen wird (Schritt 38: NEIN), ändert die CPU 9 die Annahme der Größe des Zielobjekts und der Entfernung zu dem Zielobjekt (Schritt 41). Damit werden die Größen und Lagen der virtuellen Zielobjektbilder 12D, 14D, 21D, 23D und 24D nach 8 geändert (Erzeugungssteuerungseinrichtung). Für den Fall, dass es mehrere Zielobjekte gibt und deren Größen vorab bekannt sind, wird entsprechend der Größe jedes Zielobjekts ein virtuelles Zielobjektbild (Information) erzeugt. Bis ein Zielobjekt die angenommene Größe und Entfernung überschreitet (im Schritt 42: NEIN), wird die Verarbeitung (die Nachweisverarbeitung in der Virtuellzielobjektbild-Nachweiseinrichtung, die Feststellungsverarbeitung in der Formbestimmungseinrichtung und die Steuerungsverarbeitung in der Erzeugungssteuereinrichtung) im Anschluss an den Schritt 37 wiederholt (Wiederholungs-Steuereinrichtung). In einem Prozess des Wiederholens dieser Arten von Verarbeitung werden die Bildbereiche, die den virtuellen Zielobjektbildern 12D, 14D, 21D, 23D und 24D entsprechen, aus dem in 4 gezeigten Referenzbild nachgewiesen, und die Zielobjekte 12, 14, 21, 23 und 24 entsprechend den virtuellen Zielobjektbildern 12D, 14D, 21D, 23D und 24D werden als ein Parallelogramm im realen Raum festgestellt.
-
Es wird festgestellt, dass ein Parallelogrammkandidat entsprechend einem Zielobjekt, das die angenommene Größe und Entfernung übersteigt, kein Parallelogramm ist (Spezifischform-Kandidat) (Schritt 42: JA, und Schritt 43).
-
9 veranschaulicht die Bearbeitung zum Abschätzen eines Parallelogramms (spezifische Form) im realen Raum.
-
Wenn beispielsweise angenommen wird, dass die Seitenwand 11 des ersten Gebäudes 10 von einem in die erste Kamera 1 eingebauten Bildsensor 70 erfasst wird, wird ein die Wand 11 repräsentierendes optisches Bild auf der Lichtaufnahmefläche des Bildsensors 70 über ein Aufnahmeobjektiv 71 (Brennweite f) der ersten Kamera 1 gebildet. Ein Bild 11E der Seitenwand 11 wird auf der Lichtaufnahmefläche des Bildsensors 70 erzeugt.
-
Die Koordinaten der vier Ecken des Bilds 11E der Seitenwand 11, die auf dem Bildsensor 70 gebildet ist, sind bezeichnet als α = (u1, v1), β = (u2, v2), γ = (u3, v3) und δ = (u4, v4). Die Koordinaten α, β, γ und δ der vier Ecken entsprechen den vier Ecken a, b, c bzw. d der Seitenwand 11 im realen Raum. Wenn die Koordinaten der Mitte des Bilds 11E der Seitenwand 11 (u0, v0) sind, erhält man die Koordinaten a = (x1, y1, z1), b = (x2, y2, z2), c = (x3, y3, z3) und d = (x4, y4, z4) der vier Ecken a, b, c und d im realen Raum. Allerdings sind A, B, C und D Koeffizienten (Vergrößerungen). x1 = A(u1 – u0), y1 = A(v1 – v0), z1 = Af x2 = B(u2 – u0), y2 = B(v2 – v0), z2 = Bf x3 = C(u3 – u0), y3 = C(v3 – v0), z3 = Cf x4 = D(u4 – u0), y4 = D(v4 – v0), z4 = Df
-
Da die vier Ecken a, b, c und d im realen Raum gegeben sind, wobei die Koeffizienten A, B, C und D Konstante werden, ergibt sich für den Fall, dass die vier Ecken a, b, c und d im realen Raum ein Parallelogramm bilden, folgender Ausdruck 1: ab → = cd → Gleichung 1
-
Aus der Gleichung 1 und der Beziehung der Koordinaten der vier Ecken a, b, c und d im realen Raum, wie sie oben beschrieben wurde, bestimmen sich die Koeffizientenbeziehungen B/A, C/A und D/A. Da der Koeffizient A nicht eindeutig bestimmt ist, lässt sich die Größe der Seitenwand 11, die durch die vier Ecken a, b, c und d bestimmt wird, ebenso wie die Entfernung zu der Seitenwand 11 nicht bestimmen. Allerdings ist die Richtung der Seitenwand 11 bestimmt.
-
10 zeigt ein modifiziertes Beispiel und veranschaulicht einen Teil der Verarbeitungsprozedur für die Bildverarbeitungsvorrichtung.
-
Wenn die Form und die Richtung eines Parallelogramms (spezifische Form) im realen Raum abgeschätzt werden (5, Schritt 34), wird ein durch die Kontur eines Zielobjekts im realen Raum repräsentierter Winkel berechnet (10, Schritt 61) (Winkelberechnungseinrichtung). Beispielsweise wird ein durch die Korrektur der Wand des ersten Gebäudes 21 dargestellter Winkel berechnet. Es wird festgestellt, ob der berechnete Winkel einen Winkel einer aufgefundenen spezifischen Form aufweist oder nicht (Schritt 62). Beispielsweise wird dann, wenn nur eine spezifische Form mit einer Rechteckform aufgefunden wurde, festgestellt, ob es sich um einen rechten Winkel handelt oder nicht. Wenn es einen solchen Winkel nicht gibt (Schritt 62, NEIN), wird festgestellt, dass es sich bei dem Parallelogramm-Kandidaten nicht um ein Rechteck handelt (6, Schritt 43). Wenn es einen derartigen Winkel gibt (Schritt 62: JA), wird die Verarbeitung nach dem Schritt 35 in 6 ausgeführt, und es wird ein Rechteck nachgewiesen (Spezifischform-Bestimmungseinrichtung).
-
Wenn die spezifische Form ein regelmäßiges Dreieck ist, lässt sich die Richtung des regelmäßigen Dreiecks folgendermaßen bestimmen:
11 und 12 sind Flussdiagramme, die eine weitere Verarbeitungsprozedur der Bildverarbeitungsvorrichtung zeigen, sie entsprechen der in den 5 und 6 dargestellten Verarbeitungsprozedur. In 11 oder 12 ist die gleiche Verarbeitung wie die in 5 oder 6 gezeigte durch gleiche Bezugszeichen markiert, ihre Beschreibung wird nicht wiederholt.
-
Obschon die in den 5 und 6 dargestellte Verarbeitung die Verarbeitung zum Nachweisen eines Parallelogramms ist, zeigen 11 und 12 eine Verarbeitung zum Nachweisen eines regelmäßigen Dreiecks.
-
Wie oben beschrieben, werden Geraden und Schnittpunkte aus dem Standardbild nachgewiesen (siehe 3) (Schritt 31 und 32), und ein erhaltenes Dreieck wird als Kandidat für ein regelmäßiges Dreieck abgeschätzt und nachgewiesen (Schritt 33A). Wie oben beschrieben, werden die Form und die Richtung des regelmäßigen Dreiecks abgeschätzt (Schritt 34A).
-
Es wird die gleiche Verarbeitung ausgeführt, die oben erläutert wurde, und es wird ein Kandidat für ein regelmäßiges Dreieck, der als regelmäßiges Dreieck festgestellt wurde, einer affinen Transformation unterzogen, als würde das Zielobjektbild, welches durch den nachgewiesenen Kandidaten für ein regelmäßiges Dreieck spezifiziert wird, von vorne abgebildet (Schritte 39A und 40A). Es wird festgestellt, dass andere Kandidaten für ein regelmäßiges Dreieck kein regelmäßiges Dreieck sind (Schritt 43A).
-
3 zeigt die Art und Weise, auf die eine Giebelwand 22 eines regelmäßigen Dreiecks abgebildet wird.
-
Ähnlich wie oben wird unter der Annahme, dass eine Bildaufnahme mit den in die erste Kamera 1 eingebetteten Bildsensor 70 erfolgt, ein optimales Bild der Giebelwand 22 auf der Lichtaufnahmefläche des Bildsensors 70 durch das Aufnahmeobjektiv 71 der ersten Kamera 1 erzeugt. Ein Bild 22E der Giebelwand 22 wird auf der Lichtempfangsfläche des Bildsensors 70 gebildet.
-
Die Koordinaten der drei Ecken des Bilds 22A der Giebelwand 22, das auf dem Bildsensor 70 erzeugt wird, werden bezeichnet mit α1, β1 und γ1. Die Koordinaten α1 = (u11, v11), β1 = (u12, v12) und γ1 = (u13, v13) der drei Ecken entsprechen den drei Ecken a1, b1 und c1 der Giebelwand 22 im realen Raum. Wenn die Koordinaten der Mitte des Bilds 22A der Giebelwand 22 (u10, v10) sind, ergeben sich die Koordinaten a1 = (x11, y11, z11), b1 = (x12, y12, z12) und c1 = (x13, y13, z13) im aktuellen Raum folgendermaßen. Allerdings gibt es Koeffizienten A1, B1 und C1 (Vergrößerung). x11 = A1(u11 – u10), y11 = A1(v11 – v10), z11 = A1 × f x12 = B1(u12 – u10), y12 = B1(v12 – v10), z12 = B1 × f x13 = C1(u13 – u10), y13 = C1(v13 – v10), z13 = C1 × f
-
Wie oben beschrieben, ergeben sich, weil die drei Ecken A1, B1 und C1 im realen Raum vorhanden sind, mit A1, B1 und C1 als Konstante, für den Fall, dass die drei Ecken a1, b1 und c1 im realen Raum ein regelmäßiges Dreieck bilden, die folgenden Gleichungen 2 und 3: a1d1 → ⊥ blc1 → Gleichung 2 a1c1 → ⊥ b1e1 → Gleichung 3
-
Die Koeffizientenbeziehung B1/A1 und C1/A1 bestimmen sich aus den Ausdrücken 2 und 3 und der Beziehung der Koordinaten der drei Ecken a1, b1 und c1 im realen Raum, wie oben beschrieben wurde. Da der Koeffizient A1 nicht eindeutig bestimmt ist, lassen sich die Größe der Giebelwand 22, welche durch die drei Ecken a1, b1 und c1 definiert sind, und der Abstand zu der Giebelwand 22 nicht bestimmen, allerdings lässt sich die Richtung der Seitenwand 22 bestimmen. Die Richtung der Seitenwand 22 bestimmt sich unabhängig davon, ob es sich bei dem Bild 22A um ein regelmäßiges Dreieck handelt oder nicht.
-
14 zeigt ein modifiziertes Beispiel im Fall eines Flussdiagramms einer Verarbeitungsprozedur der Bildverarbeitungsvorrichtung 1. Die Verarbeitungsprozedur erfolgt nach Ende der Ausführung von 6 oder dergleichen, und wenn es mehrere spezifische Formen gibt, so z. B. in Form eines bestimmten Parallelogramms, Rechtecks oder regelmäßigen Dreiecks, weist sie nach, ob mehrere spezifische Formen einen rechten Winkel aufweisen, parallel zueinander verlaufen oder in derselben Ebene liegen.
-
Eine spezifische Form unter mehreren spezifischen Formen wird ausgewählt (Schritt 81), und es wird eine weitere spezifische Form verschieden von der ausgewählten einen spezifischen Form ausgewählt (Schritt 82). Der Winkel zwischen Zielobjekten im realen Raum, repräsentiert durch die beiden spezifischen Formen, wird errechnet (Schritt 83). Der Winkel wird erkannt durch Nachweisen der Richtungen der Zielobjekte im realen Raum, wie oben erläutert wurde.
-
Wenn der Winkel zwischen den Zielobjekten im realen Raum, dargestellt durch die beiden spezifischen Formen, ein rechter Winkel ist (im Schritt 84: JA) (Zustandsbestimmungseinrichtung), werden die beiden Zielobjekte als eine Menge eines rechten Winkels in eine Liste gebracht (Schritt 85).
-
Wenn der Winkel zwischen den Zielobjekten im realen Raum, dargestellt durch die beiden spezifischen Formen, nicht ein rechter Winkel ist (im Schritt 84: NEIN), wird bestätigt, ob die Zielobjekte parallel zueinander verlaufen oder nicht (Schritt 86) (Zustandsbestimmungseinrichtung). Wenn die Zielobjekte parallel zueinander verlaufen (Schritt 86: JA), wird bestätigt, ob die Zielobjekte in derselben Ebene liegen oder nicht (Schritt 87) (Zustandsbestimmungseinrichtung). Wenn die Zielobjekte in derselben Ebene liegen, wird festgestellt, dass die Zielobjekte im realen Raum, dargestellt durch die beiden spezifischen Formen, in derselben Ebene liegen, und die beiden Zielobjekte werden als eine Menge derselben Ebene aufgelistet (Schritt 88). Wenn die Zielobjekte nicht in derselben Ebene liegen (Schritt 87: NEIN), werden die beiden Zielobjekte als Menge paralleler Ebenen aufgelistet (Schritt 89).
-
Wenn die Zielobjekte aufgelistet sind, wird auf diese Weise die Liste auf der Anzeige 3 dargestellt und in dem Speicher 5 abgespeichert (Schritt 90).
-
Bezugszeichenliste
-
- 1
- erste Kamera (Standardbild-Eingabeeinrichtung)
- 2
- zweite Kamera (Referenzbild-Eingabeeinrichtung)
- 9
- CPU (Spezifischformkandidaten-Nachweiseinrichtung, Virtuellzielobjekt-Informationserzeugungseinrichtung, Virtuellzielobjekt-Bildnachweiseinrichtung, Formbestimmungseinrichtung, Korrektureinrichtung, Steuereinrichtung, Winkelberechnungseinrichtung, Spezifischform-Bestimmungseinrichtung, Zustandsbestimmungseinrichtung)
