-
Hintergrund der Erfindung
-
Gebiet der Erfindung
-
Die vorliegende Erfindung bezieht sich auf eine Bildvorrichtung zum Erfassen von Anomalien von Entfernungsbildern.
-
Beschreibung der verwandten Technik
-
Es ist eine Bildvorrichtung bekannt, die ein Bild mithilfe einer Kamera aufnimmt und eine dreidimensionale Position eines Objekts auf Grundlage des aufgenommenen Bildes erfasst. Als Bildvorrichtung zum Erfassen der dreidimensionalen Position ist eine Vorrichtung bekannt, die bewirkt, dass ein Bildpunktsensor Licht empfängt, das auf der Oberfläche eines Objekts reflektiert wird, nachdem eine Lichtquelle Licht emittiert hat. Die Bildvorrichtung misst die Zeit, während der das von der Lichtquelle emittierte Licht auf der Oberfläche des Objekts reflektiert wird und anschließend zu dem Bildpunktsensor zurückkehrt. Die Bildvorrichtung kann eine Entfernung zu dem Objekt auf Grundlage der gemessenen Zeit und der Lichtgeschwindigkeit berechnen. Dieses Verfahren der Bildvorrichtung wird als Lichtlaufzeitverfahren bezeichnet.
-
Die japanische ungeprüfte Patentanmeldung mit der Veröffentlichungs-Nr.
JP 2009-516157 A offenbart eine einen Raumbereich überwachende Vorrichtung, die eine Beleuchtungsvorrichtung, eine erste Bildaufzeichnungseinheit, die ein erstes Bild aufzeichnet, und eine zweite Bildaufzeichnungseinheit beinhaltet, die ein zweites Bild aufzeichnet. Die erste Bildaufzeichnungseinheit beinhaltet einen Bildpunktsensor, der ein Bild des Raumbereichs aufnimmt. Die zweite Bildaufzeichnungseinheit beinhaltet einen Bildpunktsensor, der ein Bild des Raumbereichs aufnimmt. Diese Vorrichtung vergleicht das erste Bild und das zweite Bild, um einen fehlerhaften Entfernungswert für einen Punkt in dem Raumbereich zu erkennen, der auf mindestens einem Bildpunkt abgebildet ist.
-
Aus der
DE 10 2009 046 108 A1 ist ein Kamerasystem bekannt, das eine erste 3D-TOF-Kamera (TOF: Time-Of-Flight) und eine zweite 3D-TOF Kamera umfasst. Die beiden Kameras sind beabstandet voneinander in einem gemeinsamen Gehäuse angeordnet. Jeder Kamera ist eine eigene aktive Beleuchtung zugewiesen. Distanz- und Amplitudenbilder der beiden Kameras werden ausgewertet. Aus den Amplitudenbildern wird durch stereoskopische Auswertung ein Raumbild ermittelt. So lassen sich redundante Daten gewinnen, durch die sich ein erhöhtes Sicherheitsniveau erzielen lässt.
-
Aus der
DE 10 2013 007 886 B3 ist ein Time-Of-Flight-System zur Abstandsmessung von einem Objekt bekannt. Das System weist eine Sendeeinrichtung zum Aussenden von modulierter elektromagnetischer Strahlung auf, sowie zwei Empfangseinrichtungen mit je einer Empfangsoptik. Eine Steuereinrichtung ist dazu eingerichtet, die Sendeeinrichtung zu betreiben und den Abstand des Objekts von einer der beiden Empfangseinrichtungen durch eine nachgesetzte geometrische Korrektur zu berechnen. Bei einer Weiterbildung werden aus den Distanzbildern der beiden Empfangseinrichtungen ein erstes und ein zweites Raummodell ermittelt. Bei einer weiteren Weiterbildung wird aus den stereoskopisch ausgewerteten Amplitudenbildern ein drittes Raummodell ermittelt.
-
Übersicht über die Erfindung
-
Ein Entfernungsbild, das gemäß dem Lichtlaufzeitverfahren aufgenommen worden ist, beinhaltet Informationen über die Entfernung von einer Kamera zu einem Objekt. Eine im Laufe der Zeit auftretende Veränderung in der Kamera oder der Lichtquelle kann jedoch einen Fehler in der Entfernung zu dem Objekt verursachen. Dies kann zu einem Positionsfehler führen, wenn die Bildvorrichtung die Position des Objekts erfasst.
-
Darüber hinaus weist die Bildvorrichtung Eigenschaften auf, die durch die Temperatur der Umgebung beeinflusst werden. Insbesondere wirkt sich die Umgebungstemperatur auf die Lichtquelle zum Emittieren des Lichts auf das Objekt aus. Der Lichtemissionstakt der Lichtquelle kann von einem vorgegebenen Takt abweichen, wenn sich die Temperatur ändert. Folglich misst die Bildvorrichtung die Entfernung möglicherweise nicht korrekt, wenn sich die Temperatur ändert.
-
Auf diese Weise kann das durch die Bildvorrichtung erzeugte Entfernungsbild Fehler beinhalten, und daher ist die Bildvorrichtung vorzugsweise in der Lage, eine Anomalie in dem Entfernungsbild zu erfassen.
-
Eine Bildvorrichtung gemäß einem Aspekt der vorliegenden Offenbarung beinhaltet eine erste Bildgebungseinheit, die ein Bild aufnimmt, und eine zweite Bildgebungseinheit, die an einer vorgegebenen Position relativ zu der ersten Bildgebungseinheit angeordnet ist und die ein Bild aufnimmt. Die Bildvorrichtung beinhaltet eine erste Lichtquelle, die Licht auf den Bereich emittiert, in dem die erste Bildgebungseinheit das Bild aufnimmt, und eine zweite Lichtquelle, die Licht auf den Bereich emittiert, in dem die zweite Bildgebungseinheit das Bild aufnimmt. Die Bildvorrichtung beinhaltet eine Bildverarbeitungseinheit, die das Ausgangssignal der ersten Bildgebungseinheit und das Ausgangssignal der zweiten Bildgebungseinheit verarbeitet. Die Bildverarbeitungseinheit beinhaltet eine erste Entfernungsbild-Erzeugungseinheit, die auf Grundlage einer Lichtlaufzeit aus dem Ausgangssignal der ersten Bildgebungseinheit ein erstes Entfernungsbild erzeugt, das Entfernungsinformationen beinhaltet, und eine zweite Entfernungsbild-Erzeugungseinheit, die entsprechend einer Lichtlaufzeit aus dem Ausgangssignal der zweiten Bildgebungseinheit ein zweites Entfernungsbild erzeugt, das Entfernungsinformationen beinhaltet. Die Bildverarbeitungseinheit beinhaltet eine erste Einheit zum Erzeugen eines zweidimensionalen Bildes, die ein erstes zweidimensionales Bild aus dem Ausgangssignal der ersten Bildgebungseinheit erzeugt, und eine zweite Einheit zum Erzeugen eines zweidimensionalen Bildes, die einen zweites zweidimensionales Bild aus dem Ausgangssignal der zweiten Bildgebungseinheit erzeugt. Die Bildverarbeitungseinheit beinhaltet eine Raumbild-Erzeugungseinheit, die ein Entfernungsinformationen beinhaltendes Raumbild auf Grundlage des ersten zweidimensionalen Bildes und des zweiten zweidimensionalen Bildes erzeugt. Die Bildverarbeitungseinheit beinhaltet eine Bildvergleichseinheit, die das Raumbild und das erste Entfernungsbild vergleicht und eine Anomalie des ersten Entfernungsbildes erfasst, und die das Raumbild und das zweite Entfernungsbild vergleicht und eine Anomalie des zweiten Entfernungsbildes erfasst.
-
Figurenliste
-
- 1 ist eine schematische Draufsicht auf ein Robotersystem gemäß einer Ausführungsform.
- 2 ist eine graphische Blockdarstellung des Robotersystems gemäß der Ausführungsform.
- 3 ist eine schematische Draufsicht, die zwei Kameras und ein Objekt darstellt, um einen Entfernungsfehler in einem Entfernungsbild zu veranschaulichen.
- 4 ist ein Ablaufplan, der eine Steuerung darstellt, bei der ein Entfernungsbild erfasst wird, das eine Anomalie aufweist, und das Entfernungsbild anschließend kalibriert wird.
- 5 ist eine schematische Draufsicht, die die beiden Kameras und das Objekt nach der Kalibrierung des Entfernungsbildes darstellt.
- 6 ist eine schematische Draufsicht, die die beiden Kameras und ein weiteres Objekt darstellt.
- 7 ist eine graphische Blockdarstellung einer Einheit zum Erzeugen eines zusammengesetzten Bildes gemäß der Ausführungsform.
-
Ausführliche Beschreibung
-
Im Folgenden wird eine Bildvorrichtung gemäß einer Ausführungsform unter Bezugnahme auf 1 bis 7 beschrieben. Die Bildvorrichtung gemäß der vorliegenden Ausführungsform kann ein Entfernungsbild aufnehmen, das Informationen über eine Entfernung von einer Kamera zu einem aufzunehmenden Objekt oder zu einer aufzunehmenden Person beinhaltet. Darüber hinaus ist die Bildvorrichtung gemäß der vorliegenden Ausführungsform in einem Robotersystem angeordnet, das einen Roboter zum Durchführen eines vorgegebenen Vorgangs beinhaltet.
-
1 ist eine schematische Draufsicht, die das Robotersystem gemäß der vorliegenden Ausführungsform darstellt. 2 zeigt eine graphische Blockdarstellung des Robotersystems gemäß der vorliegenden Ausführungsform. Unter Bezugnahme auf 1 und 2 beinhaltet das Robotersystem der vorliegenden Ausführungsform einen Roboter 11, der den vorgegebenen Vorgang durchführt, und eine Robotersteuereinheit 12, die den Roboter 11 steuert.
-
Der Roboter 11 ist mit einer Hand 13 verbunden, die als Endeffektor dient. Der Roboter 11 der vorliegenden Ausführungsform führt einen Vorgang an einem Werkstück auf einem Werkstücktisch 14 durch. Zu den Vorgängen, die durch den Roboter 11 durchgeführt werden, zählen das Sortieren von Werkstücken und das Umsetzen von Werkstücken. Alternativ kann der Roboter einen beliebigen Vorgang durchführen. Beispielsweise beinhaltet der durch den Roboter durchgeführte Vorgang Schweißen oder Anstreichen. Der Endeffektor ist eine Vorrichtung, die für einen durch den Roboter durchgeführten Vorgang ausgewählt wird.
-
Die Robotersteuereinheit 12 besteht zum Beispiel aus einer Arithmetikverarbeitungseinheit (einem Digitalcomputer), die eine CPU (Central Processing Unit, Zentraleinheit), einen RAM (Random Access Memory, Direktzugriffsspeicher) und einen ROM (Read-Only Memory, Festwertspeicher) beinhaltet, die über einen Bus mit der CPU verbunden sind. Die Robotersteuereinheit 12 sendet einen Aktionsbefehl an den Roboter 11 und die Hand 13.
-
Um den Roboter 11 herum ist ein Einsatzbereich als Bereich festgelegt, in dem der Roboter 11 den Vorgang durchführt. Der Einsatzbereich wird aus Sicherheitsgründen festgelegt. Beispielsweise wird der Einsatzbereich so festgelegt, dass verhindert wird, dass ein Bediener oder ein Transferfahrzeug während des Einsatzes des Roboters 11 mit dem Roboter 11 in Kontakt kommen. Bei der vorliegenden Ausführungsform ist eine Einfriedung 15 so angeordnet, dass der Einsatzbereich definiert wird. Die Einfriedung 15 weist einen Eingangsteil 15a auf. Der Bediener 16 kann den von der Einfriedung 15 umgebenen Einsatzbereich von dem Eingangsteil 15a aus betreten. Während eines Zeitraums, in dem der Roboter 11 angetrieben wird, bleibt der Bediener 16 vorzugsweise außerhalb der Einfriedung 15.
-
Das Robotersystem gemäß der vorliegenden Ausführungsform beinhaltet eine Bildvorrichtung 21. Die Bildvorrichtung 21 erfasst ein Betreten des Einsatzbereichs durch den Bediener 16 während des Zeitraums, in dem der Roboter 11 angetrieben wird. Darüber hinaus erfasst die Bildvorrichtung 21 ein Verlassen des Einsatzbereichs durch den Bediener 16. Wenn der Bediener 16 den Einsatzbereich betritt, führt die Robotersteuereinheit 12 der vorliegenden Ausführungsform eine Steuerung so durch, dass der Roboter 11 und die Hand 13 angehalten werden.
-
3 ist eine schematische Draufsicht, die eine Kamera, eine Lichtquelle und ein abzubildendes Objekt darstellt. Unter Bezugnahme auf 1 bis 3 erfasst die Bildvorrichtung 21 der vorliegenden Ausführungsform ein Betreten des durch die Einfriedung 15 umgebenen Bereichs durch den Bediener 16 von dem Eingangsteil 15a aus. Die Bildvorrichtung 21 beinhaltet eine erste Kamera 23, die als erste Bildgebungseinheit zum Aufnehmen eines Bildes eines vorgegebenen Bereichs dient, und eine zweite Kamera 24, die als zweite Bildgebungseinheit zum Aufnehmen eines Bildes des vorgegebenen Bereichs dient. Die erste Kamera 23 und die zweite Kamera 24 sind auf einem Sockel 27 befestigt.
-
In der Bildvorrichtung 21 der vorliegenden Ausführungsform sind die beiden Kameras 23 und 24 unter Berücksichtigung einer Zunahme des Messfehlers eines Entfernungsbildes und eines Fehlers der Kameras angeordnet. Mit anderen Worten, die Bildvorrichtung 21 der vorliegenden Ausführungsform beinhaltet die mehreren Kameras 23 und 24 mit Blick auf die Sicherheit für den Fall einer Störung einer der Kameras.
-
Die relativen Positionen der ersten Kamera 23 und der zweiten Kamera 24 werden im Voraus festgelegt. Mit anderen Worten, die zweite Kamera 24 ist an einer vorgegebenen Position relativ zu der ersten Kamera 23 angeordnet. Die erste Kamera 23 und die zweite Kamera 24 sind an einem Tragelement 28 des Sockels 27 befestigt. Die erste Kamera 23 und die zweite Kamera 24 sind so angeordnet, dass sie ein Bild von einem vorgegebenen gemeinsamen Bereich aufnehmen. Die erste Kamera 23 und die zweite Kamera 24 sind so angeordnet, dass ein Abbildungsbereich 23a und ein Abbildungsbereich 24a einander überlappen.
-
Die erste Kamera 23 und die zweite Kamera 24 der vorliegenden Ausführungsform sind so angeordnet, dass der Eingangsteil 15a in den Abbildungsbereichen 23a und 24a beinhaltet ist. Mit anderen Worten, die erste Kamera 23 und die zweite Kamera 24 befinden sich an einer Position, an der ein Bild des durch den Eingangsteil 15a gehenden Bedieners 16 aufgenommen werden kann.
-
Die Bildvorrichtung 21 beinhaltet eine erste Lichtquelle 25, die Licht auf den Bereich emittiert, in dem die erste Kamera 23 ein Bild aufnimmt. Die erste Lichtquelle 25 emittiert Licht, wenn die erste Kamera 23 das Bild aufnimmt. Die Bildvorrichtung 21 beinhaltet eine zweite Lichtquelle 26, die Licht auf den Bereich emittiert, in dem die zweite Kamera 24 ein Bild aufnimmt. Die zweite Lichtquelle 26 emittiert Licht, wenn die zweite Kamera 24 das Bild aufnimmt.
-
Die erste Kamera 23 und die zweite Kamera 24 sind Kameras, die Entfernungsbilder gemäß einem Lichtlaufzeitverfahren aufnehmen. Die erste Kamera 23 und die zweite Kamera 24 werden auch als TOF(Time-Of-Flight, Laufzeit)-Kameras bezeichnet. Die erste Kamera 23 und die zweite Kamera 24 beinhalten jeweils einen Bildpunktsensor. Der Bildpunktsensor kann ein beliebiger Bildpunktsensor sein, der ein Entfernungsbild und ein zweidimensionales Bild aufnehmen kann. Beispielsweise kann der Bildpunktsensor ein CMOS(Complementary Metal-Oxide-Semiconductor, komplementärer Metalloxidhalbleiter)-Sensor sein.
-
Die Bildvorrichtung 21 beinhaltet eine Bildverarbeitungsvorrichtung 22, die als Bildverarbeitungseinheit zum Verarbeiten des Ausgangssignals der ersten Kamera 23 und des Ausgangssignals der zweiten Kamera 24 dient. Die Bildverarbeitungsvorrichtung 22 kann aus einer Arithmetikverarbeitungsvorrichtung bestehen, die eine CPU, einen ROM, einen RAM und dergleichen beinhaltet.
-
Die Bildverarbeitungsvorrichtung 22 beinhaltet eine Speichereinheit 37, die Informationen zu der Zeit speichert, zu der die Bilder der Kameras 23 und 24 verarbeitet werden. Die Speichereinheit 37 speichert zum Beispiel einen Beurteilungswert zum Beurteilen des Entfernungsbildes. Die Bildverarbeitungsvorrichtung 22 beinhaltet eine Anzeigeeinheit 38, die Informationen im Zusammenhang mit den Bildern der Kameras 23 und 24 anzeigt. Die Anzeigeeinheit 38 ist durch eine Flüssigkristall-Anzeigetafel und dergleichen ausgebildet. Die Anzeigeeinheit 38 kann zum Beispiel ein aufgenommenes Entfernungsbild oder ein aufgenommenes Raumbild anzeigen. Ferner kann die Anzeigeeinheit 38 eine Warnung, den Beurteilungswert und dergleichen anzeigen.
-
Die Bildverarbeitungsvorrichtung 22 beinhaltet eine Bildgebungs-Steuereinheit 33, die die erste Kamera 23, die zweite Kamera 24, die erste Lichtquelle 25 und die zweite Lichtquelle 26 steuert. Die Bildgebungs-Steuereinheit 33 sendet einen Befehl zum Aufnehmen der Bilder an die erste Kamera 23 und die zweite Kamera 24. Die Bildgebungs-Steuereinheit 33 steuert die erste Lichtquelle 25 so, dass diese mehrmals Licht emittiert, wenn die erste Kamera 23 das Bild aufnimmt. Darüber hinaus steuert die Bildgebungs-Steuereinheit 33 die zweite Lichtquelle 26 so, dass diese mehrmals Licht emittiert, wenn die zweite Kamera 24 das Bild aufnimmt.
-
Die Bildverarbeitungsvorrichtung 22 beinhaltet eine erste Entfernungsbild-Erzeugungseinheit 31, die ein erstes Entfernungsbild aus dem Ausgangssignal der ersten Kamera 23 auf Grundlage einer Lichtlaufzeit erzeugt. Das Entfernungsbild beinhaltet Informationen über eine Entfernung von der Kamera zu einem abgebildeten Objekt. Die Bildverarbeitungsvorrichtung 22 beinhaltet eine zweite Entfernungsbild-Erzeugungseinheit 32, die ein zweites Entfernungsbild aus dem Ausgangssignal der zweiten Kamera 24 auf Grundlage einer Lichtlaufzeit erzeugt. Die Entfernungsbild-Erzeugungseinheiten 31 und 32 berechnen die Laufzeit von Licht und berechnen anschließend Entfernungen von den jeweiligen Kameras 23 und 24 zu einem abgebildeten Objekt. Die Entfernungsbild-Erzeugungseinheiten 31 und 32 messen die Zeit, während der Licht von den Lichtquellen 25 und 26 emittiert wird und zu den Kameras 23 und 24 zurückkehrt. Beispielsweise erfassen die Entfernungsbild-Erzeugungseinheiten 31 und 32 eine Phasendifferenz eines Lichts und berechnen die Zeit, während der das Licht durch das Objekt reflektiert wird und zu den Kameras 23 und 24 zurückkehrt. Die Entfernungsbild-Erzeugungseinheiten 31 und 32 empfangen durch den Bildpunktsensor der ersten Kamera 23 und den Bildpunktsensor der zweiten Kamera 24 erzeugte Signale und erzeugen Entfernungsbilder, die den jeweiligen Kameras entsprechen. Ferner können die Entfernungsbild-Erzeugungseinheiten 31 und 32 die Position eines beliebigen in einem Bild enthaltenen Punktes auf Grundlage einer Entfernung zu dem Punkt berechnen.
-
Die Bildverarbeitungsvorrichtung 22 beinhaltet eine Arithmetikverarbeitungseinheit 35, die durch die erste Kamera 23 und die zweite Kamera 24 aufgenommene Entfernungsbilder verarbeitet. Die Arithmetikverarbeitungseinheit 35 beinhaltet eine Eintrittserfassungseinheit 41, die ein Betreten des Einsatzbereichs durch den Bediener 16 auf Grundlage des ersten Entfernungsbildes und des zweiten Entfernungsbildes erfasst. Die Eintrittserfassungseinheit 41 erfasst eine Position des Bedieners 16 in jedem der Entfernungsbilder. Wenn sich der Bediener 16 in dem ersten Entfernungsbild und/oder dem zweiten Entfernungsbild in den Einsatzbereich bewegt, kann die Eintrittserfassungseinheit 41 feststellen, dass der Bediener 16 den Einsatzbereich betreten hat. Die Eintrittserfassungseinheit 41 kann das Eintreten des Bedieners mithilfe des ersten Entfernungsbildes und des zweiten Entfernungsbildes unter einer beliebigen Steuerung feststellen.
-
Wenn der Bediener 16 den Einsatzbereich betritt, sendet die Eintrittserfassungseinheit 41 ein Signal an die Robotersteuereinheit 12, um sie über das Eintreten des Bedieners zu informieren. Die Robotersteuereinheit 12 beendet das Antreiben des Roboters 11 und der Hand 13. Alternativ kann die Robotersteuereinheit 12 eine Steuerung so durchführen, dass Betriebsgeschwindigkeiten des Roboters 11 und der Hand 13 verringert werden.
-
Die Eintrittserfassungseinheit 41 kann das Verlassen des Einsatzbereichs durch den Bediener 16 erfassen. Die Eintrittserfassungseinheit 41 der vorliegenden Ausführungsform stellt fest, dass der Bediener 16 den Einsatzbereich verlassen hat, wenn sich der Bediener 16 in beiden Entfernungsbildern, dem ersten Entfernungsbild und dem zweiten Entfernungsbild, aus dem Einsatzbereich bewegt. Darüber hinaus kann die Eintrittserfassungseinheit 41 das Verlassen des Einsatzbereichs durch den Bediener 16 mithilfe des ersten Entfernungsbildes und des zweiten Entfernungsbildes unter einer beliebigen Steuerung feststellen.
-
Die Eintrittserfassungseinheit 41 sendet ein Signal an die Robotersteuereinheit 12, um sie über das Verlassen durch den Bediener zu informieren. Die Robotersteuereinheit 12 beginnt das Antreiben des Roboters 11 und der Hand 13 von Neuem. Alternativ kann die Robotersteuereinheit 12 eine Steuerung so durchführen, dass Betriebsgeschwindigkeiten des Roboters 11 und der Hand 13 zu ursprünglichen Geschwindigkeiten zurückgeführt werden. Wenn sich der Bediener 16 aus dem Eingangsteil 15a der Einfriedung 15 bewegt, kann der Bediener 16 die Robotersteuereinheit 12 durch Drücken einer vorgegebenen Taste der Robotersteuereinheit 12 über das Verlassen durch den Bediener 16 informieren.
-
Auf diese Weise kann die Bildverarbeitungsvorrichtung 22 der vorliegenden Ausführungsform die Positionen eines Objekts und einer Person in einem Bild erfassen. Alternativ kann die Bildverarbeitungsvorrichtung 22 das Vorhandensein oder das Nichtvorhandensein des Objekts und der Person in einem vorgegebenen Bereich erfassen.
-
Unter Bezugnahme auf 3 kann die erste Kamera 23 das Bild des Objekts oder der Person in dem Bereich des Abbildungsbereichs 23a aufnehmen. Die zweite Kamera 24 kann das Bild des Objekts oder der Person in dem Abbildungsbereich 24a aufnehmen. In diesem Beispiel wird ein Objekt 62 erörtert. Die Entfernungsbild-Erzeugungseinheiten 31 und 32 können Entfernungen von den Kameras 23 und 24 zu dem Objekt 62 auf Grundlage der durch die Kameras 23 und 24 aufgenommenen Entfernungsbilder erfassen.
-
Die Kameras 23 und 24 und die Lichtquellen 25 und 26 können jedoch empfindlich gegenüber der Umgebungstemperatur sein. Der Einfluss der Temperatur wird als Temperaturdrift bezeichnet. Ferner wird die Entfernung zu dem Objekt 62 möglicherweise aufgrund einer Alterungsverschlechterung der Kameras 23 und 24 nicht korrekt erfasst. In dem Beispiel von 3 kann die Entfernung zu dem Objekt 62 in dem durch die erste Kamera 23 aufgenommenen ersten Entfernungsbild korrekt erfasst werden, wohingegen in dem durch die zweite Kamera 24 aufgenommenen zweiten Entfernungsbild die Entfernung zu dem Objekt 62 aufgrund einer Alterungsverschlechterung der zweiten Kamera 24 nicht korrekt gemessen werden kann. In dem zweiten Entfernungsbild ist die gemessene Entfernung von der zweiten Kamera 24 zu dem Objekt 62 kürzer als eine tatsächliche Entfernung. Daher scheint sich das erfasste Objekt 62 in dem zweiten Entfernungsbild an einer Position 63 zu befinden.
-
Unter Bezugnahme auf 2 ist die Bildverarbeitungsvorrichtung 22 der vorliegenden Ausführungsform so ausgebildet, dass sie eine Anomalie des ersten Entfernungsbildes und/oder des zweiten Entfernungsbildes erfasst. Die erste Kamera 23 und die zweite Kamera 24 der vorliegenden Ausführungsform können ein Graustufensignal in einem Bildpunkt der jeweiligen Bildpunktsensoren ausgeben. Die Bildverarbeitungsvorrichtung 22 beinhaltet eine erste Einheit 51 zum Erzeugen eines zweidimensionalen Bildes, die ein erstes zweidimensionales Bild aus dem Ausgangssignal der ersten Kamera 23 erzeugt, und eine zweite Einheit 52 zum Erzeugen eines zweidimensionalen Bildes, die ein zweites zweidimensionales Bild aus dem Ausgangssignal der zweiten Kamera 24 erzeugt. In der vorliegenden Ausführungsform werden die relativen Positionen der ersten Kamera 23 und der zweiten Kamera 24 im Voraus festgelegt. Darüber hinaus kann ein Entfernungsinformationen beinhaltendes Raumbild auf Grundlage der relativen Positionen und der beiden zweidimensionalen Bilder erzeugt werden. Die Bildverarbeitungsvorrichtung 22 beinhaltet eine Raumbild-Erzeugungseinheit 53, die ein Raumbild auf Grundlage des ersten zweidimensionalen Bildes und des zweiten zweidimensionalen Bildes erzeugt. Das Raumbild ist ein Entfernungsbild, das Entfernungsinformationen über den in Bildern enthaltenen Teil beinhaltet.
-
Die Arithmetikverarbeitungseinheit 35 beinhaltet eine Bildvergleichseinheit 42, die mehrere Bilder vergleicht. Eine Temperaturdrift kann in einem gemäß dem Lichtlaufzeitverfahren aufgenommenen Entfernungsbild auftreten. Ein Raumbild ist jedoch kaum anfällig für eine Temperaturdrift und eine im Laufe der Zeit auftretende Veränderung der Kameras, wodurch eine korrekte Berechnung der Entfernung zu dem Objekt ermöglicht wird. In der vorliegenden Ausführungsform werden in dem Raumbild enthaltene Entfernungsinformationen als korrekte Entfernungsinformationen verwendet. Die Bildvergleichseinheit 42 ermittelt durch Vergleichen des Raumbildes und des ersten Entfernungsbildes, ob das erste Entfernungsbild anomal ist. Ferner ermittelt die Bildvergleichseinheit 42 durch Vergleichen des Raumbildes und des zweiten Entfernungsbildes, ob das zweite Entfernungsbild anomal ist.
-
Die Arithmetikverarbeitungseinheit 35 beinhaltet eine Kalibrierungsbefehlseinheit 44, die einen Befehl zum Kalibrieren des Bildes an die erste Entfernungsbild-Erzeugungseinheit 31 und/oder die zweite Entfernungsbild-Erzeugungseinheit 32 sendet. Die Kalibrierungsbefehlseinheit 44 sendet den Kalibrierungsbefehl an die Entfernungsbild-Erzeugungseinheit, die das anomale Entfernungsbild erzeugt hat.
-
4 ist ein Ablaufplan einer Steuerung zum Erfassen der Anomalie des Entfernungsbildes in der Bildvorrichtung der vorliegenden Ausführungsform. Die Steuerung in 4 kann in einem beliebigen Zeitraum durchgeführt werden. Alternativ kann die Steuerung in 4 in vorgegebenen Zeitabständen durchgeführt werden.
-
Unter Bezugnahme auf 2 und 4 nehmen in Schritt 81 die erste Kamera 23 und die zweite Kamera 24 die Bilder auf. Die Bildgebungs-Steuereinheit 33 steuert die erste Lichtquelle 25 und die erste Kamera 23, um das Bild aufzunehmen. Danach steuert die Bildgebungs-Steuereinheit 33 die zweite Lichtquelle 26 und die zweite Kamera 24, um das Bild aufzunehmen. In Schritt 82 erzeugt die erste Entfernungsbild-Erzeugungseinheit 31 das erste Entfernungsbild auf Grundlage des Ausgangssignals der ersten Kamera 23. Die zweite Entfernungsbild-Erzeugungseinheit 32 erzeugt das zweite Entfernungsbild auf Grundlage des Ausgangssignals der zweiten Kamera 24.
-
Anschließend berechnen in Schritt 83 die Entfernungsbild-Erzeugungseinheiten 31 und 32 jeweils die Position eines in dem Entfernungsbild enthaltenen vorgegebenen Messpunktes. Unter Bezugnahme auf 1 und 3 wird in der vorliegenden Ausführungsform eine Markierung 61 als Messpunkt zum Erfassen einer Anomalie des Entfernungsbildes angeordnet. Die Markierung 61 der vorliegenden Ausführungsform bewegt sich nicht. Die Markierung 61 ist in den Abbildungsbereichen 23a und 24a der Kameras 23 und 24 angeordnet.
-
Unter Bezugnahme auf 2 und 4 berechnen die Entfernungsbild-Erzeugungseinheiten 31 und 32 jeweils die Position der Markierung 61 auf Grundlage der jeweiligen Entfernungsbilder. Die Entfernungsbilder beinhalten Informationen über Entfernungen von den Kameras 23 und 24 zu dem Messpunkt. Die Entfernungsbild-Erzeugungseinheiten 31 und 32 können die Position des Messpunktes auf Grundlage von Entfernungen von den Kameras 23 und 24 zu dem Messpunkt und der Positionen der Kameras 23 und 24 berechnen. Die Position des Messpunktes kann durch ein vorgegebenes Koordinatensystem festgelegt werden. Die erste Entfernungsbild-Erzeugungseinheit 31 erfasst die Position der Markierung 61 auf Grundlage des ersten Entfernungsbildes. Die zweite Entfernungsbild-Erzeugungseinheit 32 erfasst die Position der Markierung 61 auf Grundlage des zweiten Entfernungsbildes.
-
In Schritt 84 vergleicht die Bildvergleichseinheit 42 der Arithmetikverarbeitungseinheit 35 die Position der Markierung 61 auf Grundlage des ersten Entfernungsbildes und die Position der Markierung 61 auf Grundlage des zweiten Entfernungsbildes. Die Bildvergleichseinheit 42 berechnet die Entfernung zwischen der Position des Messpunktes auf Grundlage des ersten Entfernungsbildes und der Position des Messpunktes auf Grundlage des zweiten Entfernungsbildes. Die Bildvergleichseinheit 42 kann feststellen, dass das erste Entfernungsbild und das zweite Entfernungsbild normal sind, wenn die Entfernung zwischen der Position der Markierung 61 auf Grundlage des ersten Entfernungsbildes und der Position der Markierung 61 auf Grundlage des zweiten Entfernungsbildes nicht größer als ein Beurteilungswert ist. In diesem Fall wird die Steuerung beendet.
-
Wenn die Entfernung zwischen der Position der Markierung 61 auf Grundlage des ersten Entfernungsbildes und der Position der Markierung 61 auf Grundlage des zweiten Entfernungsbildes größer als der Beurteilungswert ist, stellt die Bildvergleichseinheit 42 fest, dass das erste Entfernungsbild und/oder das zweite Entfernungsbild eine Anomalie aufweist. In diesem Fall geht die Steuerung zu Schritt 85 über. Anschließend erzeugt die Bildverarbeitungsvorrichtung 22 das Raumbild auf Grundlage des Ausgangssignals der ersten Kamera 23 und des Ausgangssignals der zweiten Kamera 24.
-
In Schritt 85 steuert die Bildgebungs-Steuereinheit 33 die erste Kamera 23 und die zweite Kamera 24, um ein zweidimensionales Bild aufzunehmen. Die erste Einheit 51 zum Erzeugen eines zweidimensionalen Bildes erzeugt das erste zweidimensionale Bild auf Grundlage des Ausgangssignals der Bildpunkt-Graustufen der ersten Kamera 23. Die zweite Einheit 52 zum Erzeugen eines zweidimensionalen Bildes erzeugt das zweite zweidimensionale Bild auf Grundlage des Ausgangssignals der Bildpunkt-Graustufen der zweiten Kamera 24. Auf diese Weise erzeugen die Einheiten 51 und 52 zum Erzeugen eines zweidimensionalen Bildes die jeweiligen zweidimensionalen Graustufenbilder mithilfe der Ausgaben der in den Kameras 23 und 24 enthaltenen Bildpunktsensoren.
-
In Schritt 86 erzeugt die Raumbild-Erzeugungseinheit 53 das Raumbild mithilfe des ersten zweidimensionalen Bildes und des zweiten zweidimensionalen Bildes. Die Raumbild-Erzeugungseinheit 53 erzeugt das Raumbild auf Grundlage der Positionen der beiden Kameras 23 und 24 und einer Parallaxe in den beiden zweidimensionalen Bildern. Das Raumbild ist das Entfernungsbild, das Informationen über die Entfernung zu dem in dem Bild enthaltenen Objekt beinhaltet. In Schritt 87 berechnet die Raumbild-Erzeugungseinheit 53 die Position der Markierung 61 auf Grundlage der in dem Raumbild enthaltenen Entfernung zu der Markierung 61 und der Positionen der Kameras 23 und 24. Die erfasste Position der Markierung 61 wird als korrekte Position verwendet.
-
Bei der Erzeugung eines Raumbildes werden in Schritt 85 keine zusätzlichen Bilder aufgenommen, und die Ausgangssignale der Kameras 23 und 24 während der Bildgebung in Schritt 82 können verwendet werden.
-
In Schritt 88 bestimmt die Bildvergleichseinheit 42 das Entfernungsbild, in dem die Anomalie aufgetreten ist, aus dem ersten Entfernungsbild und dem zweiten Entfernungsbild. Die Bildvergleichseinheit 42 vergleicht die Position der Markierung 61 in dem Raumbild und die Position der Markierung 61 in dem ersten Entfernungsbild. Wenn die Entfernung zwischen den Positionen der Markierungen 61 in den jeweiligen Bildern nicht größer als der vorgegebene Beurteilungswert ist, stellt die Bildvergleichseinheit 42 fest, dass das erste Entfernungsbild normal ist. Wenn die Entfernung zwischen den Positionen der Markierungen 61 in den jeweiligen Bildern größer als der vorgegebene Beurteilungswert ist, stellt die Bildvergleichseinheit 42 fest, dass das erste Entfernungsbild anomal ist. Auf diese Weise bestimmt die Bildvergleichseinheit 42 durch Vergleichen der Entfernungsbilder mit dem Raumbild das anomale Entfernungsbild.
-
Ferner vergleicht die Bildvergleichseinheit 42 die Position der Markierung 61 in dem Raumbild und die Position der Markierung 61 in dem zweiten Entfernungsbild. Wenn die Entfernung zwischen den Positionen der Markierungen 61 in den jeweiligen Bildern nicht größer als der Beurteilungswert ist, kann die Bildvergleichseinheit 42 feststellen, dass das zweite Entfernungsbild normal ist. Wenn die Entfernung zwischen den Positionen der Markierungen 61 in den jeweiligen Bildern größer als der vorgegebene Beurteilungswert ist, kann die Bildvergleichseinheit 42 feststellen, dass das zweite Entfernungsbild anomal ist.
-
Anschließend sendet die Kalibrierungsbefehlseinheit 44 in Schritt 89 die Befehle zum Kalibrieren des Entfernungsbildes an die Entfernungsbild-Erzeugungseinheiten 31 und 32, die die anomalen Entfernungsbilder erzeugt haben. Die Kalibrierungsbefehlseinheit 44 sendet den Kalibrierungsbefehl zum Anpassen der Position der Markierung 61 auf Grundlage des Entfernungsbildes an die Position der Markierung 61 auf Grundlage des Raumbildes.
-
Der Fehler der gemäß dem Lichtlaufzeitverfahren gemessenen Entfernung wird zum Beispiel durch einen Fehler in dem Lichtemissionstakt der Lichtquellen 25 und 26 verursacht. Der Entfernungsfehler tritt einheitlich für jeden in dem Entfernungsbild enthaltenen Teil auf. Dementsprechend können sämtliche Entfernungen, die den Bildpunkten entsprechen, durch ein einziges Korrekturverfahren korrigiert werden. Beispielsweise kann ein konstanter Korrekturwert zu sämtlichen für die Bildpunkte erfassten Entfernungen addiert oder von diesen subtrahiert werden. Auf diese Weise können die Entfernungsbild-Erzeugungseinheiten 31 und 32 die Entfernungsbilder kalibrieren.
-
5 stellt eine schematische Draufsicht der beiden Kameras und des Objekts nach der Kalibrierung der Entfernungsbilder dar. In diesem Beispiel wird das zweite Entfernungsbild kalibriert, das durch die zweite Kamera 24 aufgenommen worden ist. Mit anderen Worten, die Kalibrierungsbefehlseinheit 44 sendet den Kalibrierungsbefehl an die zweite Entfernungsbild-Erzeugungseinheit 32. Die aus dem Bild der ersten Kamera 23 bestimmte Position des Objekts 62 stimmt mit der aus dem Bild der zweiten Kamera 24 bestimmten Position des Objekts 62 überein.
-
Die Bildverarbeitungsvorrichtung 22 der vorliegenden Ausführungsform vergleicht das Raumbild und das erste Entfernungsbild und vergleicht das Raumbild und das zweite Entfernungsbild. Die Bildverarbeitungsvorrichtung 22 kann die Anomalie in dem ersten Entfernungsbild und/oder dem zweiten Entfernungsbild erfassen. In dem oben erwähnten Beispiel tritt die Anomalie in dem zweiten Entfernungsbild auf. Die vorliegende Erfindung ist nicht auf diese Ausführungsform beschränkt. Die Anomalie kann sowohl in dem ersten Entfernungsbild als auch in dem zweiten Entfernungsbild auftreten. In diesem Fall kann die Kalibrierungsbefehlseinheit 44 den Befehl zum Kalibrieren des Entfernungsbildes an die erste Entfernungsbild-Erzeugungseinheit 31 und die zweite Entfernungsbild-Erzeugungseinheit 32 senden.
-
Ferner kann die Bildvergleichseinheit 42 das erste Entfernungsbild oder das zweite Entfernungsbild mit dem Raumbild vergleichen. Wenn die erste Kamera beispielsweise erheblich älter als die zweite Kamera ist, kann das durch die erste Kamera aufgenommene erste Entfernungsbild mit dem Raumbild verglichen werden, um eine Alterungsverschlechterung der ersten Kamera zu erfassen. In diesem Fall dürfen das Raumbild und das zweite Entfernungsbild nicht miteinander verglichen werden.
-
Bei der oben erwähnten Steuerung vergleicht die Bildvergleichseinheit 42 das erste Entfernungsbild und das zweite Entfernungsbild, bevor sie das Raumbild und die Entfernungsbilder vergleicht. Die Bildvergleichseinheit 42 stellt das Vorhandensein oder Nichtvorhandensein der Anomalie in dem ersten Entfernungsbild und dem zweiten Entfernungsbild fest. Nach dem Erfassen des Vorhandenseins einer Anomalie in dem ersten Entfernungsbild oder dem zweiten Entfernungsbild erkennt die Bildvergleichseinheit 42 das Entfernungsbild, das die Anomalie aufweist, auf Grundlage des Raumbildes.
-
Anomalien aufgrund einer Alterungsverschlechterung treten selten gleichzeitig sowohl in dem ersten Entfernungsbild als auch in dem zweiten Entfernungsbild auf. Daher kann die Bildvergleichseinheit 42 feststellen, dass die Anomalie in dem ersten Entfernungsbild oder dem zweiten Entfernungsbild aufgetreten ist, wenn ein vorgegebener Unterschied zwischen den Entfernungsbildern auftritt. Durch Anwenden dieser Steuerung kann das Raumbild nur erzeugt werden, wenn die Anomalie in dem Entfernungsbild auftritt. Wenn eine Steuerung durchgeführt wird, um das Vorhandensein oder das Nichtvorhandensein der Anomalie in dem Entfernungsbild zu ermitteln, braucht das Raumbild nicht für jede Ermittlung erzeugt zu werden, wodurch eine Verarbeitungszeit verkürzt werden kann.
-
Die Bildvergleichseinheit 42 kann das Raumbild und das erste Entfernungsbild vergleichen und anschließend das Raumbild und das zweite Entfernungsbild vergleichen, statt das erste Entfernungsbild und das zweite Entfernungsbild zu vergleichen. Mit anderen Worten, die Bildvergleichseinheit 42 kann das Raumbild und die beiden Entfernungsbilder vergleichen, um das Entfernungsbild zu erkennen, das die Anomalie aufweist, ohne eine Steuerung durchzuführen, um das erste Entfernungsbild und das zweite Entfernungsbild zu vergleichen.
-
Während der Erzeugung des Raumbildes führt die Raumbild-Erzeugungseinheit 53 die Steuerung durch, bei der eine Position in dem zweiten zweidimensionalen Bild erkannt wird, die einem vorgegebenen Teil in dem ersten zweidimensionalen Bild entspricht. Beispielsweise führt die Raumbild-Erzeugungseinheit 53 die Steuerung durch, bei der ein Teil des zweiten zweidimensionalen Bildes erkannt wird, der dem Eintrittsteil 15a in dem ersten zweidimensionaten Bild entspricht. Danach wird die Parallaxe berechnet. Die Steuerung zum Erkennen eines entsprechenden Teils kann mithilfe der Leuchtdichte des Bildpunktes durchgeführt werden. Beispielsweise kann bei der Steuerung zum Erkennen des entsprechenden Teils eine Übereinstimmungsbewertungsfunktion für Leuchtdichteschwankungen unter Bildpunkten verwendet werden. Bei der Steuerung zum Erkennen des entsprechenden Teils wird der Rechenaufwand erhöht, wodurch die Belastung der Bildverarbeitungsvorrichtung 22 erhöht wird.
-
Bei der vorliegenden Ausführungsform kann die Raumbild-Erzeugungseinheit 53 die Entfernung von der Kamera zu einem vorgegebenen Teil auf Grundlage von in dem ersten Entfernungsbild oder dem zweiten Entfernungsbild enthaltenen Entfernungsinformationen gewinnen. Unter der Steuerung, die dazu durchgeführt wird, einen entsprechenden Teil zu erkennen, kann die Entfernung von der Kamera zu dem vorgegebenen Teil erkannt werden, wodurch der Suchbereich des entsprechenden Teils verringert wird. Die Raumbild-Erzeugungseinheit 53 kann die Steuerung so durchführen, dass der entsprechende Teil in einem kleinen Bereich erkannt wird. Durch diese Steuerung kann die Verarbeitungslast der Bildverarbeitungsvorrichtung 22 verringert werden.
-
Ferner wird bei der vorliegenden Ausführungsform die Markierung 61 im Voraus festgelegt als Messpunkt zum Messen der Position in dem Bereich, in dem die erste Kamera 23 das Bild aufnimmt, und dem Bereich, in dem die zweite Kamera 24 das Bild aufnimmt. Die Bildvergleichseinheit 42 vergleicht das erste Entfernungsbild und das zweite Entfernungsbild an der Markierung 61. Darüber hinaus vergleicht die Bildvergleichseinheit 42 das Raumbild und das erste Entfernungsbild und/oder das zweite Entfernungsbild, um die Anomalie des Entfernungsbildes zu erfassen.
-
Wenn der Messpunkt, der einem Teil des Bildes entspricht, im Voraus festgelegt wird, braucht die Raumbild-Erzeugungseinheit 53 daher nur das Raumbild des Bereichs um den Messpunkt herum zu erzeugen. Wenn das Raumbild erzeugt wird, braucht die Raumbild-Erzeugungseinheit 53 nur die Positionen des ersten zweidimensionalen Bildes und des zweiten zweidimensionalen Bildes in dem Bereich um den Messpunkt herum zu korrelieren.
-
Darüber hinaus kann die Position des Messpunktes aus der Position des Messpunktes auf Grundlage des ersten Entfernungsbildes und/oder der Position des Messpunktes auf Grundlage des zweiten Entfernungsbildes geschätzt werden. Auf diese Weise kann die Raumbild-Erzeugungseinheit 53 die Steuerung mithilfe der geschätzten Position so durchführen, dass der dem Messpunkt entsprechende Punkt erkannt wird. Diese Steuerung kann die Belastung der Bildverarbeitungsvorrichtung 22 bei der Berechnung der Position des Messpunktes verringern. Ferner kann die Raumbild-Erzeugungseinheit 53 die Parallaxe der Markierung 61 nach dem Korrelieren berechnen. Die Raumbild-Erzeugungseinheit 53 kann die Entfernung zu der Markierung 61 auf Grundlage der Parallaxe berechnen.
-
Die Bildvergleichseinheit kann eine Anomalie des Entfernungsbildes durch Vergleichen der Positionen beliebiger anderer Teile als des vorgegebenen Messpunktes erkennen. Beispielsweise wählt die Bildvergleichseinheit einen Teil aus, in dem eine Kante des Objekts in dem Raumbild deutlich ist. Die Bildvergleichseinheit bestimmt einen Teil, der dem ausgewählten Teil in dem Entfernungsbild entspricht. Die Bildvergleichseinheit kann die Anomalie des Entfernungsbildes mithilfe des Teils erkennen.
-
Wie oben beschrieben, tritt der durch das Lichtlaufzeitverfahren verursachte Entfernungsfehler in dem aufgenommenen Bild einheitlich auf. Mit anderen Worten, es tritt kein lokaler Fehler auf, bei dem die Entfernungsgenauigkeit in dem Teil des Entfernungsbildes vermindert ist. Daher wird der Teil des Bildes vorzugsweise im Voraus für die Erkennung der Anomalie des Entfernungsbildes festgelegt. Darüber hinaus wird der Teil des Bildes vorzugsweise als feststehender Teil ausgewählt.
-
Die Bildverarbeitungsvorrichtung 22 der vorliegenden Ausführungsform erzeugt die Entfernungsbilder aus dem Ausgangssignal der ersten Kamera 23 und dem Ausgangssignal der zweiten Kamera 24. Ferner weist die Bildverarbeitungsvorrichtung 22 die Funktion zum Erzeugen des Raumbildes auf Grundlage des Ausgangssignals der ersten Kamera 23 und des Ausgangssignals der zweiten Kamera 24 auf. Die Bildverarbeitungsvorrichtung 22 der vorliegenden Ausführungsform kombiniert das Raumbild und das erste Entfernungsbild und/oder das zweite Entfernungsbild mithilfe dieser Funktionen. Durch Kombinieren des Entfernungsbildes und des Raumbildes kann das Bild mit korrekten Entfernungsinformationen erzeugt werden.
-
6 ist eine schematische Draufsicht, die die beiden Kameras und ein Objekt darstellt. Ein Objekt 65 weist lineare Teile 65a, 65b und 65c und Oberflächenteile 65d, 65e, 65f und 65g auf. Die Oberflächenteile 65d, 65e, 65f und 65g dienen als Oberfläche des aufgenommenen Bildes. Die linearen Teile 65a, 65b und 65c dienen als Linien, z. B. die Kanten eines aufgenommenen Bildes. Der lineare Teil beinhaltet zusätzlich zu der Kante eine auf dem Oberflächenteil ausgebildete Struktur.
-
In dem durch das Lichtlaufzeitverfahren aufgenommenen Entfernungsbild kann eine korrekte Entfernung (Position) in den Oberflächenteilen 65d, 65e, 65f und 65g erfasst werden, da das von dem Objekt 65 reflektierte Licht gewonnen wird. An den linearen Teilen 65a, 65b und 65c kann jedoch eine inkorrekte Entfernung (Position) erfasst werden. Zum Beispiel variiert das Objekt 65, in den linearen Teilen 65a, 65b und 65c, beträchtlich in der Höhe in dem Abbildungsbereich, der einem Bildpunkt entspricht. In diesem Fall kann ein Wert erfasst werden, der dem Zwischenwert der Höhen nahe ist, oder es kann ein völlig anderer Höhenwert als die tatsächliche Höhe erfasst werden.
-
Demgegenüber kann in einem Raumbild die Entfernung (Position) der linearen Teile 65a, 65b und 65c korrekt erfasst werden, wohingegen eine inkorrekte Entfernung (Position) an den Oberflächenteilen 65d, 65e, 65f und 65g erfasst werden kann. Beispielsweise ist der Oberflächenteil 65g leicht gekrümmt, und folglich tritt in dem Oberflächenteil 65g keine Parallaxe auf. Diese Ausführung kann das Gewinnen der Entfernung (Position) verhindern.
-
Die Bildverarbeitungsvorrichtung 22 der vorliegenden Ausführungsform erzeugt ein Entfernungsbild durch Kombinieren des linearen Teils des Raumbildes und des Oberflächenteils des Entfernungsbildes. Unter Bezugnahme auf 2 beinhaltet die Arithmetikverarbeitungseinheit 35 eine Einheit 43 zum Erzeugen eines zusammengesetzten Bildes, die das Raumbild und das erste Entfernungsbild und/oder das zweite Entfernungsbild kombiniert.
-
7 zeigt eine graphische Blockdarstellung der Einheit zum Erzeugen eines zusammengesetzten Bildes. Die Einheit 43 zum Erzeugen eines zusammengesetzten Bildes beinhaltet eine Einheit 46 zum Auswählen eines linearen Teils, die einen linearen Teil aus dem Raumbild auswählt. Die Einheit 46 zum Auswählen eines linearen Teils extrahiert einen sich linear erstreckenden Teil aus dem Raumbild. Die Einheit 43 zum Erzeugen eines zusammengesetzten Bildes beinhaltet eine Oberflächenteil-Auswahleinheit 47, die einen Oberflächenteil aus einem Entfernungsbild, dem ersten Entfernungsbild oder dem zweiten Entfernungsbild, auswählt. Das aus dem ersten Entfernungsbild und dem zweiten Entfernungsbild auszuwählende Entfernungsbild kann im Voraus bestimmt werden. In dem aufgenommenen Bild handelt es sich bei anderen Teile als den linearen Teilen um Oberflächenteile. Daher kann die Oberflächenteil-Auswahleinheit 47 zum Beispiel einen anderen Teil als einen durch die Einheit 46 zum Auswählen eines linearen Teils ausgewählten Teil auswählen.
-
Die Einheit 43 zum Erzeugen eines zusammengesetzten Bildes beinhaltet eine Kombinationseinheit 48, die ein Entfernungsbild durch Kombinieren des durch die Einheit 46 zum Auswählen eines linearen Teils ausgewählten linearen Teils und des durch die Oberflächenteil-Auswahleinheit 47 ausgewählten Oberflächenteils erzeugt. Die Kombinationseinheit 48 kann das Raumbild und das Entfernungsbild durch Verwenden des Raumbildes in einem linearen Teil und des Entfernungsbildes in einem Oberflächenteil kombinieren. Das durch die Kombinationseinheit 48 erzeugte Bild dient als Entfernungsbild, das in beiden Teilen, dem Oberflächenteil und dem linearen Teil, ausgezeichnete Entfernungsinformationen beinhaltet. So kann das zusammengesetzte Bild auf der Anzeigeeinheit 38 der Bildverarbeitungsvorrichtung 22 angezeigt werden. Darüber hinaus kann die Bildverarbeitungsvorrichtung 22 das zusammengesetzte Bild an die sonstigen Vorrichtungen senden.
-
In der Bildvorrichtung der vorliegenden Ausführungsform ist die erste Lichtquelle für die erste Kamera angeordnet, wohingegen die zweite Lichtquelle für die zweite Kamera angeordnet ist. Die vorliegende Erfindung ist nicht auf diese Ausführung beschränkt. Die erste Lichtquelle und die zweite Lichtquelle können zu einer einzigen Einheit ausgebildet sein. Mit anderen Worten, es kann eine gemeinsame Lichtquelle vorgesehen werden, um synchron mit der ersten Kamera und synchron mit der zweiten Kamera zu arbeiten. In diesem Fall emittiert die gemeinsame Lichtquelle Licht, wenn das Bild durch die erste Kamera aufgenommen wird und wenn das Bild durch die zweite Kamera aufgenommen wird. Alternativ können die erste Kamera und die zweite Kamera gleichzeitig Bilder synchron mit der Lichtemission von der gemeinsamen Lichtquelle aufnehmen.
-
Die Bildvorrichtung der vorliegenden Ausführungsform ist in dem Robotersystem angeordnet. Die vorliegende Erfindung ist nicht auf diese Ausführung beschränkt. Die Bildvorrichtung kann in einer beliebigen Vorrichtung angeordnet sein, die die Entfernung von einem Objekt oder einer Person misst oder die Position eines Objekts oder einer Person erfasst. Die Bildvorrichtung der vorliegenden Ausführungsform ist zum Beispiel anwendbar auf eine Bildvorrichtung, die eine Person erfasst, die ein Gebäude betritt, und eine Bildvorrichtung, die in einem Kraftfahrzeug angebracht ist, um eine Kollision des Kraftfahrzeugs zu verhindern.
-
Ein Aspekt der vorliegenden Offenbarung kann eine Bildvorrichtung vorsehen, die die Anomalie des Entfernungsbildes erfasst.
-
Bei der oben erwähnten Steuerung kann die Reihenfolge von Schritten beliebig geändert werden, sofern die Funktionen und Wirkungen gleich bleiben.
-
Die Ausführungsform kann kombiniert werden, wie es als zweckmäßig erachtet wird. In den Zeichnungen werden dieselben oder gleichwertige Teile durch dieselben Zeichen gekennzeichnet. Die Ausführungsform dient lediglich als Beispiel und schränkt die Erfindung nicht ein.
-
Die Ausführungsform beinhaltet in den Ansprüchen beschriebene Modifizierungen derselben.
