-
Diese Anmeldung ist eine neue US-Patentanmeldung, die das Prioritätsrecht der
JP 2012-281662 beansprucht, die am 25. Dezember 2012 eingereicht wurde, wobei der Inhalt der
JP 2012-281662 hierin durch Bezugnahme aufgenommen ist.
-
Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft eine Bildverarbeitungsvorrichtung und ein Bildverarbeitungsverfahren zur Ausführung einer Bildverarbeitung, um ein Objekt in einem Bild zu erfassen, das durch eine Bildgabevorrichtung abgebildet wurde.
-
Hintergrund der Erfindung
-
Die
JP-B-4309439 und die
JP-B-4565032 schlugen zum Beispiel ein System zur Aufnahme eines Objekts unter Verwendung eines Roboters vor, das initial unter Verwendung einer Bildgabevorrichtung einen Zustand abbildet, in dem eine Vielzahl von Objekten (zum Beispiel Komponenten) zufällig aufgehäuft ist. Daraufhin erfasst das System eines der Vielzahl von Objekten auf der Grundlage eines Bildes, das durch die Bildgabevorrichtung abgebildet ist. Dann nimmt das System das erfasste Objekt unter Vorrichtung eines Roboters auf. In einem derartigen System weist ein Objekt verschiedene Flächen (Frontoberfläche, Rückoberfläche oder Seitenoberfläche) auf, die einer Bildgabeoberfläche einer Bildgabevorrichtung (nachstehend als „Bildgabeoberfläche” bezeichnet) gegenüberliegen. Die Helligkeit eines Objekts, das in einem Bild enthalten ist, das durch die Bildgabevorrichtung abgebildet ist (nachstehend als die „Helligkeit eines Objekts” bezeichnet), ist in dem Fall, in dem eine Fläche des Objekts parallel zu der Bildgabeoberfläche liegt, größer als in dem Fall, in dem die Fläche des Objekts nicht parallel zu der Bildgabeoberfläche liegt (zum Beispiel ein Fall, in dem die Fläche des Objekts hinsichtlich der Bildgabeoberfläche geneigt ist). Da verschiedene Flächen des Objekts der Bildgabeoberfläche gegenüberstehen, variiert die Helligkeit des Objekts. Im Ergebnis ist es in einigen Fällen schwierig, das Objekt zu erfassen.
-
Wenn zum Beispiel die Fläche des Objekts parallel zu der Bildgabeoberfläche liegt, wird ein Großteil des Lichts, das in das Objekt von einer Beleuchtungsvorrichtung oder dergleichen eingetreten ist, in eine Richtung hin zu der Bildgabeoberfläche reflektiert. Im Ergebnis tritt ein Großteil des Lichts, das von dem Objekt reflektiert wurde, in die Bildgabeoberfläche ein. Deshalb erhöht sich die Helligkeit des Objekts, und tritt deshalb eine Lichthofbildung in einem Bild auf, was zu möglichen Schwierigkeiten bei der Erfassung des Objekts führt. Demgegenüber, wenn die Fläche des Objekts nicht parallel zu der Bildgabeoberfläche liegt (zum Beispiel wenn die Fläche des Objekts hinsichtlich der Bildgabeoberfläche geneigt ist), dann wird ein Großteil des Lichts, das in die Fläche des Objekts von der Beleuchtungsvorrichtung oder dergleichen eingetreten ist, in eine andere Richtung als die Bildgabeoberfläche reflektiert. Im Ergebnis tritt ein Großteil des Lichts, das von dem Objekt reflektiert wurde, nicht in die Bildgabeoberfläche ein. Deshalb nimmt die Helligkeit des Objekts ab, was zu möglichen Schwierigkeiten bei der Erfassung des Objekts führt. Auf diese Art und Weise variiert die Helligkeit des Objekts mit einem Verhältnis, in dem das Licht von dem Objekt in die Bildgabeoberfläche eintritt.
-
Demgegenüber wurden Vorrichtungen zur Vermeidung einer Situation vorgeschlagen, in der die Helligkeit eines Objekts sich auf Grund der Tatsache übermäßig erhöht, dass die Fläche des Objekts parallel zu der Bildgabeoberfläche liegt, und einer Situation, in der die Helligkeit des Objekts übermäßig abnimmt auf Grund der Tatsache, dass die Fläche des Objekts hinsichtlich der Bildgabeoberfläche geneigt ist. Die
JP-A-4-32381 schlug zum Beispiel eine Bildgabevorrichtung zur Erlangung eines Bildes mit einem großen dynamischen Bereich vor, zum Beispiel über eine Belichtung, die für eine Vielzahl von Belichtungsdurchläufen durchgeführt wird. Außerdem schlug die
JP-A-2010-134915 zum Beispiel eine Bildverarbeitungsvorrichtung vor zur Verarbeitung eines Bildes mit einem großen dynamischen Bereich aus einer Vielzahl von Bildern, die über eine Bildgabe erlangt sind, die für eine Vielzahl von Belichtungsdurchläufen durchgeführt wird.
-
Die konventionelle Bildgabevorrichtung und Bildverarbeitungsvorrichtung weisen jedoch ein Problem dahingehend auf, dass eine Differenz in der Helligkeit eines Objekts, mit anderen Worten der Kontrast eines Bildes sich verringert, was zu Schwierigkeiten bei der Erfassung des Objekts führt.
-
Eine Aufgabe der Erfindung liegt in der Bereitstellung einer Bildverarbeitungsvorrichtung und eines Bildverarbeitungsverfahrens, in denen die Helligkeit eines Objekts auf Grund einer Ausrichtung des Objekts nicht variiert ohne eine Abnahme in dem Kontrast eines Bildes, das durch eine Bildgabeoberfläche abgebildet wird.
-
Kurzfassung der Erfindung
-
Die Bildverarbeitungsvorrichtung gemäß der Erfindung ist eine Bildverarbeitungsvorrichtung zur Ausführung einer Bildverarbeitung, um ein Objekt in einem Bild zu erfassen, das durch eine Bildgabevorrichtung abgebildet wurde, wobei die Bildverarbeitungsvorrichtung umfasst: eine Bildgabebefehlseinheit zum Anweisen der Bildgabevorrichtung zum Abbilden des Objekts; eine Bilderlangungseinheit zur Erlangung eines ersten Bildes, das durch die Bildgabevorrichtung, gemäß einem Befehl der Bildgabebefehlseinheit abgebildet ist; eine Bilderzeugungseinheit zur Erzeugung eines zweiten Bildes, in dem irgendeiner von Schattierungswerten hinsichtlich jedes Pixels gesetzt werden, um eine Helligkeitsverteilung entgegengerichtet einer Helligkeitsverteilung des ersten Bildes aufzuweisen, auf der Grundlage des ersten Bildes; eine Projektionsbefehlseinheit zum Anweisen einer Projektionsvorrichtung zum Projizieren des zweiten Bildes auf das Objekt; und eine Objektinformationserlangungseinheit zur Erlangung von Informationen bezüglich des Objekts auf der Grundlage eines dritten Bildes, das durch die Bilderlangungseinheit erlangt ist durch Abbilden des Objekts, auf das das zweite Bild projiziert ist, gemäß einem Befehl der Bildgabebefehlseinheit unter Verwendung der Bildgabevorrichtung.
-
Vorzugsweise weist die Projektionsbefehlseinheit die Projektionsvorrichtung an, ein viertes Bild zu projizieren, in dem ein vorbestimmter Schattierungswert hinsichtlich eines jeden Pixels auf dem Objekt gesetzt wird, bevor die Bildgabebefehlseinheit die Bildgabevorrichtung anweist, das Objekt abzubilden, damit die Bilderlangungseinheit das erste Bild erlangt, und die Bildgabebefehlseinheit die Bildgabevorrichtung anweist, das Objekt abzubilden, auf das das vierte Bild projiziert ist, damit die Bilderlangungseinheit das erste Bild erlangt.
-
Vorzugsweise ist das vierte Bild ein Bild, in dem die gleichen Schattierungswerte, die Null überschreiten, hinsichtlich aller Pixel entsprechend einem Bereich gesetzt werden, der das Objekt umfasst.
-
Vorzugsweise ist das vierte Bild das zweite Bild, das bei dem letzten Durchgang durch die Bilderzeugungseinheit erzeugt wurde.
-
Das Bildverarbeitungsverfahren gemäß der Erfindung ist ein Bildverarbeitungsverfahren zum Ausführen einer Bildverarbeitung unter Verwendung eines Prozessors, um ein Objekt in einem Bild zu erfassen, das durch eine Bildgabevorrichtung abgebildet wurde, wobei das Bildverarbeitungsverfahren umfasst: einen ersten Bildgabebefehlsschritt, wobei der Prozessor die Bildgabevorrichtung anweist, das Objekt abzubilden; einen ersten Bilderlangungsschritt, in dem der Prozessor ein erstes Bild erlangt, das durch die Bildgabevorrichtung gemäß einem Befehl in dem ersten Bildgabebefehlsschritt abgebildet ist; einen Bilderzeugungsschritt, in dem der Prozessor ein zweites Bild erzeugt, in dem irgendeiner von Schattierungswerten hinsichtlich jedes Pixels gesetzt wird, um eine Helligkeitsverteilung entgegengerichtet einer Helligkeitsverteilung des ersten Bildes aufzuweisen; ein erster Projektionsbefehlsschritt, in dem der Prozessor eine Projektionsvorrichtung anweist, das zweite Bild auf das Objekt zu projizieren; einen zweiten Bildgabebefehlsschritt, in dem der Prozessor die Bildgabevorrichtung anweist, das Objekt abzubilden, auf das das zweite Bild projiziert ist; einen zweiten Bilderlangungsschritt, in dem der Prozessor ein drittes Bild erlangt, das durch die Bildgabevorrichtung gemäß einem Befehl in dem zweiten Bildgabebefehlsschritt abgebildet ist; und einen Objektinformationserlangungsschritt, in dem der Prozessor Informationen bezüglich des Objekts in dem dritten Bild auf der Grundlage des dritten Bildes erlangt.
-
Vorzugsweise umfasst das Bildverarbeitungsverfahren gemäß der Erfindung weiterhin einen zweiten Projektionsbefehlsschritt, in dem der Prozessor die Projektionsvorrichtung anweist, ein viertes Bild zu projizieren, in dem ein vorbestimmter Schattierungswert hinsichtlich jedes Pixels auf dem Objekt vor dem ersten Bildgabebefehlsschritt gesetzt wird, und in dem ersten Bildgabebefehlsschritt der Prozessor die Bildgabevorrichtung anweist, das Objekt abzubilden, auf das das vierte Bild projiziert ist.
-
Vorzugsweise ist das vierte Bild ein Bild, in dem der gleiche Schattierungswert, der Null übersteigt, hinsichtlich aller Pixel entsprechend einem Bereich gesetzt wird, der das Objekt umfasst.
-
Vorzugsweist ist das vierte Bild das zweite Bild, das bei dem letzten Durchgang in dem Bilderzeugungsschritt erzeugt wurde.
-
Gemäß der Erfindung variiert die Helligkeit eines Objekts in einem Bild, das durch die Bildgabevorrichtung abgebildet wurde, nicht gemäß der Ausrichtung des Objekts ohne eine Abnahme in dem Kontrast des Bildes.
-
Beschreibung der Zeichnungen
-
Diese und andere Merkmale und Vorteile der Erfindung werden besser verstanden werden durch Studium der nachfolgenden ausführlichen Beschreibung in Zusammenhang mit den Zeichnungen. Es zeigen:
-
1 eine Blockdarstellung eines Systems, das eine Bildverarbeitungsvorrichtung eines Ausführungsbeispiels der Erfindung umfasst;
-
2 eine Ansicht, die ein Beispiel eines Bildes zur Projektion zeigt, in dem ein Schattierungswert, der Null überschreitet, hinsichtlich aller Pixel entsprechend einem Bereich gesetzt ist, der ein Objekt umfasst;
-
3 eine Ansicht, die ein Beispiel eines Bildes zeigt, das durch Abbilden des Objekts erlangt ist, auf das das Bild zur Projektion projiziert ist, das in 2 gezeigt ist;
-
4 eine Ansicht, die ein Beispiel eines Bildes zeigt, das eine Helligkeitsverteilung eines Bildes angibt, das erlangt ist durch Verkleinern des Bildes, das in 3 gezeigt ist, auf der Grundlage einer vorbestimmten Korrespondenzbeziehung;
-
5 eine Ansicht, die ein Beispiel eines Bildes zur Projektion zeigt, das durch ein Tiefpassfilter erlangt ist, das das Bild verarbeitet, das in 4 gezeigt ist;
-
6 eine Ansicht, die ein Beispiel eines Bildes zeigt, das erlangt ist durch Abbilden des Objekts, auf das das Bild zur Projektion projiziert ist, das in 5 gezeigt ist; und
-
7 ein Ablaufdiagramm eines Bildverarbeitungsverfahrens des Ausführungsbeispiels der Erfindung.
-
Ausführliche Beschreibung des bevorzugten Ausführungsbeispiels
-
Das Ausführungsbeispiel der Bildverarbeitungsvorrichtung und das Bildverarbeitungsverfahren gemäß der Erfindung werden nachstehend unter Bezugnahme auf die beiliegenden Zeichnungen beschrieben werden.
-
1 zeigt eine Blockdarstellung eines Systems, das die Bildverarbeitungsvorrichtung des Ausführungsbeispiels der Erfindung umfasst. Das in 1 gezeigte System umfasst eine Projektionsvorrichtung 1, eine Bildgabevorrichtung 2, einen Prozessor 5, der eine Bildverarbeitungsvorrichtung 3 und eine Armbetriebseinheit 4 umfasst, einen Roboter 6, einen RAM 7 und einen ROM 8.
-
Die Projektionsvorrichtung 1 umfasst einen Projektor und weiteres zum Projizieren eines schattierten Bildes mit schwarzen und weißen Schattierungen. Die Projektionsvorrichtung 1 ist an einem Rahmen 13 befestigt, um ein schattiertes Bild auf zumindest einen Teil eines Behälters 12 zu projizieren, der mit einer Komponentengruppe 11 als ein Objekt beladen ist, das eine Vielzahl von zufällig aufgehäuften Komponenten umfasst. Ein Zustand der Komponentengruppe 11, die in 1 gezeigt ist, entspricht einem Zustand der Komponentengruppe zu einer ersten Zeitgabe in einem Komponentenaufnahmeschritt.
-
Die Bildgabevorrichtung 2 umfasst eine Kamera und weiteres zum Erzeugen eines schwarz/weißschattierten Bildes. Die Bildgabevorrichtung 2 ist an dem Rahmen 13 befestigt, so dass ein Bereich, in dem die Projektionsvorrichtung 1 ein schattiertes Bild projiziert, in ein Blickfeld der Bildgabevorrichtung 2 fällt. In dem Ausführungsbeispiel ist eine optische Achse der Projektionsvorrichtung 1 im Wesentlichen die gleiche wie eine optische Achse der Bildgabevorrichtung 2.
-
Die Bildverarbeitungsvorrichtung 3 führt eine Bildverarbeitung, wie einen Schablonenabgleich, eine Kantenerfassung und weiteres aus, um die Komponentengruppe 11 zu erfassen, die in einem Bild umfasst ist, das durch die Bildgabevorrichtung 2 abgebildet ist. Deshalb umfasst die Bildverarbeitungsvorrichtung 3 eine Projektionsbefehlseinheit 3a, eine Bildgabebefehlseinheit 3b, eine Bilderlangungseinheit 3c, eine Bilderzeugungseinheit 3d und eine Objektinformationserlangungseinheit 3e.
-
Die Projektionsbefehlseinheit 3a weist die Projektionsvorrichtung 1 an, ein schattiertes Bild I1 als ein viertes Bild zu projizieren, in dem ein vorbestimmter Schattierungswert hinsichtlich jedes Pixels auf der Komponentengruppe 11 gesetzt ist. Deshalb entnimmt die Projektionsbefehlseinheit 3a das schattierte Bild I1, das zuvor in dem RAM 7 gespeichert ist, und führt das schattierte Bild I1 der Projektionsvorrichtung 1 zu. Die Projektionsvorrichtung 1, die das schattierte Bild I1 von der Projektionsbefehlseinheit 3a erhielt, projiziert das schattierte Bild I1 auf die Komponentengruppe 11. Deshalb weist das schattierte Bild I1 ebenso eine Rolle als ein Projektionsbefehl zum Anweisen der Projektionsvorrichtung 1 auf, um das schattierte Bild I1 auf die Komponentengruppe 11 zu projizieren. Des Weiteren, bei Starten der Projektion des schattierten Bildes I1 auf die Komponentengruppe 11, gibt die Projektionsvorrichtung 1 ein Projektionsstartsignal S1 zur Anzeige dieser Tatsache zu der Bildgabebefehlseinheit 3b aus.
-
Das schattierte Bild I1 ist ein Bild, in dem der gleiche schattierte Wert, der Null überschreitet, hinsichtlich aller Pixel entsprechend einem Bereich gesetzt ist, der die Komponentengruppe 11 umfasst. 2 zeigt eine Ansicht, die ein Beispiel eines Bildes zur Projektion zeigt, in dem der gleiche schattierte Wert, der Null überschreitet, hinsichtlich aller Pixel entsprechend einem Bereich gesetzt ist, der die Komponentengruppe 11 umfasst. In 2 wird derselbe Schattierungswert, der Null überschreitet, hinsichtlich aller Pixel entsprechend einem Bereich R1 gesetzt, der die Komponentengruppe 11 in dem schattierten Bild I1 umfasst, und ein Schattierungswert von Null (der schwarz entspricht) wird hinsichtlich aller Pixel gesetzt, die einem Bereich R2 entsprechen, der von dem vorstehend beschriebenen Bereich verschieden ist. Wenn ein Schattierungswert von Null hinsichtlich aller Pixel entsprechend dem Bereich R2 gesetzt wird, der die Komponentengruppe 11 in dem schattierten Bild I1 auf diese Art und Weise nicht umfasst, wird eine Position der Komponentengruppe 11 mit Leichtigkeit spezifiziert.
-
Die Bildgabebefehlseinheit 3b weist die Bildgabevorrichtung 2 an, die Komponentengruppe 11 abzubilden, auf die das schattierte Bild I1 projiziert ist. Deshalb erteilt die Bildgabebefehlseinheit 3b einen Bildgabebefehl C1 zum Anweisen der Bildgabevorrichtung 2, die Komponentengruppe 11 abzubilden, auf die das schattierte Bild I1 projiziert ist, gegenüber der Bildgabevorrichtung 2 in Antwort auf das Projektionsstartsignal S1. Die Bildgabevorrichtung 2 bildet die Komponentengruppe 11, auf die das schattierte Bild I1 projiziert ist, in Antwort auf den Bildgabebefehl C1 ab und führt dann ein schattiertes Bild I2 als ein erstes Bild, das in Antwort auf den Bildgabebefehl C1 abgebildet ist, der Bilderlangungseinheit 3c zu.
-
Die Bilderlangungseinheit 3c erlangt das schattierte Bild I2, das durch die Bildgabevorrichtung 2 abgebildet ist, gemäß einem Befehl der Bildgabebefehlseinheit 3b. Deshalb wird das schattierte Bild I2 von der Bildgabevorrichtung 2 zu der Bilderlangungseinheit 3c zugeführt, und wird dann das schattierte Bild I2 in dem RAM 7 durch die Bilderlangungseinheit 3c gespeichert.
-
3 zeigt eine Ansicht, die ein Beispiel eines Bildes zeigt, das durch Abbilden des Objekts erlangt ist, auf das das Bild zur Projektion projiziert ist, das in 2 gezeigt ist. Ein Zustand der Komponentengruppe 11, der in 3 gezeigt ist, entspricht einem Zustand der Komponentengruppe zu einer zweiten Zeitgabe (abweichend von der ersten Zeitgabe) in dem Komponentenaufnahmeschritt.
-
Wie in 3 gezeigt, sind von den Komponenten, die in der Komponentengruppe 11 umfasst sind, die Helligkeiten von Komponenten mit einer Fläche parallel zu der Bildgabeoberfläche der Bildgabevorrichtung 2 am größten. Außerdem verringern sich mit einer Zunahme in der Flächenneigung bezüglich der Bildgabeoberfläche der Bildgabevorrichtung 2 die Helligkeiten der Komponenten.
-
Die Bilderzeugungseinheit 3d erzeugt ein schattiertes Bild I3 als ein zweites Bild, in dem irgendeiner von Schattierungswerten hinsichtlich jedes Pixels gesetzt wird, um eine Helligkeitsverteilung entgegengerichtet einer Helligkeitsverteilung des schattierten Bildes I2 aufzuweisen. Bei Befestigung der Projektionsvorrichtung 1 und der Bildgabevorrichtung 2 an dem Rahmen 13 bestimmt deshalb die Bilderzeugungseinheit 3d vorab eine Korrespondenzbeziehung zwischen den Pixeln des schattierten Bildes I2 und den Pixeln des schattierten Bildes I3 und erzeugt das schattierte Bild I3 auf der Grundlage des schattierten Bildes I2 und der bestimmten Korrespondenzbeziehung.
-
Wenn eine optische Achse der Projektionsvorrichtung 1 im Wesentlichen die gleiche wie eine optische Achse der Bildgabevorrichtung 2 ist, wie in 1 gezeigt, wird keine Differenz auf Grund einer Differenz zwischen einer Platzierungsposition der Projektionsvorrichtung 1 und einer Platzierungsposition der Bildgabevorrichtung 2 zwischen dem schattierten Bild I2 und dem schattierten Bild I3 erzeugt. Wird ein schattiertes Bild, das eine Helligkeitsverteilung angibt, die auf der Grundlage des schattierten Bildes I2 erzeugt ist, einfach vergrößert oder verkleinert und die Helligkeitsverteilung umgekehrt, dann kann deshalb ebenso das schattierte Bild I3 erzeugt werden.
-
In dem Ausführungsbeispiel erzeugt die Bilderzeugungseinheit 3d das schattierte Bild I3 durch Anwenden einer Filterverarbeitung bei einem schattierten Bild I2', das basierend auf der Korrespondenzbeziehung verkleinert wurde, die wie vorstehend beschrieben bestimmt ist. Die Filterverarbeitung umfasst, als ein Beispiel, eine Tiefpassfilterverarbeitung unter Verwendung eines Gauß'schen Filters oder dergleichen, um Hochfrequenzkomponenten zu beseitigen. Eine Größe des Tiefpassfilters wird zum Beispiel auf der Grundlage einer Größe des Blickfeldes der Bildgabevorrichtung 2 und einer Größe der Komponentengruppe 11 bestimmt, die in dem schattierten Bild I2 enthalten ist.
-
4 zeigt eine Ansicht, die ein Beispiel eines Bildes zeigt, das eine Helligkeitsverteilung eines Bildes angibt, das erlangt wird durch Verkleinern des Bildes, das in 3 gezeigt ist, auf der Grundlage einer vorbestimmten Korrespondenzbeziehung. 5 zeigt eine Ansicht, die ein Beispiel eines Bildes zur Projektion zeigt, das durch die Tiefpassfilterverarbeitung des Bildes erlangt ist, das in 4 gezeigt ist. Eine Helligkeitsverteilung des schattierten Bildes I2', die in 4 gezeigt ist, entspricht einer Helligkeitsverteilung des schattierten Bildes I2, das in 3 gezeigt ist. Eine Helligkeitsverteilung des schattierten Bildes I3, das in 5 gezeigt ist, gibt eine Helligkeitsverteilung entgegengerichtet der Helligkeitsverteilung des schattierten Bildes I2' an, das in 4 gezeigt ist.
-
Des Weiteren weist die Projektionsbefehlseinheit 3a die Projektionsvorrichtung 1 an, das schattierte Bild I3 auf die Komponentengruppe 11 zu projizieren. Deshalb entnimmt die Projektionsbefehlseinheit 3a das schattierte Bild I3, das in dem RAM 7 gespeichert ist, und führt das schattierte Bild I3 der Projektionsvorrichtung 1 zu. Die Projektionsvorrichtung 1, der das schattierte Bild I3 von der Projektionsbefehlseinheit 3a zugeführt wurde, projiziert das schattierte Bild I3 auf die Komponentengruppe 11. Deshalb weist das schattierte Bild I3 ebenso eine Rolle als ein Projektionsbefehl zum Anweisen der Projektionsvorrichtung 1 auf, das schattierte Bild I3 auf die Komponentengruppe 11 zu projizieren. Zu Beginn der Projektion des schattierten Bildes I3 auf die Komponentengruppe 11 gibt des Weiteren die Projektionsvorrichtung 1 ein Projektionsstartsignal S2 aus, um diese Tatsache gegenüber der Bildgabebefehlseinheit 3b anzuzeigen.
-
Des Weiteren weist die Bildgabebefehlseinheit 3b die Bildgabevorrichtung 2 an, die Komponentengruppe 11 abzubilden, auf die das schattierte Bild I3 projiziert ist. Deshalb erteilt die Bildgabebefehlseinheit 3b einen Bildgabebefehl C2 zum Anweisen der Bildgabevorrichtung 2, um die Komponentengruppe 11 abzubilden, auf die das schattierte Bild I3 projiziert ist, gegenüber der Bildgabevorrichtung 2 in Antwort auf das Projektionsstartsignal S2. Die Bildgabevorrichtung 2 bildet die Komponentengruppe 11, auf die das schattierte Bild I3 projiziert ist, in Antwort auf den Bildgabebefehl C2 ab und führt dann ein schattiertes Bild I4 als ein drittes Bild, das in Antwort auf den Bildgabebefehl c2 abgebildet ist, der Bilderlangungseinheit 3c zu.
-
6 zeigt eine Ansicht, die ein Beispiel eines Bildes zeigt, das durch Abbilden eines Objekts erlangt ist, auf das das Bild zur Projektion projiziert ist, das in 5 gezeigt ist. Wie in 6 gezeigt, sind alle Helligkeiten von Komponenten, die in der Komponentengruppe 11 umfasst sind, im Wesentlichen die gleichen. Es kommt mit anderen Worten keine Situation zustande, in der die Helligkeiten von Komponenten, die in dem schattierten Bild I4 umfasst sind, sich auf Grund der Tatsache übermäßig erhöhen, dass die Flächen der Komponenten parallel zu der Bildgabeoberfläche der Bildgabevorrichtung 2 liegen. Demgegenüber kommt keine Situation zustande, in der die Helligkeiten von Komponenten, die in dem schattierten Bild I4 enthalten sind, sich auf Grund der Tatsache übermäßig verringern, das die Flächen der Komponenten hinsichtlich der Bildgabeoberfläche der Bildgabevorrichtung 2 geneigt sind. Des Weiteren erlangt die Bilderlangungseinheit 3c das schattierte Bild I4, das durch die Bildgabevorrichtung 2 gemäß einem Befehl der Bildgabebefehlseinheit 3b abgebildet ist. Deshalb wird das schattierte Bild I4 von der Bildgabevorrichtung 2 zu der Bilderlangungseinheit 3c zugeführt, und wird das zugeführte schattierte Bild I4 in dem RAM 7 durch die Bilderlangungseinheit 3c gespeichert.
-
Die Objektinformationserlangungseinheit 3e erlangt Informationen bezüglich der Komponentengruppe 11, die in dem schattierten Bild I4 umfasst ist, auf der Grundlage des schattierten Bildes I4. Deshalb führt die Objektinformationserlangungseinheit 3e eine Bildverarbeitung, wie einen Schablonenabgleich, eine Kantenerfassung und weiteres aus und erlangt Objektinformationen S, wie die Position, die Form, die Größe, die Ausrichtung und weiteres von jeder der Vielzahl von Komponenten, die in der Komponentengruppe 11 umfasst sind, um die Objektinformationen S der Armbetriebseinheit 4 zuzuführen.
-
Die Armbetriebseinheit 4 erzeugt einen Armbetriebsbefehl A zum Betreiben eines Arms des Roboters 6 auf der Grundlage der Objektinformationen S und erteilt den Armbetriebsbefehl A dem Roboter 6. Der Prozessor 5 ist innerhalb einer Robotersteuervorrichtung angelegt, die nicht gezeigt ist, und wird realisiert durch Umfassen eines Eingabe-/Ausgabeports, einer seriellen Kommunikationsschaltung, eines A/D-Wandlers und weiterer, die nicht gezeigt sind. Der Prozessor 5 führt verschiedene Arten der Verarbeitung gemäß einem Verarbeitungsprogramm P durch, das in dem ROM 8 gespeichert ist. Der Roboter 6 betreibt den Arm, um eine der Vielzahl von Komponenten, die in der Komponentengruppe 11 umfasst sind, gemäß dem Armbetriebsbefehl A aufzunehmen. Wie vorstehend beschrieben, speichert der RAM 7 die schattierten Bilder I1, I2, I2', I3 und I4 zeitweilig während der Bildverarbeitung, die durch die Bildverarbeitungsvorrichtung 3 ausgeführt wird. Wie vorstehend beschrieben, speichert der ROM 8 das Verarbeitungsprogramm P, das durch den Prozessor 5 ausgeführt wird.
-
7 zeigt ein Ablaufdiagramm des Bildverarbeitungsverfahrens des Ausführungsbeispiels der Erfindung. Dieses Ablaufdiagramm wird durch die Bildverarbeitungsvorrichtung 3 jedes Mal dann ausgeführt, wenn eine einer Vielzahl von Komponenten in der Komponentengruppe 11 während Komponentenaufnahmevorgängen aufgenommen wird, die durch den Roboter 6 durchgeführt werden, und wird durch das Verarbeitungsprogramm P gesteuert, das in dem ROM 8 gespeichert ist.
-
Initial entnimmt die Projektionsbefehlseinheit 3a ein schattiertes Bild I1, das zuvor in dem RAM 7 gespeichert ist, und führt das schattierte Bild I1 der Projektionsvorrichtung 1 zu (S1). Daraufhin erteilt die Bildgabebefehlseinheit 3b einen Bildgabebefehl C1 zum Anweisen der Bildgabevorrichtung 2, die Komponentengruppe 11 abzubilden, auf das schattierte Bild I1 projiziert ist, gegenüber der Bildgabevorrichtung 2 in Antwort auf ein Projektionsstartsignal S1 (S2). Dann erlangt die Bilderlangungseinheit 3c ein schattiertes Bild I2, das durch die Bildgabevorrichtung 2 gemäß einem Befehl der Bildgabebefehlseinheit 3b abgebildet ist, und speichert das erlangte schattierte Bild I2 in dem RAM 7 (S3). Dann erzeugt die Bilderzeugungseinheit 3d ein schattiertes Bild I3 auf der Grundlage einer Korrespondenzbeziehung zwischen Pixeln eines Bildes, das von der Projektionsvorrichtung 1 projiziert ist, und Pixeln eines Bildes, das durch die Bildgabevorrichtung 2 abgebildet ist, die vorab bei Fixierung der Projektionsvorrichtung 1 und der Bildgabevorrichtung 2 an dem Rahmen 13 bestimmt ist, und das schattierte Bild I2 (S4). Dann entnimmt die Projektionsbefehlseinheit 3a das schattierte Bild I3, das in dem RAM 7 gespeichert ist, und führt das schattierte Bild I3 der Projektionsvorrichtung 1 zu (S5). Dann erteilt die Bildgabebefehlseinheit 3b einen Bildgabebefehl C2 zum Anweisen der Bildgabevorrichtung 2, um die Komponentengruppe 11 abzubilden, auf die das schattierte Bild I3 projiziert ist, gegenüber der Bildgabevorrichtung 2 in Antwort auf ein Projektionsstartsignal S2 (S6). Dann erlangt die Bilderlangungseinheit 3c ein schattiertes Bild I4, das durch die Bildgabevorrichtung 2 abgebildet ist, gemäß einem Befehl von der Bildgabebefehlseinheit 3b und speichert das erlangte schattierte Bild I4 in dem RAM 7 (S7). Dann führt die Objektinformationserlangungseinheit 3e eine Bildverarbeitung, wie einen Schablonenabgleich, eine Kantenerfassung und weiteres aus und erlangt Objektinformationen S, wie die Position, die Form, die Größe, die Ausrichtung und weiteres von jeder einer Vielzahl von Komponenten, die in der Komponentengruppe 11 umfasst sind, um die Objektinformationen S der Armbetriebseinheit 4 zuzuführen (S8), und endet dann die vorliegende Routine.
-
Gemäß dem Ausführungsbeispiel, wenn das schattierte Bild I3 auf die Komponentengruppe 11 projiziert wird, wird eine Vielzahl von Komponenten in der Komponentengruppe 11 bei einem geeigneten Helligkeitspegel auf der Grundlage der Neigung der Flächen der Komponenten hinsichtlich der Bildgabeoberfläche der Bildgabevorrichtung 2 beleuchtet. Dadurch variieren die Helligkeiten einer Vielzahl von Komponenten in der Komponentengruppe 11, die in dem schattierten Bild I4 umfasst ist, nicht gemäß der Objektausrichtung. Deshalb wird weder eine Lichthofbildung noch ein dunkler Abschnitt in dem schattierten Bild I4 erzeugt, und führt dann das schattierte Bild I4 zu einem Bild mit einer geschärften Schattierungsvariation. Des Weiteren tritt keine Verringerung in dem Kontrast des schattierten Bildes I4 auf, da der dynamische Bereich nicht verbreitert wird. Des Weiteren, da die Projektion des schattierten Bildes und die Abbildung des schattierten Bildes jeweils zweimal durchgeführt werden, ist es möglich, die Verarbeitungszeit verglichen mit dem Fall der Belichtung oder der Bildgabe zu verringern, die für eine Vielzahl von Belichtungsdurchläufen durchgeführt wird, wie es konventionell durchgeführt wird. Da des Weiteren in dem Ausführungsbeispiel das schattierte Bild I4 mit einer geschärften Schattierungsvariation wie vorstehend beschrieben verwendet wird, ist es möglich, eine Erfassung und weiteres der Komponentengruppe 11 mit Leichtigkeit durchzuführen.
-
Die vorliegende Erfindung ist nicht auf das Ausführungsbeispiel beschränkt und verschiedene Änderungen und Modifikationen der Erfindung können durchgeführt werden. In dem Ausführungsbeispiel wurde der Fall beschrieben, in dem die Bildverarbeitungsvorrichtung gemäß der Erfindung bei einem Roboter angewendet wird. Die Bildverarbeitungsvorrichtung gemäß der Erfindung ist jedoch bei Vorrichtungen anwendbar, die von dem Roboter verschieden sind.
-
In dem Ausführungsbeispiel wurde der Fall beschrieben, in dem die Bildverarbeitungsvorrichtung 3 und die Armbetriebseinheit 4 unter Verwendung eines einzelnen Prozessors 5 innerhalb der Robotersteuervorrichtung realisiert werden. Es ist jedoch ebenso möglich, dass die Bildverarbeitungsvorrichtung 3 und die Armbetriebseinheit 4 unter Verwendung separater Prozessoren innerhalb der Robotersteuervorrichtung realisiert werden können.
-
In dem Ausführungsbeispiel wurde der Fall beschrieben, in dem die Bildverarbeitungsvorrichtung 3 in der Robotersteuervorrichtung angelegt ist. Es ist jedoch ebenso möglich, dass die Bildverarbeitungsvorrichtung 3 in der Projektionsvorrichtung 1 oder der Bildgabevorrichtung 2 angelegt werden kann. Wenn die Bildverarbeitungsvorrichtung 3 in der Projektionsvorrichtung 1 angelegt wird, erteilt die Projektionsbefehlseinheit 3a einen Projektionsbefehl gegenüber der Projektionsvorrichtung 1 selbst. Demgegenüber, wenn die Bildverarbeitungsvorrichtung 3 in der Bildgabevorrichtung 2 angelegt wird, erteilt die Bildgabebefehlseinheit 3b einen Bildgabebefehl gegenüber der Bildgabevorrichtung 2 selbst.
-
In dem Ausführungsbeispiel wurde der Fall beschrieben, in dem die Projektionsvorrichtung 1 keine Steuervorrichtung umfasst. Die Projektionsvorrichtung 1 umfasst jedoch womöglich eine Steuervorrichtung. Wenn die Projektionsvorrichtung 1 eine Steuervorrichtung umfasst, führt die Steuervorrichtung einen Projektionsbetrieb gemäß einem Projektionsbefehl durch, der durch die Projektionsbefehlseinheit 3a erteilt ist.
-
In dem Ausführungsbeispiel wurde der Fall beschrieben, in dem die Bildgabevorrichtung 2 keine Steuervorrichtung umfasst. Die Bildgabevorrichtung 2 umfasst jedoch womöglich eine Steuervorrichtung. Wenn die Bildgabevorrichtung 2 eine Steuervorrichtung umfasst, führt die Steuervorrichtung einen Bildgabevorgang gemäß einem Bildgabebefehl durch, der durch die Bildgabebefehlseinheit 3b erteilt ist. Des Weiteren umfasst die Projektionsvorrichtung 1 womöglich einen Speicher zum zeitweiligen Speichen der schattierten Bilder I1 und I3. Die Bildgabevorrichtung 2 umfasst womöglich einen Speicher zum zeitweiligen Speichern der schattierten Bilder I2 und I4.
-
In dem Ausführungsbeispiel wurde der Fall beschrieben, in dem ein schwarz/weißschattiertes Bild verwendet wurde. Es ist jedoch ein schattiertes Bild jeder Farbe eines Farbbildes ebenso verwendbar. In dem Ausführungsbeispiel wurde der Fall beschrieben, in dem die Bildgabevorrichtung 2 direkt ein schattiertes Bild erlangt. Es ist jedoch ebenso möglich, dass die Bildgabevorrichtung 2 eine Schwarzweißkamera oder eine Farbkamera umfasst, und die Bildverarbeitungsvorrichtung 3 ein Bild verarbeitet, das unter Verwendung der Schwarz/weißkamera oder der Farbkamera abgebildet wurde, um ein schattiertes Bild zu erlangen.
-
In dem Ausführungsbeispiel wurde der Fall beschrieben, in dem die Objektinformationserlangungseinheit 3e Objektinformationen S erlangt, wie die Position, die Form, die Größe, die Ausrichtung und weiteres von jeder einer Vielzahl von Komponenten, die in der Komponentengruppe 11 umfasst sind, und die Objektinformationen S der Armbetriebseinheit 4 zuführt. Es ist jedoch ebenso möglich, dass irgendeiner der Objektinformationserlangungseinheit 3e und der Armbetriebseinheit 4 ermöglicht wird, jede der Vielzahl von Komponenten zu inspizieren, die in der Komponentengruppe 11 umfasst sind, auf der Grundlage des schattierten Bildes I4.
-
In dem Ausführungsbeispiel wurde der Fall beschrieben, in dem die Projektionsbefehlseinheit 3a zum Anweisen der Projektionsvorrichtung 1 zum Projizieren des schattierten Bildes I1 auf die Komponentengruppe 11 vorgesehen ist, und die Bildgabebefehlseinheit 3b die Bildgabevorrichtung 2 anweist, die Komponentengruppe 11 abzubilden, auf die das schattierte Bild I1 projiziert ist. Es ist jedoch ebenso möglich, dass die Projektion des schattierten Bildes I1 auf die Komponentengruppe 1 ausgelassen wird und die Bildgabebefehlseinheit 3b die Bildgabevorrichtung 2 anweist, die Komponentengruppe 11 abzubilden.
-
In dem Ausführungsbeispiel wurde der Fall beschrieben, in dem ein Bild, in dem ein Schattierungswert, der Null überschreitet, hinsichtlich aller Pixel entsprechend einem Bereich gesetzt wird, der in der Komponentengruppe 11 umfasst ist, als das schattierte Bild I1 verwendet wird. Wenn jedoch das schattierte Bild I3 in dem RAM 7 gespeichert wird, wenn mit anderen Worten die Bilderzeugungseinheit 3d das schattierte Bild I3 bei Erlangung der Objektinformationen S bei dem letzten Durchgang erzeugt hat, wird das schattierte Bild I3 als das schattierte Bild I1 verwendbar. Wenn das schattierte Bild I3, das bei dem letzten Durchgang erzeugt wurde, auf die Komponentengruppe 11 auf diese Art und Weise projiziert wird, wird eine Vielzahl von Komponenten in der Komponentengruppe 11 bei einem Helligkeitspegel in Anbetracht der Neigung der Flächen der Komponenten hinsichtlich der Bildgabeoberfläche der Bildgabevorrichtung 2 beleuchtet. Dadurch ist es möglich, die Variation der Helligkeiten einer Vielzahl von Komponenten in der Komponentengruppe 11, die in dem schattierten Bild I3 umfasst ist, gemäß der Objektausrichtung zu verringern. Deshalb ist es möglich, die Verarbeitung zur Erlangung des schattierten Bildes I4 mit einer geschärften Schattierungsvariation zu vereinfachen.
-
In dem Ausführungsbeispiel wurde der Fall beschrieben, in dem die Projektionsvorrichtung 1 und die Bildgabevorrichtung 2 an dem Rahmen 13 befestigt sind. Es ist jedoch ebenso möglich, dass die Projektionsvorrichtung 1 und die Bildgabevorrichtung 2 auf einer Spitze des Arms des Roboters 6 angebracht werden können, und die Spitze des Arms des Roboters 6 oberhalb des Behälters 12 bei Erlangung der Objektinformationen S angelegt wird.
-
In dem Ausführungsbeispiel wurde der Fall beschrieben, in dem eine optische Achse der Projektionsvorrichtung 1 im Wesentlichen die gleiche wie eine optische Achse der Bildgabevorrichtung 2 ist. Die Erfindung ist jedoch bei einem Fall anwendbar, in dem die optische Achse der Projektionsvorrichtung 1 die gleiche wie die optische Achse der Bildgabevorrichtung 2 ist, oder die optische Achse der Projektionsvorrichtung 1 nicht die gleiche wie die optische Achse der Bildgabevorrichtung 2 ist. Wenn die optische Achse der Projektionsvorrichtung 1 nicht die gleiche wie die optische Achse der Bildgabevorrichtung 2 ist, ist es möglich, die Korrespondenzbeziehung zwischen Pixeln des schattierten Bildes I2 und Pixeln des schattierten Bildes I3 auf der Grundlage einer relativen Positionsbeziehung zwischen dem schattierten Bild I2 und dem schattierten Bild I3 geometrisch zu bestimmen. In diesem Fall wird vorzugsweise eine Mittelpunktsprojektion durchgeführt, aber es ist ebenso möglich, die Korrespondenzbeziehung zwischen Pixeln des schattierten Bildes I2 und Pixeln des schattierten Bildes I3 unter Verwendung einer zweidimensionalen geometrischen Transformation durchzuführen, wie einer affinen Transformation und dergleichen. In dem Fall einer affinen Transformation ist es möglich, wie nachstehend beschrieben, eine Beziehung zwischen Pixeln Pa des schattierten Bildes I2 und Pixeln Pb des schattierten Bildes I3 unter Verwendung einer Matrix A mit drei Zeilen und drei Spalten auszudrücken. Pa = A × Pb
-
Wenn die Verzerrung der Komponentengruppe 11 problematisch ist, die in dem schattierten Bild I3 umfasst ist, die aus dem optischen System der Bildgabevorrichtung 2 resultiert, wird die Korrespondenzbeziehung zwischen Pixeln des schattierten Bildes I2 und Pixeln des schattierten Bildes I3 in Anbetracht einer solchen Verzerrung bestimmt.
-
In dem Ausführungsbeispiel wurde der Fall beschrieben, in dem eine Filterverarbeitung bei dem schattierten Bild I2' angewendet wird, das basierend auf der Korrespondenzbeziehung zwischen den Pixeln des schattierten Bildes I2 und Pixeln des schattierten Bildes I3 verkleinert wurde, um das schattierte Bild I3 zu erzeugen. Es ist jedoch ebenso möglich, dass die Helligkeit von jedem Pixel des schattierten Bildes I1 bestimmt wird und die Helligkeit von jedem Pixel des schattierten Bildes I3 auf der Grundlage der Korrespondenzbeziehung zwischen Pixeln des schattierten Bildes I2 und Pixeln des schattierten Bildes I3 und der Frage bestimmt wird, ob die Helligkeit von jedem Pixel des schattierten Bildes I2 größer als eine vorbestimmte Helligkeit ist, um das schattierte Bild I3 zu erzeugen. Zum Beispiel, wenn die Helligkeit eines Pixels i des schattierten Bildes I1 als Fi ausgewiesen wird, kann die Helligkeit des schattierten Bildes I2 entsprechend dem Pixel i als Gi ausgewiesen werden, und wird eine vorbestimmte Helligkeit als G0 ausgewiesen, dann wird die Helligkeit Hi des schattierten Bildes I3 entsprechend dem Pixel i bestimmt unter Verwendung des nachfolgenden Ausdrucks. Hi = Fi × (G0/Gi)
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 2012-281662 [0001, 0001]
- JP 4309439 B [0003]
- JP 4565032 B [0003]
- JP 4-32381 A [0005]
- JP 2010-134915 A [0005]