-
Hintergrund der Erfindung
-
1. Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft eine Erkennungsvorrichtung und ein Erkennungsverfahren zum Erkennen einer dreidimensionalen Position und Orientierung eines Artikels, die bei der Entnahme eines Artikels mittels eines Roboters verwendet werden.
-
2. Beschreibung des Stands der Technik
-
In einem Robotersystem zum Entnehmen eines Artikels mittels eines Roboters werden Informationen bezüglich des Artikels von einer Kamera oder einem dreidimensionalen Bildsensor ermittelt, der mit einem Informationsprozessor oder einer Robotersteuerung verbunden ist. Die erhaltenen Informationen werden zur Korrektur der Bewegung des Roboters verwendet, der den Artikel entnimmt oder den Artikel inspiziert.
-
Als dreidimensionaler Bildsensor sind beispielsweise verschiedene Feldsensoren bekannt, die einen Abstanden zu einem zu messenden Objekt messen können. Einige Feldsensoren können dreidimensionale Informationen eines relativ weiten Bereichs ermitteln. Diese Feldsensoren können Informationen bezüglich einer dreidimensionalen Form eines Artikels als ein Bereichsbild oder eine Höhenkarte oder ähnliches erfassen. Die dreidimensionale Form eines Artikels kann nicht von einer Bildaufnahmevorrichtung wie einer Kamera erfasst werden.
-
Die
japanische ungeprüfte Patentveröffentlichungsschrift (Kokai) Nr. 7-270137 offenbart einen dreidimensionalen Bildsensor des Punktlicht-Scan-Typs und offenbart, dass ”der dreidimensionale Bildsensor es durch die Bildung eines Messsystems ermöglicht, flexible Messungen effektiv auszuführen, die der Größe, Form, Perspektive und der benötigten dreidimensionalen Positionsinformation des zu messenden Objekts entsprechen. Ein Punktlichteinleitmittel, das die Einleitrichtung des Lichts frei mittels einer zweidimensionalen Zufalls-Scan-Steuerung ändern kann, ist mit einem Positions-Sensierungsdetektor (englisch: position sensing detector (PSD)) mit einer eindimensionalen Positionssensierungsfunktion kombinierbar.”
-
Die
japanische ungeprüfte Patent-Veröffentlichungsschrift (Kokai) Nr. 9-196636 offenbart ein Verfahren zum Ermitteln von Daten bezüglich der Form eines Artikels und beschreibt, dass ”bei der Ausführung einer Kalibrierung eines Positionsdetektors
1 und dem Ermitteln einer Form eines Artikels unter Verwendung des Positionsdetektors
1, der von einer Schlitzlichtquelle
2 zum Bestrahlen des zu messenden Artikels W mit einem Schlitzlicht I und einer Kamera zum Aufnehmen eines Bildes des Schlitzlichts I gebildet wird, der Positionsdetektor
1 zu vorbestimmten Zeiten derart bewegt wird, dass ein Kameraparameter in einer perspektivischen Transformationsgleichung zum Konvertieren eines Koordinatensystems des Artikels W in ein Koordinatensystem auf dem Bild der Kamera
3, ein Schlitzlichtparameter in einer Ebenengleichung des den Artikel W bestrahlenden Schlitzlichts I, und ein Modellparameter in einer geometrischen Darstellungsgleichung zum Darstellen der Form des Artikels W bestimmt werden. Anschließend wird die Kalibrierung des Schlitzlichts und der Kamera und das Ermitteln der Formdaten des Artikels W automatisch mit einem Roboter-Koordinatensystem ausgeführt.”
-
Die
japanische ungeprüfte Patent-Veröffentlichungsschrift (Kokai) Nr. 2005-62063 beschreibt, dass ”ein Bestrahlungsmuster auf einen zu messenden Artikel mittels eines Projektors
2 abgebildet wird, ein Reflektionsbildmuster des Bestrahlungsmusters auf dem Artikel
1 wird mittels einer Kamera
8 aufgenommen, die Flächenform des Artikels
1 wird mittels eines Formberechnungsabschnitts
13 basierend auf dem reflektierten Muster berechnet, und ein Kontrastverhältnis, das die Zuverlässigkeit der Messung des Artikels darstellt, wird basierend auf (Ia/(Pub – Plb)) mittels eines Zuverlässigkeits-Berechnungsabschnitts
14 berechnet, wobei Plb und Pub obere und untere Grenzen eines Lichtvolumens des Bestrahlungsmusters sind und Ia das Lichtvolumen darstellt. Anschließend werden die Daten der Flächenform und das Kontrastverhältnis durch ein Datenausgabemittel ausgegeben, wobei die Zuverlässigkeit der Formmessungsdaten des Artikels
1, der einer mehrfachen Reflektion unterliegt, präzise entsprechend den verschiedenen Musterprojektionsverfahren erfasst und die Beziehung zu jedem Pixel des aufgenommenen Bildes korrekt ermittelt werden kann.”
-
Ferner offenbart die
japanische ungeprüfte Patent-Veröffentlichungsschrift (Kokai) Nr. 2004-272841 eine Artikelbeurteilungsvorrichtung mit einem Scan-Mittel zum Scannen eines Laserpulses in der Richtung der Breite einer Straße, ein Reflektionslicht-Erfassungsmittel zum Erfassen des reflektierten Lichts des Laserpulses, wenn das Scan-Mittel den Laserpuls in der Richtung der Breite der Straße scannt, ein Beurteilungsmittel zum Ermitteln der Höhe und der Breite eines an einer Scan-Linie des Laserpulses positionierten Artikels, wobei der Laserpuls durch das Scan-Mittel erhalten wird, und Beurteilen des Typs des Artikels unter Verwendung einer Zeitverzögerung zwischen einem Zeitpunkt, wenn das Scan-Mittel die Straße in der Richtung der Breite unter Verwendung des Laserpulses scannt, und einem Zeitpunkt, wenn das Reflektionslicht-Erfassungsmittel das reflektierte Licht des in der Richtung der Breite der Straße gescannten Laserpulses erfasst, wobei das Beurteilungsmittel den Artikel als Fußgänger erkennt, wenn die Höhe und die Breite des erfassten Objekts in einem Fußgänger-Erfassungsbereich mit einer bestimmten Breite, der an einer Seite der Straße angeordnet ist, innerhalb eines vorbestimmten Bereichs sind.
-
Andererseits wurden einige Verfahren zum Erkennen der Position und Orientierung eines Artikels unter Verwendung eines Feldsensors (oder eines Distanzsensors) vorgeschlagen. Beispielsweise offenbart die
japanische ungeprüfte Patent-Veröffentlichungsschrift (Kokai) Nr. 2009-128191 eine Artikelerkennungsvorrichtung und eine Robotervorrichtung, und beschreibt, dass ”gemäß der Artikelerkennungsvorrichtung der Erfindung durch Ausführen einer Hochgeschwindigkeits-Positionierung basierend auf einer Menge von Eigenschaften wie einem Drehbild, einem dreidimensionale Formdaten-(Modell) eines Objekts und Abstandsdaten (Ort), die mittels eines Feldsensors erhalten und verglichen werden können, die dreidimensionale Position und Orientierung des Objekts schnell erkannt werden kann.”
-
Die
japanische ungeprüfte Patent-Veröffentlichungsschrift (Kokai) Nr. 2004-144557 offenbart, dass ein Sensorkörper
110 von einem an der Hand eines Roboters
40 angebrachten Lichtprojektor
130 und einer Videokamera
30 gebildet wird. Der Lichtprojektor
130 projiziert ein Schlitzlicht
131 auf eine Fläche eines Objekts W, das in einem Betätigungsbereich
50 angeordnet ist, die Videokamera
30 empfängt ein reflektiertes Licht, und ein Lichtprozessor
2 analysiert das reflektierte Licht und ermittelt die Fläche, an der das Schlitzlicht
131 vorliegt. Die Videokamera
130 erhält ein Bild durch die normale Bildaufnahme, und eine Sichtlinie, die sich durch einen Messungspunkt Q erstreckt, wird unter Verwendung von Kalibrierungsdaten festgelegt.”
-
Ferner wurden einige Verfahren zum Erfassen der Position eines Artikels von einem Bild vorgeschlagen. Beispielsweise offenbart die
japanische ungeprüfte Patent-Veröffentlichungsschrift (Kokai) Nr. 6-165036 ein Verfahren zum Abgleichen von radiologischen Bildern und beschreibt, dass ”Maskenbereiche
8,
8' auf einem Röntgenbild
4a und Maskenbereiche
9,
9' auf einem Röntgenbild
4b eingestellt werden. Die Anpassung der Masken wird durch Abgleichen der Maskenregionen
8,
8' mit den Maskenregionen
9,
9' unter Verwendung eines Korrelationsverfahrens ausgeführt.”
-
Ein typisches Verfahren zum Erkennen der Position und der Orientierung eines Artikels unter Verwendung eines Feldsensors (Abstandssensors) ist ein Verfahren zum Abgleichen von durch einen Feldsensor erhaltenen dreidimensionalen Informationen mit den dreidimensionalen Formdaten des Artikels, das in der
japanischen ungeprüften Patent-Veröffentlichungsschrift (Kokai) Nr. 2009-128191 offenbart ist. Herkömmliche Erkennungsverfahren gehen mit sehr hohen Kosten für die Berechnung einher und benötigen Hochleistungsprozessoren und große Speicherkapazitäten. Daher ist es sehr schwierig, derartige Erkennungsverfahren in kurzer Zeit auszuführen. Ferner ist die exakte Erkennung des Artikels notwendig, um den Artikel unter Verwendung eines Roboters entnehmen zu können. In diesem Fall muss jedoch die räumliche Dichte der von dem Feldsensor erhaltenen dreidimensionalen Information hoch sein. Wenn die räumliche Dichte der dreidimensionalen Information zunimmt, verlängert sich die Messungszeit des Feldsensors und die Berechnungskosten für den Abgleichungsprozess bezüglich der dreidimensionalen Formdaten des Artikels erhöhen sich ebenfalls. Somit kann der Entnahmevorgang nicht ausgeführt werden.
-
Der Sensor zum Ermitteln der dreidimensionalen Information basierend auf der Flugzeit eines Laserimpulses, wie in der
japanischen ungeprüften Patent-Veröffentlichungsschrift (Kokai) Nr. 2004-272841 offenbart ist, ist im Allgemeinen relativ groß, und billigere Sensoren können daher nicht vorgesehen werden. Zu dieser Zeit wurde der Feldsensor auf dem Gebiet der Entnahmevorgänge unter Verwendung von Robotern noch nicht in der Praxis eingesetzt.
-
Obwohl ein Verfahren, bei dem ein dreidimensionaler Sensor und ein zweidimensionaler Sensor kombiniert werden, in der
japanischen ungeprüften Patent-Veröffentlichungsschrift (Kokai) Nr. 2004-144557 offenbart ist, ist es nicht beabsichtigt, einen Feldsensor zu verwenden. Das Verfahren kann die dreidimensionale Position und Orientierung eines Artikels mit relativ geringen Berechnungskosten und einer geringen Speichermenge im Vergleich zu dem voranstehend beschriebenen Erkennungsverfahren erkennen. Während das Verfahren der
japanischen ungeprüften Patent-Veröffentlichungsschrift (Kokai) Nr. 2004-144557 die Berechnungskosten für die Verarbeitung der dreidimensionalen Information reduzieren kann, benötigt das Verfahren den in der
japanischen ungeprüften Patent-Veröffentlichungsschrift (Kokai) Nr. 6-165036 beschriebenen Prozess, bei dem der Artikel innerhalb eines Messbereichs des Sensors unter Verwendung des zweidimensionalen Bildes gefunden wird, und die Berechnungskosten für den letztgenannten Prozess erhöht werden.
-
Es ist ersichtlich, dass das Verfahren der
japanischen ungeprüften Patent-Veröffentlichungsschrift (Kokai) Nr. 6-165036 die zweidimensionalen Positionen der Artikel mit verschiedenen Höhen oder Orientierungen basierend auf dem zweidimensionalen Bild erkennt. In dem Verfahren ist es jedoch notwendig, einen Maskenabgleich auszuführen, wobei die Maske in verschiedene Größen vergrößert oder verkleinert werden muss. Ein derartiges Verfahren benötigt Zeit und es ist schwierig, einen praktikablen Entnahmevorgang aufzuführen.
-
Abriss der Erfindung
-
Eine Aufgabe der vorliegenden Erfindung ist es, eine Erkennungsvorrichtung und ein Erkennungsverfahren bereitzustellen, das die voranstehend beschriebenen Probleme löst und die dreidimensionale Position und Orientierung eines Artikels mit geringen Berechnungskosten erkennt, so dass die Vorrichtung und das Verfahren in einer beweglichen, integralen Vorrichtung zum Einsatz kommen können, die in einer Fabrik eingesetzt wird.
-
Gemäß einer Ausführungsform der vorliegenden Erfindung wird eine Erkennungsvorrichtung zum Erkennen einer dreidimensionalen Position und Orientierung eines Artikels bereitgestellt, wobei die Erkennungsvorrichtung umfasst: eine Kamera, die ein zweidimensionales Bild einer Gesamtregion aufnimmt, in der eine Vielzahl von Artikel derselben Art wahllos platziert ist; einen Feldsensor, der eine dreidimensionale Information eines Bereichs erfasst, der im Wesentlichen der gleiche wie der der Region der Kamera ist; und einen Informationsprozessor, der das von der Kamera aufgenommene zweidimensionale Bild und die von dem Feldsensor erfasste dreidimensionale Information verarbeitet, wobei der Informationsprozessor umfasst: einen Suchzustand-Einstellabschnitt, der eine Region zum Suchen eines Bildes des Artikels in dem zweidimensionalen Bild als Suchzustand basierend auf der dreidimensionalen Information einstellt; einen Ermittlungsabschnitt für eine zweidimensionalen Position, der ein Bild des Artikels durch Bildbearbeitung des zweidimensionalen Bildes unter dem eingestellten Suchzustand erfasst und die zweidimensionale Positionsinformation des Artikels auf dem zweidimensionalen Bild ermittelt; einen Sichtlinien-Berechnungsabschnitt, der eine Sichtlinie, die sich von der Kamera zu dem Artikel erstreckt, in einem dreidimensionalen Raum basierend auf der ermittelten zweidimensionalen Positionsinformation berechnet; einen Auswahlabschnitt für die dreidimensionalen Punktdaten, der erste dreidimensionale Punktdaten auswählt, die zum Erkennen einer dreidimensionalen Position und Orientierung des Artikels von der dreidimensionalen Information basierend auf der ermittelten zweidimensionalen Positionsinformation oder der Sichtlinie verwendet wird; und einen Berechnungsabschnitt für eine dreidimensionale Position und Orientierung, der die Position und/oder die Orientierung des Artikels, basierend auf den ausgewählten ersten dreidimensionalen Punktdaten und der Sichtlinie berechnet.
-
Gemäß einer bevorzugten Ausführungsform wird der Feldsensor von wenigstens einer Kamera und einer Vorrichtung zum Projizieren eines Musterlichts gebildet, wobei die wenigstens eine Kamera des Feldsensors als Kamera zum Aufnehmen des zweidimensionalen Bildes verwendet wird.
-
Gemäß einer weiteren bevorzugten Ausführungsform wird der Feldsensor von einer Vielzahl von Kameras und einer Vorrichtung zum Projizieren eines Musterlichts gebildet, wobei das Musterlicht nur verwendet wird, dieselben zu messenden Objekte zwischen den von der Vielzahl der Kameras aufgenommenen Bildern einander zuzuordnen.
-
Gemäß einer weiteren Ausführungsform wird der Feldsensor von wenigstens einer Kamera und einer Vorrichtung zum Projizieren eines Musterlichts gebildet, wobei ein Infrarotlicht als Lichtquelle für das Musterlicht verwendet wird.
-
Der Suchzustand-Einstellabschnitt ist gemäß einer bevorzugten Ausführungsform dazu ausgebildet, zweite dreidimensionale Punktdaten auszuwählen, wobei ein Höhenwert von der von dem Feldsensor erhaltenen dreidimensionalen Information größer als ein vorbestimmter Wert ist, eine Region auf dem von der Kamera aufgenommenen zweidimensionalen Bild festzulegen, die einem die zweiten dreidimensionalen Daten enthaltenden Raum entspricht; und einen Bereich zum Suchen des Artikels auf dem zweidimensionalen Bild innerhalb der bestimmten Region zu begrenzen. In diesem Fall kann der Suchzustand-Einstellabschnitt einen Bereich einer passenden Größe des zu suchenden Artikels auf dem zweidimensionalen Bild basierend auf einem Höhenwert begrenzen, der durch den vorbestimmten Wert oder einen Bereich von Werten einer Höhe eines die ausgewählten zweiten dreidimensionalen Punktdaten enthaltenden Raumes ermittelt wird.
-
Gemäß einer bevorzugten Ausführungsform ist der Suchzustand-Einstellabschnitt dazu ausgebildet, eine ebene Fläche, eine gekrümmte Fläche oder eine Kombination davon von der von dem Feldsensor erfassten dreidimensionalen Information zu extrahieren, die zweiten dreidimensionalen Punktdaten auszuwählen, die der extrahierten ebenen Fläche, der gekrümmten Fläche oder der Kombination davon entsprechen, eine Region auf dem von der Kamera aufgenommenen zweidimensionalen Bild festzulegen, die einem die zweiten dreidimensionalen Punktdaten enthaltenden Raum entspricht, und einen Bereich zum Suchen der Artikel auf dem zweidimensionalen Bild innerhalb des festgelegten Bereichs zubegrenzen. In diesem Fall kann der Suchzustand-Einstellabschnitt ferner einen Bereich einer passenden Größe des zu suchenden Artikels auf dem zweidimensionalen Bild basierend auf einem Bereich der Werte einer Höhe der ausgewählten zweiten dreidimensionalen Punktdaten begrenzen.
-
Gemäß einer weiteren Ausführungsform der vorliegenden Erfindung wird ein Erkennungsverfahren zum Erkennen einer dreidimensionalen Position und Orientierung eines Artikels bereitgestellt, wobei das Verfahren die Schritte umfasst: Erhalten eines zweidimensionalen Bildes einer Gesamtregion mittels einer Kamera, in der eine Vielzahl von Artikeln derselben Art wahllos platziert sind; Erhalten von dreidimensionaler Information eines Bereichs mittels eines Feldsensors, der im Wesentlichen der selbe ist wie die Region der Kamera; Einstellen einer Region zum Suchen eines Bildes des Artikels in dem zweidimensionalen Bild als einen Suchzustand basierend auf der dreidimensionalen Information; Erfassen eines Bildes des Artikels durch Bildbearbeitung des zweidimensionalen Bildes unter dem eingestellten Suchzustand, und Erhalten von zweidimensionaler Positionsinformation des Artikels auf dem zweidimensionalen Bild; Berechnen einer Sichtlinie in einem dreidimensionalen Raum, die sich von der Kamera zu dem Artikel erstreckt, basierend auf der erhaltenen zweidimensionalen Positionsinformation; Auswählen von ersten dreidimensionalen Punktdaten, die zum Erkennen einer dreidimensionalen Position und Orientierung des Artikels von der dreidimensionalen Information basierend auf der erhaltenen zweidimensionalen Positionsinformation oder der Sichtlinie verwendet werden; und Berechnen von der Position und/oder der Orientierung des Artikels basierend auf den ausgewählten ersten dreidimensionalen Punktdaten und der Sichtlinie.
-
Gemäß einer bevorzugten Ausführungsform umfasst der Schritt des Einstellens eines Suchzustands: Auswählen von zweiten dreidimensionalen Punktdaten, wobei ein Höhenwert von der von dem Feldsensor erhaltenen dreidimensionalen Information größer als ein vorbestimmter Wert ist; Festlegen einer Region auf dem von der Kamera erhaltenen zweidimensionalen Bild, die einem die zweiten dreidimensionalen Punktdaten enthaltenden Raum entspricht; und Begrenzen eines Bereichs zum Suchen des Artikels auf dem zweidimensionalen Bild innerhalb der festgelegten Region. In diesem Fall kann der Schritt zum Einstellen des Suchzustands ferner aufweisen: Begrenzen eines Bereichs einer passenden Größe des zu suchenden Artikels auf dem zweidimensionalen Bild basierend auf einem von dem vorbestimmten Wert festgelegten Höhenwert oder einem Bereich von Werten einer Höhe eines die ausgewählten, zweiten dreidimensionalen Punktdaten enthaltenden Raumes.
-
Der Schritt des Einstellens eines Suchzustandes umfasst gemäß einer bevorzugten Ausführungsform: Extrahieren einer ebenen Fläche, einer gekrümmten Fläche oder einer Kombination davon von der von dem Feldsensor erhaltenen dreidimensionalen Information; Auswählen der zweiten dreidimensionalen Punktdaten, die der extrahierten ebenen Fläche, der gekrümmten Fläche oder der Kombination davon entsprechen; Festlegen einer Region auf dem von der Kamera erhaltenen zweidimensionalen Bild, die einem die zweiten dreidimensionalen Punktdaten enthaltenden Raum entspricht, und Begrenzen eines Bereichs zum Suchen des Artikels auf dem zweidimensionalen Bild innerhalb des festgelegten Bereichs. In diesem Fall kann der Schritt zum Einstellen eines Suchzustandes ferner aufweisen: Begrenzen eines Bereichs einer passenden Größe des zu suchenden Artikels auf dem zweidimensionalen Bild, basierend auf einem Bereich von Werten einer Höhe der ausgewählten zweiten dreidimensionalen Punktdaten.
-
Kurzbeschreibung der Figuren
-
Die voranstehenden und andere Aufgaben, Merkmale und Vorteile der vorliegenden Erfindung werden von der folgenden Beschreibung der bevorzugten Ausführungsformen mit Bezug auf die beigefügten Figuren ersichtlich, wobei:
-
1 eine Darstellung einer schematischen Anordnung eines Robotersystems mit einer Erkennungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung ist;
-
2 ein Flussdiagramm zur Erklärung eines Prozesses eines Erkennungsverfahrens der Erfindung ist;
-
3 ein Beispiel eines einen Artikel umfassenden zweidimensionalen Bildes ist, das von einer Kamera erhalten wird;
-
4 eine Querschnittsansicht entlang der Schnittlinie A-A' gemäß 3 ist;
-
5 ein Beispiel eines von der Kamera aufgenommenen zweidimensionalen Bildes ist, wobei eine Suchregion durch die weiße Farbe und ein weitere Region durch die schwarze Farbe dargestellt ist; und
-
6 ein Beispiel zum Berechnen einer Sichtlinie ist, die sich von einem Fokuspunkt der Kamera zu dem Artikel erstreckt.
-
Detaillierte Beschreibung
-
1 ist eine Ansicht, die eine schematische Anordnung eines Robotersystems 10 mit einer Erkennungsvorrichtung gemäß einer Ausführungsform der vorliegenden Erfindung zeigt. Das Robotersystem 10 umfasst einen Roboter 12, eine Robotersteuerung 14 zum Steuern des Roboters 12, einen mit der Robotersteuerung 14 verbundenen Informationsprozessor 16, einen Feldsensor 18 und eine Kamera 20, wobei der Feldsensor und die Kamera mit dem Informationsprozessor 16 verbunden sind. Das Robotersystem 10 kann zum Entnehmen eines Artikels aus einem Behälter 24 verwendet werden, in dem eine Vielzahl von Artikeln 22 derselben Art wahllos platziert sind.
-
Der Roboter 12 hat einen bewegbaren Abschnitt, wie einen Roboterarm 26, und einen Artikelgreifarmabschnitt wie beispielsweise die an einem vorderen Ende des Roboterarms 26 angebrachte Roboterhand 28. Die Roboterhand 28 ist zum Greifen der Artikel 22 in dem Behälter 24 ausgebildet.
-
Der Feldsensor 18 kann dreidimensionale Informationen des Artikels 22 in den Behälter 24 erfassen und die Kamera 20 kann ein zweidimensionales Bild des Artikels 22 in dem Behälter 24 erhalten oder aufnehmen. Die erhaltenen dreidimensionale Information und das zweidimensionale Bild werden an den Informationsprozessor 16 übertragen und von dem Informationsprozessor verarbeitet. Es ist zu bevorzugen, dass der Feldsensor 18 und die Kamera 20 derart angeordnet sind, dass ein Messbereich des Feldsensors 18 und ein Sichtfeld der Kamera 20 im Wesentlichen dem Bereich entsprechen, der von dem die Artikel 22 enthaltenden Behälter 24 eingenommen wird. In der dargestellten Ausführungsform sind der Feldsensor 18 und die Kamera 20 an einer dafür bestimmten Halterung 30 angebracht. Der Feldsensor und/oder die Kamera 20 können jedoch an dem vorderen Ende des Roboters 12 angebracht sein.
-
Der Informationsprozessor 16 und die Robotersteuerung 14 sind miteinander über ein Kommunikationsmittel wie ein Kommunikationskabel verbunden, das eine Kommunikation untereinander zulässt. In der dargestellten Ausführungsform ist der Informationsprozessor 16 getrennt von der Robotersteuerung 14 dargestellt. Der Informationsprozessor 16 kann jedoch in die Robotersteuerung 14 integriert werden.
-
Als Feldsensor 18 können verschiedene Typen verwendet werden. Beispielsweise können Sensoren verwendet werden, die: ein Laserschlitzlicht scannen; einen Artikel mit einem Laserpunktlicht scannen; ein bekanntes Musterlicht auf den Artikel unter Verwendung einer Vorrichtung wie einen Projektor projizieren, eine Flugzeit von der Projizierung des Lichts mittels des Projektors bis zu dem Empfang des Lichts durch einen Empfänger verwenden, nachdem das Licht von einer Fläche des Artikels reflektiert würde. Zum Projizieren eines Musterlichts auf den Artikel kann eine Lichtquelle mit einer Ausstoßröhre (typischerweise einer Hochdruckquecksilberlampe) oder eineanderen Lichtquelle wie eine Festzustand-Lichtquelle (typischerweise eine Laserdiode oder eine LED) verwendet werden. Ferner kann ein nicht-sichtbares Licht beispielsweise von einer Infrarotlichtquelle verwendet werden, wodurch die Messung ohne Beeinflussung durch das Umgebungslicht ausgeführt werden kann.
-
Wenn eine Kamera Bestandteil des Feldsensors 18 ist, kann die Kamera ebenfalls als Kamera 20 zum Aufnehmen des zweidimensionalen Bildes, wie voranstehend beschrieben wurde, verwendet werden. Der Feldsensor kann von zwei Kameras und einem Projektor gebildet werden, und eine der beiden Kameras kann zum Aufnehmen des zweidimensionalen Bildes verwendet werden. Im wesentlichen hat der Projektor eine kürzere Lebensdauer als die Kamera und daher muss der Projektor periodisch mit einem anderen während einer Langzeitverwendung ersetzt werden. Durch die Bildung des Feldsensors mittels zweier Kameras und durch Verwendung eines von dem Projektor projizierten Musterlichts, das nur zur Zuordnung derselben zu messenden Objekte zwischen den von den beiden Kameras aufgenommenen Bildern verwendet wird, muss der Projektor nicht kalibriert werden, und der Projektor kann einfach durch einen anderen Projektor ersetzt werden.
-
Herkömmlicherweise stellt der Feldsensor die erhaltene dreidimensionale Information als ein Abstandsbild oder eine dreidimensionale Karte dar. Abstandsbild bedeutet in diesem Zusammenhang ein Bild, das die dreidimensionale Information innerhalb eines gemessenen Bereichs darstellt. In vielen Fällen stellt die Helligkeit und die Farbe jedes Pixels die Höhe und den Abstand von dem Feldsensor dar. Unter einer dreidimensionalen Karte ist andererseits zu verstehen, dass die dreidimensionale Information innerhalb des gemessenen Bereichs einen Satz von Koordinaten (x, y, z) der gemessenen dreidimensionalen Punkte darstellt. Gemäß der vorliegenden Erfindung wird unabhängig von der Darstellungsweise, die von dem Feldsensor erhaltene Information als ”dreidimensionale Information” bezeichnet, und wenigstens ein Element, das die dreidimensionale Information (das heißt, jedes Pixel in dem Abstandsbild oder die dreidimensionale Punkte in der dreidimensionalen Karte) wird als ”dreidimensionale Punktdaten” bezeichnet.
-
Im Folgenden wird das Verfahren gemäß der Erfindung zum Erkennen der dreidimensionalen Position und Orientierung des Artikels mit Bezug auf ein Flussdiagramm gemäß 2 erläutert.
-
Zunächst wird ein zweidimensionales Bild einer Gesamtregion, in dem eine Vielzahl von Artikel wahllos platziert sind, von der Kamera 20 (Schritt S1) erhalten, und eine dreidimensionale Information der im Wesentlichen selben Region wie dem der Kamera 20 wird von dem Feldsensor 18 erhalten. In diesem Zusammenhang kann entweder das zweidimensionale Bild oder die dreidimensionale Information zuerst erhalten werden. Anders ausgedrückt, können die Schritte S1 und S2 getauscht werden.
-
3 zeigt ein Beispiel des von der Kamera 20 erhaltenen zweidimensionalen Bildes, und 4 stellt eine Querschnittsansicht entlang der Linie A-A gemäß 3 dar. Die schwarzen Punkte 32 in 4 stellen die von dem Feldsensor 18 gemessenen dreidimensionalen Daten dar.
-
Im Anschluss daran wird von der von dem Feldsensor 18 erhaltenen dreidimensionalen Information ein Raum, in dem ein zu entnehmende Artikel angenommen wird, grob als ein Zielraum (Schritt S3) begrenzt. Wenn eine Vielzahl von Artikeln wahllos platziert sind, wird der sich in einem oberen Bereich befindende Artikel bevorzugt entnommen. Es ist daher zu bevorzugen, einen Bereich in einem höheren Niveau oder in der Nähe der Kamera als Zielraum zu begrenzen.
-
Zum Begrenzen des Zielraums sind folgende Verfahren möglich. Beispielsweise können die dreidimensionalen Punktdaten an einer Position, die höher als eine vorbestimmte Höhe (oder nahe der Kamera) sind, von der erhaltenen dreidimensionalen Information gesucht werden, und ein Raum nahe dieser Daten kann als Zielraum begrenzt werden. Alternativ ist es möglich, eine Vielzahl von dreidimensionalen Daten, die höher als eine vorbestimmte Höhe (oder nahe der Kamera) sind, auszuwählen, und der Zielraum kann als logische Addition (OR) der Räume nahe den entsprechenden Daten berechnet werden. Ferner ist es alternativ möglich, einen Durchschnitt oder einen Meridianwert der Höhen der dreidimensionalen Punktdaten (oder der Abstände von der Kamera) zu berechnen, die von der erhaltenen dreidimensionalen Information umfasst sind, und einen Raum nahe des Durchschnitts oder des Meridianwerts als Zielraum zu begrenzen. Alternativ kann eine flache Fläche, eine gekrümmte Fläche oder eine Kombination davon mit einem bestimmten Flächenbereich von der erhaltenen dreidimensionalen Information erfasst werden und ein die erfasste flache Fläche, die erfasste gekrümmte Fläche oder die erfasste Kombination davon kann als Zielraum begrenzt werden. Ferner kann alternativ ein Raum nahe der höchsten Position des in einer vorherigen Erkennung erkannten Artikels oder dem Durchschnitt oder dem Meridianwert der Höhen der Artikel als Zielraum begrenzt werden, wenn die Erkennung der dreidimensionalen Position und Orientierung des Artikels und die Entnahme der Artikel durch einen Roboter wiederholt ausgeführt wird.
-
Basierend auf den begrenzten Zielraum wird als nächstes ein Suchzustand zum Suchen des Artikels durch eine zweidimensionale Bildverarbeitung eingestellt (Schritt S4). Suchzustand bedeutet in diesem Zusammenhang eine Region zum Erfassen des Artikels auf dem von der Kamera 20 erhaltenen zweidimensionalen Bild oder einen Bereich einer passenden Größe des zu erfassenden Artikels auf dem zweidimensionalen Bild.
-
Im Folgenden wird der voranstehend genannte Suchzustand im Detail erläutert. Durch Projizieren eines beliebigen dreidimensionalen Punktes auf eine Licht aufnehmende Fläche der Kamera basierend auf Kalibrierungsdaten der Kamera kann berechnet werden, wo auf dem zweidimensionalen Bild der dreidimensionale Punkt ein Bild bildet. Derartige Verfahren sind aus der Nicht-Patentliteratur und hier aus dem Dokument von Tsai et al. Bekannt (Titel: An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision, Proc. Computer Vision and Pattern Recognition, '86, Seiten 364–374, 1986). Gemäß der vorliegenden Erfindung wird durch Projizieren der dreidimensionalen Punktdaten in dem in Schritt S3 begrenzten Raum auf die Lichtempfangsfläche der Kamera, basierend auf den Kalibrierungsdaten der Kamera 20, eine Region auf dem zweidimensionalen Bild eingegrenzt, in der der Artikel in dem Raum ein Bild bilden kann.
-
Beispielsweise kann, wenn die in 4 gezeigten dreidimensionalen Punktdaten 32 erhalten werden, ein Scheitelpunkt (oder ein lokaler Maximalpunkt eines Abschnitts, in dem die Höhe lokal groß ist) von der dreidimensionalen Information innerhalb des Behälters 24 erfasst werden. Bei einem Bereich nahe der Höhe des erfassten Scheitelpunkts wird ein Bereich 34 des zu dem begrenzten Raum korrespondierenden zweidimensionalen Bildes durch weiße Farbe dargestellt, und ein anderer Bereich 36 als der Bereich 34 wird durch schwarze Farbe, wie in 5 gezeigt, dargestellt. Der weiße Bereich 34 wird als Suchzustand zum Suchen des Bildes des Artikels durch die zweidimensionale Bearbeitung eingestellt.
-
Eine passende Größe des Artikels auf dem zweidimensionalen Bild ist proportional zu dem Kehrwert des Abstandes von der Kamera zu dem Artikel. Basierend auf Maximal- und Minimalwerten der Höhenwerte (oder dem Abstand von der Kamera) der dreidimensionalen Punktdaten, die in dem begrenzten Bereich umfasst sind, und basierend auf der Höhe (oder dem Abstand zu der Kamera) der Artikel kann, wenn eine zur zweidimensionalen Bildbearbeitung verwendete Maske eingelernt wird, ein Bereich einer Größe der Artikels innerhalb des Raums, der auf dem zweidimensionalen Bild dargestellt werden wird, als Suchzustand eingestellt werden.
-
Alternativ kann ein zu dem begrenzten Raum korrespondierender Bereich auf dem zweidimensionalen Bild in eine Vielzahl von Segmente unterteilt werden, und verschiedene Bereiche können für jedes Segment als Suchzustand eingestellt werden. Ferner kann alternativ ein Bereich mit einer Größe, die basierend auf dem Durchschnitt oder dem Meridianwert der Höhen der in vorangegangenen Erkennungen erkannten Artikel berechnet wird, als Suchzustand eingestellt werden, wenn die Erkennung der dreidimensionalen Position und Orientierung der Artikel und das Entnehmen der Artikel mittels eines Roboters wiederholt ausgeführt wird.
-
Basierend auf dem eingestellten Suchzustand wird als nächstes ein Bild des Artikels mittels der zweidimensionalen Bildverarbeitung erfasst (Schritt S5) und die zweidimensionale Positionsinformation (zum Beispiel X-Y-Koordinaten) auf dem Bild des Artikels wird erhalten (Schritt S6). In diesem Zusammenhang können beliebige zweidimensionale Bildbearbeitungen, wie zum Beispiel das bekannte Maskenabgleichen, verwendet werden. Wenn die Darstellung eines Artikels auf dem Bild sich aufgrund seiner verschiedenen Seiten unterscheidet, oder wenn eine Vielzahl von Artikeln verschiedene Formen haben, kann eine Vielzahl von Masken zum Ausführen des Abgleichs entsprechend bereitgestellt werden.
-
Unter Verwendung der erhaltenen zweidimensionalen Positionsinformation werden erste dreidimensionale Punktdaten (oder Datenaggregate) ausgewählt (Schritt S7), die zur Erkennung der dreidimensionalen Position und Orientierung des Artikels verwendet werden. Wie beispielsweise in 6 dargestellt ist, wird jeder der dreidimensionalen Punktdaten 32, der in der dreidimensionalen Information enthalten ist, auf eine Lichtempfangsfläche 38 der Kamera 20 basierend auf den Kalibrierungsdaten der Kamera 20 projiziert. Wenn eine projizierter Punkt 32', der auf die Lichtempfangsfläche 38 projiziert wird, in eine Maske 40 projiziert wird, die dem durch die zweidimensionale Bildverarbeitung erfassten Artikel entspricht, kann erkannt werden, dass die dreidimensionalen Punktdaten auf dem durch die zweidimensionale Bildverarbeitung erfassten Artikel positioniert sind.
-
Andererseits kann basierend auf den Kalibrierungsdaten der Kamera 20 eine Vielzahl von dreidimensionalen Geraden berechnet werden, die sich von einer Vielzahl von Punkten an einer Grenzlinie der Maske zu einem Fokuspunkt der Kamera 20 erstrecken, wobei die Maske dem durch die zweidimensionale Bildverarbeitung erfassten Artikel entspricht. Unter den in der dreidimensionalen Information enthaltenen dreidimensionalen Punktdaten können die dreidimensionalen Punktdaten innerhalb einer von den berechneten Geraden gebildeten Petrosa als dreidimensionale Punktdaten ausgewählt werden, die zur Erkennung der dreidimensionalen Position und Orientierung des Artikels verwendet werden.
-
Basierend auf der zweidimensionalen Positionsinformation, die in Schritt S6 erhalten wird, und den Kalibrierungsdaten der Kamera 20 wird eine Sichtlinie in dem dreidimensionalen Raum berechnet (Schritt S8), die sich von einem Linsenmittelpunkt der Kamera 20 zu einer dreidimensionalen Position erstreckt, die der zweidimensionalen Position des Artikels entspricht.
-
Schließlich wird basierend auf den ersten dreidimensionalen Punktdaten des ausgewählten Artikels und der in Schritt S8 berechneten Sichtlinie wenigstens eine dreidimensionale Position und Orientierung des Artikels berechnet (Schritt S9). Eine ungefähre Ebene kann beispielsweise durch Anlegen einer Ebene an den dreidimensionalen Punktdaten des ausgewählten Artikels berechnet werden. Ein Schnittpunkt zwischen der berechneten ungefähren Ebene und der Sichtlinie kann berechnet werden, und der berechnete Schnittpunkt kann als dreidimensionale Position ermittelt werden, die den Artikel darstellt. In diesem Fall kann, wenn eine Neigung des Artikels berechnet wird, die Information der ungefähren Ebene in einer Normalrichtung verwendet werden. Wenn die Richtung (ein Rotationswinkel um die Normallinie) des Artikels berechnet wird, kann die Richtung der auf dem zweidimensionalen Bild erfassten Maske verwendet werden. Ferner kann, wenn die Form des Artikels durch eine Funktion (die nicht auf eine Ebene beschränkt ist) dargestellt wird, die dreidimensionale Position und Orientierung des Artikels durch Anwenden der Funktion an den dreidimensionalen Punktdaten des ausgewählten Artikels berechnet werden.
-
Alternativ kann, wenn die Form des Artikels als eine dreidimensionale Form wie beispielsweise durch dreidimensionale CAD-Daten vorbestimmt ist, der Abgleich zwischen den dreidimensionalen Punktdaten, die als gegeben angenommen werden, auf dem Artikel und der dreidimensionalen Form des Artikels ausgeführt werden. Selbst beim Abgleich der dreidimensionalen CAD-Daten, ist die dreidimensionale Information als Gegenstand des Abgleichs beschränkt, und der Abgleich kann in einer signifikant kurzen Zeit im Vergleich zu dem Fall ausgeführt werden, in dem die Position und die Orientierung für den Abgleich auf dem gesamten Sichtfeld gesucht werden müssen.
-
Wie voranstehend beschrieben wurde, können gemäß der vorliegenden Erfindung die dreidimensionale Position und die Orientierung des Artikels durch das nachstehend beschriebene Verfahren erkannt werden.
- (1) Zuerst wird mittels einer Kamera ein zweidimensionales Bild einer Gesamtregion erhalten, in der eine Vielzahl von Artikeln wahllos platziert sind, und eine dreidimensionale Information der im Wesentlichen selben Region wie der der Kamera wird mittels eines Feldsensors erhalten.
- (2) Im Folgenden wird von der von dem Feldsensor erhaltenen dreidimensionalen Information ein Raum grob begrenzt, in dem ein zu entnehmender Artikel angenommen wird. Im Allgemeinen ist der in einem oberen Bereich vorliegende Artikel bei der Entnahme zu bevorzugen, wenn eine Vielzahl von Artikel beliebig platziert ist. Daher wird beispielsweise ein Raum an einem höheren Niveau begrenzt.
- (3) Basierend auf den begrenzten Raum wird ein Suchzustand zum Suchen des Artikels mittels einer zweidimensionalen Bildverarbeitung eingestellt. In diesem Zusammenhang ist der Suchzustand eine Region zum Erfassen des Artikels auf dem zweidimensionalen Bild oder ein Bereich einer passenden Größe der zu erfassenden Artikel. Beispielsweise kann durch Projizieren eines Punktes innerhalb des begrenzten Raums auf einer Lichtempfangsfläche der Kamera basierend auf den Kalibrierungsdaten der Kamera, der Suchbereich in der Region des zweidimensionalen Bildes begrenzt werden, die dem begrenzten Raum entspricht. Andererseits kann basierend auf dem Abstand zwischen dem Punkt innerhalb des begrenzten Raums und der Kamera, der Bereich einer passenden Größe der Artikel begrenzt werden, der auf das zweidimensionale Bild projiziert wird.
- (4) Als nächstes wird eine zweidimensionale Bildverarbeitung basierend auf dem eingestellten Suchzustand ausgeführt, wodurch eine zweidimensionale Positionsinformation auf dem Bild des Artikels erhalten wird. Eine bekannte zweidimensionale Bildverarbeitung, wie ein Maskenabgleich, kann verwendet werden. Da der Suchzustand im Voraus begrenzt wird, kann die Verarbeitung in einer sehr kurzen Zeit ausgeführt werden.
- (5) Unter Verwendung der zweidimensionalen Positionsinformation werden die dreidimensionalen Punktdaten ausgewählt, die zur Erkennung der dreidimensionalen Position und die Orientierung verwendet werden. Beispielsweise werden alle dreidimensionalen Punktdaten, die in der dreidimensionalen Region enthalten sind, basierend auf den Kalibrierungsdaten der Kamera auf die Lichtempfangsfläche der Kamera projiziert. Dann wird, wenn die Punktdaten in eine durch die zweidimensionale Bildverarbeitung erfasste Maskenregion projiziert werden, festgestellt, dass die dreidimensionalen Punktdaten auf einem durch die zweidimensionale Bildverarbeitung erfassten Artikel positioniert sind.
- (6) Schließlich wird basierend auf der zweidimensionalen Positionsinformation und den Kalibrierungsdaten der Kamera eine Sichtlinie in dem dreidimensionalen Raum berechnet, die sich von einem Linsenmittelpunkt der Kamera zu dem Artikel erstreckt. Dann wird die dreidimensionale Position und/oder die Orientierung des Artikels basierend auf der Sichtlinie und den ausgewählten dreidimensionalen Punktdaten berechnet, die als für den Artikel zutreffend angenommen werden.
-
Gemäß der vorliegenden Erfindung wird ein Suchzustand zum Erfassen der zweidimensionalen Position des Artikels basierend auf der dreidimensionalen Position eingestellt. Die dreidimensionalen Punktdaten zur Berechnung der Position und Orientierung des Artikels in dem dreidimensionalen Raum werden basierend auf der zweidimensionalen Positionsinformation des Artikels ausgewählt, die in dem eingestellten Suchzustand erfasst wurden. Die Verarbeitung des zweidimensionalen Bildes und der dreidimensionalen Information kann mit geringen Berechnungskosten ausgeführt werden, und die dreidimensionale Position und die Orientierung des Artikels können effektiv berechnet werden.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- JP 7-270137 [0004]
- JP 9-196636 [0005]
- JP 2005-62063 [0006]
- JP 2004-272841 [0007, 0012]
- JP 2009-128191 [0008, 0011]
- JP 2004-144557 [0009, 0013, 0013]
- JP 6-165036 [0010, 0013, 0014]
-
Zitierte Nicht-Patentliteratur
-
- Tsai et al. Bekannt (Titel: An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision, Proc. Computer Vision and Pattern Recognition, '86, Seiten 364–374, 1986) [0045]
