JP7399981B2 - ロボット、ロボットシステム及び制御方法 - Google Patents

Description

本開示は、ロボット、ロボットシステム及び制御方法に関する。

特許文献１には、ワークを支持する作業台と、ワークに対する作業を行うロボットアームと、作業台の上方に設置されたカメラと、を備え、カメラから取得した画像に基づいてワークの位置及び姿勢を特定するロボットシステムが開示されている。

特開２０１４－１８０７２０号公報

本開示は、カメラ画像のロボット制御への有効活用と、システム構成の簡素化との両立に有効なロボットを提供する。

本開示の一側面に係るロボットは、基部と、基部に対して旋回する旋回部と、旋回部に連結され、作業用のツールの位置及び姿勢を変更する多関節アームと、旋回部に固定されたカメラと、を備え、多関節アームによるツールの可動範囲と、カメラの視野とが重複している。

本開示の他の側面に係るロボットシステムは、上記ロボットと、ワークのカメラによる撮像画像に基づいて動作指令を生成する指令生成部と、動作指令に基づいて、ツールによる第１作業をワークに対し実行するように多関節アームを制御するアーム制御部と、を備える。

本開示の更に他の側面に係る制御方法は、基部と、基部に対して旋回する旋回部と、旋回部に連結され、作業用のツールの位置及び姿勢を変更する多関節アームと、を備えるロボットの、基部の周囲の作業エリアに配置されたワークの画像を、旋回部に設けられたカメラから取得し、当該画像に基づいて動作指令を生成することと、動作指令に基づいて、ツールによる第１作業をワークに対し実行するように多関節アームを制御することと、を含む。

本開示によれば、カメラ画像のロボット制御への有効活用と、システム構成の簡素化との両立に有効なロボットを提供する。

ロボットシステムの概略構成を示す模式図である。 図１のロボットシステムの正面図である。 コントローラのハードウェア構成を例示するブロック図である。 ワークの搬送制御手順を例示するフローチャートである。 ワークの搬送制御手順を例示するフローチャートである。 ワークの搬送制御手順の変形例を示すフローチャートである。

以下、実施形態について、図面を参照しつつ詳細に説明する。説明において、同一要素又は同一機能を有する要素には同一の符号を付し、重複する説明を省略する。

〔ロボットシステム〕
図１に示すロボットシステム１は、製品の生産ラインにおいて、作業対象物（以下、「ワーク」という。）に対し所定の作業を実行するシステムである。作業の具体例としては、ワークをピックアップし、所定の搬送目標位置及び姿勢まで搬送してドロップオフするピックアンドプレース作業が挙げられるが、これに限定されない。作業の他の例としては、ワークを他のワークに溶接する作業、ワークを他のワークにボルト等により締結する作業、ワークに研磨等の加工を施す作業等が挙げられる。図１に示すように、ロボットシステム１は、ロボット１０と、コントローラ１００とを有する。

ロボット１０は、所謂垂直多関節型の産業用ロボットであり、基部１１と、旋回部１２と、多関節アーム２０と、アクチュエータ７１，７２，７３，７４，７５，７６，７７と、ツール３０と、カメラ４０とを有する。

基部１１は、作業エリア５の近傍に位置するロボット支持台３の上に固定されている。基部１１は、ＡＧＶ（Ａｕｔｏｍａｔｅｄ Ｇｕｉｄｅｄ Ｖｅｈｉｃｌｅ）上に固定されていてもよい。旋回部１２は、基部１１の上に設けられている。旋回部１２は、基部１１に対して旋回する。例えば旋回部１２は、鉛直な軸線５１まわりに旋回する。

多関節アーム２０は、旋回部１２に連結され、作業用のツール３０の位置及び姿勢を変更する。多関節アーム２０は、６以上の独立した自由度を有する。例えば多関節アーム２０は、６軸のシリアルリンク型のアームであり、第１アーム２１と、第２アーム２２と、第３アーム２３と、ツール保持部２４とを有する。

第１アーム２１は、旋回部１２に連結され、第１アーム２１と旋回部１２との連結部を通る軸線５２まわりに揺動する。軸線５２（第１軸線）は、旋回部１２の旋回中心軸線（上記軸線５１）に交差（例えば直交）している。ここでの交差は、所謂立体交差のようにねじれの関係も含む。以下においても同様である。第１アーム２１は、アーム基部２５と旋回アーム２６とを有する。アーム基部２５は、旋回部１２に連結され、軸線５２に交差（例えば直交）する軸線５３に沿っている。旋回アーム２６は、アーム基部２５の先端部に連結され、軸線５３に沿っており、軸線５３まわりに旋回する。

第２アーム２２は、第１アーム２１の先端部に連結され、第１アーム２１に沿った軸線５３（第２軸線）まわりに旋回し、軸線５３に交差（例えば直交）する軸線５４（第３軸線）まわりに揺動する。例えば第２アーム２２は、旋回アーム２６の先端部に連結されており、第２アーム２２と旋回アーム２６との連結部を通る軸線５４まわりに揺動する。また、第２アーム２２は、旋回アーム２６と共に軸線５３まわりに旋回する。第２アーム２２は、アーム基部２７と旋回アーム２８とを有する。アーム基部２７は、旋回アーム２６の先端部に連結され、軸線５４に交差（例えば直交）する軸線５５に沿っている。旋回アーム２８は、アーム基部２７の先端部に連結され、軸線５５に沿っており、軸線５５まわりに旋回する。

第３アーム２３は、第２アーム２２の先端部に連結され、第２アーム２２に沿った軸線５５（第４軸線）まわりに旋回し、軸線５５に交差（例えば直交）する軸線５６（第５軸線）まわりに揺動する。例えば第３アーム２３は、旋回アーム２８の先端部に連結されており、第３アーム２３と旋回アーム２８との連結部を通る軸線５６まわりに揺動する。また、第３アーム２３は、旋回アーム２８と共に軸線５５まわりに旋回する。第３アーム２３は、軸線５６に交差（例えば直交）する軸線５７に沿っている。

ツール保持部２４は、第３アーム２３の先端部に設けられ、ツール３０を保持し、第３アーム２３に沿った軸線５７（第６軸線）まわりに旋回する。

このように、ロボット１０は、基部１１と旋回部１２とを連結する関節６１と、旋回部１２とアーム基部２５とを連結する関節６２と、アーム基部２５と旋回アーム２６とを連結する関節６３と、旋回アーム２６とアーム基部２７とを連結する関節６４と、アーム基部２７と旋回アーム２８とを連結する関節６５と、旋回アーム２８と第３アーム２３とを連結する関節６６と、第３アーム２３とツール保持部２４とを連結する関節６７とを有する。

アクチュエータ７１，７２，７３，７４，７５，７６，７７は、例えば電動モータ及び減速機を含み、関節６１，６２，６３，６４，６５，６６，６７をそれぞれ駆動する。例えばアクチュエータ７１は、基部１１に内蔵（例えば基部１１の外殻８１内に収容）されており、軸線５１まわりに旋回部１２を旋回させる。アクチュエータ７２は、旋回部１２に内蔵（例えば旋回部１２の外殻８２内に収容）されており、軸線５２まわりにアーム基部２５を揺動させる。アクチュエータ７３は、アーム基部２５に内蔵（例えばアーム基部２５の外殻８３内に収容）されており、軸線５３まわりに旋回アーム２６を旋回させる。アクチュエータ７４は、旋回アーム２６に内蔵（例えば旋回アーム２６の外殻８４内に収容）されており、軸線５４まわりにアーム基部２７を揺動させる。アクチュエータ７５は、アーム基部２７に内蔵（例えばアーム基部２７の外殻８５内に収容）されており、軸線５５まわりに旋回アーム２８を旋回させる。アクチュエータ７６は、旋回アーム２８に内蔵（例えば旋回アーム２８の外殻８６内に収容）されており、軸線５６まわりに第３アーム２３を揺動させる。アクチュエータ７７は、第３アーム２３に内蔵（例えば第３アーム２３の外殻８７内に収容）されており、軸線５７まわりにツール保持部２４を旋回させる。

ツール３０は、ロボット１０がワークＷに対し実行する作業においてワークＷに作用する。ツール３０の具体例としては、ワークＷを吸着により保持する吸着ノズル、ワークＷを掴むことにより保持するハンド等が挙げられる。ツール３０の他の例としては、溶接トーチ、ねじ締めツール（例えば電動ドライバ）、及び研磨ツール（例えばグラインダー）等が挙げられる。

カメラ４０は、旋回部に固定されており、作業エリア５を撮影する。カメラ４０は、ＣＣＤ（Ｃｈａｒｇｅｄ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）又はＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ－Ｏｘｉｄｅ－Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等の撮像素子と、視野４１の画像を撮像素子に結像させる光学系とを有する。カメラ４０は、撮影対象部の輝度、色調等を画素ごとに示す２次元画像（例えばカラー画像、モノクロ画像）を取得するカメラであってもよいし、撮像対象部までの距離を画素ごとに示す距離画像を取得するＴｏＦ（Ｔｉｍｅ－ｏｆ－Ｆｌｉｇｈｔ）カメラであってもよい。カメラ４０は、２次元画像及び距離画像の両方を取得するカメラであってもよい。

カメラ４０は、カメラ４０を基準とする座標系（以下、「カメラ座標系」という。）と、旋回部１２を基準とする座標系（以下、「旋回座標系」という。）との関係が不変となるように旋回部１２に固定されている。図１に例示する旋回座標系は、Ｘ軸、Ｙ軸及びＺ軸を有する。Ｚ軸は、鉛直上方に向かう座標軸である。Ｙ軸は軸線５２に沿った座標軸である。Ｘ軸は、Ｙ軸及びＺ軸に垂直な座標軸である。旋回座標系の原点は、軸線５２と、後述の基準面４３（図２参照）との交点に位置する。以下においては、Ｘ軸正方向をロボット１０の前方という。図１に例示するカメラ座標系は、ＣＸ軸、ＣＹ軸及びＣＺ軸を有する。ＣＸ軸は、視野４１の中心の光軸４２に沿った座標軸であり、カメラ４０から遠ざかる方向を正方向とする。ＣＺ軸は、撮像素子に結像する画像の上方を正方向とする座標軸である。ＣＹ軸は、ＣＸ軸及びＣＺ軸に垂直な座標軸である。

カメラ４０は、旋回部１２に内蔵（例えば外殻８２内に収容）されていてもよい。例えばカメラ４０は、外殻８２内において、アクチュエータ７２の前方に配置されている。外殻８２の前部には、撮像用の窓８２ａ（図２参照）が形成されており、カメラ４０は、窓８２ａを介して旋回部１２の前斜め下方の画像を撮像する。

旋回部１２におけるカメラ４０の配置は、多関節アーム２０によるツール３０の可動範囲３１と、カメラ４０の視野４１とが重複するように設定されている。例えば、カメラ４０の配置は、可動範囲３１と視野４１とが作業エリア５において重複するように設定されている。

例えば、カメラ４０は、軸線５２に交差（例えば直交）する基準面４３（図２参照）に光軸４２が沿うように旋回部１２に固定されている。カメラ４０は、基準面４３において光軸４２が斜め下方に向くように旋回部１２に固定されていてもよい。一例として、カメラ４０は、ＣＸ軸（光軸４２）が斜め下方に向くように旋回部１２に固定されている。具体的に、ＣＸ軸は、Ｙ軸に垂直であり、ＣＸ軸の正方向は、Ｘ軸正方向及びＺ軸負方向に向かっている。Ｙ軸まわりでＣＸ軸とＸ軸とのなす角は、例えば３０～６０度である。

図２は、ロボット１０をＸ軸正方向から見た正面図である。図２に示すように、Ｙ軸（軸線５２）に沿う方向において、第１アーム２１の可動範囲Ａ１は、カメラ４０の基準面４３から離れていてもよい。例えば可動範囲Ａ１は、基準面４３に対してＹ軸負方向にオフセットしている。

仮に、軸線５２に沿う方向において可動範囲Ａ１と基準面４３とが一致する場合、第１アーム２１の可動範囲内にカメラ４０が位置することとなるので、第１アーム２１の可動角を十分に確保するためには、軸線５２をカメラ４０よりも十分上方に配置する必要がある。このため、多関節アーム２０が大型化することとなる。一方、多関節アーム２０の大型化を抑制するためにカメラ４０の配置高さを低くすると、カメラ４０による撮像範囲が狭くなる。このように、多関節アーム２０の省スペース化と、カメラ４０の撮像範囲の広域化との両立が困難となる。これに対し、軸線５２に沿う方向において可動範囲Ａ１が基準面４３から離れた構成によって、第１アーム２１の可動範囲に影響を及ぼすことなくカメラ４０の配置高さを高くし、カメラ４０の撮像範囲の広域化を図ることが可能となっている。図１において、カメラ４０は、軸線５２よりも下方に位置しているが、カメラ４０を軸線５２よりも上方に配置することも可能である。

なお、軸線５４に沿う方向において、第２アーム２２の可動範囲Ａ２が第１アーム２１から離れていてもよい。更に、軸線５６に沿う方向において、第３アーム２３の可動範囲Ａ３が第２アーム２２から離れていてもよい。以下、軸線５４に沿って第２アーム２２の可動範囲Ａ２が第１アーム２１から離れる方向を、「第２アーム２２のオフセット方向」という。軸線５６に沿って第３アーム２３の可動範囲Ａ３が第２アーム２２から離れる方向を、「第３アーム２３のオフセット方向」という。

図２は、第２アーム２２のオフセット方向及び第３アーム２３のオフセット方向が、いずれもＹ軸正方向に向けられた状態を示している。この状態において、第２アーム２２の可動範囲Ａ２は、基準面４３と重なっていてもよい。また、第３アーム２３の可動範囲Ａ３は、基準面４３から離れていてもよい。

図１に戻り、ロボットシステム１は、基部１１の周囲の作業エリア５においてワークＷを支持する支持部２を更に備えてもよい。支持部２の上面２ａは、旋回部１２よりも下に位置していてもよく、基部１１よりも下に位置していてもよい。

コントローラ１００は、ロボット１０を制御する。例えばコントローラ１００は、作業エリア５に配置されたワークＷの画像をカメラ４０から取得し、当該画像に基づいて動作指令を生成することと、動作指令に基づいて、ツール３０による第１作業をワークＷに対し実行するように多関節アーム２０を制御することと、を実行するように構成されている。例えばコントローラ１００は、機能上の構成（以下、「機能ブロック」という。）として、画像処理部１１２と、指令生成部１１３と、アーム制御部１１４と、旋回制御部１１１とを有する。

画像処理部１１２は、カメラ４０によるワークＷ（例えば支持部２上に配置されたワークＷ）の撮像画像に基づいて３次元空間におけるワークＷの位置及び姿勢を算出する。例えば画像処理部１１２は、撮像画像内におけるワークＷの形状及び大きさと、既知のワークＷの３次元形状及び大きさとに基づいて、カメラ座標系におけるワークＷの位置及び姿勢を算出し、算出結果に座標変換を施すことで旋回座標系におけるワークＷの位置及び姿勢を算出する。

なお、ロボット１０は、立体視用に２つのカメラ４０を備えていてもよい。この場合、画像処理部１１２は、２つのカメラ４０によるワークＷの撮像画像に基づいてカメラ座標系におけるワークＷの位置及び姿勢を算出してもよい。

指令生成部１１３は、ワークＷ（例えば支持部２上に配置されたワークＷ）のカメラ４０による撮像画像に基づいて動作指令を生成する。動作指令は、例えば時系列の複数の命令を含む。各命令は、少なくともツール３０の目標位置及び姿勢を含む。例えば指令生成部１１３は、画像処理部１１２が算出したワークＷの位置及び姿勢に基づいて動作指令を生成する。

一例として、ワークＷをピックアップするための動作指令を生成する場合、指令生成部１１３は、画像処理部１１２が算出したワークＷの位置及び姿勢に基づいて、当該ワークＷを保持するためのツール３０の目標位置及び目標姿勢（以下、「保持位置及び姿勢」という。）を算出し、ツール３０を現在位置及び姿勢から保持位置及び姿勢まで変位させるように動作指令を算出する。更に、指令生成部１１３は、保持位置及び姿勢にてワークＷを保持したツール３０を、所定の持ち上げ位置及び姿勢まで変位させるように動作指令を算出する。

アーム制御部１１４は、動作指令に基づいて、ツール３０による第１作業をワークＷに対し実行するように多関節アーム２０を制御する。例えばアーム制御部１１４は、動作指令に従ってツール３０を移動させるように、逆運動学演算によって関節６２，６３，６４，６５，６６，６７の動作角度を算出し、算出した動作角度に従って関節６２，６３，６４，６５，６６，６７を動作させるようにアクチュエータ７２，７３，７４，７５，７６，７７を制御する。

また、アーム制御部１１４は、多関節アーム２０によるツール３０の変位に連動して、ツール３０を動作させる。例えば、第１作業がワークＷをピックアップする作業である場合、アーム制御部１１４は、保持位置及び姿勢にツール３０が配置された場合に、ツール３０にワークＷを保持させる。

旋回制御部１１１は、指令生成部１１３が動作指令を生成する前に、カメラ４０がワークＷに向くように旋回部１２を旋回させ、その後、第１作業を多関節アーム２０が完了させるまで旋回部１２を停止させる。

コントローラ１００は、作業監視部１１５を更に有してもよい。作業監視部１１５は、多関節アーム２０が第１作業を実行している期間中におけるワークＷのカメラ４０による撮像画像に基づいて第１作業におけるイレギュラー状態を検知する。第１作業がワークＷをピックアップする作業である場合、イレギュラー状態の具体例としては、ワークＷを保持する位置までツール３０を移動させている最中におけるワークＷの変位、ツール３０によるワークＷの保持不良等が挙げられる。

作業監視部１１５がイレギュラー状態を検知した場合に、指令生成部１１３は、ワークＷのカメラ４０による撮像画像に基づいて動作指令を修正してもよい。例えば、ワークＷを保持する位置までツール３０を移動させている最中におけるワークＷの変位が作業監視部１１５により検知された場合、指令生成部１１３は、画像処理部１１２が算出した変位後のワークＷの位置及び姿勢に基づいて動作指令を修正する。ツール３０によるワークＷの保持不良が作業監視部１１５により検知された場合、アーム制御部１１４がツール３０によるワークＷの保持を解除させ、その後、画像処理部１１２が算出したワークＷの位置及び姿勢に基づいて指令生成部１１３が動作指令を修正する。アーム制御部１１４は、修正後の動作指令に基づいて第１作業を多関節アーム２０に継続させる。

指令生成部１１３は、第１作業を多関節アーム２０が実行している期間中における他のワークＷ（例えば支持部２上の他のワークＷ）のカメラ４０による撮像画像に基づいて第２動作指令を更に生成してもよい。例えば、第１作業を多関節アーム２０が実行している期間中における上記他のワークＷ（第２ワーク）のカメラ４０による撮像画像に基づいて、画像処理部１１２が第２ワークの位置及び姿勢を算出する。指令生成部１１３は、画像処理部１１２による第２ワークの位置及び姿勢の算出結果に基づいて第２動作指令を算出する。アーム制御部１１４は、第１作業を多関節アーム２０が実行した後に、第２動作指令に基づいて、ツール３０による第２作業を第２ワークに対し実行するように多関節アーム２０を制御する。

第１作業がワークＷをピックアップする作業である場合に、旋回制御部１１１は、第１作業により多関節アーム２０がワークＷをピックアップした状態で旋回部１２を旋回させ、アーム制御部１１４は、旋回制御部１１１が旋回部１２を旋回させている期間の少なくとも一部において、ピックアップ中のワークＷをカメラ４０の視野内に配置するように多関節アーム２０を制御してもよい。

この場合、コントローラ１００は、保持状態監視部１１６を更に有してもよい。保持状態監視部１１６は、旋回制御部１１１が旋回部１２を旋回させている期間中におけるピックアップ中のワークＷのカメラ４０による撮像画像に基づいて、ツール３０によるワークＷの保持状態を検査する。

なお、以上に説明した各機能ブロックは、コントローラ１００の構成要素であるから、各機能ブロックが実行する処理は、コントローラ１００が実行する処理に相当する。

図３は、コントローラ１００のハードウェア構成を例示するブロック図である。図３に示すように、コントローラ１００は、回路１９０を有する。回路１９０は、一つ又は複数のプロセッサ１９１と、メモリ１９２と、ストレージ１９３と、画像処理回路１９４と、ドライバ回路１９５とを含む。ストレージ１９３は、例えば不揮発性の半導体メモリ等、コンピュータによって読み取り可能な記憶媒体を有する。ストレージ１９３は、作業エリア５に配置されたワークＷの画像をカメラ４０から取得し、当該画像に基づいて動作指令を生成することと、動作指令に基づいて、ツール３０による第１作業をワークＷに対し実行するように多関節アーム２０を制御することと、をコントローラ１００に実行させるプログラムを記憶している。

メモリ１９２は、ストレージ１９３の記憶媒体からロードしたプログラム及びプロセッサ１９１による演算結果を一時的に記憶する。プロセッサ１９１は、メモリ１９２と協働して上記プログラムを実行することで、コントローラ１００の各機能ブロックを構成する。画像処理回路１９４は、プロセッサ１９１からの要求に従って、画像処理を実行する。画像処理の具体例としては、カメラ４０から取得した撮像画像におけるワークＷの形状及び大きさの認識等が挙げられる。ドライバ回路１９５は、プロセッサ１９１からの指令に従って、アクチュエータ７１，７２，７３，７４，７５，７６，７７に駆動電力を出力する。

なお、回路１９０は、必ずしもプログラムにより各機能を構成するものに限られない。例えば回路１９０は、専用の論理回路又はこれを集積したＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により少なくとも一部の機能を構成してもよい。

〔ロボットの制御手順〕
続いて、制御方法の一例として、コントローラ１００が実行するロボット１０の制御手順を例示する。この手順は、基部１１と、基部１１に対して旋回する旋回部１２と、旋回部１２に連結され、作業用のツール３０の位置及び姿勢を変更する多関節アーム２０と、を備えるロボット１０の、基部１１の周囲の作業エリア５に配置されたワークＷの画像を、旋回部１２に設けられたカメラ４０から取得し、当該画像に基づいて動作指令を生成することと、動作指令に基づいて、ツール３０による第１作業をワークＷに対し実行するように多関節アーム２０を制御することと、を含む。

以下、１つの支持部２上において、複数のワークＷに対するピックアンドプレース作業をロボット１０に実行させる手順を例示する。この手順は、ワークＷに対する第１作業を多関節アーム２０が実行している期間中における、他のワークＷ（第２ワーク）のカメラ４０による撮像画像に基づいて、第２動作指令を更に生成することと、第１作業を多関節アーム２０が実行した後に、第２動作指令に基づいて、ツール３０による第２作業を第２ワークに対し実行するように多関節アーム２０を制御することとを含む。

図４に示すように、コントローラ１００は、まずステップＳ０１，Ｓ０２，Ｓ０３，Ｓ０４，Ｓ０５，Ｓ０６，Ｓ０７，Ｓ０８，Ｓ０９，Ｓ１１を実行する。ステップＳ０１では、旋回制御部１１１が、支持部２上の複数のワークＷにカメラ４０が向くように旋回部１２を旋回させ、複数のワークＷにカメラ４０が向いた状態で旋回部１２を停止させる。以後、旋回制御部１１１は、複数のワークＷに対するピックアンドプレース作業を多関節アーム２０が完了させるまで、旋回部１２を停止状態に維持する。

ステップＳ０２では、画像処理部１１２が、複数のワークＷの撮像画像をカメラ４０から取得する。ステップＳ０３では、画像処理部１１２が、カメラ４０から取得した撮像画像に基づいて、いずれかのワークＷ（以下、「ターゲットワーク」という。）のカメラ座標系における位置及び姿勢を算出する。ステップＳ０４では、画像処理部１１２が、カメラ座標系における位置及び姿勢に座標変換を施して、旋回座標系におけるターゲットワークの位置及び姿勢を算出する。

ステップＳ０５では、指令生成部１１３が、ターゲットワークの撮像画像に基づいて、ターゲットワークを保持するための動作指令を算出する（以下、「保持指令」という。）。例えば指令生成部１１３は、画像処理部１１２が算出したターゲットワークの位置及び姿勢に基づいて、ターゲットワークを保持するためのツール３０の目標位置及び姿勢（上記保持位置及び姿勢）を算出する。ステップＳ０６では、アーム制御部１１４が、保持指令に基づいて、保持位置及び姿勢にツール３０を配置するように多関節アーム２０を制御する。

ステップＳ０７では、画像処理部１１２が、ターゲットワークの撮像画像をカメラ４０から取得する。ステップＳ０８では、画像処理部１１２が、カメラ４０から取得した撮像画像に基づいて、ターゲットワークのカメラ座標系における位置及び姿勢を算出する。ステップＳ０９では、画像処理部１１２が、カメラ座標系における位置及び姿勢に座標変換を施して、旋回座標系におけるターゲットワークの位置及び姿勢を算出する。

ステップＳ１１では、ターゲットワークの位置及び姿勢が正常範囲であるかを作業監視部１１５が確認する。例えば作業監視部１１５は、ステップＳ０４において画像処理部１１２が算出したターゲットワークの位置及び姿勢と、ステップＳ０９において画像処理部１１２が算出したターゲットワークの位置及び姿勢との差異が許容範囲内であるかを確認する。

ステップＳ１１においてターゲットワークの位置及び姿勢が正常範囲でないと判定した場合、コントローラ１００は処理をステップＳ０３に戻す。これにより、指令生成部１１３が、ターゲットワークの撮像画像に基づき保持指令を修正する。アーム制御部１１４は、修正後の保持指令に基づいて修正後の保持位置及び姿勢にツール３０を配置するように多関節アーム２０を制御する。

ステップＳ１１においてターゲットワークの位置及び姿勢が正常範囲であると判定した場合、コントローラ１００は、ステップＳ１２，Ｓ１３，Ｓ１４，Ｓ１５，Ｓ１６，Ｓ１７，Ｓ１８を実行する。ステップＳ１２では、アーム制御部１１４が、ツール３０にワークＷを保持させる。

ステップＳ１３では、指令生成部１１３が、ターゲットワークを保持したツール３０を、所定の持ち上げ位置及び姿勢まで変位させるように動作指令（以下、「持ち上げ指令」という。）を算出する。ステップＳ１４では、アーム制御部１１４が、持ち上げ指令に基づいて、持ち上げ位置及び姿勢にツール３０を配置するように多関節アーム２０を制御する。

ステップＳ１５では、画像処理部１１２が、複数のワークＷの撮像画像をカメラ４０から取得する。ステップＳ１６では、画像処理部１１２が、カメラ４０から取得した撮像画像に基づいて、ターゲットワークのカメラ座標系における位置及び姿勢を算出する。ステップＳ１７では、画像処理部１１２が、カメラ座標系における位置及び姿勢に座標変換を施して、旋回座標系におけるターゲットワークの位置及び姿勢を算出する。

ステップＳ１８では、ターゲットワークの位置及び姿勢が正常範囲であるかを作業監視部１１５が確認する。例えば作業監視部１１５は、ツール３０に対するターゲットワークの相対的な位置及び姿勢が正常範囲であるかを確認する。

ステップＳ１８においてターゲットワークの位置及び姿勢が正常範囲でないと判定した場合、コントローラ１００はステップＳ１９を実行する。ステップＳ１９では、アーム制御部１１４が、ツール３０によるワークＷの保持を解除させる。アーム制御部１１４は、ツール３０を持ち上げ位置及び姿勢から保持位置及び姿勢に戻すように多関節アーム２０を制御した後に、ツール３０によるワークＷの保持を解除させてもよい。その後、コントローラ１００は処理をステップＳ０３に戻す。これにより、指令生成部１１３が、ターゲットワークの撮像画像に基づき保持指令を修正する。アーム制御部１１４は、修正後の保持指令に基づいて修正後の保持位置及び姿勢にツール３０を配置するように多関節アーム２０を制御する。

ステップＳ１８においてターゲットワークの位置及び姿勢が正常範囲であると判定した場合、コントローラ１００は、図５に示すようにステップＳ２１，Ｓ２２，Ｓ２３を実行する。ステップＳ２１では、指令生成部１１３が、ターゲットワークを搬送目標位置及び姿勢に配置するための目標位置及び姿勢（以下、「解放目標位置及び姿勢」という。）までツール３０を変位させるように動作指令（以下、「搬送指令」という。）を算出する。ステップＳ２２では、アーム制御部１１４が、搬送指令に基づいて、解放目標位置及び姿勢に向けたツール３０の変位を開始するように多関節アーム２０を制御する。ステップＳ２３では、指令生成部１１３が、複数のワークＷのうち未搬送のワークＷが残っているかを確認する。

ステップＳ２３において未搬送のワークＷが残っていると判定した場合、コントローラ１００は、ステップＳ２４，Ｓ２５，Ｓ２６，Ｓ２７，Ｓ２８，Ｓ２９を実行する。ステップＳ２４では、画像処理部１１２が、複数のワークＷのうち未搬送のワークＷの撮像画像をカメラ４０から取得する。ステップＳ２５では、画像処理部１１２が、カメラ４０から取得した撮像画像に基づいて、未搬送のワークＷから次のターゲットワーク（第２ワーク）を選択し、次のターゲットワークのカメラ座標系における位置及び姿勢を算出する。ステップＳ２６では、画像処理部１１２が、カメラ座標系における位置及び姿勢に座標変換を施して、旋回座標系における次のターゲットワークの位置及び姿勢を算出する。

ステップＳ２７では、指令生成部１１３が、次のターゲットワークの撮像画像に基づいて、次のターゲットワークの保持指令（第２動作指令）を算出する。例えば指令生成部１１３は、画像処理部１１２が算出した次のターゲットワークの位置及び姿勢に基づいて、次のターゲットワークを保持するためのツール３０の目標位置及び姿勢（上記保持位置及び姿勢）を算出する。

ステップＳ２８では、ツール３０が解放目標位置及び姿勢に到達するのをアーム制御部１１４が待機する。ステップＳ２９では、アーム制御部１１４が、ツール３０によるターゲットワークの保持を解除させる。その後、コントローラ１００は処理をステップＳ０６に戻す。これにより、ステップＳ２７において算出された保持指令（第２動作指令）に基づいて、次のターゲットワークに対するピックアンドプレース作業が開始される。

ステップＳ２３において未搬送のワークＷが残っていないと判定した場合、コントローラ１００はステップＳ３１，Ｓ３２を実行する。ステップＳ３１では、ツール３０が解放目標位置及び姿勢に到達するのをアーム制御部１１４が待機する。ステップＳ３２では、アーム制御部１１４が、ツール３０によるターゲットワークの保持を解除させる。以上で複数のワークＷに対するピックアンドプレース作業が完了する。

（制御手順の変形例）
以下、支持部２上においてワークＷに対するピックアップ作業をロボット１０に実行させ、その後旋回部１２を旋回させ、その後ワークＷを所定の搬送目標位置及び姿勢まで搬送してドロップオフする作業をロボット１０に実行させる手順を例示する。この手順は、第１作業により多関節アーム２０がワークＷをピックアップした状態で旋回部１２を旋回させることと、旋回制御部１１１が旋回部１２を旋回させている期間の少なくとも一部において、ピックアップ中のワークＷをカメラ４０の視野内に配置するように多関節アーム２０を制御することと、旋回制御部１１１が旋回部１２を旋回させている期間中におけるピックアップ中のワークＷのカメラ４０による撮像画像に基づいて、ツール３０によるワークＷの保持状態を検査することとを含む。この手順において、ワークＷに対するピックアップ作業をロボット１０に実行させる手順については、上述したステップＳ０１～Ｓ１９と同じであるため説明を省略する。

ステップＳ１８においてターゲットワークの位置及び姿勢が正常範囲であると判定した場合、コントローラ１００は、図６に示すようにステップＳ４１，Ｓ４２，Ｓ４３，Ｓ４４，Ｓ４５，Ｓ４６，Ｓ４７を実行する。ステップＳ４１では、旋回制御部１１１が、ターゲットワークの搬送目標位置にカメラ４０が向くように旋回部１２を旋回させることを開始する。ステップＳ４２では、アーム制御部１１４が、ピックアップ中のターゲットワークをカメラ４０の視野４１内に配置するように多関節アーム２０を制御する。

ステップＳ４３では、画像処理部１１２が、複数のワークＷの撮像画像をカメラ４０から取得する。ステップＳ４４では、画像処理部１１２が、カメラ４０から取得した撮像画像に基づいて、ターゲットワークのカメラ座標系における位置及び姿勢を算出する。ステップＳ４５では、画像処理部１１２が、カメラ座標系における位置及び姿勢に座標変換を施して、旋回座標系におけるターゲットワークの位置及び姿勢を算出する。

ステップＳ４６では、保持状態監視部１１６が、ステップＳ４５において算出されたターゲットワークの位置及び姿勢に基づいて、ツール３０によるワークＷの保持状態を検査する。例えば保持状態監視部１１６は、ツール３０に対するワークＷの相対的な位置及び姿勢を算出する。なお、ピックアップの完了時点でのワークＷがカメラ４０の視野４１内に位置し、ツール３０によるワークＷの保持状態の検査用の撮像画像を取得可能であれば、ステップＳ４２を省略可能である。

ステップＳ４７では、ターゲットワークの搬送目標位置にカメラ４０が向くまで旋回部１２が旋回したかを旋回制御部１１１が確認する。ステップＳ４７においてターゲットワークの搬送目標位置にカメラ４０が向くまで旋回部１２が旋回していないと判定した場合、コントローラ１００は処理をステップＳ４３に戻す。以後、搬送目標位置にカメラ４０が向くまでは、ツール３０によるワークＷの保持状態の検査が繰り返される。

ステップＳ４７においてターゲットワークの搬送目標位置にカメラ４０が向くまで旋回部１２が旋回したと判定した場合、コントローラ１００は、ステップＳ４８，Ｓ５１，Ｓ５２，Ｓ５３，Ｓ５４，Ｓ５５，Ｓ５６，Ｓ５７を実行する。ステップＳ４８では、旋回制御部１１１が、旋回部１２の旋回を停止させる。以後、旋回制御部１１１は、ターゲットワークを搬送目標位置及び姿勢まで搬送してドロップオフする作業を多関節アーム２０が完了させるまで、旋回部１２を停止状態に維持する。

ステップＳ５１では、アーム制御部１１４が、ピックアップ中のターゲットワークをカメラ４０の視野４１内から退避させるように多関節アーム２０を制御する。ステップＳ５２では、画像処理部１１２が、搬送目標位置の撮像画像をカメラ４０から取得する。なお、ワークＷがカメラ４０の視野４１内にあっても、搬送目標位置の撮像画像を取得可能であれば、ステップＳ５１を省略可能である。ステップＳ５３では、画像処理部１１２が、カメラ４０から取得した撮像画像に基づいて、カメラ座標系における搬送目標位置及び姿勢を算出する。ステップＳ５４では、画像処理部１１２が、カメラ座標系における搬送目標位置及び姿勢に座標変換を施して、旋回座標系における搬送目標位置及び姿勢を算出する。

ステップＳ５５では、上記解放目標位置及び姿勢までツール３０を変位させるように上記搬送指令を算出する。ステップＳ５６では、アーム制御部１１４が、搬送指令に基づいて、解放目標位置及び姿勢にツール３０を変位させるように多関節アーム２０を制御する。ステップＳ５７では、アーム制御部１１４が、ツール３０によるワークＷの保持を解除させる。以上でターゲットワークのピックアンドプレース作業が完了する。

〔本実施形態の効果〕
以上に説明したように、ロボット１０は、基部１１と、基部１１に対して旋回する旋回部１２と、旋回部１２に連結され、作業用のツール３０の位置及び姿勢を変更する多関節アーム２０と、旋回部１２に固定されたカメラ４０と、を備え、多関節アーム２０によるツール３０の可動範囲３１と、カメラ４０の視野４１とが重複している。

このロボット１０では、カメラ４０が旋回部１２に設けられる。これにより、カメラ４０とロボット１０とが一体化されることによって、システム構成の簡素化が可能となる。また、多関節アーム２０によるツール３０の可動範囲と、カメラ４０の視野範囲とが重複している。これにより、ツール３０と、ツール３０による作業対象物（上記ワークＷ）との両方を含む画像をカメラ４０から取得することができる。このため、カメラ４０の画像をロボット１０の制御に有効活用し易い。従って、このロボット１０は、カメラ画像のロボット制御への有効活用と、システム構成の簡素化との両立に有効である。

多関節アーム２０は６以上の自由度を有していてもよい。この場合、ブレのない画像をカメラ４０から取得しながら、ツール３０の位置、姿勢を多関節アーム２０によって自在に調節することができる。

多関節アーム２０は、旋回部１２に連結され、旋回部１２の旋回中心軸線に交差する軸線５２まわりに揺動する第１アーム２１と、第１アーム２１の先端部に連結され、第１アーム２１に沿った軸線５３まわりに旋回し、軸線５３に交差する軸線５４まわりに揺動する第２アーム２２と、第２アーム２２の先端部に連結され、第２アーム２２に沿った軸線５５まわりに旋回し、軸線５５に交差する軸線５６まわりに揺動する第３アーム２３と、第３アーム２３の先端部に設けられ、ツール３０を保持し、第３アーム２３に沿った軸線５７まわりに旋回するツール保持部２４と、を有していてもよい。この場合、簡素な構成にて多関節アーム２０に６自由度を付与することができる。

第１アーム２１と、視野４１の中心の光軸４２は、軸線５２に交差する基準面４３に沿っており、第１アーム２１の可動範囲Ａ１は、軸線５２に沿う方向において基準面４３から離れていてもよい。この場合、第１アーム２１の基端部を視野４１の中心から外すことで、多関節アーム２０による死角が形成され難い。

ロボットシステム１は、ロボット１０と、ワークＷのカメラ４０による撮像画像に基づいて動作指令を生成する指令生成部１１３と、動作指令に基づいて、ツール３０による第１作業をワークＷに対し実行するように多関節アーム２０を制御するアーム制御部１１４と、を備える。この場合、カメラ４０の画像をロボット１０の制御に有効活用することができる。

ロボットシステム１は、多関節アーム２０が第１作業を実行している期間中におけるワークＷのカメラ４０による撮像画像に基づいて第１作業におけるイレギュラー状態を検知する作業監視部１１５を更に備えていてもよい。この場合、カメラ４０の画像をロボット１０の制御に更に有効活用することができる。

指令生成部１１３は、作業監視部１１５がイレギュラー状態を検知した場合に、ワークＷのカメラ４０による撮像画像に基づいて動作指令を修正し、アーム制御部１１４は、修正後の動作指令に基づいて第１作業を多関節アーム２０に継続させてもよい。この場合、カメラ４０の画像をロボット１０の制御に更に有効活用することができる。

指令生成部１１３は、第１作業を多関節アーム２０が実行している期間中における他のワークＷ（第２ワーク）のカメラ４０による撮像画像に基づいて第２動作指令を更に生成し、アーム制御部１１４は、第２動作指令に基づいて、ツール３０による第２作業を第２ワークに対し実行するように多関節アーム２０を制御してもよい。この場合、第１作業の実行中に、第２ワークの画像を取得することによって、第１ワーク及び第２ワークに対する作業時間の短縮化を図ることができる。

ロボットシステム１は、指令生成部１１３が動作指令を生成する前に、カメラ４０がワークＷに向くように旋回部１２を旋回させ、その後、第１作業を多関節アーム２０が完了させるまで旋回部１２を停止させる旋回制御部１１１を更に備えていてもよい。この場合、第１作業中にもブレのない画像をカメラ４０から取得することができる。従って、カメラ４０の画像をロボット１０の制御に更に有効活用することができる。

第１作業は、ワークＷをピックアップする作業であり、旋回制御部１１１は、第１作業により多関節アーム２０がワークＷをピックアップした状態で旋回部１２を旋回させ、アーム制御部１１４は、旋回制御部１１１が旋回部１２を旋回させている期間の少なくとも一部において、ピックアップ中のワークＷをカメラ４０の視野４１内に配置するように多関節アーム２０を制御してもよい。この場合、旋回部１２の旋回が、ピックアップ中のワークＷとカメラ４０との相対的な位置関係に影響を及ぼさないことを利用して、カメラ４０の画像をロボット１０の制御に更に有効活用することができる。

ロボットシステム１は、旋回制御部１１１が旋回部１２を旋回させている期間中におけるピックアップ中のワークＷのカメラ４０による撮像画像に基づいて、ツール３０によるワークＷの保持状態を検査する保持状態監視部１１６を更に備えていてもよい。この場合、旋回中にカメラ４０から取得した画像を更に有効活用することができる。

ロボットシステム１は、カメラ４０によるワークＷの撮像画像に基づいて、３次元空間におけるワークＷの位置及び姿勢を算出する画像処理部１１２を更に有し、指令生成部１１３は、画像処理部１１２が算出したワークＷの位置及び姿勢に基づいて動作指令を生成してもよい。この場合、カメラ４０からの画像をロボット１０の制御に更に有効活用することができる。

旋回部１２は基部１１の上に設けられ、カメラ４０は、視野４１の中心の光軸４２が斜め下方に向くように旋回部１２に設けられていてもよい。この場合、カメラ４０がワークＷを斜め上方から斜視するので、ツール３０と、ワークＷとの両方を含む画像を取得し易い。

ロボットシステム１は、基部１１の周囲においてワークＷを支持する支持部２を更に備え、支持部２の上面２ａは、旋回部１２よりも下に位置していてもよい。この場合、ツール３０と、ワークＷとの両方を含む画像を更に取得し易い。

以上、実施形態について説明したが、本発明は必ずしも上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で様々な変形が可能である。

１…ロボットシステム、２…支持部、２ａ…上面、５…作業エリア、１０…ロボット、１１…基部、１２…旋回部、２０…多関節アーム、２１…第１アーム、２２…第２アーム、２３…第３アーム、２４…ツール保持部、３０…ツール、３１…ツール３０の可動範囲、４０…カメラ、４１…視野、４２…光軸、４３…基準面、５１…軸線（旋回部１２の旋回中心軸線）、５２…軸線（第１軸線）、５３…軸線（第２軸線）、５４…軸線（第３軸線）、５５…軸線（第４軸線）、５６…軸線（第５軸線）、５７…軸線（第６軸線）、１１１…旋回制御部、１１２…画像処理部、１１３…指令生成部、１１４…アーム制御部、１１５…作業監視部、１１６…保持状態監視部、Ａ１…第１アーム２１の可動範囲、Ｗ…ワーク。

Claims (18)

1. 基部と、
   前記基部に対して旋回する旋回部と、
   前記旋回部に連結され、作業用のツールの位置及び姿勢を変更する多関節アームと、
   前記旋回部に固定されたカメラと、を備え、
   前記多関節アームは、
   前記旋回部に連結され、前記旋回部の旋回中心軸線に交差する第１軸線まわりに揺動する第１アームを有し、
   前記多関節アームによる前記ツールの可動範囲と、前記カメラの視野とが重複しており、
   前記カメラが、前記第１軸線まわりの前記第１アームの可動範囲外に位置するように、前記第１アームの位置と前記カメラの位置とが、前記第１軸線に沿う方向において互いに異なっている、ロボット。
2. 前記多関節アームは、
   前記第１アームの先端部に連結され、前記第１アームに沿った第２軸線に交差する第３軸線まわりに揺動する第２アームと、
   前記第２アームの先端部に連結され、前記第２アームに沿った第４軸線まわりに旋回し、前記第４軸線に交差する第５軸線まわりに揺動する第３アームと、
   前記第３アームの先端部に設けられ、前記ツールを保持し、前記第３アームに沿った第６軸線まわりに旋回するツール保持部と、
   を更に有する、請求項１記載のロボット。
3. 前記第２アームは、前記第２軸まわりに更に旋回する、請求項２記載のロボット。
4. 前記視野の中心の光軸は、前記第１軸線に交差する基準面に含まれており、前記第１アームの可動範囲は、前記第１軸線に沿う方向において前記基準面から離れている、請求項１記載のロボット。
5. 前記旋回部の位置と前記カメラの位置とが、前記第１軸線に沿う方向において、少なくとも部分的に一致している、請求項１～４のいずれか一項記載のロボット。
6. 前記旋回部のうち少なくとも前記第１アームに接続された部分を覆うように前記旋回部に固定される外殻を更に備え、
   前記カメラは、前記外殻に内蔵されている、請求項１～５のいずれか一項記載のロボット。
7. 前記カメラは、前記旋回部において、前記第１軸線よりも上方に配置されている、請求項１～６のいずれか一項記載のロボット。
8. 前記第１軸線と前記第３軸線とが互い平行であり、
   前記第２アームの位置と前記カメラの位置とが、前記第１軸線に沿う方向において、少なくとも部分的に一致している、請求項２記載のロボット。
9. 請求項１～８のいずれか一項記載のロボットと、
   ワークの前記カメラによる撮像画像に基づいて動作指令を生成する指令生成部と、
   前記動作指令に基づいて、前記ツールによる第１作業を前記ワークに対し実行するように前記多関節アームを制御するアーム制御部と、を備えるロボットシステム。
10. 前記多関節アームが前記第１作業を実行している期間中における前記ワークの前記カメラによる撮像画像に基づいて前記第１作業におけるイレギュラー状態を検知する作業監視部を更に備える、請求項９記載のロボットシステム。
11. 前記指令生成部は、前記作業監視部がイレギュラー状態を検知した場合に、前記ワークの前記カメラによる撮像画像に基づいて前記動作指令を修正し、
    前記アーム制御部は、修正後の前記動作指令に基づいて前記第１作業を前記多関節アームに継続させる、請求項１０記載のロボットシステム。
12. 前記指令生成部は、前記第１作業を前記多関節アームが実行している期間中における第２ワークの前記カメラによる撮像画像に基づいて第２動作指令を更に生成し、
    前記アーム制御部は、前記第２動作指令に基づいて、前記ツールによる第２作業を前記第２ワークに対し実行するように前記多関節アームを制御する、請求項１０又は１１記載のロボットシステム。
13. 前記指令生成部が前記動作指令を生成する前に、前記カメラが前記ワークに向くように前記旋回部を旋回させ、その後、前記第１作業を前記多関節アームが完了させるまで前記旋回部を停止させる旋回制御部を更に備える、請求項９～１２のいずれか一項記載のロボットシステム。
14. 前記第１作業は、前記ワークをピックアップする作業であり、
    前記旋回制御部は、前記第１作業により前記多関節アームが前記ワークをピックアップした状態で前記旋回部を旋回させ、
    前記アーム制御部は、前記旋回制御部が前記旋回部を旋回させている期間の少なくとも一部において、ピックアップ中の前記ワークを前記カメラの視野内に配置するように前記多関節アームを制御する、請求項１３記載のロボットシステム。
15. 前記旋回制御部が前記旋回部を旋回させている期間中における前記ピックアップ中のワークの前記カメラによる撮像画像に基づいて、前記ツールによる前記ワークの保持状態を検査する保持状態監視部を更に備える、請求項１４記載のロボットシステム。
16. 前記カメラによる前記ワークの撮像画像に基づいて、３次元空間における前記ワークの位置及び姿勢を算出する画像処理部を更に有し、
    前記指令生成部は、前記画像処理部が算出した前記ワークの位置及び姿勢に基づいて前記動作指令を生成する、請求項９～１５のいずれか一項記載のロボットシステム。
17. 前記旋回部は前記基部の上に設けられ、
    前記カメラは、視野の中心の光軸が斜め下方に向くように前記旋回部に設けられている、請求項９～１６のいずれか一項記載のロボットシステム。
18. 前記基部の周囲において前記ワークを支持する支持部を更に備え、
    前記支持部の上面は、前記旋回部よりも下に位置している、請求項１７記載のロボットシステム。
    

Images