JP2010131685A - ロボット装置および撮像方法 - Google Patents

Abstract

【課題】ロボットアームの移動中においてもぼけの少ない対象物の画像を得る。
【解決手段】対象物５を把持可能なピッキングハンド２６を有し、ピッキングハンド２６が移動可能に設けられたロボットアーム２３，２５と、ピッキングハンド２６の近傍に設けられ、対象物５を撮像し移動可能に設けられた撮像装置３０と、ロボットアーム２３，２５の移動に伴い、撮像装置３０の姿勢を制御するセンサ姿勢コントローラと、撮像装置３０により撮像された画像に基づき、対象物５の位置および姿勢が求められる画像処理装置と、画像処理装置によって求められた対象物５の位置および姿勢に基づき、ロボットアーム２５を近づけ、対象物５を把持させるようにピッキングハンド２６を制御するロボットコントローラと、を備え、対象物５の把持におけるロボットアーム２５の移動に伴い、撮像装置３０が対象物５を捉えながら姿勢を変え、対象物５を撮像する。
【選択図】図３

Description

本発明は、ロボット装置および対象物を把握する撮像方法に関する。

ロボット装置を利用して、部品などの対象物を把持する場合、対象物の位置、姿勢などの情報をセンサにより取得して、その得られた情報をもとに作業することが行われる。
例えば特許文献１に示すような、ロボットアームにカメラを固定し、カメラからの画像を用いて対象物の位置、姿勢を算出し、その情報に基づきロボット装置が把持などの作業を行うものがある。

特開２００４−１１２２号公報

しかしながら、特許文献１のようなロボットアームにカメラなどのセンサを固定して取り付けたロボット装置では、ロボットアームが動いているときにカメラで対象物を撮像すると画像がぼけてしまう問題があり、ロボットアームの移動中には対象物の正確な位置、姿勢などの情報が得られないという課題がある。

本発明は上記課題の少なくとも一部を解決するためになされたものであり、以下の形態または適用例として実現することが可能である。

［適用例１］本適用例にかかるロボット装置は、相対的に移動する対象物を把持するロボット装置であって、前記対象物を把持可能なピッキングハンドを有し、該ピッキングハンドが移動可能に設けられたロボットアームと、前記ロボットアームの前記ピッキングハンドの近傍に前記対象物を撮像し、移動可能に設けられた撮像装置と、前記ロボットアームの移動に伴い、前記撮像装置の姿勢を制御するセンサ姿勢コントローラと、前記撮像装置により撮像された画像に基づき、前記対象物の位置および姿勢が求められる画像処理装置と、前記画像処理装置によって求められた前記対象物の位置および姿勢に基づき、前記ロボットアームを近づけ、前記対象物を把持させるように前記ピッキングハンドを制御するロボットコントローラと、を備え、前記対象物の把持における前記ロボットアームの移動に伴い、前記撮像装置が前記対象物を捉えながら姿勢を変え、前記対象物を撮像することを特徴とする。

この構成によれば、ロボットアームの移動に伴い、撮像装置が対象物を捉えながら姿勢を変える。撮像装置はこの間に撮像を行うことで、撮像装置から見た対象物の相対速度を小さくでき、対象物が相対的に動くことに起因する画像のぼけを少なくすることができる。
そして、この画像を利用することで、ロボットアームが移動している間においても、対象物の位置、姿勢の算出が可能となる。

［適用例２］上記適用例にかかるロボット装置において、前記ロボットアームの移動中に連続して撮像された画像に基づき前記対象物の位置および姿勢が求められることが望ましい。

この構成によれば、ロボットアームの移動中において撮像装置が連続して対象物を撮像する。この撮像された連続する画像に基づき対象物の位置および姿勢を算出するので、正確な対象物の位置および姿勢が算出できる。

［適用例３］上記適用例にかかるロボット装置おいて、前記撮像装置の姿勢を変える移動速度が、前記ロボットアームの移動速度と同等であることが望ましい。

この構成によれば、撮像装置の姿勢を変える移動速度が、ロボットアームの移動速度と同等であることから撮像装置から見た対象物の相対速度がほぼ０となる。このことから、対象物が相対的に動くことに起因する画像のぼけを無くすことができる。
そして、この画像を利用することで、ロボットアームが移動している間においても、精度よく対象物の位置、姿勢の算出が可能となる。

［適用例４］本適用例にかかる撮像方法は、相対的に移動する対象物をロボットアームに設けられた撮像装置により撮像し、撮像された画像から前記対象物の位置および姿勢を算出して、前記対象物を把持するロボット装置における撮像方法であって、前記撮像装置が姿勢を変えて前記対象物を捉え、前記対象物の把持における前記ロボットアームの移動に伴い、前記撮像装置が前記対象物を捉えながら姿勢を変え、前記対象物を撮像することを特徴とする。

この撮像方法によれば、対象物の把持におけるロボットアームの移動に伴い、撮像装置が対象物を捉えながら姿勢を変え、対象物を撮像する。このようにすれば、撮像装置から見た対象物の相対速度を小さくでき、対象物が相対的に動くことに起因する対象物を撮像した画像のぼけを少なくすることができる。
また、この画像を利用することで、ロボットアームが移動している間においても、対象物の位置、姿勢の算出が可能となる。

［適用例５］上記適用例にかかる撮像方法において、前記ロボットアームの移動中に前記撮像装置が連続して前記対象物を撮像することが望ましい。

上記の撮像方法によれば、ロボットアームの移動中においてもぼけの少ない対象物の画像を得ることができることから、連続したぼけの少ない画像を得ることが可能である。そして、この撮像された連続する画像に基づき対象物の位置および姿勢を算出すれば、正確な対象物の位置および姿勢の算出を可能とする。

［適用例６］上記適用例にかかる撮像方法において、前記撮像装置の姿勢を変える移動速度が、前記ロボットアームの移動速度と同等であることが望ましい。

この撮像方法によれば、撮像装置の姿勢を変える移動速度が、ロボットアームの移動速度と同等であることから撮像装置から見た対象物の相対速度がほぼ０となる。このことから、対象物が相対的に動くことに起因する画像のぼけを無くすことができる。
また、このぼけのない画像を利用することで、ロボットアームが移動している間においても、精度よく対象物の位置、姿勢の算出が可能となる。

以下、本発明を具体化した実施形態について図面に従って説明する。なお、以下の説明に用いる各図面では、各部材を認識可能な大きさとするため、各部材の寸法の割合を適宜変更している。
（第１の実施形態）

図１はロボット装置の構成の概要を示す説明図である。
ロボット装置１は、ピッキングハンド２６を有するロボット本体１０と、対象物を撮像する撮像装置３０と、撮像装置の姿勢を制御するセンサ姿勢コントローラ３１、撮像装置３０が撮像した画像から特徴量を抽出する画像処理装置３２と、ロボット本体１０の動作を制御するロボットコントローラ３３と、を備えている。

ロボット本体１０は、６軸の垂直多関節型ロボットとして構成されている。ロボット本体１０の下側台座１１の上に上側台座１３が設けられ、垂直軸を中心に回転位置１２でモータなどの駆動によって回転可能に設けられている。上側台座１３にはモータ１４が固定され、このモータ１４を介してロボットアーム１６が連結されている。ロボットアーム１６は回転位置１５でモータ１４の駆動によって回転する。
ロボットアーム１９は、ロボットアーム１６と連結され、回転位置１８でモータ１７の駆動によって回転する。そして、ロボットアーム２１は、ロボットアーム２３と連結され、回転位置２０でモータなどの駆動によって回転する。
さらに、ロボットアーム２３は、ロボットアーム２１と連結され、回転軸２２を中心としてモータなどにより回転する。ロボットアーム２５は、ロボットアーム２３と連結され、回転位置２４でモータなどの駆動によって回転する。

ロボットアーム２５には、対象物を把持可能なピッキングハンド２６が装着されている。ピッキングハンド２６には、部品や製品の形状、生産ラインにおける組み立て方法、加工方法などに応じた形状のものが選択される。
ピッキングハンド２６の近傍のロボットアーム２３には支持部材２９が取り付けられ、支持部材２９にはＣＣＤカメラなどの撮像装置３０が取り付けられている。撮像装置３０は、サーボモータ（図示せず）を含み、サーボモータにより、その姿勢を変えられるように構成されている。撮像装置３０は、部品、製品などの対象物の位置および姿勢を算出するための画像を撮像する。

撮像装置３０には、センサ姿勢コントローラ３１と画像処理装置３２が接続されている。センサ姿勢コントローラ３１は撮像装置３０の姿勢を制御するようにサーボモータに制御信号を送信する。撮像装置３０の姿勢制御は、画像の中央に対象物が撮像されるように構成されている。
画像処理装置３２は、装置内でその画像が白黒階調に係る２値化データに変換され、撮像装置３０により撮像された画像から特徴量を抽出する。
ロボット本体１０にはピッキングハンド２６およびロボットアームの動作を制御するロボットコントローラ３３が接続されている。
また、センサ姿勢コントローラ３１および画像処理装置３２は、ロボットコントローラ３３に接続され、ロボットコントローラ３３内で各種データの記憶、座標変換、軌道生成、対象物の位置および姿勢の算出などが行われる。

次に、上記の構成のロボット装置を用いて、対象物の把持を行う動作について説明する。本実施形態では、対象物が静止しておりロボット装置が対象物に近づいて対象物を把持する場合について説明する。
図２はロボット装置が対象物の把持を行う動作のフローチャートである。図３はロボット装置が対象物の把持を行う動作の動作説明図である。
以下、図２のフローチャートに従い、図３の動作説明図を用いて説明する。

始めに、ロボット本体１０が静止した状態で、対象物５を捉えるためにロボットアーム２３に取り付けられた撮像装置３０の姿勢を変える（ステップＳ１１）。対象物５の載置位置が予めわかっている場合には、その位置に向けてセンサ姿勢コントローラ３１からの信号により撮像装置３０の姿勢が決められ、撮像装置３０が対象物５を捉える。また、対象物５の載置位置が分かっていない場合には、センサ姿勢コントローラ３１からの信号により、対象物５を探して適宜撮像装置３０が姿勢を変化させて対象物５を捉える（ステップＳ１２、図３（ａ）参照）。

次に、撮像装置３０が対象物５を捉えると、ロボットアームが対象物５に向かい移動を開始する（ステップＳ１３）。
ロボットアームの移動は、図３（ｂ）に示すように、対象物５が載置されている面に対してほぼ水平方向（矢印Ａ方向）に移動する。
そして、ロボットアームの移動に伴い、撮像装置３０が姿勢を変えながら対象物５を捉え続けて、その間に対象物５を連続して（所定の時間差を設けて）撮像する（ステップＳ１４）。
この撮像した連続した画像データから画像処理装置３２内で特徴量を抽出し、そのデータがロボットコントローラ３３に送られ、対象物５の位置および姿勢が算出される（ステップＳ１５）。

そして、図３（ｃ）に示すように、ロボットアームが移動して、撮像装置３０が対象物５の直上に来ると（ステップＳ１６）、ロボットアームのＡ方向の移動を停止する。
その後、ロボットアームが対象物５にアプローチする（ステップＳ１７）。ロボットアームのアプローチ動作は、算出された対象物５の位置、姿勢に基づき、撮像装置３０ピッキングハンド２６の距離を補正しながら、図３（ｄ）に示すように、対象物５の載置された面に対してほぼ鉛直方向である矢印Ｂ方向に降下して行われる。そして、ロボットアームが対象物５を把持する（ステップＳ１８）。
その後、所定の場所に対象物５が運ばれて、ロボット本体１０は所定の位置に静止する。

以上のように、本実施形態では、ロボットアームの移動に伴って、ロボットアームに設けられた撮像装置３０が対象物５を撮像しながら姿勢を変える。この撮像装置３０が姿勢を変えるということは、図５に示すように、ロボットアームの移動速度をＶ₁、撮像装置３０の移動速度をＶ₂としたときに、Ｖ₁とＶ₂は方向が逆方向であり、大きさがほぼ同じであるため、撮像装置３０から見た対象物５の相対速度を０にできる。このことから、対象物５が相対的に動くことに起因する撮像した画像のぼけを無くすことができる。
そして、この画像を利用することで、ロボットアームが移動している間においても、正確な対象物５の位置、姿勢の算出が可能となる。

また、ロボットアームの移動速度と撮像装置３０の移動速度が同等でなくても、撮像装置３０から見た対象物５の相対速度を小さくでき、対象物５が動くことに起因する対象物５を撮像した画像のぼけを少なくすることができる。

また、従来、ぼけのない対象物の画像を得るためには、一旦ロボットアームを停止させて、対象物の直上で撮像装置が撮像する必要があったが、本実施形態のようにすれば、ロボットアームを停止させて対象物を撮像する必要が無く、効率的なロボット装置の把持動作を提供することができる。
（第２の実施形態）

第２の実施形態では、対象物が一定の速度で移動している場合について説明する。
ロボット装置の動作については、図２のフローチャートと同様なため、図４の動作説明図を用いて説明する。なお、ロボット装置１は、図１で説明した構成と同様である。

始めに、図４（ａ）に示すように、ロボット本体１０が静止した状態で、移動している対象物５を捉えるためにロボットアーム２３に取り付けられた撮像装置３０の姿勢を変える。対象物５はベルトコンベヤなどの移動機構に載置されて、水平方向である矢印Ｃ方向に移動している。

次に、撮像装置３０が対象物５を捉えると、ロボットアームが対象物５に向かい移動を開始する。
ロボットアームの移動は、図４（ｂ）に示すように、対象物５が載置されている面に対してほぼ水平方向（矢印Ａ方向）に移動する。
このとき、ロボットアームの移動速度は、対象物５の移動速度より速い速度で動き、対象物５に追いつこうとする。
ロボットアームの移動に伴い、撮像装置３０が姿勢を変えながら対象物５を捉え続けて、その間に対象物５を連続して（所定の時間差を設けて）撮像する。
この撮像した連続した画像データから画像処理装置３２内で特徴量を抽出し、そのデータがロボットコントローラ３３に送られ、現在の対象物５の位置および姿勢が算出される。

そして、図４（ｃ）に示すように、ロボットアームが移動して、対象物５に追いついて撮像装置３０が対象物５の直上に来ると、ロボットアームの移動速度は、対象物５の移動速度と同じ速度に制御され、並走する。

その後、対象物５にロボットアームが並走しながら、ロボットアームが対象物５にアプローチする。ロボットアームのアプローチ動作は、画像から算出された対象物５の位置、姿勢および対象物５の移動速度に基づき算出される。そして、撮像装置３０ピッキングハンド２６の距離を補正しながら、図４（ｄ）に示すように、対象物５の載置された面に対してほぼ鉛直方向である矢印Ｂ方向に降下して行われる。そして、ロボットアームが対象物５を把持する。
その後、所定の場所に対象物５が運ばれて、ロボット本体１０は所定の位置に静止する。

以上のように、本実施形態では、ロボットアームの移動に伴って、ロボットアームに設けられた撮像装置３０が移動する対象物５を捉えながら姿勢を変える。
この撮像装置３０が姿勢を変えるということは、図６に示すように、ロボットアームの移動速度をＶ₁、撮像装置３０の移動速度をＶ₂、対象物５の移動速度をＶ₃としたときに、Ｖ₁＞Ｖ₃であり、ロボットアームと対象物５との相対速度（Ｖ₁−Ｖ₃）がＶ₂とほぼ等しくなる。つまり、相対速度（Ｖ₁−Ｖ₃）とＶ₂は方向が逆方向であり、大きさがほぼ同じであるため、撮像装置３０から見た対象物５の相対速度を０にできる。
このことから、対象物５が相対的に動くことに起因する撮像した画像のぼけを無くすことができる。
そして、この画像を利用することで、ロボットアームが移動している間においても、正確な対象物５の位置、姿勢の算出が可能となる。

また、ロボットアームの移動速度と撮像装置３０の移動速度が同等でなくても、撮像装置３０から見た対象物５の相対速度を小さくでき、対象物５が動くことに起因する対象物５を撮像した画像のぼけを少なくすることができる。

さらに、従来、ぼけのない対象物の画像を得るためには、ロボットアームと、対象物とが並走した状態（相対速度が０の状態）で対象物の直上で撮像装置が撮像する必要があったが、本実施形態のようにすれば、その必要はなく、効率的なロボット装置の把持動作を提供することができる。

このように、ロボット装置が移動し対象物が静止している場合、または、ロボット装置と対象物が異なる速度で運動している場合であっても本発明を実施することができる。
なお、撮像装置は各ロボットアームのどのアームに取り付けてもよいが、対象物を視覚しやすく、撮像装置とピッキングハンドの距離を正確に把握できるピッキングハンドの近傍のロボットアームに取り付けるのが好ましい。
また、対象物は、ロボット装置に対して相対的に等速直線運動、等速円運動、等速加速度直線運動していてもよい。

ロボット装置の構成の概要を示す説明図。 ロボット装置が対象物の把持を行う動作のフローチャート。 対象物が静止している場合にロボット装置が対象物の把持を行う動作の動作説明図。 対象物が移動している場合にロボット装置が対象物の把持を行う動作の動作説明図。 ロボットアームと撮像装置の動きを示す説明図。 ロボットアームと撮像装置と対象物の動きを示す説明図。

符号の説明

１…ロボット装置、５…対象物、１０…ロボット本体、１１…下側台座、１２…回転位置、１３…上側台座、１４…モータ、１５…回転位置、１６…ロボットアーム、１７…モータ、１８…回転位置、１９…ロボットアーム、２０…回転位置、２１…ロボットアーム、２２…回転位置、２３…ロボットアーム、２４…回転位置、２５…ロボットアーム、２６…ピッキングハンド、３０…撮像装置、３１…センサ姿勢コントローラ、３２…画像処理装置、３３…ロボットコントローラ。

Claims (6)

1. 相対的に移動する対象物を把持するロボット装置であって、
   前記対象物を把持可能なピッキングハンドを有し、該ピッキングハンドが移動可能に設けられたロボットアームと、
   前記ロボットアームの前記ピッキングハンドの近傍に前記対象物を撮像し、移動可能に設けられた撮像装置と、
   前記ロボットアームの移動に伴い、前記撮像装置の姿勢を制御するセンサ姿勢コントローラと、
   前記撮像装置により撮像された画像に基づき、前記対象物の位置および姿勢が求められる画像処理装置と、
   前記画像処理装置によって求められた前記対象物の位置および姿勢に基づき、前記ロボットアームを近づけ、前記対象物を把持させるように前記ピッキングハンドを制御するロボットコントローラと、を備え、
   前記対象物の把持における前記ロボットアームの移動に伴い、前記撮像装置が前記対象物を捉えながら姿勢を変え、前記対象物を撮像することを特徴とするロボット装置。
2. 請求項１に記載のロボット装置において、
   前記ロボットアームの移動中に連続して撮像された画像に基づき前記対象物の位置および姿勢が求められることを特徴とするロボット装置。
3. 請求項１または２に記載のロボット装置において、
   前記撮像装置の姿勢を変える移動速度が、前記ロボットアームの移動速度と同等であることを特徴とするロボット装置。
4. 相対的に移動する対象物をロボットアームに設けられた撮像装置により撮像し、撮像された画像から前記対象物の位置および姿勢を算出して、前記対象物を把持するロボット装置における撮像方法であって、
   前記撮像装置が姿勢を変えて前記対象物を捉え、
   前記対象物の把持における前記ロボットアームの移動に伴い、前記撮像装置が前記対象物を捉えながら姿勢を変え、前記対象物を撮像することを特徴とする撮像方法。
5. 請求項４に記載の撮像方法において、
   前記ロボットアームの移動中に前記撮像装置が連続して前記対象物を撮像することを特徴とする撮像方法。
6. 請求項４または５に記載の撮像方法において、
   前記撮像装置の姿勢を変える移動速度が、前記ロボットアームの移動速度と同等であることを特徴とする撮像方法。

Images