JP5515654B2 - ロボットシステム - Google Patents

Description

本発明は物品の把持作業を行うロボット及びロボット制御方法に関する。

カメラで物品を撮像し、それに対して認識処理を行い物品の位置や姿勢を求め、その情報に基づいてロボットアームとハンドを操作し、対象物を把持するロボットシステムが開発されている。本システムを人と共存した環境で稼動するサービスロボットで実現する場合、カメラはロボット本体に搭載するケースが多く、カメラをロボットアーム上に搭載するシステム（例えば、特許文献１参照）やカメラをハンド上に搭載するシステム（例えば、特許文献２参照）などが提案されている。また本システムの適用場面を家庭や施設、物品を日用品と想定すると、物品は冷蔵庫や棚といった場所に格納されており、狭い空間で、物品をカメラで撮像したり、環境物（冷蔵庫や棚など）との干渉を避けてロボットアームやハンドを操作したりすることが必要とされている。

特開２００９−０２８８５９号公報 特開２００５−３４９４９０号公報

ところが、かかるロボットシステムにおいて、カメラをロボットアーム上に配置する場合、アームの姿勢によってはロボットアーム先端に取り付けたハンドが、カメラ視野を遮って把持対象物を撮像できないといった問題があった。またカメラをロボットアーム上に配置すると凸部ができ、狭い空間での動作時にロボットアーム及びカメラが環境と接触を起こし易いといった問題もあった。また、カメラをハンド上に配置する場合、カメラの取り付け位置がロボットアームのＴ軸（ロボットアームの手首を回転する軸）近傍であったり、カメラの取り付け方向がＴ軸と平行であったりすると、ロボットアームのＴ軸のみの回転では、カメラ視野を大きく変化させることができず、物品を視野に捉えることができない。そのためロボットアームのＴ軸以外の軸も動作させてカメラ視野を変化させる必要があり、その結果ロボットアームの一部を環境と接触させてしまうといった問題もあった。

本発明はこのような課題に鑑みてなされたものであり、カメラをハンドに内蔵しながらも、より広範囲にある物品を検出して把持することができるロボットシステムを提供することを目的をする。

上記問題を解決するため、本発明は、次のようにしたのである。
請求項１に記載の発明は、物品を把持するハンドと、前記ハンドを回転駆動させるアームと、前記ロボットの動作を制御するコントローラと、前記ハンドに内蔵され、少なくとも撮像方向が前記アームにより回転される前記ハンドの回転軸に対して所定のオフセット角度傾斜するように配設されたカメラと、前記カメラにより取得された画像情報を処理して前記コントローラに信号を送信する画像処理装置と、を有し、前記画像処理装置により処理された画像情報に把持対象物が含まれていない場合、前記カメラが内蔵された前記ハンドを前記回転軸周りに回転駆動させて前記カメラの視野を変更させることを特徴とするものである。
請求項２に記載の発明は、前記カメラは撮像方向が前記ハンドの回転軸に対して所定のオフセット量離間するように配設されるとともに、前記オフセット量が調整可能とされることを特徴とするものである。
請求項３に記載の発明は、前記画像処理装置により処理された画像情報を表示するとともに、入力手段を有する表示装置と、を有し、前記表示装置は、前記画像処理装置が前記カメラにより取得された前記画像情報に把持対象物を抽出する処理を実行し、抽出された前記画像情報中の対象物候補の領域を表示させ、前記表示装置の画面上での前記領域の選択にかかる入力に基づいて、前記コントローラが前記ロボットを制御することを特徴とするものである。
請求項４に記載の発明は、前記表示装置は、前記カメラにより撮像する領域を指定するためのキーを備え、その移動方向は前記アームのツール座標系に対応し、前記表示装置は、操作者が押下したキーの方向に基づいて、前記アームを動作させて前記カメラの視野を変更させることを特徴とするものである。

本発明によれば、（１）カメラ取り付け位置をアームのハンドを回転させる軸からオフセットさせているため、アームによるカメラの姿勢操作により、比較的大きなカメラ視野変化を得ることができる。（２）アームによるカメラの姿勢操作すなわちアームの位置は変化しないため、狭所においてアームを環境と接触する可能性を低減することができる。（３）アームによるカメラの姿勢操作により、比較的大きなカメラ視野変化を得ることができる、すなわちアームの操作量が少ないため、カメラ視野の変更に伴う操作時間を短縮でき、結果として作業全体に要する時間を短縮できる。
また、カメラ取り付け位置について、アームのハンドを回転させる軸からのオフセット量を調整できるため、アプリケーションに応じて最適なカメラ視野変化を得ることができる。

本発明を実施するロボットシステムの構成を示す概略図 比較例としてのハンドアイ取り付け方法を示す図 本発明のハンドアイ取り付け方法を示す図 本発明の方法を実施するサービスロボットの構成を示すブロック図 本発明のロボットシステムにおける動作指令及びデータ送受信を示すブロック図 本発明の方法を実施するタッチパネルユニットの画面構成を示す図 本発明によるロボットへの把持指令動作を示すシーケンス図 本発明によるシステムのタッチパネル操作と座標系の対応を示す図 本発明のアーム操作によるタッチパネル上の把持対象物の見え方を示す第１の図 本発明のアーム操作によるタッチパネル上の把持対象物の見え方を示す第２の図

以下、本発明の具体的実施形態について、図に基づいて説明する。
図１は、本発明のロボットシステムの構成を示す概略図である。本実施形態は、環境にある物品を把持して搬送するサービスロボットに本発明を適用した例について説明する。なお、本発明はサービスロボットに限定されるものではない。
図１にしめすように本実施形態は、ロボット１０，ハンドアイユニット（画像処理装置）１６，タッチパネルユニット（表示装置）１７，システム制御アプリケーション（コントローラ）１８を有している。
ロボット１０は左右それぞれに図示省略の複数のアクチュエータを内蔵したアーム１１を有しており、各アーム１１にはそれぞれハンド１２が取り付けられている。また、ロボット１０は車輪を駆動させて自律移動する移動台車１４（移動手段）を有しているから構成される。なお、移動台車１４は、脚式の移動手段であっても良い。なお、ロボット１０には、各部の駆動を制御するコントローラユニット（コントローラ）１０Ａが内蔵されている。

左右のハンド１２にはハンドの手の平部分にカメラ（以下、ハンドアイともいう）１３が設置されている。
ハンドアイユニット１６はカメラで撮像された画像情報の解析や対象物抽出などを行う。
タッチパネルユニット１７は、ハンドアイユニット１６から出力された画像情報をタッチパネルに表示するとともに入力手段としての機能を有し、操作者からの画面入力情報をシステム制御アプリケーション１８、およびサービスロボット１０に中継装置１９を介して出力するようになっている。

システム制御アプリケーション（コントローラ）１８はサービスロボット１０とハンドアイユニット１６の制御プログラムを作成および実行するものである。サービスロボット１０、ハンドアイユニット１６、タッチパネルユニット１７、システム制御アプリケーション１８は、互いに中継装置１９を使用したネットワークを介してデータの送受信を行う。
なお、コントローラユニット１０Ａ、システム制御アプリケーション１８、および、ハンドアイユニット１６は同一のコンピュータであっても良く、また、サービスロボット１０に内蔵させることも可能である。

図２は、本実施形態の比較例として、カメラを単にハンド１２に取り付けた状態を説明するものである。２５はサービスロボット１０の作業空間に存在する冷蔵庫や棚といった環境物である。２６はハンドアイのカメラ視野である。左右のハンド１２はそれぞれアーム１１に内蔵されたアクチュエータ（図示省略）の駆動によって回転軸であるＴ軸２７周りに回転するようになっている。ここでＴ軸とは、人が螺子回し工具を使う際に手首を回すように、アーム先端にとりつけたハンドを回す軸のことを意味する。
図２(a)は、ハンドアイ１３のカメラ中心をＴ軸に重なるように取り付けた様子を表している。図２(b)は、ハンドアイ視野２６を変えるためにアーム１１を動作させた結果、アーム１１が環境物２５と接触した様子を示している。

図３は、上記比較例に対応して本実施形態のハンドアイ取り付け方法を示す図である。ハンドアイ１１は、Ｔ軸２７からオフセットして取り付けている。符号２８はＴ軸からのオフセット量すなわち距離であり、符号２９はＴ軸とカメラ方向とのオフセット角（即ち、Ｔ軸に対してカメラ視野方向のなす角度）である。図のハッチングしたハンドアイ１３とハンドアイ視野２６は、Ｔ軸を１８０度回転させた時のものである。このようにＴ軸のみの回転によりカメラ視野を大きく変化させることができる。すなわち、アーム１１の環境物２５との干渉を抑制しながら、ハンド周辺の対象物を撮像することができる。

図４は、本発明の方法を実施するサービスロボット１０のコントローラユニット１０Ａ構成を示すブロック図である。図において符号２１はアーム制御モジュールであり、サービスロボット１０の左右アーム１１を制御する。ここでモジュールとは、制御に必要なモーションコントローラ、サーボモータ、ソフトウェアなどが含まれるものとする。符号２２はハンド制御モジュールであり、サービスロボット１０の左右ハンド１２を制御する。符号２３は移動台車制御モジュールであり、サービスロボット１０の移動台車１４を制御する。

モジュール管理部２０は、上記各モジュールとやり取りするための情報を管理しており、通信部２６を介して、情報を提供する。また、通信部２６を介して、ハンドアイ１３の画像情報も出力される。

図５は、本発明のロボットシステムにおける動作指令及びデータ送受信を示すブロック図である。図において、矢印が動作指令やデータの送受信を意味している。
図６は、本発明の方法を実施するタッチパネルユニット１７の画面構成を示す図である。図において符号４０はタッチパネルであり、矢印方向移動キー４１で上下左右方向への表示エリアの移動を、ズームキー４２で前後方向への表示エリアの移動を、回転キー４４で表示エリアの回転を行う。符号４３はハンドアイユニット１６が認識し抽出した対象物を示す対象物候補フレームである。

図７は、本発明によるロボットへの把持指令動作を説明するシーケンス図である。シーケンスは、Ｓｔｅｐ１からＳｔｅｐ１１に分けられる。

図８は、本発明によるシステムのタッチパネル操作と座標系の対応を示す図である。図６（a）はロボットのツール直交座標系を説明する図であり、アーム１１の先端の制御点（ハンドの把持点）の前後方向がＸ軸、左右方向がＹ軸、上下方向がＺ軸である。それぞれ正方向はアーム１１から見て前、左、上の順である。またＸ軸周りの回転をRxと表現する。図６（b）はタッチパネルであり、矢印方向移動キー４１、ズームキー４２、回転キー４４が前記直交座標系の各方向に対応する。

図９は、本発明のアーム操作によるタッチパネル上の把持対象物の見え方を示す第１の図であり、図１０は、本発明のアーム操作によるタッチパネル上の把持対象物の見え方を示す第２の図である。

図１〜図８を用いて、タッチパネルを使用してサービスロボット１０に物品の把持動作を実行させる方法について説明する。説明は図７のシーケンスに沿って行う。
ステップ１：ハンドアイ１３は、カメラで撮影したライブ画像をハンドアイユニット１６へ送信する。
ステップ２：ハンドアイユニット１６は、受信した画像情報から対象物抽出処理を実行する。

ステップ３：ハンドアイユニット１６は、対象物抽出結果から、その対象物を囲い込む矩形を求め、矩形表示を含めた画像情報をタッチパネルユニット１７に送信する。
ステップ４：タッチパネルユニット１７では、受信した画像をタッチパネル４０上に表示し操作者の入力を待機する。図６は、ハンドアイ１３の撮影範囲内に３つの対象物が抽出された例である。左から缶、人形、箱の順に抽出され、それぞれを囲い込む対象物候補フレーム４３が表示されている。
また、ステップ１からステップ４までの処理は定周期で処理されているため、ステップ６でハンドアイ視野２６を変更しても、操作者はハンドアイユニット１６の処理結果を特別な操作なしで確認することがきる。

ステップ５：操作者は、希望する把持対象物がタッチパネル内に表示され、かつ把持対象物に対象物候補フレーム４３が表示されているか確認する。表示されていればステップ７へ、そうでなければステップ６へ遷移する。
ステップ６：操作者は、タッチパネル４０上で矢印方向移動キー４１、ズームキー４２、回転キー４４に触れ、希望する把持対象物が対象物候補フレーム４３付きでタッチパネル内に表示されるようハンドアイ視野２６を操作する。
ステップ７：操作者は、タッチパネル４０上で対象物候補フレーム４３内部に触れ、把持する物品を指定する。

ステップ８：タッチパネルユニット１７は、対象物指定情報をシステム制御アプリケーション１８経由でハンドアイユニット１６に送信する。
ステップ９：ハンドアイユニット１６は、受信した対象物指定情報に基づき、対象物の位置および姿勢の算出処理を実行する。算出の方法としては例えば、複数の方向から対象物を撮影して算出するステレオ視を用いた方法などがある。算出後、ハンドアイユニット１６は対象物の位置および姿勢情報を、システム制御アプリケーション１８に送信する。
ステップ１０：システム制御アプリケーション１８は、受信した対象物の位置、姿勢情報から対象物位置への移動、および把持を行うモーション指令をサービスロボット１０に送信する。

ステップ１１：サービスロボット１０では、モジュール管理部２０を介してアーム制御モジュール２１、ハンド制御モジュール２２に指令が渡され、対象物の把持を実現する。なお、対象物の位置がサービスロボットの現在位置からアーム１１の稼動範囲内にない場合は、システム制御アプリケーション１８は、移動台車１４の移動指令もあわせて発行する。サービスロボット１０では、モジュール管理部２０を介して移動台車制御モジュール２３に指令が渡され、対象物近傍への移動を実行する。
なお、前述のステレオ視を用いた算出方法を使用する場合、撮影位置が２箇所以上必要なため、アーム１１の移動が必要となる。その場合は、システム制御アプリケーション１８上であらかじめアームの移動を実行するようにプログラムを記述しておけばよい。

つぎに、タッチパネル４０を使用し、ハンドアイ１３の撮影領域を変更する手順について説明する。図８に示すように、ロボットのツール直交座標系とタッチパネル４０に表示される矢印方向移動キー４１、ズームキー４２、回転キー４４が対応している。タッチパネルユニット１７は、押されたキーの種別に基づき、アーム１１の移動を行うモーション指令をサービスロボット１０に送信する。この場合のモーション指令は、キーが押下されている間移動を行うＪＯＧ運転動作をさす。サービスロボット１０では、モジュール管理部２０を介してアーム制御モジュール２１に指令が渡され、アーム１１の移動を実現する。

これにより、アーム１１の上下左右前後方向への移動が可能となり、タッチパネル４０に表示する画像領域を動的に更新できる。その結果、把持対象物が障害物などで死角になっている場合においても、アーム１１を移動させることにより対象物の認識が可能となる。
図９と図１０を用いて、Ｔ軸を利用したアーム１１の姿勢変化により、ハンドアイ視野２６の方向を変えて、把持対象物を撮像領域内に調整する方法を説明する。図９は、撮像領域内に缶、人形、箱の計３つの対象物が写った状態を示しているが、箱に関してはその一部が撮像領域外であり、対象物抽出処理による切り出しに失敗し、対象物候補フレーム４３が表示されていない。

また、現在アーム１１は狭所へ進入させた状態であり、不用意にアームの位置を動かすと、図２（ｂ）に示すようにアーム１１を環境物２５に接触させる可能性が高い。そこでアーム１１の姿勢を変えずにハンドアイ視野２６を右方向に移動させるためにＴ軸を右回転させる。そうすると箱全体をハンドアイ視野２６に納めることができ、結果として図１０に示すようにタッチパネル４０の画面上にて対象物候補フレーム４３付きの箱を確認することができる。Ｔ軸の回転動作によってこのようなハンドアイ視野２６の変化が生じるのは、ハンドアイ１３のハンド上における設置位置と設置角度が、図３に示すような適切なオフセット距離２８とオフセット角度２９とを備えているからである。

このように、本発明によれば、サービスロボットに物品の把持や移動を行わせるロボットシステムにおいて、ハンドに搭載されたカメラで撮像した画像から画像処理により対象物候補を抽出し、タッチパネル上に該対象物候補情報を付加した画像を表示し、操作者に選択させることにより物品の把持動作を実現できる。

また、実際の映像を見ながら作業できるため利用者の操作性を向上できる。また、タッチパネルからの入力をロボットアームのモーション制御に反映できるため、撮像領域の微調整が可能となり、障害物等による死角が低減できる。さらに、ハンドアイの取り付け位置と取り付け姿勢は、アームのＴ軸からオフセットを設けているので、Ｔ軸の回転によりカメラ視野を大きく変化させることができ、狭所においてアームと環境物との干渉を回避しながらの把持対象物の撮像が可能である。

１０ サービスロボット
１１ アーム
１２ ハンド
１３ ハンドアイ（カメラ）
１４ 移動台車
１６ ハンドアイユニット
１７ タッチパネルユニット
１８ システム制御アプリケーション
１９ 中継装置
２０ モジュール管理部
２１ アーム制御モジュール
２２ グリッパ制御モジュール
２３ 移動台車制御モジュール
２４ 通信部
２５ 環境物
２６ ハンドアイ視野
２７ Ｔ軸
２８ オフセット距離
２９ オフセット角度
４０ タッチパネル
４１ 矢印方向移動キー
４２ ズームキー
４３ 対象物候補フレーム
４４ 回転キー

Claims (4)

1. 物品を把持するハンドと、
   前記ハンドを回転駆動させるアームと、
   前記ロボットの動作を制御するコントローラと、
   前記ハンドに内蔵され、少なくとも撮像方向が前記アームにより回転される前記ハンドの回転軸に対して所定のオフセット角度傾斜するように配設されたカメラと、
   前記カメラにより取得された画像情報を処理して前記コントローラに信号を送信する画像処理装置と、を有し、
   前記画像処理装置により処理された画像情報に把持対象物が含まれていない場合、前記カメラが内蔵された前記ハンドを前記回転軸周りに回転駆動させて前記カメラの視野を変更させる
   ことを特徴とする、ロボットシステム。
2. 前記カメラは撮像方向が前記ハンドの回転軸に対して所定のオフセット量離間するように配設されるとともに、前記オフセット量が調整可能とされる
   ことを特徴とする、請求項１記載のロボットシステム。
3. 前記画像処理装置により処理された画像情報を表示するとともに、入力手段を有する表示装置と、を有し、
   前記表示装置は、前記画像処理装置が前記カメラにより取得された前記画像情報に把持対象物を抽出する処理を実行し、抽出された前記画像情報中の対象物候補の領域を表示させ、
   前記表示装置の画面上での前記領域の選択にかかる入力に基づいて、前記コントローラが前記ロボットを制御する
   ことを特徴とする、請求項１又は２記載のロボットシステム。
4. 前記表示装置は、
   前記カメラにより撮像する領域を指定するためのキーを備え、その移動方向は前記アームのツール座標系に対応し、前記表示装置は、操作者が押下したキーの方向に基づいて、前記アームを動作させて前記カメラの視野を変更させる
   ことを特徴とする、請求項３記載のロボットシステム。
   
   
   

Images