JP2011235386A - ロボットアームのためのハンドカメラ装置 - Google Patents

Abstract

【課題】 ハンドに突出部を形成することなく、しかも、ロボットアームの制御系を複雑にすることなく、把持した把持対象物を正確に目標位置に移動、位置決め可能とする。
【解決手段】 ロボットアームのハンドに、把持対象物の位置及び方向を観測するカメラを設置し、その撮像情報に基づいて把持対象物を認識し、ハンドで把持させた後、目標位置を探索及び認識して、把持対象物を目標位置に移動させるロボットアーム及びハンドの制御装置において、ハンドの把持部に前方カメラを設けるとともに、側方にも側方カメラを設置し、ハンドが把持対象物を把持する直前あるいは直後において、前方カメラの撮像情報に基づく制御から、側方カメラの撮像情報に基づく制御に切り換える切換手段を具備させ、把持した把持対象物に視界を妨げられることなく、把持対象物を正確に目標位置に移動、位置決めすることができる。
【選択図】 図３

Description

この発明は、ロボットアーム、特に障害者、高齢者の介護に使用する生活支援ロボットアームのハンドに搭載される、位置検出のためカメラ装置に関する。

現在、製造分野のみならず、一般家庭内において、障害者、高齢者等の介護を支援する生活支援ロボットアームの開発が活発に進められている。こうしたロボットアームには、例えば、ベッドに横臥する被支援者の指令により、把持対象物である、脇のテーブルに置かれた水差しをハンドで把持し、飲み口やストローを、目標位置である被支援者の口元まで移動し、再びテーブルに戻すといった作業を、被支援者に優しく、しかも確実かつ正確に完遂させる必要がある。

従来、ロボットアームのハンドにより、把持対象物を認識して把持し、これを特定の目標位置に移動させる作業を行わせる場合、ハンド前方に取り付けられたCMOSイメージセンサやＣＣＤ素子を使用したカメラの撮像情報に基づいて把持対象物の３次元位置及び形状、大きさを解析し、ロボットアームの制御装置自体により演算、あるいは検出したハンドの３次元位置情報と比較して、ロボットアームの各軸の回転、各関節の角度、ハンドの制御を行う、いわゆるビジュアルフィードバック制御方式が広く採用されている。こうしたビジュアルフィードバック制御方式を利用したロボットアームの制御に関しては、下記のような先行技術が挙げられる。

特開平８−０１０８３８６号公報 特開２００３−２１１３８１号公報 特開２００３−２１１３８２号公報 特開２００４−１４２０１５号公報 特開２００６−３５４１６号公報

こうしたビジュアルフィードバックの制御特性を改善するためには、把持対象物とハンドのフィンガ部先端と位置関係を正確に認識することが前提となるため、撮像された把持対象物とフィンガ部先端の位置関係が確実に認識できるよう、フィンガ部の基部に近傍した位置に設置する必要がある。
ところが、把持対象物を把持する直前、直後では、把持対象物自体がカメラの視界を阻害し、目標移動位置、すなわち、この場合被支援者の正確な顔認識あるいは口元の特定ができず、飲み口先端を最適な位置に位置決めすることが困難になったり、最悪の場合、被介護者に激突する事態等も起こり得るため、実用化を阻む要因となっていた。

これを解決するために、カメラに揺動装置を設け、把持対象物把持の前後に、この揺動装置によりカメラを走査するなどの改善策も考えられるが、揺動を行うためのモータやギアなどの伝達機構を搭載するため、ハンドの中央前面に突起部を形成せざるを得ず、さらには重量の増加を招き、被支援者に対する親和性を阻害することにつながる。
また、カメラの揺動による視角の変化に伴い、ハンドと撮像情報の相対関係が大きく変化するため、ビジュアルフィードバックの制御パラメータをリアルタイムに追随させなければならず、複雑な制御アルゴリズムが必要となり、さらには制御応答性の劣化を招くととともに、これを防止するため高速のＣＰＵを使用せざるを得ないという問題がある。

そこで、本発明は、カメラ揺動装置等を使用することなく、小型軽量の固定焦点のカメラをハンドの側方部にも配置することにより、ハンドに突出部を形成することなく、しかも、ロボットアームの制御系を複雑にすることなく、把持した把持対象物を正確に目標位置に移動、位置決め可能とすることを目的とする。

本発明は上記の課題を解決すべく、本発明のロボットアーム及びハンドの制御装置においては、次のような技術的手段を講じた。すなわち、
（１）ロボットアームのハンドに、把持対象物の位置及び方向を観測するカメラを設置し、その撮像情報に基づいて該把持対象物を認識し、前記ハンドで把持させた後、目標位置を探索及び認識して、前記把持対象物を該目標位置に移動させるロボットアーム及びハンドの制御装置において、
前記ハンドの把持部に前方カメラを設けるとともに、前記ハンドの側方に側方カメラを設置し、前記ハンドが前記把持対象物を把持する直前あるいは直後において、前記前方カメラの撮像情報に基づく制御から、前記側方カメラの撮像情報に基づく制御に切り換える切換手段を具備した。

（２）上記のロボットアーム及びハンドの制御装置において、前記切換手段が、前記ハンドのフィンガ部先端に設けられた力覚センサに基づき、前記把持対象物の把持が完了したのを検出して、前記前方カメラの撮像情報に基づく制御から前記側方カメラの撮像情報に基づく制御に切り換えるようにした。

（３）上記のロボットアーム及びハンドの制御装置において、前記切換手段が、前記前方カメラによる前記把持対象物の撮像面積が所定以上になったことを検出して、前記側方カメラの撮像情報に基づく制御に切り換えるようにした。

（４）上記のロボットアーム及びハンドの制御装置において、前記前方カメラを標準画角レンズ、前記側方カメラを広角レンズとした。

（５）上記のロボットアーム及びハンドの制御装置において、前記前方カメラの撮像情報に基づく制御から前記側方カメラの撮像情報に基づく制御に切り換える際、前記側方カメラが前記目標位置をその視野範囲にとらえるよう、前記ハンドを所定方向に揺動させるようにした。

（６）上記のロボットアーム及びハンドの制御装置において、前記目標位置が特定の人間の口である場合、前記側方カメラの撮像情報に基づいて顔認識手段により顔を認識し、認識した顔のうち、前記特定の人間と、ロボットアームとの予め定められた位置関係に基づいて、該特定の顔の口を特定し、前記目標位置とするようにした。

上記（１）のロボットアーム及びハンドの制御装置によれば、ハンドが把持対象物を把持する直前あるいは直後において、ハンドの側方に設置した側方カメラの撮像情報に基づく制御に切り換えられるから、把持対象物に視界を阻害されることなく、目標位置を正確に探索、認識できるので、把持対象物を最適な位置に位置決めすることが可能になる。

上記（２）のロボットアーム及びハンドの制御装置によれば、ロボットアーム及びハンドの制御装置によれば、ハンドのフィンガ部先端に設けられた力覚センサに基づき、把持対象物の把持が完了したのを検出することにより、確実に、前方カメラの撮像情報に基づく制御から側方カメラの撮像情報に基づく制御に切り換え把持対象物を最適な位置に位置決めすることが可能になる。

上記（３）のロボットアーム及びハンドの制御装置によれば、前方カメラによる把持対象物の撮像面積が所定以上になったことを検出して、側方カメラの撮像情報に基づく制御に切り換えられるから、把持対象物の把持後のみならず、把持直前でも、側方カメラの撮像情報を利用できるから、把持対象物のより正確な把持も可能になる。

上記（４）のロボットアーム及びハンドの制御装置によれば、側方カメラにより、より広範囲に目標位置を探索、認識でき、しかも、前方カメラ及び側方カメラとも、小型の固定焦点とすることができるからコスト低減のみならず、カメラ装着に伴う突起部をより一層小さくすることができる。

上記（５）のロボットアーム及びハンドの制御装置によれば、前方カメラの撮像情報に基づく制御から前記側方カメラの撮像情報に基づく制御に切り換える際、ハンドが所定方向に揺動するから、把持対象物と目標位置の位置関係に左右されることなく、より確実に目標位置を正確に探索、認識することが可能になる。

上記（６）のロボットアーム及びハンドの制御装置によれば、目標位置が特定の人間の口である場合、周囲に複数の人間である場合でも、特定の人間の口を正確に探索、認識することが可能になる。

実施例で使用するロボットアームの全体構成を示す図。 ハンドにおける前方監視カメラと側方カメラの配置を示す図。 前方カメラ７及び側方カメラ８からの撮像情報に基づく２つの制御系の切り換えを示すフロー図。 ビジュアルフィードバック系を切り換えるシステムのブロック図。 撮像面積比率によりビジュアルフィードバック系を切り換えるフロー図。 検知された複数の顔から被支援者の顔を特定するための処理を示す図。

この実施例では、把持対象物をベッド側方に置かれた水差し、目標位置を被支援者の口元として、操作者であるベッドに横臥する被支援者からの指令に基づいて、水差しを把持し、その飲み口を被支援者の口元まで移動させて、水を飲ませる支援を例にして説明する。
図１に、本実施例で使用する６自由度のアーム機構とフィンガ部の開閉機構を備えたロボットアームの全体構成を示す。
ロボットアーム１は、床面に垂直軸周りに回動自在に設置された本体２、この本体に連結された水平アーム３、この水平アーム３に連結され、その軸を中心に回動する第１アーム４、この第１アーム４の側方に連結され、第１アーム４の軸方向に平行な面内を回動する第２アーム５、第２アーム５の先端に、アーム５の先端に設けられた軸周りに回動するとともに、中心軸周りに回動自在のハンド６、そしてハンド６の先端に開閉自在に設けられたフィンガ部６ａから構成され、本体２内に設けられた制御装置により、被支援者である操作者からの指令に応じて、各連結軸の回動量、及びハンド６のフィンガ部６ａの開閉が制御される。

図２に示されるように、ハンド６には固定焦点の前方カメラ７が取り付けられており、側方部には、前方カメラ７の光軸を含む平面内において、これと直交する光軸を有する、固定焦点の側方カメラ８が取り付けられている。なお、前方カメラ７及び側方カメラ８は、ハンド６が第２のアーム５の先端の中心軸を回転しても、フィンガ部６ａ先端との相対位置が変更しないよう、ハンド６におけるフィンガ部６ａの取付基部に強固に固定されている。なお、この実施例では、前方カメラ７及び側方カメラ８とも、小型で消費電力の少ないCMOSイメージセンサを使用したカメラを使用し、両者を一体的にユニット化して、ハンド６にコンパクトに収容している。

また、前方カメラ７には標準焦点レンズ、側方カメラ８には、広角レンズを使用するのが好ましく、ともに固定焦点であるため、市販の小型軽量単焦点カメラから最適な画角、焦点距離を有するものと選択すればよい。

本実施例においては、図３のフローチャートに示すように、前方カメラ７及び側方カメラの８の各撮像情報に基づいて、把持対象物や目標移動位置を解析する周知のビジュアルフィードバック制御システムを採用し、図示しない制御装置内の画像解析処理部により、撮像情報を解析して把持対象物である水差しの３次元位置、形状、大きさを特定するとともに、ロボットアーム１の各連結軸に設けられた回動角センサに基づいて、ハンド６のフィンガ部６ａ先端の３次元位置を演算し、撮像情報解析に基づく水差しとフィンガ部６ａ先端との位置関係とを比較することにより、ロボットアーム各軸の回動、各関節の角度、ハンドの開閉をフィードバック制御するものである。なお、フィンガ部６ａ先端の３次元位置を特定するため、ジャイロセンサ等を使用してもよい。

本実施例におけるビジュアルフィードバック制御系においては、前方カメラ７及び側方カメラ８からの撮像情報に基づき、把持対象物や目標移動位置を解析し、ロボットアーム１の制御装置が演算したフィンガ部６ａ先端の３次元位置やその開閉を制御するため、フィンガ部６ａ先端に対する両カメラの設置位置、及び焦点距離、画角等に対応して、画像解析のためのパラメータをそれぞれ設定する必要がある。
そこで、図３に示されるように、本体２の内部に搭載された制御装置には、図３左側に示す、前方カメラ７を用いた把持対象物を把持するまでの第１のビジュアルフィードバック系と、図３右側に示す、側方カメラ８を用いた目標移動位置への移動までの第２のビジュアルフィードバック系が設けられており、それぞれ、両カメラ７及び８の設置位置や焦点距離、画角に対応して最適なパラメータが設定されている。

さて、本実施例では、被支援者が本体２に接続されたコントローラを操作し、ロボットアーム１に水を飲みたい旨の指令を送出すると、制御装置は、前方カメラ７の撮像情報に基づく第１のビジュアルフィードバック系を起動させ、これにより、ロボットアーム１及びハンド６の作動を開始して、水差しの認識及びその３次元位置の特定を開始する。
この場合、水差しの認識が短時間にしかも確実に行われるように、ロボットアーム１の制御装置から水差しの認識が終了したことを示す表示や確認音が出力されるまで、操作者はコントローラで、ロボットアーム１を水差しの方向を向くよう操作するようにしてよい。

水差しの認識が終了すると、前方カメラ７に基づく第１のビジュアルフィードバック系により特定したテーブル上の水差しの３次元位置と、ロボットアーム１の各連結軸に設けられた回転角センサの出力に基づいて演算したフィンガ部６ａ先端の３次元位置とに基づいて、ロボットアーム１の各連結軸の回転角及びフィンガ部６ａ先端の３次元位置及び開閉量をフィードバック制御し、前方カメラ７で撮像された水差しの手持ち部とフィンガ部６ａ先端位置とを合致させた上で、フィンガ部６ａを閉動作させ、水差しの手持ち部を確実に把持させる。

なお、制御装置は、操作者からの種々の指令に対応すべく、水差しを特定するための基本情報のほか、各種食器、冷蔵庫の開閉を伴う飲料、さらには電話の受話器、本などを特定するための基本情報、及びそれぞれに適した移動、処理シーケンス、安全かつ最適な移動ルート（軌跡）等の様々なデータベースが基本制御量として蓄積されており、操作者の指令の種別により、最適なデータを選択して、ロボットアーム１各軸の回転角、フィンガ部６ａの開閉のための基本制御量を予め取得するようになっている。

前方カメラ７からの撮像情報や、フィンガ部６ａの先端に設けられた力覚センサにより、水差しの手持ち部を確実に保持したことを確認すると、制御装置は、目標移動位置である操作者の口元の探索と特定を開始する。しかし、このときは、前方カメラ７は、水差し本体により視野が遮られているため、制御装置は、前方カメラ７に基づく制御系から、側方カメラ８に基づく制御系に切り換え、側方カメラ８により特定した操作者の口元までのアクセスを実行する。

側方カメラ８は、前方カメラ７の光軸に対し直交する方向に設けられているため、水差し本体により視野を遮られることなく、先に説明した水差し位置の３次元位置と同様の処理で、正確に操作者の口元の探索、特定を行うことができる。なお、前方カメラ７と側方カメラ８の光軸は直交に限らず、把持する物品の大きさや形状などにより、最適な角度を選定すればよい。

前方カメラ７による水差し把持までの制御系と側方カメラ８による、被支援者の顔認識、口元の探索、アクセスを行う制御系との切り換えは、水差しの把持が終了し、前方カメラ７の視野が水差しに遮られる状態になったことを判別した時点で行う。
この場合、フィンガ部６ａの先端には力覚センサが設けられていることから、図３に示されるように、この力覚センサの検出値に基づいて、水差しを確実に把握した判別した時点で行い、第１のビジュアルフィードバック系から第２のビジュアルフィードバック系に切り換える。
図４にビジュアルフィードバック系を切り換えるシステムのブロック図を示す。

なお、第１のビジュアルフィードバック系から第２のビジュアルフィードバック系に切り換えは、図６に示すように、前方カメラ７あるいは側方カメラ８の撮像情報に基づいて、水差しの撮像面積が所定以上の比率になった時点で、第１のビジュアルフィードバック系から第２のビジュアルフィードバック系に、あるいは第２のビジュアルフィードバック系から第１のビジュアルフィードバック系に切り換えるようにすれば、例えば複数の作業を連続して行う場合でも、自動的に最適なビジュアルフィードバック系に切り換えることができる。

さらに、両者を組み合わせ、水差しを把持する時点で、水差しが前方カメラ７の視界を妨げるような場合は、直前に側方カメラ８による制御系を作動させ、前方カメラ７及び側方カメラ８の撮像情報を利用して、水差しの位置を特定し、前方カメラ７による制御系を補助するように機能させてもよい。

この場合、前方カメラ７からの撮像情報のうち、水差しの撮像面積が所定以上になったことを検出して、側方カメラ８の撮像情報に基づく制御を並行して作動させるようにすればよい。

なお、側方カメラ８は、ロボットアーム１を操作者のベッド周辺に設置する場合や、車椅子の位置関係がさまざまに変化する場合は、両側に設置するのが好ましい。

また、水差しと操作者の位置関係によっては、ハンド６が水差しを把持した時点で、側方カメラ８による撮像情報によっても操作者を特定できないケースが生じ得るので、前述のように、前方カメラ７の撮像情報やフィンガ部６ａ先端の力覚センサの検出値に基づいて、制御系の切り換えタイミングを判定した際、図３のフローチャートに示すように、側方カメラ８によるビジュアルフィードバック制御系に切り換えられた際、ロボットアーム１と被支援者との位置関係により予め推定される角度だけ、ロボットアーム１の各連結軸を回動させて、ハンドの姿勢を変え、移動目標地点である操作者の口元の特定を補助するにようにすれば、より確実な探索及び特定が可能になる。

さて、このように側方カメラ８による制御により、被支援者の口元を特定する際は、CMOSイメージセンサの撮像データから人間の顔を認識する周知の顔認識ソフトを利用するが、ロボットアーム１の周辺に被験者以外に複数の人間がいる場合、制御装置が目標位置を正確に判別することができない場合が想定される。
そこで、本実施例では、図６に示すように、次の処理を行うことにより、被験者の口元を正確に識別できるようにした。

（１）ロボットアーム１の土台に固定された座標系（アーム座標系）における被支援者の顔の位置を予め制御装置に設定しておく。
（２）側方カメラ８の撮像情報から、撮像されたすべての人間の顔を周知の顔認識ソフトにより検知し，それらの画像上での位置と半径を計測する。
（３）ロボットアーム１各軸の角度からアーム座標系における側方カメラ８の位置と姿勢を計算し，（１）で位置を設定した被支援者の顔の画像上での位置と半径を予測する。
（４）顔の位置と半径を比較することにより，（２）で検知したすべての顔の中から（３）で予測した被支援者の顔に最も近いものを決定し，これを被支援者の顔と判断する。
（５）（４）で決定された顔情報から、口元の３次元位置を求め、これを把持した水差しの飲み口の目標移動位置とする。

この実施例では、水差しの例を示したが、これに限らず、各種食器、冷蔵庫内の飲料、さらには電話の受話器、本などを特定し、それぞれに適した支援作業を実現することができ、また、前方カメラ７及び側方カメラ８に基づく２つのビジュアルフィードバック制御系の切り換えや、顔などの目標位置の探索を補助するロボットアーム１の回動、顔認識などは、その用途に応じて、さまざまに組み合わせることができる。

以上説明したように、本発明のロボットアーム及びハンドの制御装置によれば、側方カメラ８により、把持物に影響されることなく目標位置を正確に探索及び認識することができるので、例えば、障害者、高齢者等の介護を支援する生活支援ロボットアームとして、さほどのコストアップを伴うことなく、安全、確実に被支援者の求める、親和性の高い支援を行わせることができ、介護現場等、人間を支援するロボットアーム及びそのハンドの制御装置として、広く利用されることが期待できる。

１ ロボットアーム
２ 本体
３ 水平アーム
４ 第１アーム
５ 第２アーム
６ ハンド
６ａ フィンガ部
７ 前方カメラ
８ 側方カメラ

Claims (6)

1. ロボットアームのハンドに、把持対象物の位置及び方向を観測するカメラを設置し、その撮像情報に基づいて該把持対象物を認識し、前記ハンドで把持させた後、目標位置を探索及び認識して、前記把持対象物を該目標位置に移動させるロボットアーム及びハンドの制御装置において、
   前記ハンドの把持部に前方カメラを設けるとともに、前記ハンドの側方に側方カメラを設置し、前記ハンドが前記把持対象物を把持する直前あるいは直後において、前記前方カメラの撮像情報に基づく制御から、前記側方カメラの撮像情報に基づく制御に切り換える切換手段を具備したことを特徴とするロボットアーム及びハンドの制御装置。
2. 前記切換手段が、前記ハンドのフィンガ部先端に設けられた力覚センサに基づき、前記把持対象物の把持が完了したのを検出して、前記前方カメラの撮像情報に基づく制御から前記側方カメラの撮像情報に基づく制御に切り換えることを特徴とする請求項１記載のロボットアーム及びハンドの制御装置。
3. 前記切換手段が、前記前方カメラによる前記把持対象物の撮像面積が所定以上になったことを検出して、前記側方カメラの撮像情報に基づく制御に切り換えることを特徴とする請求項１記載のロボットアーム及びハンドの制御装置。
4. 前記前方カメラを標準画角レンズ、前記側方カメラを広角レンズとしたことを特徴とする請求項１ないし３記載されたロボットアーム及びハンドの制御装置。
5. 前記前方カメラの撮像情報に基づく制御から前記側方カメラの撮像情報に基づく制御に切り換える際、前記側方カメラが前記目標位置をその視野範囲にとらえるよう、前記ハンドを所定方向に揺動させるようにしたことを特徴とする請求項１ないし４に記載されたロボットアーム及びハンドの制御装置。
6. 前記目標位置が特定の人間の口である場合、前記側方カメラの撮像情報に基づいて顔認識手段により顔を認識し、認識した顔のうち、前記特定の人間と、ロボットアームとの予め定められた位置関係に基づいて、該特定の顔の口を特定し、前記目標位置とすることを特徴とする請求項１ないし３に記載されたロボットアーム及びハンドの制御装置。
   

Images