JPWO2020071080A1 - 情報処理装置、制御方法及びプログラム - Google Patents

Abstract

物体のスムーズな受け渡しを可能にする。情報処理装置は、マニピュレータに把持された物体を授受対象者へ受け渡す際、前記物体の移動速度が連続性を保つように、前記マニピュレータを制御する制御部（１２，１１）を備える。

Description

本開示は、情報処理装置、制御方法及びプログラムに関する。

近年、家庭や介護施設や店舗などにおいて人間とのインタラクションを実行することを目的としたロボットの開発が盛んに行なわれている。人間とロボットとが行なうインタラクションには、例えば、会話や物体の授受などが存在する。

特開２０１３−１１１７３７号公報

ここで、物体の授受では、物体のスムーズな受け渡しを達成するために、受け渡しの対象となる物体や受け手となる人間の所作や状況等に応じた繊細な制御が要求される。

そこで本開示では、物体のスムーズな受け渡しを可能にする情報処理装置、制御方法及びプログラムを提案する。

上記の課題を解決するために、本開示の一形態に係る情報処理装置は、マニピュレータに把持された物体を授受対象者へ受け渡す際、前記物体の移動速度が連続性を保つように、前記マニピュレータを制御する制御部を備える。

（作用）本開示の一形態に係る情報処理装置によれば、物体を授受対象者へ受け渡す際に、物体の授受方向への移動速度の連続性が保たれるように、マニピュレータが制御される。これにより、物体の授受方向への変位が急激に変化することを低減できるため、物体のスムーズな受け渡しが可能となる。

一実施形態に係る自律ロボットから授受対象者へ物体を渡す動作を説明するための模式図である。 一実施形態における最適な授受動作の一例を示すグラフである。 一実施形態における最適でない授受動作の一例を示すグラフである。 一実施形態に係る自律ロボットの概略構成例を示すブロック図である。 一実施形態に係る手部の構成例を示す外観図である。 図５における方向Ａ２から手部を見た場合の構成例を示す外観図である。 一実施形態に係る自律ロボットの授受動作を実行するための機能構成の一例を示すブロック図である。 一実施形態に係る機械学習プロセスにおける入出力情報の一例を示す模式図である。 一実施形態に係る概略的な動作例を示すフローチャートである。 一実施形態の第１の例に係る授受動作を示すフローチャートである。 一実施形態の第２の例に係る授受動作を示すフローチャートである。 一実施形態の第３の例に係る授受動作を示すフローチャートである。 一実施形態の第４の例に係る授受動作を示すフローチャートである。 一実施形態に係る把持動作とリリース動作とのブレンドを説明するための図である。 一実施形態の変形例に係る把持動作とリリース動作とのブレンドを説明するための図である。 一実施形態に係るビジョンセンサを用いて構成された滑りセンサの一例を示す模式図である。 図１６に示す変形部の一例を示す図である。 一実施形態に係るビジョンセンサで検出される初期滑りを説明するための図である（その１）。 一実施形態に係るビジョンセンサで検出される初期滑りを説明するための図である（その２）。 一実施形態に係るビジョンセンサで検出される初期滑りを説明するための図である（その３）。 一実施形態に係る圧力分布センサを用いて構成された滑りセンサの一例を示す模式図である。 一実施形態に係る圧力分布センサで検出される初期滑りを説明するための図である（その１）。 一実施形態に係る圧力分布センサで検出される初期滑りを説明するための図である（その２）。 一実施形態に係るシステム構成の一例を示すブロック図である。

以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。

また、以下に示す項目順序に従って本開示を説明する。
１．一実施形態
１．１ 自律ロボットの概要
１．２ 物体の授受動作について
１．３ 自律ロボットの概略構成
１．４ 手部の構成
１．５ 自律ロボットの機能構成
１．６ 授受行動の機械学習について
１．７ 動作例
１．８ 授受動作の具体例
１．８．１ 第１の例
１．８．２ 第２の例
１．８．３ 第３の例
１．８．４ 第４の例
１．９ 把持動作とリリース動作とのブレンドについて
１．９．１ 変形例
１．１０ 初期滑りの計測について
１．１０．１ ビジョンセンサ
１．１０．２ 圧力分布センサ
１．１１ システム構成
１．１２ 作用・効果

１．一実施形態
以下、本開示の一実施形態に係る情報処理装置、制御方法及びプログラムについて、図面を参照して詳細に説明する。本実施形態では、ロボットハンドや人型ロボットやペットロボットなどのアーム（マニピュレータともいう）を備えた自律ロボットと人との間で未知の物体を授受する物理インタラクションをスムーズに行なうことを可能にする情報処理装置、制御方法及びプログラムについて、例を挙げて説明する。

１．１ 自律ロボットの概要
図１は、本実施形態に係る自律ロボットから人（以下、授受対象者という）へ物体を渡す動作を説明するための模式図である。図１に示すように、自律ロボット１は、例えば、頭部４１と、胴体部４２と、台車部４３と、マニピュレータ４４Ｌ及び４４Ｒとを備える人型ロボットである。胴体部４２と台車部４３とは、例えば、床Ｐ１などの上を移動可能な移動体を構成する。

台車部４３には、例えば、車輪やキャタピラなどの走行機構の他、走行用モータやバッテリやコントロール部などが収容されている。ただし、走行機構は、車輪やキャタピラなどに限定されず、２本以上の脚などで構成された歩行機構などであってもよい。また、自律ロボット１は人型ロボットに限定されず、マニピュレータ単体や、マニピュレータが搭載された自律移動体など、少なくとも１つのアーム部を備えた種々のロボットを自律ロボット１として適用するも可能である。

各マニピュレータ４４Ｌ及び４４Ｒ（以下、マニピュレータ４４Ｌ及び４４Ｒを区別しない場合、その符号を単に４４とする）は、胴体部４２の肩に相当する箇所に取り付けられた上腕部４４１と、マニピュレータ４４の肘に相当する箇所で上腕部４４１に取り付けられた前腕部４４２と、マニピュレータ４４の手首に相当する箇所で前腕部４４２に取り付けられた手部４４３とを備える。上腕部４４１と前腕部４４２とは、例えば、マニピュレータ４４におけるアーム部を構成する。マニピュレータ４４の肩と肘と手首に相当する各関節には、例えば、マニピュレータ４４を人の腕のように可動するための駆動部や関節機構等が設けられている。駆動部としては、例えば、電磁モータ、油圧アクチュエータ、空圧アクチュエータなどを用いることができる。

また、手部４４３には、物体を把持するための機構として、指部も設けられている。なお、以下の説明では、手部４４３が２指である場合を例示するが、これに限定されず、例えば、３指や４指や５指など、種々変形することが可能である。また、ジャミング転移を利用したハンドや、空気圧力制御による吸引を利用したハンドなどを手部４４３として使用することも可能である。

１．２ 物体の授受動作について
このような自律ロボット１では、手部４４３に把持した物体Ｂ１を授受対象者の手Ｈ１に手渡しする場合、図２に示すように、授受動作の実行期間中、物体Ｂ１の授受方向Ａ１への変位が連続的、例えば直線的なものとなることが好ましい。一方、図３に示すように、授受動作の実行期間中の物体Ｂ１の授受方向Ａ１への変位に急激な変化が含まれる場合、手部４４３から授受対象者の手Ｈ１へ物体Ｂ１をうまく授受することができず、物体Ｂ１が落下したり、物体Ｂ１の内容物がこぼれたりするなどの事象が発生してしまう可能性が高い。

人と自律ロボットとの間の物体の授受動作には、自律ロボットが物体を把持する把持動作と、自律ロボットが物体をリリースするリリース動作と、人が物体を受け取る受取動作とが含まれ、物体を人へ受け渡す際には、自律ロボット１は、把持動作で把持した物体をリリース動作でリリースする。すなわち、把持した物体を人へ受け渡す際、自律ロボット１は、把持動作とリリース動作とのブレンド率を変化させてリリース動作の占める割合を徐々に増加させ、最終的に物体をリリースする。

ここで、例えば、自律ロボットが実行するリリース動作には、予め決まったパターンが存在せず、物体や授受対象者毎に最適な動作が異なる。例えば、熱湯の入った湯呑を授受する場合と、テニスボールを授受する場合とでは、最適なリリース動作が異なる。

これは、物体Ｂ１の授受方向Ａ１への単位時間あたりの移動量は、授受対象者が受取動作において物体Ｂ１に与える外力の大きさによって変化するが、この移動量の変化が、物体Ｂ１に固有の特性、例えば、静止摩擦係数、動摩擦係数、質量、形状寸法、剛性、強度、温度、湿度等の違いに依存して異なるためである。

そのため、特性が異なる全ての物体について、自律ロボットの設計者が最適なリリース動作を予め計画しておくことは困難である。同様に、授受対象者の所作や状況等が異なる全てのケースについても、設計者が最適なリリース動作を予め計画しておくことは困難である。

そこで本実施形態では、人と自律ロボットとが共存する家庭や介護施設や店舗など、受け渡しの対象となる物体が未知である環境や、授受対象者の所作や状況等が未知である環境、すなわち、最適なリリース動作のモデルを事前に作成できない環境において、人と自律ロボットとの間で品質の高い物理インタラクション、具体的には物体の授受を可能にする構成及び動作について、具体例を挙げて説明する。

例えば、本実施形態では、自律ロボット１に搭載した各種センサからの情報を活用することで、受け渡しの物体Ｂ１や授受対象者の所作や状況等に応じた最適な授受動作を可能にする。

なお、本説明において、最適な授受動作とは、例えば、物体を授受する際の授受方向の滑り量の変化率が連続性を保っていることであってよい（例えば、図２参照）。ただし、これに限定されず、授受対象者が自律ロボット１からストレスなく物体を受け取ることができる種々の授受動作を最適な授受動作と定義することができる。

一方、適切でない授受動作とは、例えば、授受対象者が自律ロボット１から物体を受け取る際に必要以上の大きな力が発生したり、受け取った際に物体の変形や破損や内容物の飛び出しなどを引き起こす力が発生してしまったりなどの事象に繋がる動作であってよい。

また、適切でない授受動作には、リリース動作に必要以上に時間をかけることで、授受対象者が受け取りをやめてしまったり、その結果として物体の落下や内容物の飛び出しが発生してしまったりなどの動作も含まれ得る。

これらのような適切でない授受動作が行なわれた場合、自律ロボット１において必要以上の外力や外乱が発生し、物体の授受方向の滑り量の変化率が不連続となる（例えば、図３参照）。また、適切でない授受動作が行なわれた場合には、物体の授受方向の滑り量の変化率が断続的となるが、このことも物体の授受方向の滑り量の変化率が不連続となる要因となる。

そこで本実施形態では、例えば、手部４４３の把持力の変化率や手部４４３に搭載した各種センサで検出された情報等を入力とし、物体Ｂ１の授受方向Ａ１への移動速度の連続性を出力とした機械学習を行う。これにより、物体Ｂ１の特性（静止摩擦係数、動摩擦係数、質量、形状寸法、剛性、強度、温度、湿度等）、及び、授受対象者の所作や状況等に応じたスムーズな物体Ｂ１の受け渡しを可能にすることができる。

また、本実施形態では、例えば、手部４４３が把持する物体Ｂ１の滑り量又は初期滑り量の変化を計測し、その変化が重力方向とは異なる方向の成分、例えば、重力と反対方向、重力による回転モーメントと反対方向、又は、授受方向Ａ１（例えば、授受対象者の手Ｈ１の位置方向）の成分を含む際に、リリース動作を開始する。これにより、リリース動作を授受動作の初期段階に開始することが可能となるため、物体Ｂ１にかかる負荷や手部４４３の把持力の変動を最小限に抑えることが可能となり、それにより、よりスムーズな物体Ｂ１の受け渡しが可能となる。

さらに、本実施形態では、物理インタラクションの更なる高品質化のために、上記に加え、画像入力情報や音声入力情報等から得られる授受対象者の存在や感情の変化等を機械学習の入力や出力に加えてもよい。

例えば、画像処理の結果や測距センサからの情報を用いて授受対象者の存在や手Ｈ１の存在を確認した上でリリース動作を開始してもよい。これにより、誤ってリリース動作を開始することを回避できるため、より安全且つ確実に物体Ｂ１の受け渡しを実行することが可能となる。なお、画像処理の結果や測距センサからの情報に限らず、例えば、音声入出力情報等を用いて授受対象者の存在を確認してもよい。また、音声入出力情報等を用いて授受対象者の把持の意思やリリース動作中の感情の変化を認識した上で、リリース動作の開始や動作継続の判断を実行するようにしてもよい。

さらにまた、例えば、リリース動作の実行中に、物体Ｂ１の授受方向Ａ１への滑り量の変化を計測し続けることで、物体Ｂ１の授受方向Ａ１への移動速度の連続性が保たれるように、リリース動作を制御してもよい。これにより、物体Ｂ１の授受方向Ａ１への変位が急激に変化することを低減できるため、よりスムーズな物体Ｂ１の受け渡しが可能となる。

さらにまた、例えば、リリース動作の実行中に、物体Ｂ１の重力方向への滑り量又は初期滑り量を計測し続けてもよい。これにより、物体Ｂ１を誤って落下せたり、物体Ｂ１が手部４４３内で不自然に上下に変位することを低減することが可能となる。

なお、本説明において、授受方向Ａ１は、例えば、授受対象者の手Ｈ１の位置、姿勢及び形状を認識した上で、第３指中手骨上端と手根骨を結んだ線上の手根骨方向であると定義する。また、授受方向Ａ１を、授受対象者の手Ｈ１と体幹の位置と形状とを認識した上で、手根骨中心と胸骨中心とを結んだ線上の胸骨方向と定義することも可能である。若しくは、授受方向Ａ１を、授受対象者の手Ｈ１と体幹の位置と形状とを認識した上で、手根骨中心と上腕骨頭中心を結んだ線上の上腕骨頭方向と定義することも可能である。ただし、授受方向Ａ１の定義は、上記に限定されず、種々変更することが可能である。

また、本実施形態に係るリリース動作には、手部４４３の把持力制御、マニピュレータ４４におけるアーム部の動作制御（以下、アーム動作制御という）、自律ロボット１の全身動作制御等が含まれ得る。これら、手部４４３の把持力制御、マニピュレータ４４におけるアーム部のアーム動作制御、自律ロボット１の全身動作制御等は、あるブレンド率でブレンドされるが、本実施形態では、このブレンド率を評価するための評価関数を定義し、この評価関数の最適解を求めるために、上記に示した、手部４４３に与えた把持力の変化率や手部４４３に搭載した各種センサで検出された情報等を入力とし、物体Ｂ１の授受方向Ａ１への移動速度の連続性を出力とした機械学習を活用する。

なお、本説明において、把持力制御とは、物体Ｂ１を把持するために手部４４３に発生している把持力をリリースに向けて減少させる際の単位時間における力の変化量を制御することであってよい。

また、アーム動作制御とは、物体Ｂ１を把持して目標座標空間に物体Ｂ１を配置しているアーム部の姿勢を変化させて物体Ｂ１の位置を授受方向Ａ１へ移動させることであってよく、その際の単位時間当たりの変化量を制御することであってよい。このようなアーム動作制御により、リリース動作の開始を検知した時点で手部４４３から物体Ｂ１を即時リリースした際に物体Ｂ１に発生する授受方向Ａ１への慣性力を減少することが可能となる。

さらに、ロボット全身動作制御とは、物体Ｂ１を把持して目標座標空間に物体Ｂ１を配置している自律ロボット１の位置及び姿勢を変化させて物体Ｂ１の位置を授受方向Ａ１へ移動させることであってよく、その際の単位時間当たりの位置変化量を制御することであってよい。

１．３ 自律ロボットの概略構成
次に、本実施形態に係る自律ロボット１の概略構成について、図面を参照して詳細に説明する。図４は、本実施形態に係る自律ロボットの概略構成例を示すブロック図である。図４に示すように、自律ロボット１は、例えば、ＣＰＵ（Central Processing Unit）１２、ＤＲＡＭ（Dynamic Random Access Memory）１３、フラッシュＲＯＭ（Read Only Memory）１４、ＰＣ（Personal Computer）カードインタフェース（Ｉ／Ｆ）１５、無線通信部１６及び信号処理回路１１が内部バス１７を介して相互に接続されることにより形成されたコントロール部１０と、この自律ロボット１の動力源としてのバッテリ１８とを備える。

また、自律ロボット１は、移動やジェスチャーなどの動作を実現するための可動機構として、マニピュレータ４４の関節部分や胴体部４２の関節部分（（首関節や腰関節など）や車輪やキャタピラ等の可動部２６と、この可動部２６を駆動するためのアクチュエータ２７とを備える。

さらに、自律ロボット１は、移動距離や移動速度や移動方向や姿勢などの情報を取得するためのセンサ（以下、内界センサという）として、自機の向きや動きの加速度を検出するための慣性計測装置（Inertial Measurement Unit：ＩＭＵ）２０と、アクチュエータ２７の駆動量を検出するエンコーダ（又はポテンショメータ）２８とを備える。なお、内界センサとしては、これらの他にも、加速度センサや角速度センサ等を用いることができる。

さらにまた、自律ロボット１は、自機の周囲の地形や自機の周囲に存在する物体までの距離や方向などの情報を取得するセンサ（以下、外界センサという）として、外部の状況を撮像するカメラ１９と、自機に対して特定の方向に存在する物体までの距離を測定するＴｏＦ（Time of Flight）センサ２１とを備える。なお、外界センサとしては、これらの他にも、ＬＩＤＡＲ（Light Detection and Ranging又はLaser Imaging Detection and Ranging）センサ、ＧＰＳ（Global Positioning System）センサ、磁気センサ、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）などの無線通信部１６における電波強度の測定部（以下、電波強度センサという）等を用いることができる。

さらにまた、自律ロボット１には、外部から受けた物理的な圧力を検出するためのタッチセンサ２２や、外部音を集音するためのマイク２３や、周囲へ音声等を出力するためのスピーカ２４や、ユーザ等へ各種情報を表示するための表示部２５などが設けられてもよい。

さらにまた、自律ロボット１の可動部２６には、物体Ｂ１の授受を制御するためのセンサとして、６軸力覚センサ５０１と、３軸力覚センサ５０２と、滑りセンサ５０３と、測距センサ５０４と、３軸センサ２６１と、１軸センサ２６２と、３軸センサ２６３と、１軸センサ２６４と、２軸センサ２６５と、３軸センサ２６６とを備える。

６軸力覚センサ５０１は、例えば、マニピュレータ４４における手首部分に取り付けられ、手首部分に加わった力及びトルクの大きさと方向とを検出する。

３軸力覚センサ５０２は、例えば、手部４４３における各指関節に取り付けられ、指関節に加わった力又はトルクの大きさと方向とを検出する。

滑りセンサ５０３は、例えば、手部４４３における手のひらや指の腹など、把持する物体Ｂ１と接触する部分に取り付けられ、物体Ｂ１とこれに接触する部分とのせん断滑りの大きさ（滑り量）及びその方向を検出する。また、滑りセンサ５０３は、物体Ｂ１とこれに接触する部分との間で発生する初期滑りの大きさ（初期滑り量）及びその方向を検出してもよい。この滑りセンサ５０３には、例えば、手部４４３における物体Ｂ１に接触する部分に取り付けられた所定形状の粘弾性体の変形を観測するビジョンセンサや、圧力の２次元分布を計測する圧力分布センサなどを用いることができる。

測距センサ５０４は、例えば、マニピュレータ４４における手首や手のひらや手の甲や指先など、手部４４３が把持した物体Ｂ１を観測できる場所に取り付けられ、手部４４３と物体Ｂ１との間の距離を計測する。

３軸センサ２６１は、例えば、肩部分に取り付けられ、胴体部４２に対する上腕部４４１のロール角、ピッチ角及びヨー角を検出する。

１軸センサ２６２は、例えば、肘部分に取り付けられ、上腕部４４１に対する前腕部４４２のピッチ角を検出する。

３軸センサ２６３は、例えば、手首部分に取り付けられ、前腕部４４２に対する手部４４３のロール角、ピッチ角及びヨー角を検出する。

１軸センサ２６４は、例えば、手部４４３の各指関節に取り付けられ、各関節のピッチ角を検出する。

２軸センサ２６５は、例えば、台車部４３と胴体部４２との関節部分に取り付けられ、台車部４３に対する胴体部４２のロール角及びピッチ角を検出する。

３軸センサ２６６は、例えば、首部分に取り付けられ、胴体部４２に対する頭部４１のロール角、ピッチ角及びヨー角を検出する。

以上の構成において、ＩＭＵ２０、タッチセンサ２２、ＴｏＦセンサ２１、マイク２３、スピーカ２４、エンコーダ（又はポテンショメータ）２８などの各種センサ、表示部２５、アクチュエータ２７、カメラ１９及びバッテリ１８は、それぞれコントロール部１０の信号処理回路１１と接続されている。

信号処理回路ｌ４は、上述の各種センサから供給されるセンサデータや画像データ及び音声データを順次取り込み、これらをそれぞれ内部バス１７を介してＤＲＡＭ１３内の所定位置に順次格納する。また、信号処理回路１１は、これと共にバッテリ１８から供給されるバッテリ残量を表すバッテリ残量データを順次取り込み、これをＤＲＡＭ１３内の所定位置に格納する。

このようにしてＤＲＡＭ１３に格納された各センサデータ、画像データ、音声データ及びバッテリ残量データは、ＣＰＵ１２が自律ロボット１の動作制御を行う際に利用されるとともに、必要に応じて、無線通信部１６を介して外部のサーバ等へ送信される。なお、無線通信部１６は、Ｂｌｕｅｔｏｏｔｈ（登録商標）やＷｉ−Ｆｉ（登録商標）などの他、無線ＬＡＮ（Local Area Network）や移動体通信網等の所定のネットワークを介して外部のサーバ等と通信を行なうための通信部であってよい。

ＣＰＵ１２は、例えば、自律ロボット１の電源が投入された初期時、不図示のＰＣカードスロットに装填されたメモリカード３０又はフラッシュＲＯＭ１４に格納された制御プログラムをＰＣカードＩ／Ｆ１５を介して又は直接読み出し、これをＤＲＡＭ１３に格納する。

また、ＣＰＵ１２は、上述のように信号処理回路１１よりＤＲＡＭ１３に順次格納される各センサデータ、画像データ、音声データ及びバッテリ残量データに基づいて自機及び周囲の状況や、ユーザからの指示及び働きかけの有無などを判断する。

さらに、ＣＰＵ１２は、ＤＲＡＭ１３等に格納されている地図データ又は無線通信部１６を介して外部のサーバ等から取得した地図データと各種情報とを利用して、自己位置推定や種々の動作を実行してもよい。

そして、ＣＰＵ１２は、上述の判断結果や推定された自己位置やＤＲＡＭ１３に格納されている制御プログラム等に基づいて、その後の行動を決定すると共に、当該決定結果に基づいて必要なアクチュエータ２７を駆動させることにより、物体Ｂ１の授受動作の他、移動やジェスチャーなどの各種行動を実行する。

その際、ＣＰＵ１２は、必要に応じて音声データを生成し、これを信号処理回路１１を介して音声信号としてスピーカ２４に与えることにより当該音声信号に基づく音声を外部に出力させたり、表示部２５に各種情報を表示させたりする。

このようにして、自律ロボット１は、自機及び周囲の状況や、ユーザからの指示及び働きかけに応じて自律的に行動し得るように構成されている。

１．４ 手部の構成
つづいて、本実施形態に係る自律ロボット１の手部４４３の構成について、図面を参照して詳細に説明する。なお、本説明では、簡略化のため、手部４４３が２指である場合を例示する。図５は、本実施形態に係る手部の構成例を示す外観図である。また、図６は、図５における方向Ａ２から手部を見た場合の構成例を示す外観図である。

図５及び図６に示すように、手部４４３は、例えば、手のひら及び手の甲に相当する基底部４４３１と、２本の指部４４３２ａ及び４４３２ｂ（以下、指部４４３２ａ及び４４３２ｂを区別しない場合、その符号を４４３２とする）とを備える。基底部４４３１は、例えば、手首に相当する関節機構４４４を介して前腕部４４２に取り付けられている。

手首に相当する関節機構４４４には、上述したように、手首部分に加わった力及びトルクの大きさと方向とを検出する６軸力覚センサ５０１と、前腕部４４２に対する手部４４３のロール角、ピッチ角及びヨー角を検出する３軸センサ２６３とが設けられている。

各指部４４３２は、基底部４４３１に指関節（第３関節）に相当する関節機構４４３３を介して取り付けられた基節部４４３４と、基節部４４３４に指関節（第１関節）に相当する関節機構４４３５を介して取り付けられた末節部４４３６とを備える。これら２本の指部４４３２ａ及び４４３２は、例えば、指の腹に相当する面が互いに向き合うように、基底部４４３１に取り付けられている。

各指部４４３２の各指関節に相当する関節機構４４３３及び４４３５には、上述したように、各指関節に加わった力又はトルクの大きさと方向とを検出する３軸力覚センサ５０２と、各関節のピッチ角を検出する１軸センサ２６４とが設けられている。

また、物体Ｂ１を把持したときに指部４４３２における物体Ｂ１と接触する部分、例えば、末節部４４３６の指の腹に相当する部分には、滑りセンサ５０３が設けられている。さらに、基底部４４３１における手のひらに相当する面、すなわち、指部４４３２を折り畳んだときに末節部４４３６に取り付けられた滑りセンサ５０３と対向する面には、測距センサ５０４としてのＴｏＦセンサ５０４ａが設けられている。さらにまた、基底部４４３１における手の甲に相当する部分には、測距センサ５０４としてのカメラ５０４ｂが、そのロール角、ピッチ角及びヨー角を調整可能に設けられている。

１．５ 自律ロボットの機能構成
次に、本実施形態に係る自律ロボット１の授受動作を実行するための機能構成について、図面を参照して詳細に説明する。図７は、本実施形態に係る自律ロボットの授受動作を実行するための機能構成の一例を示すブロック図である。なお、図７に示す機能構成のうち、物理インタラクション実行部５５及び学習情報記憶部５４以外の構成は、例えば、図４に示すＣＰＵ１２がフラッシュＲＯＭ１４又はメモリカードに格納されている所定のプログラム、若しくは、無線通信部１６を介してダウンロードされたプログラムを実行することで、実現され得る。また、物理インタラクション実行部５５は、例えば、図４に示すＣＰＵ１２、信号処理回路１１、可動部２６及びアクチュエータ２７で実現され得る。さらに、学習情報記憶部５４は、例えば、図４に示すフラッシュＲＯＭ１４又はメモリカード３０によって実現され得る。

図７に示すように、自律ロボット１は、授受対象者との物体Ｂ１の授受動作を実行するための機能構成として、授受対象者認識部５１と、物体認識部５２と、授受行動計画部５３と、学習情報記憶部５４と、物理インタラクション実行部５５と、把持情報取得部５６と、レスポンス時間計測部５７と、感情マップ生成部５８と、授受行動評価部５９とを備える。また、自律ロボット１が備えるセンサのうち、例えば、カメラ１９と、マイク２３と、６軸力覚センサ５０１と、３軸力覚センサ５０２と、滑りセンサ５０３と、測距センサ５０４とは、授受動作の実行において使用する各種情報を取得するためのセンサ群５０を構成する。

授受対象者認識部５１は、例えば、カメラ１９で取得された画像データやマイク２３から入力された音声データを解析することで、授受対象者及び／又は授受対象者の手Ｈ１の存在や、授受対象者における物体Ｂ１を受け取る意思や、授受対象者の所作や状況等（以下、授受対象者の姿勢という）を認識し、その結果を授受行動計画部５３に入力する。また、授受対象者認識部５１は、後述する物理インタラクション実行部５５が実行するリリース動作の過程で、カメラ１９で取得された画像データやマイク２３から入力された音声データを解析することで、リリース動作の過程における授受対象者に感情の変化、例えば、熱いや冷たいやタイミングが合わない等の理由で受取動作を中断又は放棄してしまうなどの感情の変化を検出し、その結果を感情マップ生成部５８へ入力する。

物体認識部５２は、例えば、カメラ１９で取得された画像データの解析結果や、６軸力覚センサ５０１、３軸力覚センサ５０２及び滑りセンサ５０３から入力されたセンサデータ等に基づくことで、物体Ｂ１の位置や、物体Ｂ１の特性、例えば、静止摩擦係数、動摩擦係数、質量、形状寸法、剛性、強度、温度、湿度等を認識又は推定し、その結果を授受行動計画部５３に入力する。

学習情報記憶部５４は、例えば、過去に行なった授受動作を機械学習することで構築された学習済みモデルや、授受行動計画部５３で計画された授受行動計画及びその評価結果等を記憶する。なお、過去に行なった授受動作に対して機械学習することで学習済みモデルを構築する構成は、例えば、自律ロボット１内に配置されてもよいし、自律ロボット１と所定のネットワークを介して接続されたサーバ上に配置されてもよい。

授受行動計画部５３は、授受対象者認識部５１から入力された授受対象者の認識結果と、物体認識部５２から入力された物体Ｂ１の認識又は推定結果とから、学習情報記憶部５４に記憶されている学習済みモデルや過去に計画した授受行動計画及びその評価結果等に基づいて、物体Ｂ１を授受対象者へ受け渡すための授受行動計画を作成する。作成された授受行動計画には、例えば、物体Ｂ１をテーブルや床等から持ち上げる又は人等から受け取る動作から授受対象者へ受け渡すまでの動作が含まれ得る。

物理インタラクション実行部５５は、授受行動計画部５３で作成された授受行動計画を実行することで、物体Ｂ１を授受対象者へ受け渡す物理インタラクション（授受行動）を実行する。

把持情報取得部５６は、物理インタラクション実行部５５によるリリース動作の開始タイミングを決定するために、例えば、滑りセンサ５０３で検出された滑り量又は初期滑り量若しくは測距センサ５０４で検出された滑り量における重力と反対方向、重力による回転モーメントと反対方向、又は、授受対象者の手Ｈ１の位置方向の成分から、授受対象者が受取動作を開始したタイミングを検出し、検出したタイミングを物理インタラクション実行部５５へ入力する。

また、把持情報取得部５６は、物理インタラクション実行部５５がリリース動作を実行している期間中の物体Ｂ１の授受方向Ａ１への移動速度の連続性を確保するために、例えば、物理インタラクション実行部５５がリリース動作を実行している期間中、滑りセンサ５０３及び／又は測距センサ５０４で検出された物体Ｂ１の授受方向Ａ１への滑り量を物理インタラクション実行部５５へ継続して入力する。

さらに、把持情報取得部５６は、物理インタラクション実行部５５がリリース動作を実行している期間中の物体Ｂ１の落下や不自然な上下動を低減するために、例えば、物理インタラクション実行部５５がリリース動作を実行している期間中、滑りセンサ５０３及び／又は測距センサ５０４で検出された物体Ｂ１の重力方向への滑り量を物理インタラクション実行部５５へ継続して入力する。

さらにまた、把持情報取得部５６は、授受動作の機械学習における入力として、例えば、物理インタラクション実行部５５がリリース動作を実行している期間中に手部４４３に設けられた各種センサで検出された情報、例えば、３軸力覚センサ５０２で検出された把持力や、滑りセンサ５０３で検出された滑り量及び／又は初期滑り量などの情報を、不図示の機械学習部に入力する。加えて、把持情報取得部５６は、授受動作の機械学習における出力として、例えば、物理インタラクション実行部５５がリリース動作を実行している期間中に測距センサ５０４で検出された物体Ｂ１までの距離を、不図示の機械学習部に入力する。

レスポンス時間計測部５７は、例えば、自律ロボット１がリリース動作を開始して手部４４３の把持力を減少させてから物体Ｂ１の授受方向Ａ１への移動速度が増加するまでの時間（レスポンス時間）を計測し、測定されたレスポンス時間を物理インタラクション実行部５５へ入力する。

感情マップ生成部５８は、例えば、物理インタラクション実行部５５がリリース動作を実行している期間中に、授受対象者認識部５１から入力された授受対象者の感情の変化に関する情報に基づいて、リリース動作実行中の時間軸に沿った授受対象者の感情の変化をマッピングした感情マップを生成し、生成した感情マップを授受行動評価部５９に入力する。なお、マッピングされる感情には、例えば、熱いや冷たいやタイミングが合わない等のネガティブな感情のみならず、快適に受け取ることができた等のポジティブな感情等も含まれ得る。

授受行動評価部５９は、授受行動計画部５３で計画された授受行動計画を、感情マップ生成部５８から入力された感情マップに基づいて評価し、その評価結果を授受行動計画とともに学習情報記憶部５４に入力する。

１．６ 授受行動の機械学習について
ここで、授受行動の機械学習について説明する。図８は、機械学習プロセスにおける入出力情報の一例を示す模式図である。図８に示すように、本実施形態における授受行動の機械学習プロセスでは、入力層に手部４４３に設けられた各種センサで検出された情報又はこれらの情報から得られた情報、例えば、３軸力覚センサ５０２で検出された把持力又はその変化率や、滑りセンサ５０３で検出された滑り量及び／又は初期滑り量又はその変化率などの情報が与えられ、出力層に授受方向Ａ１への物体Ｂ１の移動速度の連続性に関する情報が与えられて、入力層から隠れ層を介して出力層までの各層のノード（ニューロンともいう）６０間を結ぶ各エッジ６１の重みが求められる。これにより、授受動作に最適な学習済みモデルが作成される。なお、上述したように、授受対象者の感情を機械学習の入力や出力に使用することも可能である。

なお、機械学習では、例えば、授受方向Ａ１への物体Ｂ１の移動速度の連続性が高い程、プラスの報酬が設定されるものとする。一方、授受方向Ａ１への物体Ｂ１の移動速度の連続性が低い、すなわち、物体Ｂ１の授受方向Ａ１への単位時間あたりの移動量が不連続であるほど、マイナスの報酬が設定されるものとする。

また、機械学習では、物理インタラクション実行部５５がリリース動作を実行している期間中の授受対象者の感情及び／又はその変化に基づいて報酬が設定されてもよい。例えば、リリース動作を実行している期間中に授受対象者からネガティブな感情が認識されていた場合にはマイナスの報酬を設定し、ポジティブな感情が認識されていた場合にはプラスの報酬を設定するようにしてもよい。授受対象者がネガティブな感情であるかポジティブな感情であるかについては、例えば、感情マップ生成部５８で生成された感情マップに基づいて判定することができる。

１．７ 動作例
次に、本実施形態に係る自律ロボット１の動作例について、図面を参照して詳細に説明する。図９は、本実施形態に係る概略的な動作例を示すフローチャートである。図９に示すように、本動作では、まず、物体認識部５２が、例えば、カメラ１９で取得された画像データを解析することで、授受対象の物体Ｂ１の位置や形状寸法等を認識する（ステップＳ１０１）。つづいて、物体認識部５２により認識された物体Ｂ１の位置や形状寸法等に基づき、物理インタラクション実行部５５が物体Ｂ１を把持する（ステップＳ１０２）。

次に、物理インタラクション実行部５５が物体Ｂ１を持ち上げた際にマニピュレータ４４の各種センサ（６軸力覚センサ５０１、３軸力覚センサ５０２、滑りセンサ５０３等）で検出されたセンサデータに基づき、物体認識部５２が、物体Ｂ１を持ち上げたことによる負荷を計算し（ステップＳ１０３）、計算された負荷に基づいて、物体Ｂ１の特性、例えば、静止摩擦係数、動摩擦係数、質量、剛性、強度、温度、湿度等を認識又は推定する（ステップＳ１０４）。

次に、授受対象者認識部５１が、例えば、カメラ１９で取得された画像データやマイク２３から入力された音声データを解析することで、授受対象者の位置を認識し（ステップＳ１０５）、つづいて、授受行動計画部５３が、授受対象者認識部５１により認識された授受対象者の位置から決定される物体Ｂ１の受渡し場所までの移動計画を作成する（ステップＳ１０６）。そして、物理インタラクション実行部５５が、授受行動計画部５３により作成された移動計画に従って、自律ロボット１を受渡し場所まで移動させる（ステップＳ１０７）。

次に、授受対象者認識部５１が、例えば、カメラ１９で取得された画像データを解析することで、授受対象者の手Ｈ１の位置を認識し（ステップＳ１０８）、つづいて、授受行動計画部５３が、授受対象者認識部５１により認識された授受対象者の手Ｈ１の位置から決定される自律ロボット１の受渡しの姿勢までの姿勢制御計画を作成する（ステップＳ１０９）。そして、物理インタラクション実行部５５が、授受行動計画部５３により作成された姿勢制御計画に従って、自律ロボット１の姿勢を制御する（ステップＳ１１０）。なお、自律ロボット１の姿勢制御には、例えば、マニピュレータ４４のならい制御や胴体部４２及び頭部４１の傾き制御等も含まれ得る。また、ステップＳ１０８では、授受対象者の手Ｈ１の位置に加え、授受対象者の手Ｈ１の所作や状況等も認識され得る。

次に、授受行動計画部５３が、物体認識部５２で認識又は推定された物体Ｂ１の特性と、授受対象者認識部５１で認識された授受対象者の手Ｈ１の位置や所作や状況等から、学習情報記憶部５４に記憶されている学習済みモデルや過去に計画した授受行動計画及びその評価結果等に基づいて、物体Ｂ１を授受対象者へ受渡すための授受動作計画を作成し（ステップＳ１１１）、つづいて、物理インタラクション実行部５５が、授受行動計画部５３により作成された授受動作計画に従って、物体Ｂ１を授受対象者へ受け渡す授受行動を実行し（ステップＳ１１２）、その後、本動作を終了する。

１．８ 授受動作の具体例
つづいて、図９のステップＳ１１２に示す授受動作について、いくつか例を挙げて説明する。

１．８．１ 第１の例
まず、第１の例に係る授受動作について説明する。図１０は、本実施形態の第１の例に係る授受動作を示すフローチャートである。なお、第１の例では、物理インタラクション実行部５５が把持力制御のみでリリース動作を実行する場合を例示する。

図１０に示すように、第１の例に係るリリース動作では、まず、把持情報取得部５６が、例えば、滑りセンサ５０３で検出された滑り量Ｕ又は初期滑り量ｕ若しくは測距センサ５０４で検出された滑り量Ｕにおける重力と反対方向、重力による回転モーメントと反対方向、又は、授受対象者の手Ｈ１の位置方向（以下、これらを特定方向という）の成分がゼロより大きくなったか否かを判定する（ステップＳ１２１）。すなわち、授受対象者による受取動作が開始されたか否かを判定する。特定方向の滑り量Ｕ又は初期滑り量ｕがゼロ以下である場合（ステップＳ１２１のＮＯ）、すなわち、授受対象者による受取動作が未だ開始されていない場合、本動作がステップＳ１２１へリターンし、授受対象者による受取動作の開始を待機する。

一方、特定方向の滑り量Ｕ又は初期滑り量ｕがゼロより大きくなった場合（ステップＳ１２１のＹＥＳ）、すなわち、授受対象者による受取動作が開始された場合、把持情報取得部５６は、例えば、測距センサ５０４におけるカメラ５０４ｂで取得された画像データを解析することで、授受方向Ａ１を特定する（ステップＳ１２２）。特定された授受方向Ａ１は、特定方向の滑り量Ｕ又は初期滑り量ｕがゼロより大きくなったことに基づくリリース動作の開始トリガとともに、把持情報取得部５６から物理インタラクション実行部５５に入力される。これに対し、物理インタラクション実行部５５は、物体Ｂ１の授受方向Ａ１へのリリース動作を開始する（ステップＳ１２３）。

このようにしてリリース動作を開始すると、物理インタラクション実行部５５は、次に、手部４４３の把持力制御を実行する（ステップＳ１２４）。具体的には、物理インタラクション実行部５５は、物体Ｂ１を把持するために手部４４３に発生させている把持力Ｆをリリースに向けて減少させる際の単位時間における力の変化量を制御する。

また、物理インタラクション実行部５５がリリース動作を開始後、把持情報取得部５６は、物体Ｂ１の授受方向Ａ１への滑り量の変化を計測し続けることで、物体Ｂ１の授受方向Ａ１への移動速度を計測する（ステップＳ１２５）。計測された物体Ｂ１の授受方向Ａ１への移動速度は、物理インタラクション実行部５５に入力されることで、物理インタラクション実行部５５における把持力制御に用いられる。すなわち、物理インタラクション実行部５５は、物体Ｂ１の授受方向Ａ１への移動速度が連続性を保つように、手部４４３に発生させている把持力の単位時間あたりの減少量を制御する（フィードバック制御）。

その後、物理インタラクション実行部５５は、手部４４３に発生させている把持力Ｆがゼロに達したか否かを判定し（ステップＳ１２６）、ゼロに達していた場合（ステップＳ１２６のＹＥＳ）、リリース動作を完了し（ステップＳ１２７）、本授受動作を終了する。

一方、把持力Ｆがゼロに達していない場合（ステップＳ１２６のＮＯ）、本動作がステップＳ１２４へリターンし、以降の動作を把持力Ｆがゼロに達するまで繰返し実行する。

このように、滑りセンサ５０３で検出された滑り量Ｕ又は初期滑り量ｕ若しくは測距センサ５０４で検出された滑り量Ｕにおける特定方向の成分がゼロより大きくなったこと（ステップＳ１２１のＹＥＳ）に基づいて、物理インタラクション実行部５５がリリース動作を開始（ステップＳ１２３）する構成とすることで、リリース動作を授受動作の初期段階に開始することが可能となるため、物体Ｂ１にかかる負荷や手部４４３の把持力の変動を最小限に抑えることが可能となり、それにより、よりスムーズな物体Ｂ１の受け渡しが可能となる。

また、物理インタラクション実行部５５がリリース動作を開始後、継続して物体Ｂ１の授受方向Ａ１への滑り量の変化を計測（ステップＳ１２５）し、計測された物体Ｂ１の授受方向Ａ１への滑り量の変化に基づいて、手部４４３に発生させている把持力Ｆの単位時間における減少量を制御することで、物体Ｂ１の授受方向Ａ１への変位が急激に変化することを低減できるため、よりスムーズな物体Ｂ１の受け渡しが可能となるとともに、物体Ｂ１を誤って落下させたり、物体Ｂ１が手部４４３内で不自然に上下に変位したりすることを低減することが可能となる。

なお、物理インタラクション実行部５５は、ステップＳ１２３においてリリース動作を開始後、例えば、レスポンス時間計測部５７で計測されたレスポンス時間に基づき、一定時間以上、物体Ｂ１の授受方向Ａ１への移動速度が増加しない場合には、リリース動作を停止又は終了するようにしてもよい。

また、本実施形態では、手部４４３が２指である場合を例示したが、例えば、手部４４３が３指以上である場合、把持力制御では、物体Ｂ１を挟み込む２本の指部以外の指部からその把持力を徐々に減少させてもよい。これにより、物体Ｂ１が落下する危険性を低減し、より安定した授受動作を実行することが可能となる。

１．８．２ 第２の例
次に、第２の例に係る授受動作について説明する。図１１は、本実施形態の第２の例に係る授受動作を示すフローチャートである。第２の例では、物理インタラクション実行部５５が、リリース動作として、学習済みモデルに基づいて特定されたブレンド率で把持力制御とアーム動作制御とをブレンドして実行する場合を例示する。

図１１に示すように、第２の例に係る授受動作では、例えば、図９を用いて説明した第１の例に係る授受動作と同様の流れにおいて、図９のステップＳ１２４が、ステップＳ２２４に置き換えられている。

ステップＳ２２４では、物理インタラクション実行部５５が、学習済みモデルに基づいて特定されたブレンド率でブレンドされた手部４４３の把持力制御及びアーム部のアーム動作制御を実行する。具体的には、物理インタラクション実行部５５は、物体Ｂ１を把持するために手部４４３に発生させている把持力Ｆをリリースに向けて減少させる際の単位時間における力の変化量を制御（把持力制御）するとともに、物体Ｂ１を把持して目標座標空間に物体Ｂ１を配置しているアーム部の姿勢を変化させて物体Ｂ１の位置を授受方向Ａ１へ移動させる際の単位時間当たりの位置変化量を制御する。その際、授受方向Ａ１への物体Ｂ１の移動速度が連続性を保つように、把持力Ｆの単位時間あたりの減少量と、アーム部の姿勢の変化量とが、上述したブレンド率でブレンドされる。

１．８．３ 第３の例
次に、第３の例に係る授受動作について説明する。図１２は、本実施形態の第３の例に係る授受動作を示すフローチャートである。第３の例では、物理インタラクション実行部５５が、リリース動作として、学習済みモデルに基づいて特定されたブレンド率で把持力制御とアーム動作制御と全身動作制御とをブレンドして実行する場合を例示する。

図１２に示すように、第３の例に係る授受動作では、例えば、図９を用いて説明した第１の例に係る授受動作と同様の流れにおいて、図９のステップＳ１２４が、ステップＳ３２４に置き換えられている。

ステップＳ３２４では、物理インタラクション実行部５５が、学習済みモデルに基づいて特定されたブレンド率でブレンドされた手部４４３の把持力制御とアーム部のアーム動作制御と自律ロボット１の全身動作制御とを実行する。具体的には、物理インタラクション実行部５５は、物体Ｂ１を把持するために手部４４３に発生させている把持力Ｆをリリースに向けて減少させる際の単位時間における力の変化量を制御（把持力制御）し、物体Ｂ１を把持して目標座標空間に物体Ｂ１を配置しているアーム部の姿勢を変化させて物体Ｂ１の位置を授受方向Ａ１へ移動させる際の単位時間当たりの位置変化量を制御するとともに、物体Ｂ１を把持して目標座標空間に物体Ｂ１を配置している自律ロボット１の位置及び姿勢を変化させて物体Ｂ１の位置を授受方向Ａ１へ移動させる。その際、授受方向Ａ１への物体Ｂ１の移動速度が連続性を保つように、把持力Ｆの単位時間あたりの減少量と、アーム部の姿勢の変化量と、自律ロボット１の位置及び姿勢の変化量とが、上述したブレンド率でブレンドされる。

１．８．４ 第４の例
次に、第４の例に係る授受動作について説明する。図１３は、本実施形態の第４の例に係る授受動作を示すフローチャートである。第４の例では、例えば、第３の例に示した授受動作に加え、物理インタラクション実行部５５が、授受対象者の感情の変化に応じてリリース動作の停止や終了を実行する場合を例示する。なお、本説明では、第３の例をベースとするが、これに限らず、第１の例又は第２の例をベースとすることも可能である。

図１３に示すように、第４の例に係る授受動作では、例えば、図１２を用いて説明した第３の例に係る授受動作と同様の流れにおいて、ステップＳ３２４とステップＳ１２５との間に、ステップＳ４０１〜Ｓ４０３が追加されている。

ステップＳ４０１では、授受対象者認識部５１が、例えば、カメラ１９で取得された画像データやマイク２３から入力された音声データを解析することで、授受対象者の感情の変化を検出する。検出された授受対象者の感情の変化に関する情報は、例えば、機械学習の入力や出力として、感情マップ生成部５８に入力されてもよい。

次に、ステップＳ４０２では、授受対象者認識部５１が、検出された変化後の感情が特定の感情であるか否かを判定する。特定の感情とは、例えば、授受対象者による授受動作の中断や放棄に繋がるようなネガティブな感情であってよい。特定の感情が検出されていない場合（ステップＳ４０２のＮＯ）、本動作は、ステップＳ１２５へ進む。一方、特定の感情が検出されていた場合（ステップＳ４０２のＹＥＳ）、物理インタラクション実行部５５が、リリース動作を停止又は終了し（ステップＳ４０３）、その後、ステップＳ１２１へリターンする。なお、リリース動作の停止の指示は、授受対象者認識部５１から物理インタラクション実行部５５へ直接入力されてもよいし、感情マップ生成部５８を介して入力されてもよい。

以上のように、物理インタラクション実行部５５がステップＳ１２３においてリリース動作を開始後、授受対象者認識部５１がカメラ１９からの画像データやマイク２３からの音声データを解析することで、授受対象者の感情の変化を検出し、検出された感情が授受動作の中断や放棄に繋がる特定の感情である場合には、物理インタラクション実行部５５によるリリース動作が中断されるように構成してもよい。これにより、授受対象者が受取動作を中断又は放棄した際に物理インタラクション実行部５５に迅速にリリース動作の停止又は終了を実行させることが可能となるため、物体Ｂ１の落下や内容物の飛び出し等を低減することが可能となる。

１．９ 把持動作とリリース動作とのブレンドについて
次に、把持動作とリリース動作とのブレンドについて、図面を用いて詳細に説明する。図１４は、本実施形態に係る把持動作とリリース動作とのブレンドを説明するための図である。なお、図１４では、物理インタラクション実行部５５が、リリース動作として、学習済みモデルに基づいて特定されたブレンド率で把持力制御とアーム動作制御と全身動作制御とをブレンドして実行する場合（第３の例）を例示する。

図１４に示すように、把持した物体を授受対象者へ受け渡す際、自律ロボット１は、把持動作７１とリリース動作７２とをブレンド率７６でブレンド（加算）し、その結果（７３）に基づいて把持力制御７４を実行する。自律ロボット１が物体Ｂ１をリリースする過程において、ブレンド率７６を減少させることで、最終的に、自律ロボット１が物体Ｂ１をリリースする。

ブレンド率７６は、例えば、物理インタラクション実行部５５がリリース動作を実行後にマニピュレータ４４の各種センサ（６軸力覚センサ５０１、３軸力覚センサ５０２、滑りセンサ５０３等）で検出されたセンサデータ（把持力Ｆ、回転モーメントＦ等）から負荷を計算（７５）し、その結果に基づいて求めることができる。

このようにして求められたブレンド率は、アーム動作制御７７におけるパラメータとしても利用される。アーム動作制御７７は、物理インタラクション実行部５５がリリース動作を実行後にマニピュレータ４４の各種センサ（６軸力覚センサ５０１、３軸力覚センサ５０２、滑りセンサ５０３等）で検出されたセンサデータ（把持力Ｆ、回転モーメントＦ等）と、ブレンド率７６とに基づいてその制御量が決定され、そして、アーム動作制御７７をサポートするように、全身動作制御７８の制御量が決定される。

１．９．１ 変形例
図１５は、本実施形態の変形例に係る把持動作とリリース動作とのブレンドを説明するための図である。図１５に示すように、ブレンド率７６は、センサデータ（把持力Ｆ、回転モーメントＦ等）に加え、レスポンス時間計測部５７で計測されたレスポンス時間Ｔや、授受対象者認識部５１で検出された授受対象者の感情の変化に基づいて求められてもよい。これにより、例えば、授受対象者が不快を感じている場合には、より丁寧に若しくは迅速に物体Ｂ１をリリースするようにブレンド率７６を調整することが可能となる。

１．１０ 初期滑りの計測について
次に、初期滑りの計測について、具体例を挙げて説明する。

１．１０．１ ビジョンセンサ
まず、初期滑りを計測するためのセンサ（滑りセンサ５０３に相当）として、ビジョンセンサを用いた場合について説明する。図１６は、ビジョンセンサを用いて構成された滑りセンサの一例を示す模式図である。

図１６に示すように、ビジョンセンサ８３を用いて構成された滑りセンサ５０３Ａは、自律ロボット１の筐体８１の一部に設けられた変形部８２と、筐体８１の内部から変形部８２の変形を観測するビジョンセンサ８３とを備える。

図１７に示すように、変形部８２は、例えば、シリコーンゴムなどの粘弾性体８２１で構成される。粘弾性体８２１には、例えば、２次元格子状に配列する複数のマーカ８２２が設けられる。このような構造の変形部８２に対し、図１７に例示するように、領域Ｒ１に圧力を加えると、領域Ｒ１内のマーカ８２２が変形又は位置ずれを起こす。したがって、滑りセンサ５０３Ａは、変形又は位置ずれを起こしたマーカ８２２の領域をビジョンセンサ８３で観測することで、どの領域に圧力が加わっているか、すなわち、どの領域が物体Ｂ１と接触しているかを特定することができる。

また、例えば、変形部８２に接触している物体Ｂ１に外力が加わると、物体Ｂ１が変形部８２に対して実際に滑り始める前の段階として、初期滑りが発生する。初期滑りとは、接触領域の中央部分は滑りが発生していない状態で周辺部分に滑りが発生する現象である。

例えば、図１８〜図２０に例示するように、変形部８２の全体に接触している物体Ｂ１に図面中右方向の外力を与えると、変形部８２の左側から初期滑り８２３が発生し（図１８参照）、その領域が徐々に拡大し（図１８〜図２０参照）、最終的には、変形部８２の全体で滑りが検出される。

したがって、ビジョンセンサ８３を用いて構成された滑りセンサ５０３Ａを用いる場合には、手部４４３が物体Ｂ１を把持して持ち上げた状態を基準とし、この状態から重力と反対方向、重力による回転モーメントと反対方向、又は、授受対象者の手Ｈ１の位置方向の初期滑りを滑りセンサ５０３Ａで検出し、初期滑りが検出されたタイミングを授受対象者が受取動作を開始したタイミングとすることが可能となる。

１．１０．２ 圧力分布センサ
また、初期滑りを計測するためのセンサ（滑りセンサ５０３に相当）には、圧力分布センサを用いることもできる。図２１は、圧力分布センサを用いて構成された滑りセンサの一例を示す模式図である。

図２１に示すように、圧力分布センサ９１を用いて構成された滑りセンサ５０３Ｂは、物体Ｂ１と接触する面が歪曲している。したがって、滑りセンサ５０３Ｂに対して物体Ｂ１を接触させた場合、図２２に示すように、接触領域Ｒ２における中央部分で検出される圧力が最も高くなる。なお、図２２及び図２３中、接触領域Ｒ２内の色の濃さは、圧力の高さを示しているものとする。

この状態で図面中右方向の外力を与えると、図２３に示すように、接触領域Ｒ２における最も圧力が高い領域は移動しないものの、その周辺領域は図面中右方向へシフトする。

したがって、圧力分布センサ９１を用いて構成された滑りセンサ５０３Ｂを用いる場合には、手部４４３が物体Ｂ１を把持して持ち上げた状態を基準とし、この状態から重力と反対方向、重力による回転モーメントと反対方向、又は、授受対象者の手Ｈ１の位置方向の初期滑りを滑りセンサ５０３Ｂで検出し、初期滑りが検出されたタイミングを授受対象者が受取動作を開始したタイミングとすることが可能となる。

１．１１ システム構成
本実施形態に係る自律ロボット１は、図２４に例示するように、例えば、図２４に例示するように、所定のネットワーク３を介してサーバ２に接続することが可能であってもよい。サーバ２は、例えばクラウドサーバなど、複数のサーバで構成されたサーバ群であってもよい。ネットワーク３は、例えば、インターネットやＬＡＮや移動体通信網等、種々のネットワークを適用することが可能である。

このようなシステム構成において、上述した機械学習部は、各自律ロボット１に配置されてもよいし、サーバ２に配置されてもよい。なお、機械学習部を各自律ロボット１に配置するかサーバ２に配置するかに関わらず、機械学習部による機械学習の結果（例えば、学習済みモデル）は、所定のネットワーク３を介して接続された複数の自律ロボット１で共有できるとよい。

機械学習部を実現する装置には、汎用の計算器又はプロセッサ（ＣＰＵ）が用いられてもよいし、ＧＰＧＰＵ（General-Purpose Computing on Graphics Processing Units）や大規模ＰＣ（Personal Computer）やＦＰＧＡ（Field-Programmable Gate Array）などが用いられてもよい。

１．１２ 作用・効果
以上のように、本実施形態によれば、リリース動作の実行中に、物体Ｂ１の授受方向Ａ１への滑り量の変化を計測し続け、物体Ｂ１の授受方向Ａ１への移動速度の連続性が保たれるように、リリース動作が制御される。これにより、物体Ｂ１の授受方向Ａ１への変位が急激に変化することを低減できるため、スムーズな物体Ｂ１の受け渡しが可能となる。

また、本実施形態では、手部４４３の把持力の変化率や手部４４３に搭載した各種センサで検出された情報等を入力とし、物体Ｂ１の授受方向Ａ１への移動速度の連続性を出力とした機械学習を行う。これにより、物体Ｂ１の特性（静止摩擦係数、動摩擦係数、質量、形状寸法、剛性、強度、温度、湿度等）、及び、授受対象者の所作や状況等に応じたよりスムーズな物体Ｂ１の受け渡しを可能にすることができる。

さらに、本実施形態では、例えば、手部４４３が把持する物体Ｂ１の滑り量又は初期滑り量の変化を計測し、その変化の向きが、重力と反対方向、重力による回転モーメントと反対方向、又は、授受対象者の手Ｈ１の位置方向の成分を有する際に、リリース動作を開始する。これにより、リリース動作を授受動作の初期段階に開始することが可能となるため、物体Ｂ１にかかる負荷や手部４４３の把持力の変動を最小限に抑えることが可能となり、それにより、よりスムーズな物体Ｂ１の受け渡しが可能となる。

さらにまた、本実施形態では、リリース動作の実行中に、物体Ｂ１の重力方向への滑り量又は初期滑り量を計測し続ける。これにより、物体Ｂ１を誤って落下せたり、物体Ｂ１が手部４４３内で不自然に上下に変位することを低減することが可能となる。

さらにまた、本実施形態では、画像入力情報や音声入力情報等から得られる授受対象者の存在や感情の変化等を機械学習の入力や出力に加える。これにより、物理インタラクションの更なる高品質化を達成することができる。

さらにまた、本実施形態では、画像処理の結果や測距センサからの情報を用いて授受対象者の存在や手Ｈ１の存在を確認した上でリリース動作を開始することができる。これにより、誤ってリリース動作を開始することを回避できるため、より安全且つ確実に物体Ｂ１の受け渡しを実行することが可能となる。なお、画像処理の結果や測距センサからの情報に限らず、例えば、音声入出力情報等を用いて授受対象者の存在を確認することもできる。また、音声入出力情報等を用いて授受対象者の把持の意思やリリース動作中の感情の変化を認識した上で、リリース動作の開始や動作継続の判断を実行することも可能となる。

なお、上記した実施形態では、物体Ｂ１を１つのマニピュレータ４４で把持して授受対象者に受け渡す場合を例示したが、これに限定されるものではない。例えば、両方のマニピュレータ４４Ｒ及び４４Ｌを用いて物体Ｂ１を把持して授受対象者に受け渡す場合などにも、上述した実施形態を適用することが可能である。

さらに、１台の自律ロボット１のみならず、複数台の自律ロボット１が連携して、物体Ｂ１を持ち上げて一人以上の授受対象者に受け渡す場合にも、上述した実施形態を適用することが可能である。

また、上述した実施形態は、物体Ｂ１を対象者から受け取る場合にも応用することが可能である。

以上、本開示の実施形態について説明したが、本開示の技術的範囲は、上述の各実施形態そのままに限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、異なる実施形態及び変形例にわたる構成要素を適宜組み合わせてもよい。

また、本明細書に記載された各実施形態における効果はあくまで例示であって限定されるものでは無く、他の効果があってもよい。

なお、本技術は以下のような構成も取ることができる。
（１）
マニピュレータに把持された物体を授受対象者へ受け渡す際、前記物体の移動速度が連続性を保つように、前記マニピュレータを制御する制御部を備える情報処理装置。
（２）
前記制御部は、前記物体の授受方向への前記移動速度が連続性を保つように、前記マニピュレータの把持力の単位時間あたりの変化量を制御する前記（１）に記載の情報処理装置。
（３）
前記マニピュレータは、前記物体を把持する手部と、一方の端に前記手部が取り付けられたアーム部とを備え、
前記制御部は、前記物体の授受方向への前記移動速度が連続性を保つように、前記手部の把持力の単位時間あたりの変化量を制御するとともに、前記アーム部の姿勢の単位時間あたりの変化量を制御する
前記（１）に記載の情報処理装置。
（４）
前記マニピュレータは、移動可能な移動体に取り付けられ、
前記制御部は、前記物体の移動速度が連続性を保つように、前記マニピュレータを制御するとともに、前記移動体の移動を制御する
前記（１）〜（３）の何れか１項に記載の情報処理装置。
（５）
前記物体が前記マニピュレータと接する部分における前記物体の滑り量を検出する第１検出部をさらに備え、
前記制御部は、前記第１検出部で検出された滑り量に基づいて、前記物体の前記移動速度が連続性を保つように、前記マニピュレータを制御する
前記（１）〜（４）の何れか１項に記載の情報処理装置。
（６）
前記物体が前記マニピュレータと接触する部分における前記物体の滑り量又は初期滑り量を検出する第２検出部をさらに備え、
前記制御部は、前記第２検出部で検出された前記滑り量又は前記初期滑り量の変化が重力方向とは異なる方向の成分を含む場合、前記物体を前記授受対象者へ受け渡す動作を前記マニピュレータに開始させる
前記（１）〜（５）の何れか１項に記載の情報処理装置。
（７）
前記重力方向とは異なる方向は、重力と反対方向、重力による回転モーメントと反対方向、又は、前記授受対象者への授受方向である前記（６）に記載の情報処理装置。
（８）
前記物体が前記マニピュレータと接触する部分における前記物体の重力方向の滑り量又は初期滑り量を検出する第３検出部をさらに備え、
前記制御部は、前記第３検出部で検出された前記重力方向の前記滑り量又は前記初期滑り量に基づいて前記マニピュレータを制御する
前記（１）〜（７）の何れか１項に記載の情報処理装置。
（９）
前記物体を前記授受対象者へ受け渡す動作中の前記授受対象者の感情を認識する対象者認識部をさらに備え、
前記制御部は、前記対象者認識部で検出された前記授受対象者の感情の変化に基づいて、前記物体を前記授受対象者へ受け渡す動作を停止又は終了する
前記（１）〜（８）の何れか１項に記載の情報処理装置。
（１０）
前記対象者認識部は、前記授受対象者を撮像した画像データ及び前記授受対象者が発した声を集音した音声データのうちの少なくとも１つに基づいて、前記授受対象者の感情を認識する前記（９）に記載の情報処理装置。
（１１）
前記物体を前記授受対象者へ受け渡すために前記マニピュレータに実行させる授受動作を計画する計画部をさらに備え、
前記制御部は、前記計画部で計画された前記授受動作に従って、前記物体の前記移動速度が連続性を保つように、前記マニピュレータを制御する
前記（１）〜（１０）の何れか１項に記載の情報処理装置。
（１２）
前記物体の特性を認識又は推定する物体認識部をさらに備え、
前記計画部は、前記物体認識部で認識又は推定された前記物体の特性に基づいて、前記授受動作を計画する
前記（１１）に記載の情報処理装置。
（１３）
前記物体の特性は、静止摩擦係数、動摩擦係数、質量、形状寸法、剛性、強度、温度及び湿度のうちの少なくとも１つを含む前記（１２）に記載の情報処理装置。
（１４）
前記計画部は、学習済みモデルに従って前記授受動作を計画する前記（１１）〜（１３）の何れか１項に記載の情報処理装置。
（１５）
前記学習済みモデルは、前記マニピュレータが前記物体を把持する把持力の変化率を入力とし、前記物体の授受方向への移動速度の連続性を出力とした機械学習にて作成されたモデルである前記（１４）に記載の情報処理装置。
（１６）
前記機械学習は、前記物体の授受方向への前記移動速度の連続性が高い程、プラスの報酬が設定され、前記授受方向への前記移動速度の連続性が低い程、マイナスの報酬が設定された機械学習である前記（１５）に記載の情報処理装置。
（１７）
前記第１検出部は、粘弾性体及びビジョンセンサ、圧力分布センサ及び測距センサのうちの少なくとも１つを含む前記（５）に記載の情報処理装置。
（１８）
前記第２検出部は、粘弾性体及びビジョンセンサ、又は、圧力分布センサを含む前記（６）又は（７）に記載の情報処理装置。
（１９）
マニピュレータに把持された物体を授受対象者へ受け渡す際、前記物体の移動速度が連続性を保つように、前記マニピュレータを制御する制御方法。
（２０）
マニピュレータを制御するコンピュータを機能させるためのプログラムであって、
前記マニピュレータに把持された物体を授受対象者へ受け渡す際、前記物体の移動速度が連続性を保つように、前記マニピュレータを制御することを前記コンピュータに実行させるためのプログラム。

１ 自律ロボット
２ サーバ
３ ネットワーク
１０ コントロール部
１１ 信号処理回路
１２ ＣＰＵ
１３ ＤＲＡＭ
１４ フラッシュＲＯＭ
１５ ＰＣカードＩ／Ｆ
１６ 無線通信部
１７ 内部バス
１８ バッテリ
１９ カメラ
２０ ＩＭＵ
２１ ＴｏＦセンサ
２２ タッチセンサ
２３ マイク
２４ スピーカ
２５ 表示部
２６ 可動部
２６１ ３軸センサ（肩）
２６２ １軸センサ（肘）
２６３ ３軸センサ（手首）
２６４ １軸センサ（指関節）
２６５ ２軸センサ（腰）
２６６ ３軸センサ（首）
２７ アクチュエータ
２８ エンコーダ（ポテンショメータ）
３０ メモリカード
４１ 頭部
４２ 胴体部
４３ 台車部
４４、４４Ｌ、４４Ｒ マニピュレータ
４４１ 上腕部
４４２ 前腕部
４４３ 手部
４４４ 関節機構
４４３１ 基底部
４４３２、４４３２ａ、４４３２ｂ 指部
４４３３、４４３５ 関節機構
４４３４ 基節部
４４３６ 末節部
５０ センサ群
５０１ ６軸力覚センサ
５０２ ３軸力覚センサ
５０３、５０３Ａ、５０３Ｂ 滑りセンサ
５０４ 測距センサ
５０４ａ ＴｏＦセンサ
５０４ｂ カメラ
５１ 授受対象者認識部
５２ 物体認識部
５３ 授受行動計画部
５４ 学習情報記憶部
５５ 物理インタラクション実行部
５６ 把持情報取得部
５７ レスポンス時間計測部
５８ 感情マップ生成部
５９ 授受行動評価部
６０ ノード（ニューロン）
６１ エッジ
７１ 把持動作
７２ リリース動作
７３ α×把持動作＋（１−α）×リリース動作
７４ 把持力制御
７５ 負荷計算
７６ ブレンド率
７７ アーム動作制御
７８ 全身動作制御
８１ 筐体
８２ 変形部
８３ ビジョンセンサ
８２１ 粘弾性体
８２２ マーカ
８２３ 初期滑り
９１ 圧力分布センサ
Ａ１ 授受方向
Ｂ１ 物体
Ｈ１ 手
Ｐ１ 床
Ｒ１ 領域
Ｒ２ 接触領域

Claims (20)

1. マニピュレータに把持された物体を授受対象者へ受け渡す際、前記物体の移動速度が連続性を保つように、前記マニピュレータを制御する制御部を備える情報処理装置。
2. 前記制御部は、前記物体の授受方向への前記移動速度が連続性を保つように、前記マニピュレータの把持力の単位時間あたりの変化量を制御する請求項１に記載の情報処理装置。
3. 前記マニピュレータは、前記物体を把持する手部と、一方の端に前記手部が取り付けられたアーム部とを備え、
   前記制御部は、前記物体の授受方向への前記移動速度が連続性を保つように、前記手部の把持力の単位時間あたりの変化量を制御するとともに、前記アーム部の姿勢の単位時間あたりの変化量を制御する
   請求項１に記載の情報処理装置。
4. 前記マニピュレータは、移動可能な移動体に取り付けられ、
   前記制御部は、前記物体の移動速度が連続性を保つように、前記マニピュレータを制御するとともに、前記移動体の移動を制御する
   請求項１に記載の情報処理装置。
5. 前記物体が前記マニピュレータと接する部分における前記物体の滑り量を検出する第１検出部をさらに備え、
   前記制御部は、前記第１検出部で検出された滑り量に基づいて、前記物体の前記移動速度が連続性を保つように、前記マニピュレータを制御する
   請求項１に記載の情報処理装置。
6. 前記物体が前記マニピュレータと接触する部分における前記物体の滑り量又は初期滑り量を検出する第２検出部をさらに備え、
   前記制御部は、前記第２検出部で検出された前記滑り量又は前記初期滑り量の変化が重力方向とは異なる方向の成分を含む場合、前記物体を前記授受対象者へ受け渡す動作を前記マニピュレータに開始させる
   請求項１に記載の情報処理装置。
7. 前記重力方向とは異なる方向は、重力と反対方向、重力による回転モーメントと反対方向、又は、前記授受対象者への授受方向である請求項６に記載の情報処理装置。
8. 前記物体が前記マニピュレータと接触する部分における前記物体の重力方向の滑り量又は初期滑り量を検出する第３検出部をさらに備え、
   前記制御部は、前記第３検出部で検出された前記重力方向の前記滑り量又は前記初期滑り量に基づいて前記マニピュレータを制御する
   請求項１に記載の情報処理装置。
9. 前記物体を前記授受対象者へ受け渡す動作中の前記授受対象者の感情を認識する対象者認識部をさらに備え、
   前記制御部は、前記対象者認識部で検出された前記授受対象者の感情の変化に基づいて、前記物体を前記授受対象者へ受け渡す動作を停止又は終了する
   請求項１に記載の情報処理装置。
10. 前記対象者認識部は、前記授受対象者を撮像した画像データ及び前記授受対象者が発した声を集音した音声データのうちの少なくとも１つに基づいて、前記授受対象者の感情を認識する請求項９に記載の情報処理装置。
11. 前記物体を前記授受対象者へ受け渡すために前記マニピュレータに実行させる授受動作を計画する計画部をさらに備え、
    前記制御部は、前記計画部で計画された前記授受動作に従って、前記物体の前記移動速度が連続性を保つように、前記マニピュレータを制御する
    請求項１に記載の情報処理装置。
12. 前記物体の特性を認識又は推定する物体認識部をさらに備え、
    前記計画部は、前記物体認識部で認識又は推定された前記物体の特性に基づいて、前記授受動作を計画する
    請求項１１に記載の情報処理装置。
13. 前記物体の特性は、静止摩擦係数、動摩擦係数、質量、形状寸法、剛性、強度、温度及び湿度のうちの少なくとも１つを含む請求項１２に記載の情報処理装置。
14. 前記計画部は、学習済みモデルに従って前記授受動作を計画する請求項１１に記載の情報処理装置。
15. 前記学習済みモデルは、前記マニピュレータが前記物体を把持する把持力の変化率を入力とし、前記物体の授受方向への移動速度の連続性を出力とした機械学習にて作成されたモデルである請求項１４に記載の情報処理装置。
16. 前記機械学習は、前記物体の授受方向への前記移動速度の連続性が高い程、プラスの報酬が設定され、前記授受方向への前記移動速度の連続性が低い程、マイナスの報酬が設定された機械学習である請求項１５に記載の情報処理装置。
17. 前記第１検出部は、粘弾性体及びビジョンセンサ、圧力分布センサ及び測距センサのうちの少なくとも１つを含む請求項５に記載の情報処理装置。
18. 前記第２検出部は、粘弾性体及びビジョンセンサ、又は、圧力分布センサを含む請求項６に記載の情報処理装置。
19. マニピュレータに把持された物体を授受対象者へ受け渡す際、前記物体の移動速度が連続性を保つように、前記マニピュレータを制御する制御方法。
20. マニピュレータを制御するコンピュータを機能させるためのプログラムであって、
    前記マニピュレータに把持された物体を授受対象者へ受け渡す際、前記物体の移動速度が連続性を保つように、前記マニピュレータを制御することを前記コンピュータに実行させるためのプログラム。

Images