JP4223426B2 - コミュニケーションロボット - Google Patents

Description

この発明はコミュニケーションロボットおよびマップ作成方法に関し、特にたとえば、コミュニケーションの相手の触行動を認識するコミュニケーションロボット、およびそのようなコミュニケーションロボットのための皮膚センサ出力と相手の位置・姿勢とを対応付けたマップを作成するマップ作成方法に関する。

日常環境の中で活動するロボットにとって表面の柔らかさと敏感さは、コミュニケーションの相手となる人間への安全性という面において重要である。さらに、スキンシップという言葉の通り、体の表面は最初に触れるインタフェースであることから、コミュニケーションの相手がどのようにどの場所に触れているかを知ることは、相手の状態を知ることに繋がる。たとえば強く握ったり、やさしくなでたりするという触行動は自分の意思や気持ちを相手に伝えるための行動であり、根本的なコミュニケーション行動の１つである。したがって、ロボットの全身の柔らかさと触覚は、日常環境の中で活動するコミュニケーションロボットにとって非常に重要である。

従来、部分的な触覚を持ったロボットは数多く存在するが、全身の触覚イメージを獲得できるロボットは少ない。たとえば、非特許文献１では、導電性ファブリークを用いたロボット用の全身触覚スーツが提案される。しかし、この非特許文献１のロボット用センサスーツは、柔らかさを持った皮膚ではなく服であること、センサ出力は触られたか触られていないかの２値であることなどから、相手がどのように触れているのかを知ることは難しい。

また、非特許文献２では、３．７５ｍｍピッチの分布型圧力センサを巻き付けて全身の圧覚を取得するぬいぐるみが提案される。この非特許文献２のぬいぐるみでは、代表的な触行動が全身の圧覚によって分類できることが明らかにされている。しかし、触行動の対象があくまで静止したぬいぐるみに過ぎず、能動的なロボットへの触行動の解析はなされていない。また、ロボットが動くと、ロボット自体の体表の圧力が変化するという新たな問題も生じる。

そこで、本件出願人は、平成１５年３月２４日付で出願された特願２００３−８０１０６号において、柔らかい皮膚を持ち、触覚情報を出力する圧力センサを全身に配置したコミュニケーションロボットを提案している。
稲葉雅幸，星野由紀子，井上博允、"導電性ファブリックを用いた全身被服型触覚センサスーツ"、日本ロボット学会誌，Ｖｏｌ．１６, Ｎｏ．１，ｐｐ．８０−８６，１９９８ 納谷太，篠沢一彦，大和淳司，小暮潔、"圧力分布センサによる人の触行動の実時間識別とその個人適応手法"、電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８５−Ｄ−ＩＩ，Ｎｏ．４，ｐｐ．６１３−６２１，２００２

上述の本件出願人による特願２００３−８０１０６号のコミュニケーションロボットでは、圧力センサの出力情報から圧力の強弱、持続時間、または変化の周波数などに着目することで、コミュニケーション相手である人間の触り方を区別することができ、その認識に基づく触覚コミュニケーションに対応することができた。しかしながら、そのときの相手の位置や姿勢などは把握することができなかった。人間はたとえば後ろから抱き付かれてもその皮膚感覚ないし触覚で相手がどのような抱き付き方をしているのか分かるが、従来のロボットではそのような抱き付き方などを認識することができなかった。触覚コミュニケーションにおいて、触り方だけでなく、相手の位置や姿勢などを含めて触行動を認識することは、ロボットのコミュニケーション能力を向上させる。

それゆえに、この発明の主たる目的は、触覚で相手の位置や姿勢を把握することができるコミュニケーションロボット、およびそのようなコミュニケーションロボットのためのマップ作成方法を提供することである。

請求項１の発明は、コミュニケーションの相手の触行動を認識するコミュニケーションロボットであって、複数の圧力センサ、複数の圧力センサの出力パターンと、触行動をしている相手の少なくとも位置または姿勢に関する情報とを対応付けたマップを記憶するマップ記憶手段、複数の圧力センサの出力データを計測する計測手段、および計測手段によって計測された出力データとマップ記憶手段に記憶されたマップとに基づいて、相手の位置または姿勢を把握する把握手段を備える、コミュニケーションロボットである。

請求項１の発明では、コミュニケーションロボットは、コミュニケーションの相手の触行動を認識するものであり、複数の圧力センサを含む。マップ記憶手段は、複数の圧力センサの出力パターンと、触行動をしている相手の少なくとも位置または姿勢に関する情報とを対応付けたマップを記憶している。このコミュニケーションロボットと相手とが触行動を伴ったコミュニケーションを行っているとき、計測手段は、複数の圧力センサの出力データを計測する。そして、把握手段は、計測された出力データとマップとに基づいて、相手の位置または姿勢を把握する。したがって、請求項１の発明によれば、圧力センサの出力と触行動をしている相手の位置・姿勢とを対応付けたマップを備えているので、コミュニケーション時における圧力センサ出力データに基づいてマップを使用することで、触行動をしている相手の位置・姿勢を把握することができる。

請求項２の発明は、請求項１の発明に従属し、把握手段によって把握された相手の位置または姿勢に合わせて動作を制御する動作制御手段をさらに備える。

請求項２の発明では、動作制御手段は、把握された相手の位置または姿勢に合わせて動作を制御する。したがって、請求項２の発明によれば、コミュニケーション時に、たとえば、相手にぶつからないように危険回避を行ったり、あるいは相手の方を向いたりするなど、安全で適切な行動を選択することができる。

請求項３の発明は、請求項１または２の発明に従属し、マップ記憶手段は、複数の圧力センサの出力パターンを複数のクラスタで記憶するとともに、複数のクラスタと相手の位置または姿勢に関する情報とを対応付けたマップを記憶していて、把握手段は、計測手段によって計測された出力データに最も近いクラスタを求めて、当該クラスタに対応付けられた相手の位置または姿勢を求める。

請求項３の発明では、マップ記憶手段は、複数の圧力センサの出力パターンを複数のクラスタで記憶し、マップでは、複数のクラスタと相手の位置または姿勢に関する情報とが対応付けられる。そして、把握手段は、たとえば計測された出力データと複数のクラスタとの距離を算出して、出力データに最も近いクラスタを求めて、その最も近いクラスタに対応付けられている相手の位置または姿勢を求める。請求項３の発明によれば、圧力センサの出力パターンをクラスタで記憶するので、コミュニケーション時の出力データに最も近いクラスタを求めることで、相手の位置または姿勢を把握することができる。

請求項４の発明は、請求項１ないし３のいずれかの発明に従属し、マップ記憶手段は、相手の位置または姿勢に関する情報として、コミュニケーションロボットの位置を基準とした、少なくとも指先および腰の位置を示すデータを記憶する。

請求項４の発明では、マップ記憶手段は、複数の圧力センサの出力パターンに対応付けて、コミュニケーションロボットのたとえば重心などの位置を基準とした相手の少なくとも指先および腰の位置を示すデータを記憶している。したがって、請求項４の発明によれば、検出された圧力センサの出力データに基づいて、ロボットからの相手の指先および腰の位置を把握することができるので、相手がロボットに対してどのような位置・姿勢で触行動を行っているのかを把握することができる。

請求項５の発明は、請求項１ないし４のいずれかの発明に従属し、ロボット本体上に被せられる柔軟素材からなる皮膚をさらに備え、複数の圧力センサは皮膚中に分散配置される複数のピエゾセンサシートを含む。

請求項５の発明では、たとえば筐体などを含むロボット本体上には柔軟素材からなる皮膚が被せられ、この皮膚中に、複数の圧力センサとして複数のピエゾセンサシートが分散配置される。したがって、請求項５の発明によれば、たとえば全身分布型皮膚センサを有するコミュニケーションロボットを実現することができ、また、柔らかい皮膚を介して触行動が行われるので、人間に対して安心感を与えて親和性と安全性を向上できる。

請求項６の発明は、複数の圧力センサを備えるコミュニケーションロボットのための、複数の圧力センサの出力パターンと触行動をしている相手の位置または姿勢に関する情報とを対応付けたマップを作成する方法であって、(a) コミュニケーションロボットと相手との触行動を伴ったコミュニケーションにおけるそれぞれの３次元動作データを計測して該相手の３次元位置データを蓄積するとともに、複数の圧力センサの出力データを計測して蓄積し、(b) 蓄積した出力データのうちいずれかの圧力センサの出力値が所定の第１閾値以上であるデータを選別し、(c) 選別した出力データについてクラスタリングによって複数のクラスタにまとめて、(d) 各クラスタにおける出力データと対になった３次元位置データについて空間密度分布を求め、(e) 密度ピーク値が所定の第２閾値を超えたクラスタを有効なクラスタとしてマップに取り入れる、マップ作成方法である。

請求項６の発明では、まずステップ(a) で、コミュニケーションロボットと相手との触行動を伴ったコミュニケーションを計測する。つまり、ロボットと相手の３次元動作データをたとえば３次元モーションキャプチャシステムによって計測して相手の３次元位置データを蓄積するとともに、ロボットの複数の圧力センサの出力データを計測して蓄積する。相手の３次元位置は相手の位置または姿勢を明らかにすべく、たとえば相手の２つの指先と腰の位置データが蓄積される。次にステップ(b) で、蓄積した出力データのうちいずれかの圧力センサの出力値が所定の第１閾値以上であるデータを選別する。つまり、圧力センサの１つでもその所定の閾値を越える出力があったときには、触行動によって反応があったものと判断して、その計測時の出力データを選んでいる。続いて、ステップ(c) では、選別した出力データについてクラスタリングによって複数のクラスタにまとめる。つまり、たとえばＩＳＯＤＡＴＡ法によってクラスタリングを行って、圧力出力データのパターンを複数のクラスタにまとめる。ステップ(d) では、各クラスタにおける出力データと対になった３次元位置データについて空間密度分布を求める。そして、ステップ(e) では、密度ピーク値が所定の第２閾値を超えたクラスタを有効なクラスタとしてマップに取り入れる。このようにして、位置または姿勢が安定していて推定可能なものをクラスタとして採用し、有効なクラスタにおける圧力センサの出力データと対になった相手の３次元位置データの確率分布が該有効なクラスタに対応付けてマップに取り入れられる。

この発明によれば、圧力センサの出力とコミュニケーション相手の位置・姿勢とを対応付けたマップを備えるので、コミュニケーション時の圧力センサ出力データから触行動をしている相手の位置・姿勢を把握することができる。したがって、相手を見なくても、相手がどこにいて、どんな格好をしているのか、その触行動を人間のように触覚ないし皮膚感覚でより細かに認識することができる。したがって、コミュニケーション時に安全で適切な行動を選択することが可能になるので、安全性を向上できるとともに自然で円滑なコミュニケーションを実現できる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のコミュニケーションロボット（以下、単に「ロボット」ということがある。）１０は台車１２を含み、この台車１２の側面には、このロボット１０を自律移動させる車輪１４が設けられる。この車輪１４は、車輪モータ（図４において参照番号「１６」で示す。）によって駆動され、台車１２すなわちロボット１０を前後左右任意の方向に動かすことができる。なお、図示しないが、この台車１２の前面には、衝突センサが取り付けられ、この衝突センサは、台車１２への人間や他の障害物の接触を検知する。

台車１２の上には、多角形柱状のセンサ取付パネル１８が設けられ、このセンサ取付パネル１８の各面には、超音波距離センサ２０が取り付けられる。この実施例ではたとえば２４個の超音波距離センサ２０が周囲３６０度にわたるように設けられる。この超音波距離センサ２０は、センサ取付パネル１８すなわちロボット１０の周囲の主として人間との距離を計測するものである。具体的には、超音波距離センサ２０は超音波を発射し、その超音波が人から反射されて超音波距離センサ２０に入射されたタイミングを測定して、人との間の距離情報を出力する。

台車１２の上には、人体状部２２が直立するように取り付けられる。このロボット本体としての人体状部２２の全身は、後に詳しく説明するように、柔軟素材からなる皮膚２４によって覆われる。人体状部２２は、たとえば鉄板のような筐体（図示せず）を含み、その筐体にコンピュータやその他必要なコンポーネントを収容している。そして、皮膚２４は、その筐体上に被せられる。皮膚２４の下の筐体の上部ほぼ中央にはマイク２６が設けられる。このマイク２６は、周囲の音声、特に人間の声を収集するためものである。

人体状部２２は、右腕２８Ｒおよび左腕２８Ｌを含み、右腕２８Ｒおよび左腕２８Ｌすなわち上腕３０Ｒおよび３０Ｌは、それぞれ、肩関節３２Ｒおよび３２Ｌによって、胴体部分に変位自在に取り付けられる。この肩関節３２Ｒおよび３２Ｌは、３軸の自由度を有する。上腕３０Ｒおよび３０Ｌには、１軸の肘関節３４Ｒおよび３４Ｌによって、前腕３６Ｒおよび３６Ｌが取り付けられ、この前腕３６Ｒおよび３６Ｌには、手３８Ｒおよび３８Ｌが取り付けられる。これら右腕２８Ｒおよび左腕２８Ｌの各関節における各軸はここでは図示しないモータによってそれぞれ制御される。すなわち、右腕２８Ｒおよび左腕２８Ｌのそれぞれ４個のモータが、図４において、それぞれ右腕モータ４０および左腕モータ４２として表される。

人体状部１８の上部には首関節４４を介して頭部４６が、人間の頭と同様に俯仰・回転可能に取付けられる。この３軸の首関節４４は、図４に示す頭部モータ４８によって制御される。頭部４６の前面の「目」に相当する位置には２つの眼カメラ５０が設けられ、この眼カメラ５０は、ロボット１０に接近した人間の顔や他の部分を撮影してその映像信号を取り込む。頭部４６の前面の目カメラ５０の下方にはスピーカ５２が設けられる。このスピーカ５２は、ロボット１０がそれの周囲の人間に対して音声によってコミュニケーションを図るために用いられる。

上で説明した人体状部２２の胴体や頭部４６および腕は上記したようにすべて柔軟な素材からなる皮膚２４に覆われる。この皮膚２４は、図２に示すように、下層のウレタンフォーム５４と、その上に積層される比較的肉厚のシリコンゴム層５６ａおよび比較的肉薄のシリコンゴム層５６ｂとを含む。そして、２つのシリコンゴム層５６ａおよび５６ｂの間に、ピエゾセンサシート（皮膚センサ）５８が埋め込まれる。このピエゾセンサシート５８は、たとえば米国ＭＳＩ社製、株式会社東京センサ販売のピエゾフィルムを用いる（http://www.t-sensor.co.jp/PIEZO/TOP/index.html）。実施例のロボットに使用したのはＡ４サイズ（型番：２００×１４０×２８）のピエゾフィルムを１／２、１／３、１／４、１／６の大きさにはさみでカットしたピエゾセンサシートである。このピエゾフィルムは、圧電フィルム（たとえばＰＶＤＦ（ポリビニリデンフルオロイド））の両面に金属薄膜が形成された構造、つまり、圧電体が導体で挟まれた構造を有する。圧力等で変形すると両面金属薄膜間にピエゾ電気を発生し、すなわち、電荷があらわれて電位差が生じる。

実施例では、上述のように、発泡ウレタンとシリコンゴムとを使って皮膚２４の柔らかさを得た。シリコンゴムだけである程度の厚みと柔らかさとを得ようとすると、重くなりすぎてエネルギ消費量が大きくなるだけでなく、裂傷に弱くなる。そこで、発明者等は、実験を重ねた結果、大まかな形と厚みはウレタンフォームで作り、その表面を約２０ｍｍのシリコンゴムで覆う形を採用することとした。そして、シリコンゴム層を２つにし、それらのシリコンゴム層５６ａおよび５６ｂの間に、上述のピエゾセンサシート５８を埋め込んだ。このとき、内側のシリコンゴム層５６ａを厚く（約１５ｍｍ）し、表面側のシリコンゴム層５６ｂを薄く（約５ｍｍ）した。このようにすると、ロボット１０の振動や人間が表面を押したときに生じる高周波の振動をカットでき、なおかつフィルムが変形し易くなるので、圧力の計測が容易になる。つまり、シリコンゴム層の厚みはロボット１０の構造やパワーによるが、なるべく薄く、しかし変形が伝わり易く、雑音となる振動が伝わり難いものが必要となる。また、この柔らかい皮膚を介して、人との間で触行動によるコミュニケーションを行うことができるので、人に対して安心感を与えて親和性を高めることができるし、触れたりぶつかったりした場合の人の怪我を防止して安全性も高めることができる。

なお、皮膚２４の素材は軟性素材であればよく、上述のものに限定されずたとえば他のゴム素材等でもよい。ただし、ピエゾフィルムシートの表面金属薄膜が腐食しない材質である必要がある。また、皮膚２４の厚み（各層の厚み）は、素材によって適宜変更され得る。

上述のピエゾセンサシートすなわち皮膚センサ（触覚センサ）５８は人体状部２２の全身にわたって埋め込まれ、それによって、人間等が接触することによって皮膚２４に加えられた圧力を圧覚（触覚）情報として検知する。この実施例では、図３に示すように、ロボット１０の全身にわたって４８枚のピエゾセンサシート５０１−５４８を埋め込んだ。つまり、ロボット１０は全身分布型皮膚センサを有するといえる。埋め込み状況（場所）に関しては、人間に触られやすい部位、たとえば頭頂や肩それに腕（手を含む）には、圧力を正確かつ確実に検知できるように、隙間なくピエゾセンサシートを埋め込み、あまり触られることを想定していない部位たとえば足あるいは脇腹には許容できる隙間を持ってピエゾセンサシートを埋め込んだ。それによって、検出精度と製造コストとのトレードオフを解決した。なお、これら４８枚のピエゾセンサシート５０１−５４８は、場合によっては、参照番号５８で区別なしに示されることがあることに留意されたい。

図１に示すロボット１０の電気的構成が図４のブロック図に示される。図４に示すように、このロボット１０は、全体の制御のためにマイクロコンピュータまたはＣＰＵ６０を含み、このＣＰＵ６０には、バス６２を通して、メモリ６４，モータ制御ボード６６，センサ入力／出力ボード６８およびサウンド入力／出力ボード７０が接続される。

メモリ６４は、図示しないが、ＲＯＭやＨＤＤ、ＲＡＭを含む。ＲＯＭやＨＤＤにはこのロボット１０の制御プログラムが予め書き込まれている。制御プログラムはたとえばコミュニケーション行動を実行するためのプログラム、外部のコンピュータと通信するためのプログラム等を含む。メモリ６４にはまた、コミュニケーション行動を実行するためのデータが記憶され、そのデータは、たとえば、個々の行動を実行する際に、スピーカ５２から発生すべき音声または声の音声データ（音声合成データ）、および所定の身振りを提示するための各関節軸の角度制御データ等を含む。ＲＡＭは、一時記憶メモリとして用いられるとともに、ワーキングメモリとして利用される。

モータ制御ボード６６は、たとえばＤＳＰ(Digital Signal Processor) で構成され、各腕や頭部などの各軸モータを制御する。すなわち、モータ制御ボード６６は、ＣＰＵ６０からの制御データを受け、右肩関節３２Ｒの３軸のそれぞれの角度を制御する３つのモータと右肘関節３４Ｒの１軸の角度を制御する１つのモータとの計４つのモータ（図４ではまとめて、「右腕モータ」として示す。）４０の回転角度を調節する。また、モータ制御ボード６６は、左肩関節３２Ｌの３軸と左肘関節３４Ｌの１軸、計４つのモータ（図４ではまとめて、「左腕モータ」として示す。）４２の回転角度を調節する。モータ制御ボード６６は、また、頭部４６の３軸のモータ（図４ではまとめて、「頭部モータ」として示す。）４８の回転角度を調節する。そして、モータ制御ボード６６は、車輪１４を駆動する２つのモータ（図４ではまとめて、「車輪モータ」として示す。）１６を制御する。

なお、この実施例の上述のモータは、車輪モータ１６を除いて、制御を簡単化するためにそれぞれステッピングモータまたはパルスモータであるが、車輪モータ１６と同様に、直流モータであってよい。

センサ入力／出力ボード６８も、同様に、ＤＳＰで構成され、各センサやカメラからの信号を取り込んでＣＰＵ６０に与える。すなわち、図示しない衝突センサの各々からの接触に関するデータがこのセンサ入力／出力ボード６８を通して、ＣＰＵ６０に入力される。また、眼カメラ５０からの映像信号が、必要に応じてこのセンサ入力／出力ボード６８で所定の処理が施された後、ＣＰＵ６０に入力される。

このセンサ入力／出力ボード６８は、さらに、図５に示すように、複数（実施例では１２枚）の基板７２，７２…を含み、各基板７２には、それぞれ１つのＰＩＣマイコン７４が設けられる。ＰＩＣマイコン７４はたとえばＡＳＩＣで構成され、同じく基板７２に設けられたＡ／Ｄ変換器７６からの電圧データ（たとえば１０ビット）をビット直列信号として出力する。

皮膚センサ５８は、図５に示すようにピエゾフィルム７８を電極ないし導体８０ａおよび８０ｂで挟んだものであり、圧力が加えられるとそのピエゾフィルム７８が電圧を発生し、その電圧が２つの導体８０ａおよび８０ｂ間に現れる。ただし、このとき発生される電圧は電位は高いが電流が微弱なため、この発生電圧をそのまま長いケーブルでコンピュータ６０（図４）に取り込むことは、ノイズが多く乗ってしまうので難しい。そこで、この実施例では、図５に示す基板７２を皮膚センサ５８に近い位置に配置し、その中に高インピーダンスの読み取り装置、すなわちＡ／Ｄ変換器７６を配置し、このＡ／Ｄ変換器７６で変換した電圧値をＰＩＣマイコン７４で読み取ってシリアル信号として出力し、それをＣＰＵ６０へ送るようにした。なお、ピエゾフィルムシートの電極の配置の一例として、導体８０ａは皮膚２４の表面側に配置され、導体８０ｂは筐体側に配置される。

Ａ／Ｄ変換器７６は、実施例では４チャネル１０ビットのものを用いた。したがって、１つの基板７２が４つの皮膚センサ５８を受け持つことができる。基板７２には、４つのピエゾセンサシートのために４対の端子８２ａおよび８２ｂが設けられ、それぞれに電極８０ａおよび８０ｂが接続される。端子８２ａおよび８２ｂ間にはノイズ除去用コンデンサ８４が接続されている。したがって、端子８２ａおよび８２ｂ間に与えられた皮膚センサ５８からの電圧は、ノイズ除去された後、オペアンプ８６によって電流増幅され、上述のＡ／Ｄ変換器７６の１つのチャネルに入力される。図５では１つの皮膚センサ５８が示されるだけであるが、他の皮膚センサ５８およびそれに関連する回路も同様に構成されるものである。

上述のように人体状部２２の皮膚２４中には４８個のピエゾセンサシート５０１−５４８が全身にわたって埋め込まれているが、それらをすべてロボット制御用のＣＰＵないしコンピュータ６０で読み取ろうとすると、ノイズを拾い易いだけでなく、コンピュータのＡ／Ｄポートを非常に多く必要としてしまい、現実的ではない。そこで、上述のように読み取り装置（基板７２、Ａ／Ｄ変換器７６）を皮膚センサ５８の近傍に分散配置し、それぞれの出力を１本のシリアルケーブル、たとえばＲＳ２３２Ｃ（商品名）で繋いだ、いわゆるデイジーチェーンを形成した。したがって、図５に示す１つの基板７２のＰＩＣマイコン７４から出力されたビットシリアル信号は、次段の基板７２のＰＩＣマイコン７４のシリアル入力ポートに与えられる。当該次段のＰＩＣマイコン７４は、前段のＰＩＣマイコン７４から送られてきたデータに自分が担当するＡ／Ｄ変換器７６から読み込んだデータを加えて、ビット直列信号として出力する。したがって、コンピュータ６０は、１つのシリアルポートで全身の皮膚センサ５８からの検知情報を取り込めるようになっている。

なお、各ＰＩＣマイコン７４から出力される検知データは、図３に示す４８個のピエゾセンサシート５０１−５４８のいずれであるかを示す識別子と、圧力値に関する情報とを含むので、コンピュータ６０は、どの（部位の）ピエゾセンサシートがどの程度の圧力を受けているかを容易に特定できる。

ただし、この実施例では、左右の手先に設けられるそれぞれ５つのピエゾセンサシート５３５−５３９と５４４−５４８については、Ａ／Ｄ変換器７６の入力が４つであることから、便宜上、先端の１個（右手：５３９、左手：５４８）と外側の１個（右手：５３６、左手：５４５）の出力を並列にしている。したがって、この実施例では、左右の手先の皮膚センサ５８は実質的にそれぞれ４個となるので、皮膚センサ５８の出力データは４６次元データとなる。

出力を読み取る場合、具体的には、コンピュータ６０は、たとえば５０ｍｓｅｃの周期で、ビットシリアルデータを出力する最終段のＰＩＣマイコン７４にポーリングをかけ、５０ｍｓｅｃ周期ですべてのピエゾセンサシート５０１−５４８の検知データを読み取ることができる。検知データは、Ａ／Ｄ変換器７６（図５）からはたとえば正負３２段階、合計６４段階で出力される。つまり、１０ビットのうち下位４ビットはノイズ成分として捨て、上位６ビットのデータだけが各ＰＩＣマイコン７４（図５）から出力される。

そして、コンピュータ６０は、皮膚センサ５８で検知した６４段階のデータを用いて、たとえば触られ方の強弱、押された状態の持続時間または電圧変化の波形の周波数（圧力変化の周波数）などの接触状態を計測することができる。触られ方の強弱によってたとえば「ひどく叩かれたか」、「軽く叩かれたか」、「やさしく手を置かれたか」、「軽く触られたか」などを判断することができ、持続時間によってたとえば「叩かれたか」、「押されたか」などの継続状態を判断することができ、圧力変化の周波数によってたとえば「叩かれているのか」、「なでられているのか」、「くすぐられているのか」という触られ方の種類を判断することができる。そして、ロボット１０は、触り方（接触状態）に応じて動作を制御することができる。このような動作制御は、本件出願人が平成１５年３月２４日付けで出願した特願２００３−８０１０６号にも詳細に開示されるので参照されたい。

図４に戻って、スピーカ５２にはサウンド入力／出力ボード７０を介して、ＣＰＵ６０から、合成音声データが与えられ、それに応じて、スピーカ５２からはそのデータに従った音声または声が出力される。また、マイク２６からの音声入力が、サウンド入力／出力ボード７０を介して、ＣＰＵ６０に取り込まれる。

また、ＣＰＵ６０には、バス６２を介して通信ＬＡＮボード８８および無線通信装置９０が接続される。通信ＬＡＮボード８８は、ＤＳＰで構成され、ＣＰＵ６０から送られる送信データを無線通信装置９０に与え、無線通信装置９０から送信データを、図示は省略するが、たとえば無線ＬＡＮまたはインタネットのようなネットワークを介して外部のコンピュータに送信させる。また、通信ＬＡＮボード８８は、無線通信装置９０を介してデータを受信し、受信したデータをＣＰＵ６０に与える。つまり、この通信ＬＡＮボード８８および無線通信装置９０によって、ロボット１０は外部のコンピュータ等と無線通信を行うことができる。

さらに、ＣＰＵ６０は、バス６２を介してマップデータベース（ＤＢ）９２に接続される。ただし、このデータベースは、外部のコンピュータまたは外部のネットワーク上にアクセス可能に設けるようにしてもよい。

マップＤＢ９２には、触覚センサすなわち皮膚センサ５８の出力と、触覚コミュニケーション時におけるコミュニケーション相手の位置・姿勢とを対応付けたマップが記憶される。ロボット１０は、コミュニケーション時に皮膚センサ５８の出力データを計測してこのマップデータを用いることで、触行動をしている相手がどのような位置に居てどのような姿勢であるかを把握することができる。人間は日常のインタラクションやスキンシップコミュニケーションにおいて皮膚感覚を通して様々な情報を得ており、たとえば後ろから抱き付かれてもどのような抱き付き方をされたのか把握することができる。ロボット１０は、このマップデータによって、人間と同じように、目で見なくても触覚によって相手がどういった触行動をとっているのかを認識することが可能になる。

ここで、マップＤＢ９２に格納される触覚と位置・姿勢との対応付けマップの作成方法について説明する。コミュニケーションを目的とした触行動としては握手や抱擁などが挙げられるが、代表的な行動は誰が見てもその行動の意味が伝わることから、定型的な行動が多いと考えられる。そこで、ロボット１０の皮膚センサ５８と３次元動作計測システムとを組み合わせることで、ロボット１０と人間とのコミュニケーション時の皮膚センサ５８の出力と、３次元動作計測システムで計測した人間の位置・姿勢とのマッピングを行う。

たとえば、図６に示すようなマップ作成システム９４が用いられる。このマップ作成システム９４はマップ作成用コンピュータ９６を含み、マップ作成用コンピュータ９６には複数のカメラ９８が接続される。また、マップ作成用コンピュータ９６には、その内部または外部に３次元動作計測データＤＢ１０２、皮膚センサデータＤＢ１０４およびマップＤＢ９２が設けられる。

マップ作成システム９４はモーションキャプチャシステムとしての機能を備えるものであり、この実施例ではたとえばＶＩＣＯＮ社（http://www.vicon.com/）の光学式のモーションキャプチャシステムが適用される。なお、モーションキャプチャシステムは光学式のものに限られず、種々の公知のものが適用され得る。

ロボット１０と人間１００には、たとえば赤外線反射マーカが複数取り付けられ、カメラ９８は赤外線ストロボ付きカメラが適用される。複数のカメラ９８はロボット１０および人間１００に対して互いに異なる方向となるように設置され、原理的には少なくとも３台設けられればよい。

赤外線反射マーカは、図７に示すように、ロボット１０および人間１００共に、頭部に４箇所、腕部に６箇所×２（左右）、人差し指の指先に１箇所×２（左右）、胴体前部に２箇所、胴体後部に３箇所の合計２３箇所に取り付けられる。コミュニケーション時の相手の位置をロボット１０を基準とした座標系で得たいので、ロボット１０の原点と向きを決めるためにロボット１０にもマーカが取り付けられる。ロボット１０の原点は任意に設定されてよいがたとえば中心（重心）位置に設定される。座標軸方向も任意であるがたとえば両肩方向がＹ軸、奥行き方向がＸ軸、上下方向がＺ軸に設定される。

この実施例では、人間１００がどこを触っているか、どういった姿勢であるかを把握するために、指先と腰部（胴体後部）の合計３箇所のマーカをマップ作成に使用した。指先の位置によって、人間１００がどこを触っているのかが把握される。また、上半身のいずれかの位置と指先との相対位置関係から姿勢が決まる。そのうち腰の位置は、カメラ９８から見えなくなり難いこと、腰から足が出ているため相手が立っているかしゃがんでいるかなどが分かること等によって、姿勢が分かり易いという利点があるので、腰の位置を対応付けに採用した。なお、その他頭や肩などの位置も対応付けマップに使用すれば、さらに詳しく相手の位置や姿勢を把握することが可能になる。

そして、データ収集のために、カメラ９８の環境中でロボット１０と被験者である人間１００との間でコミュニケーションをとる実験を行ってもらう。具体的には握手や抱擁といった触行動を伴うコミュニケーションを行わせる。ロボット１０の動作はそのメモリ６４に登録されている制御プログラムおよびデータによって実行される。

図８に、このマップ作成システム９４におけるマップ作成の動作が示される。まず、ステップＳ１で、マップ作成用コンピュータ９６は実験によりコミュニケーション時のデータを蓄積する。取得されるデータは、皮膚センサ５８の出力データと、３次元動作計測による相手の指先および腰の位置データである。具体的には、コミュニケーション時の３次元動作データはたとえば６０Ｈｚ（１秒間に６０フレーム）で計測し、皮膚センサデータは２０Ｈｚ（１秒間に２０フレーム）で計測する。皮膚センサデータと位置データとの同期をとるために、実験の開始時に人間１００によってロボット１０の頭頂部などを叩いてもらい、そのときのデータを計測して両データの時間軸を合わせるようにする。

コミュニケーション時の動作は複数のカメラ９８によって撮像され、マップ作成用コンピュータ９６はそれぞれのカメラ９８からの時系列画像データを取得する。取得したフレームごとの画像データの画像処理によって、各画像データにおける各マーカ（指先と腰を含む）の２次元座標データが抽出される。そして、その２次元座標データから各マーカの時系列の３次元座標データが三角測量の原理によって算出される。指先のマーカの座標は、ロボット１０の胴体に原点を固定した直交座標系である胴体座標系と、ロボット１０の頭部に原点を固定した直交座標系である頭部座標系の２種類で表現される。腰のマーカの座標は胴体座標系で表現される。こうして算出された各マーカの時系列の３次元座標データが３次元動作計側データＤＢ１０２に格納される。動作計測データをフレームごとに見た場合には、フレームごとの指先と腰の３次元位置がわかるので、相手がどういった姿勢であるか把握できる。また、動作計測データを時系列で見た場合には、指先と腰の位置の変化がわかるので、相手がどのような触行動を行っているのか把握できる。

また、皮膚センサ５８の時系列の出力データはロボット１０からたとえば無線ＬＡＮを介してマップ作成コンピュータ９６に逐次または実験完了後にまとめて取り込まれ、皮膚センサデータＤＢ１０４に格納される。皮膚センサデータは、上述のように４８個の皮膚センサ５０１−５４８からの出力を含む４６次元データであり、各要素が０〜３２（−３１〜３２の絶対値）の値を有する。

続いて、ステップＳ３で、皮膚センサ出力が閾値以上のフレームを選別する。閾値は４８個の皮膚センサ５０１−５４８ごとに実験的に求められて予め設定されている。４８個の皮膚センサ５０１−５４８のうちどれか１つでもその閾値を超えているものがあるかどうかを判断し、閾値を超えているものがある場合にはそのフレームをマップ作成のために採用する。

そして、ステップＳ５では、選別したフレームのデータを用いて、皮膚センサデータを元にＩＳＯＤＡＴＡ法によってクラスタリングする。つまり、４６次元の皮膚センサデータ空間において、パターンの分布が密になっている部分（クラスタ）を見つけ、または各パターンの中でよく似ているものどうしをまとめる。ＩＳＯＤＡＴＡ法はクラスタリングの一手法であり、前段において生成したクラスタを一定基準に従って分割したり併合したりして最終的なクラスタを導く（参考文献：鳥脇純一郎、テレビジョン学会教科書シリーズ９「認識工学―パターン認識とその応用―」、コロナ社、１９９３）。導き出されたクラスタは、コミュニケーション時の代表的な触られ方を表している。

続いて、ステップＳ７で、指先データの処理を実行する。この指先データの処理は図９に詳細に示される。図９の最初のステップＳ２１では、各クラスタにおける皮膚センサデータと対になった指先の座標（頭部・胴体座標系）について、各座標系での空間密度分布を求める。つまり、各クラスタにおける皮膚センサデータに対応する計測時刻ないしフレームの指先座標データについて処理する。たとえば座標系内を５０×５０×５０［ｍｍ］のボクセルで分割し、各ボクセルに指先の座標が何個入っているかを数える。最後にクラスタ内の要素数でボクセル内要素数を割ることで密度を求める。

次に、ステップＳ２３では、密度分布の最大値を座標系間で比較し、大きい方の座標系を採用する。つまり、頭と胴体のどちらが触られているのかを判別する。たとえばコミュニケーション時にはロボット１０は首の関節を動作させ、頷く、傾げるなどの身体表現を行うが、その際に人間１００の指先がロボット１０の頭部に触れる場合、指先の位置は頭部の動きに合わせて変化する。その指先の位置は頭部座標系で表せば変化しないが、胴体座標系で表すと、ロボット１０の同じ場所を触っているにもかかわらず変化してしまう。したがって、指先の座標が座標系内の広い範囲に拡がっている場合にはその座標系は不適切であり、指先の座標が座標系内のある範囲にかたまっている場合にはその座標系は適切である。密度分布の最大値について、頭部座標系の方が大きい場合には頭が触られており、胴体座標系の方が大きい場合には胴体が触られていることがわかる。

そして、ステップＳ２５で、採用した座標系での密度ピーク値が閾値を超えたクラスタを有効なクラスタとしてマップに取り入れる。密度ピーク値は上記ボクセルの２６近傍をまとめた際の密度であり、密度の２６近傍和である。ピーク値の閾値は実験的に求められ、たとえば０．６に設定される。この閾値での選別によって、位置ないし姿勢が安定していて推定可能なものをクラスタとして採用する。たとえば片手でコミュニケーションをしているときに他方の手がぶらぶらしているものなどは姿勢が推定できないので切り捨てられる。このステップＳ２５によって、有効なクラスタにおける皮膚センサ出力データと対になった指先の座標の確率分布を該有効なクラスタに対応付けてマップとして記憶する。ステップＳ２５を終了すると図８のステップＳ９へ戻る。

図８に戻って、ステップＳ９では、腰データの処理を実行する。この腰データの処理は図１０に詳細に示される。図１０の最初のステップＳ３１では、各クラスタにおける皮膚センサデータと対になった腰の座標（胴体座標系）について、空間密度分布を求める。上述の指先データ処理と同様に、各クラスタにおける皮膚センサデータに対応するフレームの腰座標データについて、各ボクセル内に腰の座標が何個入っているかを数えてから、クラスタ内の要素数でボクセル内要素数を割る。そして、ステップＳ３３で、密度ピーク値が閾値を超えたクラスタを有効なクラスタとしてマップに取り入れる。このステップＳ３３によって、有効なクラスタにおける皮膚センサ出力データと対になった腰の座標の確率分布を該有効なクラスタに対応付けてマップとして記憶する。ステップＳ３３を終了すると腰データ処理を終了し、マップ作成処理を終了する。

なお、指先と腰以外のたとえば肩や頭などの部位のマーカ位置をマップ作成に採用する場合には、同様にして各位置のデータの処理を実行すればよい。

発明者等の行った実験では、図８のステップＳ１で、２４７６２２フレームの実験データを取得した。次に、ステップＳ３で閾値により選別した皮膚センサデータは２８２２０フレームであった。そして、ステップＳ５では、まず、各フレームにつき、閾値を超えたセンサを「１」、そうでないセンサを「０」とした４６次元ベクトルを作る。選別した皮膚センサ出力データすべてについて上記ベクトルを計算すると１３４３パターンのベクトルが得られた。これらのベクトルのうち、同じパターンを持つフレームの数が５に満たないものはノイズとして切り捨てて、最終的には２４５パターンが残った。この２４５パターンの各要素について、値が「１」のときはそのセンサの閾値の１．５倍の値を使い、値が「０」のときはセンサの閾値の０．５倍の値を使ったベクトルを初期クラスタ核とした。この初期クラスタ数を２４５個としたＩＳＯＤＡＴＡ法の結果、最終クラスタ数は２５２個となった。そして、ステップＳ７の指先データの処理およびステップＳ９の腰データの処理の結果、有効クラスタ数は、指先と腰を合わせて８６個となった。つまり、この実験では、コミュニケーション時の代表的な触り方（触行動）が８６パターンあったことが分かる。

このようにして、皮膚センサ出力とコミュニケーション相手の位置・姿勢とを対応付けたマップデータが作成され、図６のマップＤＢ９２に格納される。マップの概要は図１１に示される。たとえば、クラスタ代表値が４６次元の皮膚センサベクトルＡであるクラスタと、コミュニケーション相手の指先および／または腰の３次元位置に関する確率分布Ａとが対応付けられている。つまり、ロボット１０が皮膚センサベクトルＡの触り方をされているとき、確率分布Ａがその触り方に対応した相手の代表的な指先位置と姿勢（腰の位置）を表している。なお、クラスタ代表値は中心値であり、分散がそのクラスタの広がりを示す。

図１２にはクラスタ代表値の一例が示される。つまり、４６次元の皮膚センサベクトルであり、１つの触り方を表している。この図１２のクラスタに対応する相手の指先位置１０６と腰の位置１０８の３次元位置（分布の平均）の一例が図１３に示される。この図１３では同じ位置分布を異なる２つの視点で表示している。相手の指先がロボット１０の両肩に触れており、腰はロボット１０の正面上方にあることが把握できる。つまり、相手はロボット１０の前に立っていて、その両手がロボット１０の両肩に触っていることがわかる。

このようにして作成された、皮膚センサ出力パターンと触行動をしている相手の位置または姿勢とを対応付けたマップが格納されたマップＤＢ９２を、図４に示すように、ロボット１０は備えている。したがって、ロボット１０は、コミュニケーション時に皮膚センサデータを検出し、マップデータを使用することによって、コミュニケーション相手の位置や姿勢を把握することができる。したがって、相手がどこにいて、どんな格好なのかなどがわかるので、触行動の分類をより細かく行うことができる。たとえば、相手が横から肩を叩いているのか、あるいは前に立って肩を叩いているのかなどを把握することも可能になる。そして、ロボット１０は、把握した相手の位置や姿勢に応じた行動を実行することができる。

図１４にはマップを備えたロボット１０のコミュニケーション時の動作の一例が示される。図１４の最初のステップＳ４１で、ロボット１０のＣＰＵ６０はコミュニケーション行動を開始する。このコミュニケーション行動は、たとえば抱っこ行動や握手行動などのような相手との接触が予期されるものが選択される。そして、ステップＳ４３で、皮膚センサ出力ベクトルを計測する。つまり、すべての皮膚センサ５８で検知した圧力をセンサ入力／出力ボード６８を介して圧力値データとして検出して、４６次元の皮膚センサ出力ベクトルを作る。

続いて、ステップＳ４５では、マップのクラスタ代表値およびクラスタ内要素の分散から、現在の皮膚センサ出力ベクトルと各クラスタとの距離を計算する。そして、ステップＳ４７で、最も近いクラスタによって表された触られ方で相手に触られていると判断して、現在の皮膚センサ出力ベクトルに最も近いクラスタを選択する。

ステップＳ４９では、選択したクラスタに対応付けられている相手の位置・姿勢をマップから求める。この実施例では、対応する指先の位置と腰の位置の分布によって、現在の相手の位置・姿勢を把握することができる。

そして、ステップＳ５１で、相手の位置・姿勢に合わせた行動を実行する。触覚コミュニケーション行動中には、ロボット１０と人は、基本的に近距離でコミュニケーションを図ることとなり、ロボット１０と人とがぶつかる危険性が高い。しかし、この実施例では、相手の位置や姿勢を把握することができるので、たとえば、握手動作や抱っこ動作等の場合には、相手の手に当たらないようにロボット１０の手を差し出すことが可能になる。また、たとえば相手と近い距離にいる場合には眼カメラ５０によるイメージデータでは、近過ぎるために相手の顔の向きや体姿勢などを把握するのが困難であるが、この実施例のようにマップを用いる場合には、相手と接触しているときでも、相手の位置・姿勢がわかるので、相手の頭の位置を推定することができ、したがって、相手の頭ないし顔の方向を向くことができる。

このように、相手の位置・姿勢を推定して、その推定に基づいた行動をとることができるので、危険回避が可能であり安全性を向上することができる。さらに、相手の位置・姿勢に合わせて、どちらの手を出せばよいか、どの高さに手を出せばよいか、あるいはどちらを向けばよいか等を判別して、適切な行動を実行することができるので、自然で円滑なコミュニケーションを実現することができる。

この発明の一実施例のコミュニケーションロボットを示す図解図である。 図１実施例のコミュニケーションロボットに用いる皮膚とその中に埋め込まれるピエゾセンサシートとを示す図解図である。 ピエゾセンサシートの配置位置を示す図解図である。 図１実施例のコミュニケーションロボットの電気的構成を示すブロック図である。 図１実施例のコミュニケーションロボットにおけるピエゾセンサシートから検知信号を入力するセンサ入力／出力ボードを部分的に示す図解図である。 図１実施例のコミュニケーションロボットに備えられるマップを作成するためのマップ作成システムの概要を示す図解図である。 マップ作成時の赤外線反射マーカの取付位置を示す図解図である。 図６のマップ作成用コンピュータの動作を示すフロー図である。 図８の指先データの処理の動作を示すフロー図である。 図８の腰データの処理の動作を示すフロー図である。 マップデータの概要を示す図解図である。 クラスタ代表値の一例を示す図解図である。 図１２のクラスタ代表値に対応する相手の指先と腰の位置の分布の概要を示す図解図である。 図１実施例のコミュニケーションロボットの動作を示すフロー図である。

符号の説明

１０ …コミュニケーションロボット
２２ …人体状部
２４ …皮膚
５８，５０１−５４８ …皮膚センサ（ピエゾセンサシート）
６０ …ＣＰＵ
６４ …メモリ
６６ …モータ制御ボード
６８ …センサ入力／出力ボード
７０ …サウンド入力／出力ボード
９２ …マップＤＢ
９４ …マップ作成システム
９６ …マップ作成用コンピュータ

Claims (6)

1. コミュニケーションの相手の触行動を認識するコミュニケーションロボットであって、
   複数の圧力センサ、
   複数の圧力センサの出力パターンと、触行動をしている相手の少なくとも位置または姿勢に関する情報とを対応付けたマップを記憶するマップ記憶手段、
   前記複数の圧力センサの出力データを計測する計測手段、および
   前記計測手段によって計測された出力データと前記マップ記憶手段に記憶されたマップとに基づいて、相手の位置または姿勢を把握する把握手段を備える、コミュニケーションロボット。
2. 前記把握手段によって把握された相手の位置または姿勢に合わせて動作を制御する動作制御手段をさらに備える、請求項１記載のコミュニケーションロボット。
3. 前記マップ記憶手段は、前記複数の圧力センサの出力パターンを複数のクラスタで記憶するとともに、前記複数のクラスタと前記相手の位置または姿勢に関する情報とを対応付けたマップを記憶していて、
   前記把握手段は、前記計測手段によって計測された出力データに最も近いクラスタを求めて、当該クラスタに対応付けられた相手の位置または姿勢を求める、請求項１または２記載のコミュニケーションロボット。
4. 前記マップ記憶手段は、相手の位置または姿勢に関する情報として、前記コミュニケーションロボットの位置を基準とした、少なくとも指先および腰の位置を示すデータを記憶する、請求項１ないし３のいずれかに記載のコミュニケーションロボット。
5. ロボット本体上に被せられる柔軟素材からなる皮膚をさらに備え、
   前記複数の圧力センサは前記皮膚中に分散配置される複数のピエゾセンサシートを含む、請求項１ないし４のいずれかに記載のコミュニケーションロボット。
6. 複数の圧力センサを備えるコミュニケーションロボットのための、前記複数の圧力センサの出力パターンと触行動をしている相手の位置または姿勢に関する情報とを対応付けたマップを作成する方法であって、
   (a) コミュニケーションロボットと相手との触行動を伴ったコミュニケーションにおけるそれぞれの３次元動作データを計測して該相手の３次元位置データを蓄積するとともに、前記複数の圧力センサの出力データを計測して蓄積し、
   (b) 蓄積した前記出力データのうちいずれかの圧力センサの出力値が所定の第１閾値以上であるデータを選別し、
   (c) 選別した前記出力データについてクラスタリングによって複数のクラスタにまとめて、
   (d) 各クラスタにおける出力データと対になった前記３次元位置データについて空間密度分布を求め、
   (e) 密度ピーク値が所定の第２閾値を超えたクラスタを有効なクラスタとしてマップに取り入れる、マップ作成方法。

Images