JP4014044B2 - コミュニケーションロボットおよびそれを用いたコミュニケーションシステム - Google Patents
コミュニケーションロボットおよびそれを用いたコミュニケーションシステム Download PDFInfo
- Publication number
- JP4014044B2 JP4014044B2 JP2003019054A JP2003019054A JP4014044B2 JP 4014044 B2 JP4014044 B2 JP 4014044B2 JP 2003019054 A JP2003019054 A JP 2003019054A JP 2003019054 A JP2003019054 A JP 2003019054A JP 4014044 B2 JP4014044 B2 JP 4014044B2
- Authority
- JP
- Japan
- Prior art keywords
- communication
- message
- robot
- user
- destination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Toys (AREA)
- Manipulator (AREA)
Description
【０００１】
【産業上の利用分野】
この発明はコミュニケーションロボットおよびそれを用いたコミュニケーションシステムに関し、特にたとえば１または複数のコミュニケーション対象との間でコミュニケーション行動を実行する、コミュニケーションロボットおよびそれを用いたコミュニケーションシステムに関する。
【０００２】
【従来の技術】
従来のこの種のコミュニケーションロボットの一例が特許文献１に開示される。この特許文献１に開示される意思伝達装置は、話し手又は聞き手として振る舞う共用ロボットと、話し手制御部、聞き手制御部および音声送受信部とから構成され、たとえば電話器に適用される。この意思伝達装置では、電話回線を通じて送受信される音声信号を時系列的な電気信号のＯＮ／ＯＦＦと捉え、この電気信号のＯＮ／ＯＦＦから頷き動作タイミングを判断し、ロボットの各部を動作させる。具体的には、話し手としてのロボットは、通話相手の音声信号に応じて、瞬きしたり、口を開閉したり、腕、腰等の身体部位を動かしたりしていた。一方、聞き手としてのロボットは、本人であるユーザの音声信号に応じて、頷き動作をしていた。
【０００３】
また、この種のコミュニケーションロボットの他の一例が特許文献２に開示される。この特許文献２に開示される情報提供システムは、ネットワークを介して、複数のロボット装置と情報サーバとが接続されたものである。この情報提供システムでは、ロボット装置が、人物検出処理を実行し、検出した人物の識別を行い、識別したユーザのユーザＩＤを情報提供サーバに渡し、必要な情報を情報サーバから取得し、識別したユーザに対して、情報の提示を行っていた。また、識別したユーザから他のユーザに提供する情報があるときには、提供する情報の記録を行い、記録した情報を情報サーバに渡していた。
【０００４】
【特許文献１】
特開２０００−３４９９２０号（第５頁〜第６頁，第１図〜第５図）
【特許文献２】
特開２００２−３４２７５９号（第７頁〜第９頁，第１図〜第８図）
【０００５】
【発明が解決しようとする課題】
しかし、前者の場合には、音声信号に応じて、頷き動作、瞬き、身体動作を実行するだけであり、実際に通話相手がどのような身振りや手振りをしているかを知ることができなかった。
【０００６】
また、後者の場合には、ユーザがロボット装置の配置される近傍或いはその周囲に存在すれば、情報の提示を受けたり、情報を提供したりすることができるが、やり取りされる情報は文字や音声のみであり、前者の場合と同様に、情報の提示元のユーザの身振りや手振りを知ることができなかった。
【０００７】
つまり、いずれにしても、コミュニケーションの相手の身振りや手振りのような身体動作を知ることができず、電話や音声メールのような音声によるコミュニケーションまたは電子メールのような文字によるコミュニケーションの枠を超えることができなかった。
【０００８】
それゆえに、この発明の主たる目的は、より自然なコミュニケーションを図ることができる、新規なコミュニケーションロボットおよびそれを用いたコミュニケーションシステムを提供することである。
【０００９】
【課題を解決するための手段】
第１の発明は、１または複数のコミュニケーション対象との間で音声および身体動作の少なくとも一方を含むメッセージに従ってコミュニケーション行動を実行するコミュニケーションロボットであって、１のコミュニケーション対象のコミュニケーション行動を取得する行動取得手段、行動取得手段によって取得されたコミュニケーション行動を構成する音声および身体動作の少なくとも一方を含むメッセージを作成する作成手段、メッセージを宛先のコミュニケーション対象に対してのみ伝達することを示す秘匿性を有することを、１のコミュニケーション対象によって指示されたか否かを判断する秘匿性判断手段、秘匿性判断手段の判断結果が肯定的であるとき、メッセージを宛先のコミュニケーション対象に対してのみ伝達することを示す識別情報を付加する付加手段、メッセージを記録媒体に記録する記録手段、記録媒体に記録されたメッセージの宛先のコミュニケーション対象が近傍或いは周囲に存在するか否かを判断する対象存在判断手段、対象存在判断手段の判断結果が肯定的であるとき、メッセージに識別情報が付加されているかどうかを判断する付加判断手段、付加判断手段の判断結果が肯定的であるとき、宛先のコミュニケーション対象以外のコミュニケーション対象が近傍或いは周囲に存在するか否かを判断する非対象存在判断手段、および非対象存在判断手段の判断結果が否定的であるとき、記録媒体に記録されたメッセージに従うコミュニケーション行動を宛先のコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションロボットである。
【００１２】
第４の発明は、１または複数のコミュニケーション対象との間で音声および身体動作の少なくとも一方を含むメッセージに従ってコミュニケーション行動を実行する２以上のコミュニケーションロボットを互いに通信可能に設けたコミュニケーションシステムであって、コミュニケーションロボットは、１のコミュニケーション対象のコミュニケーション行動を取得する行動取得手段、行動取得手段によって取得されたコミュニケーション行動を構成する音声および身体動作の少なくとも一方を含むメッセージを作成する作成手段、メッセージを宛先のコミュニケーション対象に対してのみ伝達することを示す秘匿性を有することを、１のコミュニケーション対象によって指示されたか否かを判断手段、秘匿性判断手段の判断結果が肯定的であるとき、メッセージを宛先のコミュニケーション対象に対してのみ伝達することを示す識別情報を付加する付加手段、作成手段によって作成されたメッセージを宛先のコミュニケーション対象との間でコミュニケーション行動を実行する他のコミュニケーションロボットに送信する送信手段、他のコミュニケーションロボットから送信されたメッセージを受信して記録媒体に記録するメッセージ受信手段、および記録媒体に記録されたメッセージの宛先のコミュニケーション対象が近傍或いは周囲に存在するか否かを判断する対象存在判断手段、対象存在判断手段の判断結果が肯定的であるとき、メッセージに識別情報が付加されているかどうかを判断する付加判断手段、付加判断手段の判断結果が肯定的であるとき、宛先のコミュニケーション対象以外のコミュニケーション対象が近傍或いは周囲に存在するか否かを判断する非対象存在判断手段、および非対象存在判断手段の判断結果が否定的であるとき、記録媒体に記録されたメッセージに従うコミュニケーション行動を宛先のコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションシステムである。
【００１４】
【作用】
第１の発明のコミュニケーションロボットは、人間（ユーザ）のような１または複数のコミュニケーション対象に対して、音および動作（身体動作）の少なくとも一方によるコミュニケーション行動を実行する。コミュニケーションロボットは、１のユーザから身振り手振りのような身体動作を取得する。作成手段は、取得した身体動作を含むメッセージを作成する。メッセージが作成されると、当該メッセージを記録媒体に記録する。実行手段は、記録媒体に記録されているメッセージに従うコミュニケーション行動を、宛先のユーザに対して実行する。つまり、メッセージを入力したユーザのコミュニケーション行動が、コミュニケーションロボットによって再現され、宛先のユーザに伝達され、身振り手振りのような身体動作によるコミュニケーションがなされる。
【００１５】
第２の発明のコミュニケーションロボットは、第１の発明のコミュニケーションロボットと略同じであるが、１のユーザから音声を取得し、当該ユーザが音声を発しているときの身振り手振りのような身体動作を取得する。また、作成手段は、取得した音声および身体動作の少なくとも一方を含むメッセージを作成する。このため、実行手段は、音声および身体動作の少なくとも一方を含むメッセージに従うコミュニケーション行動を、宛先のユーザに対して実行する。つまり、メッセージを入力したユーザのコミュニケーション行動が、コミュニケーションロボットによって再現され、宛先のユーザに伝達される。音声のみまたは身体動作のみ或いはそれら両方を用いたコミュニケーションを図ることができる。
【００１６】
たとえば、第１の発明および第２の発明のコミュニケーションロボットは、他のコミュニケーションロボットにメッセージを送信する送信手段をさらに備えるので、当該メッセージの宛先に応じて、メッセージを記録媒体に記録したり、宛先のユーザとの間でコミュニケーション行動を実行するコミュニケーションロボットにメッセージを送信したりすることができる。つまり、他のコミュニケーションロボットとの間でコミュニケーションを図るユーザとの間でもコミュニケートすることができる。
【００１７】
また、メッセージ受信手段は、他のコミュニケーションロボットから送信されたメッセージを受信して記録媒体に記録するので、遠隔に離れたユーザが入力したメッセージに従うコミュニケーション行動を実行することができる。
【００１８】
さらに、実行手段は、メッセージが記録されているとき、当該メッセージの宛先のユーザを探すためのコミュニケーション行動を実行するので、宛先のユーザは自分宛のメッセージが届いていることを知ることができる。
【００１９】
たとえば、メッセージが秘匿性を有するとき、判別手段が当該メッセージの宛先以外のユーザが存在するか否かを判別する。したがって、当該メッセージの宛先以外のユーザが存在しないと判別されたときには、メッセージに従うコミュニケーション行動を当該宛先のユーザに対して実行することができる。
【００２０】
また、当該メッセージの宛先以外のユーザが存在するときには、メッセージに従うコミュニケーション行動は実行せずに、秘匿性を有するメッセージがあることのみを当該宛先のユーザに知らせるので、秘密のメッセージが他に漏れることはない。
【００２１】
さらに、秘匿性を有するメッセージに従うコミュニケーション行動の実行中に、宛先のユーザ以外のユーザの存在を確認した場合には、コミュニケーション行動を中断するので、このような場合であっても秘密のメッセージが他に漏れることはない。
【００２２】
また、コミュニケーション対象の母国語情報をデータベースに記憶しておけば、メッセージを入力するユーザの母国語とメッセージの宛先としてのユーザの母国語とが一致するか否かに応じてメッセージを翻訳することができる。したがって、異なる母国語のユーザ同士であっても、簡単にコミュニケーションを取ることができる。
【００２３】
たとえば、メッセージに含まれる音声を翻訳するとともに、身体動作を翻訳するので、国（地域）や文化の違いにより、言葉や身体動作が異なる場合であっても、コミュニケーションを取ることができる。
【００２４】
第３の発明のコミュニケーションロボットは、人間（ユーザ）のような１または複数のコミュニケーション対象に対して、音および動作（身体動作）の少なくとも一方によるコミュニケーション行動を実行する。このコミュニケーションロボットでは、メッセージ受信手段が音声および身体動作の少なくとも一方を含むメッセージを受信し、実行手段が、受信したメッセージの宛先としてのユーザに対して、当該メッセージに従うコミュニケーション行動を実行する。つまり、メッセージがコミュニケーションロボットによって再現され、宛先のユーザに伝達される。
【００２５】
第４の発明のコミュニケーションシステムは、２以上のコミュニケーションロボットを備え、たとえば、これらのコミュニケーションロボットを直接、または、電話回線、インターネット或いはＬＡＮのようなネットワークを介して通信可能に接続する。コミュニケーションロボットは、人間（ユーザ）のような１または複数のコミュニケーション対象に対して、音および動作（身体動作）の少なくとも一方によるコミュニケーション行動を実行する。また、コミュニケーションロボットは、１のユーザから身振り手振りのような身体動作を取得する。作成手段は、取得した身体動作を含むメッセージを作成する。メッセージが作成されると、当該メッセージを宛先のユーザとの間でコミュニケーション行動を実行するコミュニケーションロボット（他のコミュニケーションロボット）に対して送信する。また、メッセージ受信手段は、他のコミュニケーションロボットから送信されたメッセージを受信して記録媒体に記録する。実行手段は、記録媒体に記録されているメッセージに従うコミュニケーション行動を、宛先のユーザに対して実行する。つまり、メッセージを入力したユーザのコミュニケーション行動が、コミュニケーションロボットによって再現され、宛先のユーザに伝達される。このようにして、遠隔に存在するユーザ同士であっても、身振り手振りのような身体動作によるコミュニケーションを取ることができる。
【００２６】
第５の発明のコミュニケーションシステムでは、第２の発明に記載のコミュニケーションロボットを用いるようにした以外は、第４の発明に記載のコミュニケーションシステムと同じであるため、重複した説明は省略する。つまり、第５の発明のコミュニケーションシステムでは、音声のみまたは身体動作のみ或いはそれら両方を用いたコミュニケーションを図ることができる。
【００２７】
【発明の効果】
この発明によれば、ロボットが身振り手振りのような身体動作を再現することによりコミュニケーションを図ることができるので、ロボットを通して自然なコミュニケーションを図ることができる。
【００２８】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００２９】
【実施例】
図１を参照して、この実施例のコミュニケーションシステム（以下、単に「システム」という。）１０は、コミュニケーションロボット（以下、単に「ロボット」ということがある。）１２およびロボット１４を含む。ロボット１２およびロボット１４は、電話回線、インターネット或いはＬＡＮのようなネットワーク１６を介して互いに通信可能に設けられる。ロボット１２およびロボット１４は、主として人間のようなコミュニケーションの対象とコミュニケートすることを目的とした相互作用指向のコミュニケーションロボットである。
【００３０】
ただし、コミュニケーションの対象としては、コミュニケーションロボット１２（１４）と同様に構成された他のコミュニケーションロボットであってもよい。
【００３１】
なお、ロボット１２とロボット１４とは、ネットワーク１６を介さずに、直接通信可能に設けるようにしてもよい。たとえば、赤外線を利用したＩｒＤＡ方式，２．４５ＧＨｚ帯の電波を利用したブルートゥース（Bluetooth ）方式，ＩＥＥＥ８０２．１１，ＰＨＳのトランシーバ機能などを用いた無線通信が可能である。
【００３２】
また、この実施例では、２台のロボットを設けるようにしてあるが、ロボットは３台以上設けられてもよい。
【００３３】
図１に示すように、ロボット１２の近傍或いは周囲には、人間ないしはユーザＡおよびユーザＢが存在し、ロボット１４の近傍或いは周囲には、ユーザＣが存在する。この実施例では、ユーザＡ、ユーザＢおよびユーザＣは、いずれも同じ母国語（たとえば、日本語）を話すユーザである。
【００３４】
なお、この実施例では、１人または２人のユーザがロボットの近傍或いは周囲に存在する場合について示してあるが、ユーザは１人以上であれば３人以上の多数であってもよい。
【００３５】
図２はロボット１２の外観を示す正面図であり、この図２を参照して、ロボット１２のハードウェアの構成について説明する。ただし、ロボット１４は、ロボット１２と同じ構成であるため、ここではロボット１２についてのみ説明することとし、ロボット１４についての説明は省略することにする。
【００３６】
図２に示すように、ロボット１２は台車２０を含み、この台車２０の下面にはロボット１２を自律移動させる車輪２２が設けられる。車輪２２は車輪モータ（図３において参照番号「９０」で示す。）によって駆動され、台車２０すなわちロボット１２を前後左右任意の方向に動かすことができる。
【００３７】
なお、図２においては省略するが、台車２０の前面には、衝突センサ（図３において参照暗号「９４」で示す。）が取り付けられ、この衝突センサ９４は台車２０への人や他の障害物の接触を検知する。つまり、ロボット１２の移動中に障害物との接触を検知すると、直ちに車輪２２の駆動を停止してロボット１２の移動を急停止させて、衝突を未然に防止する。
【００３８】
また、この実施例では、ロボット１２の背の高さは、人（ユーザ）、特に子供に威圧感を与えることのないように、１００ｃｍ程度とされる。ただし、この背の高さは変更可能である。
【００３９】
台車２０の上には、多角形柱のセンサ取付パネル２４が設けられ、このセンサ取付パネル２４の各面には、超音波距離センサ２６が取り付けられる。この超音波距離センサ２６は、センサ取付パネル２４すなわちロボット１２の周囲の主としてユーザとの距離を計測するものである。
【００４０】
また、台車２０の上には、さらに、下部がセンサ取付パネル２４に囲まれて、ロボット１２の胴体が直立するように設けられる。この胴体は、下部胴体２８と上部胴体３０とによって構成され、下部胴体２８および上部胴体３０は、連結部３２によって互いに連結される。図示は省略するが、連結部３２には昇降機構が内蔵されていて、この昇降機構を用いることによって、上部胴体３０の高さすなわちロボット１２の背の高さを変化させることができる。昇降機構は、後述するように、腰モータ（図３において参照番号「８８」で示す。）によって駆動される。
【００４１】
なお、上述したロボット１２の背の高さは、上部胴体３０をそれの最下位置にしたときのものである。したがって、ロボット１２の背の高さは、１００ｃｍ以上にすることができる。
【００４２】
上部胴体３０のほぼ中央には、１つの全方位カメラ３４と１つのマイク３６とが設けられる。全方位カメラ３４は、ロボット１２の周囲を撮影するものであり、後述する眼カメラ５６とは区別される。この全方位カメラ３４としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。マイク３６は、周囲の音、とりわけコミュニケーション対象であるユーザの声を取り込む。
【００４３】
上部胴体３０の両肩には、それぞれ、肩関節３８Ｒおよび３８Ｌによって、上腕４０Ｒおよび４０Ｌが設けられる。肩関節３８Ｒおよび３８Ｌは、それぞれ、３軸の自由度を有する。すなわち、肩関節３８Ｒは、Ｘ軸、Ｙ軸およびＺ軸のそれぞれの軸廻りにおいて上腕４０Ｒの角度を制御できる。Ｙ軸は、上腕４０Ｒの長手方向（または軸）に平行な軸であり、Ｘ軸およびＺ軸は、そのＹ軸に対して、それぞれ異なる方向から直交する軸である。他方、肩関節３８Ｌは、Ａ軸、Ｂ軸およびＣ軸のそれぞれの軸廻りにおいて上腕４０Ｌの角度を制御できる。Ｂ軸は、上腕４０Ｌの長手方向（または軸）に平行な軸であり、Ａ軸およびＣ軸は、そのＢ軸に対して、それぞれ異なる方向から直交する軸である。
【００４４】
また、上腕４０Ｒおよび４０Ｌのそれぞれの先端には、肘関節４２Ｒおよび４２Ｌを介して、前腕４４Ｒおよび４４Ｌが設けられる。肘関節４２Ｒおよび４２Ｌは、それぞれ、Ｗ軸およびＤ軸の軸廻りにおいて、前腕４４Ｒおよび４４Ｌの角度を制御できる。
【００４５】
なお、上腕４０Ｒおよび４０Ｌならびに前腕４４Ｒおよび４４Ｌの変位を制御するＸ軸，Ｙ軸，Ｚ軸，Ｗ軸およびＡ軸，Ｂ軸，Ｃ軸，Ｄ軸では、それぞれ、「０度」がホームポジションであり、このホームポジションでは、図２に示すように、上腕４０Ｒおよび４０Ｌならびに前腕４４Ｒおよび４４Ｌは下方に向けられる。
【００４６】
また、図示は省略するが、上部胴体３０の肩関節３８Ｒおよび３８Ｌを含む肩の部分や上述の上腕４０Ｒおよび４０Ｌならびに前腕４４Ｒおよび４４Ｌには、それぞれ、タッチセンサ（図３において包括的に参照番号「９２」で示す。）が設けられていて、これらのタッチセンサ９２は、ユーザがロボット１２の当該各部位に触れたかどうかを検知する。
【００４７】
前腕４４Ｒおよび４４Ｌのそれぞれの先端には、手に相当する球体４６Ｒおよび４６Ｌがそれぞれ固定的に設けられる。ただし、指や掌の機能が必要な場合には、人の手の形をした「手」を用いることも可能である。
【００４８】
なお、ロボット１２の形状・寸法等は適宜設定されるが、他の例としては、たとえば、上部胴体３０は、前面、背面、右側面、左側面、上面および底面を含み、右側面および左側面は表面が斜め前方に向くように形成してもよい。つまり、前面の横幅が背面の横幅よりも短く、上部胴体３０を上から見た形状が台形になるように形成されてもよい。
【００４９】
このような場合、肩関節３８Ｒおよび３８Ｌは、右側面および左側面に、その表面が左右両側面とそれぞれ平行である左右の支持部を介して設けられる。そして、上腕４０Ｒおよび上腕４０Ｌの回動範囲は、これら左右側面または支持部の表面（取り付け面）によって規制され、上腕４０Ｒおよび４０Ｌは取り付け面を超えて回動することはない。
【００５０】
しかし、左右側面の傾斜角、Ｂ軸とＹ軸との間隔、上腕４０Ｒおよび４０Ｌの長さ、ならびに前腕４４Ｒおよび４４Ｌの長さ等を適宜に設定すれば、上腕４０Ｒおよび４０Ｌは前方を超えてより内側まで回動できるので、たとえＷ軸およびＤ軸による腕の自由度がなくてもロボット１２の腕は前方で交差できる。したがって、腕の自由度が少ない場合でも正面に位置する人と抱き合うなどの密接なコミュニケーションを取ることができる。
【００５１】
上部胴体３０の中央上方には、首関節４８を介して頭部５０が設けられる。首関節４８は、３軸の自由度を有し、Ｓ軸、Ｔ軸およびＵ軸の各軸廻りに角度制御可能である。Ｓ軸は首から真上（鉛直上向き）に向かう軸であり、Ｔ軸およびＵ軸は、それぞれ、そのＳ軸に対して異なる方向で直交する軸である。頭部５０には、人の口に相当する位置に、スピーカ５２が設けられる。スピーカ５２は、ロボット１２が、それの周囲（周辺）の人に対して音声（音を含む。）または声によってコミュニケーションを取るために用いられる。ただし、スピーカ５２は、ロボット１２の他の部位、たとえば胴体に設けられてもよい。
【００５２】
また、頭部５０には、目に相当する位置に眼球部５４Ｒおよび５４Ｌが設けられる。眼球部５４Ｒおよび５４Ｌは、それぞれ眼カメラ５６Ｒおよび５６Ｌを含む。以下、右の眼球部５４Ｒと左の眼球部５４Ｌとをまとめて眼球部５４ということがあり、また、右の眼カメラ５６Ｒと左の眼カメラ５６Ｌとをまとめて眼カメラ５６ということもある。
【００５３】
眼カメラ５６は、ロボット１２に接近した人の顔や他の部分ないし物体等を撮影して、それに対応する映像信号を取り込む。眼カメラ５６としては、上述した全方位カメラ３４と同様のカメラを用いることができる。
【００５４】
たとえば、眼カメラ５６は眼球部５４内に固定され、眼球部５４は眼球支持部（図示せず）を介して頭部５０内の所定位置に取り付けられる。眼球支持部は、２軸の自由度を有し、α軸およびβ軸の各軸廻りに角度制御可能である。α軸およびβ軸は頭部５０に対して設けられる軸であり、α軸は頭部５０の上へ向かう方向の軸であり、β軸はα軸に直交しかつ頭部５０の正面側（顔）が向く方向に直交する方向の軸である。この実施例では、頭部５０がホームポジションにあるとき、α軸はＳ軸と平行であり、β軸はＵ軸と平行であるように設定される。このような頭部５０において、眼球支持部がα軸およびβ軸の各軸廻りに回転されることによって、眼球部５４ないし眼カメラ５６の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。
【００５５】
なお、眼カメラ５６の変位を制御するα軸およびβ軸では、「０度」がホームポジションであり、このホームポジションでは、図２に示すように、眼カメラ５６のカメラ軸は頭部５０の正面側（顔）が向く方向に向けられ、視線は正視状態となる。
【００５６】
図３はロボット１２の電気的な構成を示すブロック図であり、この図３を参照して、ロボット１２は、全体の制御を司るＣＰＵ６０を含む。ＣＰＵ６０は、マイクロコンピュータ或いはプロセサとも呼ばれ、バス６２を介して、メモリ７０、モータ制御ボード７２、センサ入力／出力ボード７４および音声入力／出力ボード７６に接続される。
【００５７】
なお、電気的な構成についても、ロボット１２とロボット１４とは同じであるため、ここではロボット１２についてのみ説明し、ロボット１４についての説明は省略することにする。
【００５８】
メモリ７０は、図示は省略するが、ＲＯＭやＲＡＭを含み、ＲＯＭにはロボット１２の制御プログラムが予め記憶されるとともに、コミュニケーション行動の実行の際にスピーカ５２から発生すべき音声または声の音声データ（音声合成データ）および同じくコミュニケーション行動の際に所定の身振りや手振りのような身体動作（たとえば、“手を振る”、“握手をする”、“お辞儀をする”、“おいでおいでをする”、“抱きつく”などの動作）を提示するための角度データ（制御データ）等が記憶される。ＲＡＭは、ワークメモリやバッファメモリとして用いられる。
【００５９】
なお、ＲＯＭに記録される角度データは、後述する身体動作（行動パターン）の識別子ｓi に対応づけられている。
【００６０】
モータ制御ボード７２は、たとえばＤＳＰで構成され、各腕や頭部および眼球部等の各軸モータの駆動を制御する。すなわち、モータ制御ボード７２は、ＣＰＵ６０からの制御データを受け、右眼球部５４Ｒのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「右眼球モータ」と示す。）７８の回転角度を制御する。同様に、モータ制御ボード７２は、ＣＰＵ６０からの制御データを受け、左眼球部５４Ｌのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「左眼球モータ」と示す。）８０の回転角度を制御する。
【００６１】
また、モータ制御ボード７２は、ＣＰＵ６０からの制御データを受け、右肩関節３８ＲのＸ軸、Ｙ軸およびＺ軸のそれぞれの角度を制御する３つのモータと右肘関節４２ＲのＷ軸の角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「右腕モータ」と示す。）８２の回転角度を調節する。同様に、モータ制御ボード７２は、ＣＰＵ６０からの制御データを受け、左肩関節３８ＬのＡ軸、Ｂ軸およびＣ軸のそれぞれの角度を制御する３つのモータと左肘関節４２ＬのＤ軸の角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「左腕モータ」と示す。）８４の回転角度を調整する。
【００６２】
さらに、モータ制御ボード７２は、ＣＰＵ６０からの制御データを受け、頭部５０のＳ軸、Ｔ軸およびＵ軸のそれぞれの角度を制御する３つのモータ（図３では、まとめて「頭部モータ」と示す。）８６の回転角度を制御する。さらにまた、モータ制御ボード７２は、ＣＰＵ６０からの制御データを受け、腰モータ８８および車輪２２を駆動する車輪モータ９０の回転角度を制御する。
【００６３】
なお、この実施例では、車輪モータ９０を除くモータは、制御を簡素化するために、ステッピングモータ或いはパルスモータを用いるようにしてある。ただし、車輪モータ９０と同様に、直流モータを用いるようにしてもよい。
【００６４】
センサ入力／出力ボード７４もまた、同様に、ＤＳＰで構成され、各センサからの信号を取り込んでＣＰＵ６０に与える。すなわち、超音波距離センサ２６のそれぞれからの反射時間に関するデータがこのセンサ入力／出力ボード７４を通してＣＰＵ６０に入力される。また、全方位カメラ３４からの映像信号が、必要に応じてこのセンサ入力／出力ボード７４で所定の処理を施された後、ＣＰＵ６０に入力される。眼カメラ５６からの映像信号も、同様にして、ＣＰＵ６０に入力される。また、上述した複数のタッチセンサ９２からの信号がセンサ入力／出力ボード７４を介してＣＰＵ６０に与えられる。さらに、上述した衝突センサ９４からの信号も、同様にして、ＣＰＵ６０に与えられる。
【００６５】
音声入力／出力ボード７６もまた、同様に、ＤＳＰで構成され、ＣＰＵ６０から与えられる音声合成データに従った音声または声がスピーカ５２から出力される。また、マイク３６からの音声入力が、音声入力／出力ボード７６を介してＣＰＵ６０に取り込まれる。
【００６６】
また、ＣＰＵ６０は、バス６２を介して通信ＬＡＮボード９６に接続される。通信ＬＡＮボード９６は、ＤＳＰで構成され、ＣＰＵ６０から送られる送信データを無線通信装置９８に与え、無線通信装置９８から送信データを、ネットワーク１６を介して接続される他のロボット（この実施例では、ロボット１４）或いはコンピュータ（以下、「外部コンピュータ」という。）等に送信させる。また、通信ＬＡＮボード９６は、無線通信装置９８を介してデータを受信し、受信したデータをＣＰＵ６０に与える。つまり、この通信ＬＡＮボード９６および無線通信装置９８によって、ロボット１２は他のロボット１４或いは外部コンピュータ等と無線通信を行うことができる。また、ＣＰＵ６０は、受信したデータをメモリ７０に記録する。
【００６７】
さらに、ＣＰＵ６０は、バス６２を介して３つのデータベース１００、１０２および１０４に接続される。ただし、これらのデータベースは、外部のネットワーク上にアクセス可能に設けるようにしてもよい。データベース１００は、ユーザ情報を記憶するデータベース（以下、「ユーザＤＢ」という。）であり、この実施例では、図４（Ａ）に示すようなユーザ情報のテーブルを記録する。図４（Ａ）から分かるように、ユーザ情報のテーブルには、ユーザ名（この実施例では、ユーザＡおよびユーザＢの名称）に対応して、それぞれを識別するための識別情報が記録される。ここで、識別情報は、ユーザを特定するための情報（データ）であり、この実施例では、後述するように、ユーザの顔を撮影した画像（顔画像）に基づいてユーザを特定するようにしてあるため、識別情報として、ユーザＡおよびユーザＢの顔画像のデータ（画像データ）がそれぞれ記憶される。
【００６８】
ただし、ユーザを特定する方法としては、無線タグのようなタグを用いることも考えられる。このような場合には、無線タグをユーザに所持或いは装着して、当該無線タグからＩＤ（ＲＦＩＤ）や周波数のようなタグ情報を取得して、ユーザを識別することもできる。また、顔画像による処理は、その処理が膨大であるため、各ユーザが着ている服に、色や形の異なるマークをつけて、当該マークを撮影画像から認識して、ユーザを識別することもできる。ただし、それぞれの態様に応じた識別情報（タグ情報やマークのデータ）をユーザＤＢ１００に登録しておく必要がある。
【００６９】
なお、新たなユーザを追加する場合には、当該新しいユーザ等が外部コンピュータを操作して、ユーザＤＢ１００に登録することができる。他の例としては、ロボット１２が備える音声認識機能を用いて、ロボット１２と当該新しいユーザとが会話などのコミュニケーションを取ることにより取得したユーザ名およびそのとき取得した画像データを対応づけて、ロボット１２（厳密には、ＣＰＵ６０）がユーザＤＢ１００に登録することもできる。
【００７０】
また、データベース１０２は、メッセージの宛先情報を登録（記録）するデータベース（以下、「宛先ＤＢ」という。）であり、この実施例では、図４（Ｂ）に示すような、宛先情報のテーブルを記録する。図４（Ｂ）から分かるように、宛先情報のテーブルには、宛先のユーザ名（この実施例では、ユーザＡ、ユーザＢおよびユーザＣ）に対応して、当該ユーザに対してコミュニケーション行動を行うロボット（この実施例では、ロボット１２或いはロボット１４）と通信するためのＩＰアドレスのようなアクセスポイントが記録される。
【００７１】
なお、この実施例では、自身（ロボット１２）がコミュニケーション行動を実行するユーザ（この実施例では、ユーザＡおよびユーザＢ）についてもアクセスポイントを記録するようにしてあるが、当該ユーザについては、アクセスポイントを記録しないで空欄にしておくようにしてもよい。
【００７２】
また、アクセスポイントに変えて、電子メールアドレスを記録するようにしてもよい。
【００７３】
データベース１０４は、ユーザが発する言葉（音声）の内容を音声認識するための辞書（音声認識用辞書）およびユーザの身体動作（行動パターン）を特定するための辞書（行動パターン辞書）を記録するデータベース（以下、「辞書ＤＢ」という。）である。図示は省略するが、音声認識用辞書は、この実施例では、複数のユーザの日本語による日常会話を記録した音声データを複数記録したものである。また、行動パターン辞書は、図４（Ｃ）に示すように、人間の身振り手振りのような身体動作の名称のそれぞれに対応して、行動パターンの識別子ｓi が記録される。行動パターンは、人間の様々な身体動作のそれぞれについてビデオカメラのようなイメージセンサで予め記録した映像信号を解析し、各関節（この実施例では、首、肩、肘および腰）についての角度の時間変化に分解したデータである。図４（Ｃ）からも分かるように、“手を振る”、“握手をする”、“お辞儀をする”、“おいでおいでをする”、“抱きつく”などの所定の身体動作について記録される。この行動パターンのデータは、各識別子ｓi に対応づけて辞書ＤＢ１０４或いはメモリ７０に記録される。
【００７４】
なお、身体動作を取得する場合には、周知のモーションキャプチャシステムを用いることができる。
【００７５】
たとえば、システム１０では、ユーザＡ、ユーザＢおよびユーザＣは、それぞれがコミュニケーション行動を行うロボット１２およびロボット１４を通して、互いにコミュニケートすることができる。
【００７６】
つまり、ロボット１２のみを用いて、ユーザＡはユーザＢに対して、またはユーザＢはユーザＡに対してメッセージを伝達することができる。また、ユーザＡ或いはユーザＢは、ロボット１２およびロボット１４を通してユーザＣにメッセージを伝達することができる。逆に、ユーザＣは、ロボット１４およびロボット１２を通してユーザＡおよびユーザＢの一方にメッセージを伝達することができる。または、ユーザＣは、ロボット１４およびロボット１２を通してユーザＡおよびユーザＢの両方にメッセージを伝達することもできる。
【００７７】
この実施例では、メッセージは音声および身体行動の少なくとも一方を含み、ロボットはメッセージに従うコミュニケーション行動を宛先のユーザに対して実行する。たとえば、ロボットは、ユーザに対して、“おはよう”と発話しながらお辞儀をしたり、“ばいばい”と発話しながら手を振ったりするなどの様々なコミュニケーション行動を取ることができる。ただし、音声のみのコミュニケーションや身体行動のみのコミュニケーションを図ることも可能である。
【００７８】
ロボット１２のみを用いて、ユーザＡがユーザＢに対してメッセージを伝達する場合には、まず、ユーザＡはロボット１２に対してメッセージの入力指示を与える。メッセージの入力指示は、ユーザＡがロボット１２に対して、ロボット１２に設けられるボタン（図示しない）ないしは音声により入力することができ、また、外部コンピュータを操作することにより入力することもできる。次にユーザＡは、音声や外部コンピュータにより、メッセージの宛名すなわち宛先のユーザＢの名称を入力する。続いて、ユーザＡは、ロボット１２に対してコミュニケーション行動を実行し、伝達したいメッセージを入力する。
【００７９】
一方、ロボット１２は、ユーザＡのメッセージの入力指示および宛先の入力に応じて、マイク３６から入力される音声信号の記録を開始するとともに、カメラ３４および５６から入力される映像信号の記録を開始する。つまり、ユーザＡが発話する内容（発話内容）を取得するとともに、ユーザＡが発話しているときの身体動作を取得する。次にロボット１２は、辞書ＤＢ１０４の音声認識用辞書内の音声データと取得した発話内容に対応する音声データとをＤＰマッチング或いはＨＭＭ（隠れマルコフモデル）の方法により比較し、当該発話内容を特定する。つまり、音声認識して、テキストデータに変換する。また、ロボット１２は、辞書ＤＢ１０４或いはメモリ７０に記録される行動パターンと取得した身体動作を解析した行動パターンとをＤＰマッチング或いはＨＭＭの方法により比較し、当該身体行動の内容を特定する。つまり、身体動作を特定して、対応する識別子ｓi を決定する。そして、ロボット１２は、特定した発話内容と身体行動とを用いてメッセージを作成する。たとえば、宛先のユーザ名、発話内容に対応するテキストデータおよび身体行動に対応する識別子ｓi を含むメッセージを作成する。
【００８０】
なお、この実施例では、メッセージのデータ量を比較的少なくするために、入力された音声を音声認識してテキストデータに変換するようにしてあるが、音声データをそのままメッセージに含めるようにしてもよい。また、同様に、身体動作の識別子ｓi に変えて身体動作（行動パターン）のデータをそのままメッセージに含めるようにしてもよい。
【００８１】
また、ユーザの身体動作を取得する場合にも、周知のモーションキャプチャシステムを用いるようにすれば、比較的簡単に身体動作を特定することができる。
【００８２】
次に、ロボット１２は、ユーザＡから指示された宛先に応じて、作成したメッセージの記録処理を実行したり、宛先への送信処理を実行したりする。ここでは、宛先はユーザＢであり、他のロボット（この実施例では、ロボット１４）にメッセージを送信する必要がないため、作成されたメッセージはメモリ７０に記憶される。このような記録処理または送信処理を実行するか否かは、宛先ＤＢ１０２を参照して判断される。つまり、宛先のユーザのアクセスポイントが自身（この実施例では、ロボット１２）のアクセスポイント（アクセスポイントＰ１）であれば、メッセージの記録処理を行い、他のロボット（この実施例では、ロボット１４）のアクセスポイント（アクセスポイントＰ２）であれば、メッセージの送信処理を行う。
【００８３】
メッセージがメモリ７０に記録されると、ロボット１２はユーザＢを探して、ユーザＢにメッセージを伝達する。つまり、ロボット１２は、ユーザＢを探すコミュニケーション行動を実行し、ユーザＢを発見すると、ユーザＢに対してメッセージに従うコミュニケーション行動を実行する。
【００８４】
ユーザＢを探すコミュニケーション行動としては、たとえば、ロボット１２は頭部５０を前方上方に傾けるとともに、“○○（ユーザＢ）さん宛のメッセージが届いているよ。”のような音声をマイク３６から出力する。具体的には、ＣＰＵ６０は、角度データ（Ｓ軸０度、Ｔ軸０度、Ｕ軸＋４５度、Ｘ軸０度、Ｙ軸０度、Ｚ軸０度、Ｗ軸０度、Ａ軸０度、Ｂ軸０度、Ｃ軸０度、Ｄ軸０度）をモータ制御ボード７２に送るとともに、“○○さん宛のメッセージが届いているよ。”に相当する音声合成データをメモリ７０から読み出して音声入力／出力ボード７６に与える。すると、頭部モータ８８（厳密には、Ｕ軸を制御するモータ）が駆動され、頭部５０が前方上方に傾けられる。これと同時或いはほぼ同時に、“○○さん宛のメッセージが届いているよ。”という音声がスピーカ５２から出力される。
【００８５】
なお、音声に含まれる“○○さん”すなわちユーザＢの名称は、メッセージに含まれる宛先のユーザ名から知ることができる。以下、同様である。
【００８６】
次に、ロボット１２は、その近傍或いは周囲にユーザＢが存在するかどうかを判断する。ユーザＢが存在するか否かの判断は、顔画像により行うことができる。つまり、ＣＰＵ６０は、ロボット１２の近傍に存在するユーザの顔画像を撮影し、ユーザＤＢ１００に記録されるユーザＢの識別情報（画像データＢ）と比較して、一致するか否かにより、ユーザＢを判断する。
【００８７】
ただし、ユーザＢがＲＦＩＤのようなタグ情報を発信するタグを所持或いは装着する場合には、そのタグ情報を取得して、ユーザＢの存在を認識するようにしてもよい。
【００８８】
また、メッセージに従うコミュニケーション行動をユーザＢに対して実行する場合には、ＣＰＵ６０はメッセージに含まれる識別子ｓi に対応する角度データをモータ制御ボード７２に送るとともに、テキストデータに対応する音声合成データをメモリ７０から読み出し、音声入力／出力ボード７６に与える。したがって、ユーザＡが入力したメッセージ（音声および身体動作）がロボット１２によって再現され、ユーザＢに伝達される。
【００８９】
たとえば、ユーザＡが、お辞儀をしながら、“○○さん、こんにちは。”と発声し、次に右手を前に出して（握手をしながら）、“お元気ですか？”と発声するようなメッセージを入力した場合には、当該メッセージに従うコミュニケーション行動をユーザＢに対して実行する。
【００９０】
具体的には、ＣＰＵ６０は、まず、角度データ（Ｓ軸０度、Ｔ軸０度、Ｕ軸−４５度、Ｘ軸０度、Ｙ軸０度、Ｚ軸０度、Ｗ軸０度、Ａ軸０度、Ｂ軸０度、Ｃ軸０度、Ｄ軸０度）をモータ制御ボード７２に送るとともに、“○○さん、こんにちは。”に相当する音声合成データをメモリ７０から読み出して音声入力／出力ボード７６に与える。すると、頭部モータ８８（厳密には、Ｕ軸を制御するモータ）が駆動され、頭部５０が前方下向きに傾けられる。これと同時或いはほぼ同時に、“○○さん、こんにちは。”という音声がスピーカ５２から出力される。最初のメッセージに従うコミュニケーション動作を終了すると、各モータはホームポジションに戻され、次のコミュニケーション行動が実行される。
【００９１】
つまり、ＣＰＵ６０は、角度データ（Ｓ軸０度、Ｔ軸０度、Ｕ軸０度、Ｘ軸＋４５度、Ｙ軸０度、Ｚ軸０度、Ｗ軸０度、Ａ軸０度、Ｂ軸０度、Ｃ軸０度、Ｄ軸０度）をモータ制御ボード７２に送るとともに、“お元気ですか？”に相当する音声合成データをメモリ７０から読み出して音声入力／出力ボード７６に与える。すると、台車２０は右腕モータ８２（厳密には、Ｘ軸を制御するモータ）が駆動され、右手すなわち右腕（４０Ｒ、４４Ｒ、４６Ｒ）が前方に出される。これと同時或いはほぼ同時に、“お元気ですか？”という音声がスピーカ５２から出力される。
【００９２】
なお、このように、複数のコミュニケーション行動を含む場合には、各コミュニケーション行動の順番が番号等で識別可能にされる。
【００９３】
また、この実施例では、比較的短い音声を入力した場合について説明してあるため、１つの文についての音声およびそのときの身体動作を１のコミュニケーション行動と考えてあるが、文が長い場合には、音声が途切れた時点や身体動作が停止した時点でコミュニケーション行動を区切るようにしてもよい。
【００９４】
また、ロボット１２のみを用いて、ユーザＢがユーザＡに対してメッセージを伝達する場合においても、上述した内容と同じであり、ユーザＡとユーザＢとを入れ変えればよい。
【００９５】
また、ユーザＡがユーザＣに対して、ロボット１２およびロボット１４を通してメッセージを伝達する場合には、ユーザＡがメッセージの入力指示を入力してからメッセージが作成されるまでの動作は、上述した内容と同じである。メッセージが作成されると、ＣＰＵ６０は、宛先ＤＢ１０２を参照して、ユーザＣに対応するアクセスポイントＰ２を検出する。すると、自身のアクセスポイントＰ１と異なるため、他のロボット（ロボット１４）に送信するメッセージであることが分かる。したがって、ＣＰＵ６０は、検出したアクセスポイントＰ２にアクセスして、ロボット１４にメッセージを送信する。ロボット１４に送信されたメッセージは、ロボット１４が受信し、メモリ７０に記録する。メモリ７０にメッセージが記憶された後では、上述のロボット１２がユーザＢを探し、メッセージに従うコミュニケーション行動を実行するのと同様のコミュニケーション行動がロボット１４によって実行される。つまり、上述のロボット１２とロボット１４とを置き換えるとともに、ユーザＢをユーザＣに置き換えればよい。
【００９６】
さらに、ユーザＣがロボット１４およびロボット１２を通してユーザＡおよびユーザＢのいずれか一方にメッセージを伝達する場合には、送信側と受信側とが逆になる以外は、ユーザＡがロボット１２およびロボット１４を通してユーザＣにメッセージを伝達する場合と同じであるため、重複した説明は省略することにする。
【００９７】
また、ユーザＣがロボット１４およびロボット１２を通してユーザＡおよびユーザＢの両方にメッセージを伝達することもできる。この場合には、ユーザＣは、宛先としてユーザＡおよびユーザＢを入力し、ロボット１４に対してコミュニケーション行動を実行して、メッセージを入力する。一方、当該メッセージを受信したロボット１２は、ユーザＡおよびユーザＢの両方を探し、メッセージに従うコミュニケーション行動をユーザＡおよびユーザＢに対して実行する。
【００９８】
上述したようなメッセージの入力および伝達では、メッセージが秘匿性を有しない場合について説明したが、メッセージを宛先のユーザ以外に知られたくない場合には、当該メッセージを秘密にすることもできる。たとえば、メッセージを入力するときに、当該メッセージが秘密であることを、音声または外部コンピュータにより入力することができる。すると、メッセージを作成するとき或いはメッセージを作成した後に、秘密であることを示すラベルがメッセージに付加される。したがって、メッセージを伝達する側のロボットでは、当該ラベルの付されたメッセージに従うコミュニケーション行動を宛先のユーザのみに対して実行する。つまり、宛先のユーザ以外のユーザがロボットの近傍或いは周囲に存在しないことを確認してから、メッセージを伝達し、メッセージの伝達中に宛先のユーザ以外のユーザがロボットの近傍或いは周囲に近づいた場合には、メッセージの伝達を中断する。
【００９９】
具体的には、ロボット１２のＣＰＵ６０は、図５および図６に示すフロー図に従ってメッセージの送信／記録処理を実行し、図７〜図９に示すフロー図に従ってメッセージの伝達処理を実行する。
【０１００】
なお、ロボット１４のＣＰＵ６０よって実行される処理は、ロボット１２のＣＰＵ６０によって実行される処理と同じであるため、ロボット１２のＣＰＵ６０によって実行される処理についてのみ説明し、ロボット１４のＣＰＵ６０によって実行される処理についての説明は省略する。
【０１０１】
ユーザ（ユーザＡまたはユーザＢ）からメッセージの入力指示が入力され、宛先のユーザ名が入力されると、図５に示すように、メッセージの送信／記録処理を開始し、ステップＳ１で映像および音声を取得する。つまり、カメラ３４および５６からの映像信号をメモリ７０に記録するとともに、マイク３６からの音声信号をメモリ７０に記録する。
【０１０２】
続くステップＳ３では、メッセージの入力が終了したかどうかを判断する。具体的には、ユーザからメッセージの入力終了が指示されたかどうかを判断する。ただし、音声が一定時間以上入力されない場合に、メッセージの入力が終了したと判断するようにしてもよい。ステップＳ３で“ＮＯ”であれば、つまりメッセージの入力が終了していなければ、そのままステップＳ１に戻る。
【０１０３】
一方、ステップＳ３で“ＹＥＳ”であれば、つまりメッセージの入力が終了すれば、ステップＳ５でマイク３６を通して入力された音声について音声認識処理を実行する。次いで、ステップＳ７で、後述する身体動作の特定処理を実行し、ステップＳ９では、当該メッセージが秘密であるかどうかを判断する。つまり、ユーザがメッセージを秘密にすることを、音声または外部コンピュータにより入力したかどうかを判断する。
【０１０４】
ステップＳ９で“ＮＯ”であれば、つまり当該メッセージが秘密でなければ、ステップＳ１１で、宛先のユーザ名、テキストデータおよび識別子ｓi を含むメッセージを作成して、ステップＳ１５に進む。一方、ステップＳ９で“ＹＥＳ”であれば、つまり当該メッセージが秘密であれば、ステップＳ１３で、秘密メッセージを作成して、すなわち、宛先のユーザ名、テキストデータおよび識別子ｓi を含むメッセージに秘密のラベルを付して、ステップＳ１５に進む。
【０１０５】
続いて、ステップＳ１５では、当該メッセージを他のロボット（この実施例では、ロボット１４）に送信するかどうかを判断する。つまり、入力された宛先のユーザ名を宛先ＤＢ１０２に記録される宛先情報のテーブルから検索し、当該ユーザ名に対応して記録されるアクセスポイントが他のロボットへのアクセスポイントかどうかを判断する。
【０１０６】
ステップＳ１５で“ＹＥＳ”であれば、つまり他のロボットへ送信するメッセージであれば、ステップＳ１７で他のロボットにメッセージを送信して、処理を終了する。つまり、宛先のコミュニケーション対象としてのユーザとの間でコミュニケーション行動を実行するロボットにメッセージを送信する。一方、ステップＳ１５で“ＮＯ”であれば、つまり他のロボットへ送信するメッセージでなければ、ステップＳ１９でメッセージをメモリ７０に記録して、処理を終了する。
【０１０７】
なお、この実施例では、メッセージの宛先としてのユーザが予め宛先ＤＢ１０２に登録されていることを前提として、メッセージを送信／記録するようにしてあるが、入力された宛先のユーザ名が宛先ＤＢ１０２に登録されていない場合には、メッセージの作成処理を実行する以前に、メッセージを入力したユーザに対して、メッセージの宛先のアクセスポイントを入力させるコミュニケーション行動を実行するようにすればよい。たとえば、“宛先のアクセスポイントを入力してください。”という音声をスピーカ５２から出力すればよい。
【０１０８】
身体動作特定処理が開始されると、図６に示すように、ステップＳ２１で取得した行動（身体動作）すなわち身体動作を撮影した映像信号を解析して、行動要素に分解する。つまり、各関節の角度の時間変化を抽出する。続くステップＳ２３では、ステップＳ２１において分解した行動要素と辞書ＤＢ１０４或いはメモリ７０に記録される行動パターンとを比較し、一致度が一番高い行動パターンを検出する。そして、ステップＳ２５では、ステップＳ２３で検出した行動パターンに対応する識別子ｓi を特定（取得）して、身体動作特定処理をリターンする。
【０１０９】
一方、ＣＰＵ６０は、上述したようなメッセージの送信／記録処理を実行していない間に所定の時間間隔或いはユーザの指示に従って図７〜図９に示すようなメッセージ伝達処理を実行する。メッセージ伝達処理を開始すると、図７に示すように、ステップＳ３１で未伝達のメッセージがメモリ７０に存在するかどうかを判断する。
【０１１０】
ステップＳ３１で“ＮＯ”であれば、つまり未伝達のメッセージが存在しなければ、そのまま処理を終了する。ただし、ユーザの指示でメッセージ伝達処理を開始した場合には、“メッセージはありません。”のような音声をスピーカ５２から出力して、処理を終了するようにしてもよい。一方、ステップＳ３１で“ＹＥＳ”であれば、つまり未伝達のメッセージが存在すれば、ステップＳ３３で１の未伝達メッセージを選択して、ステップＳ３５に進む。ただし、未伝達メッセージが１つしか存在しない場合には、そのままステップＳ３５に移行する。
【０１１１】
ステップＳ３５では、周囲の人物（ユーザ）を検出するとともに、存在するユーザを特定する。上述したように、この実施例では、顔画像を撮影し、撮影した顔画像のデータとユーザＤＢ１００に記憶される識別情報（画像データ）とを比較して、ユーザを特定する。
【０１１２】
続くステップＳ３７では、未伝達の人物が存在するかどうかを判断する。つまり、当該メッセージの宛先としてのユーザが当該ロボット１２の近傍或いは周囲に存在するかどうかを判断する。ステップＳ３７で“ＮＯ”であれば、つまり当該メッセージの宛先としてのユーザが存在しなければ、ステップＳ３９でユーザを探すコミュニケーション行動を実行して、ステップＳ３５に戻る。
【０１１３】
一方、ステップＳ３７で“ＹＥＳ”であれば、つまり当該メッセージの宛先としてのユーザが存在すれば、ステップＳ４１で当該メッセージが秘密か（秘匿性を有するか）どうかを判断する。ステップＳ４１で“ＮＯ”であれば、つまり当該メッセージが秘密でなければ、図８に示すステップＳ４７に進む。
【０１１４】
一方、ステップＳ４１で“ＹＥＳ”であれば、つまり当該メッセージが秘密であれば、ステップＳ４３で、ロボット１２の近傍或いは周囲に当該メッセージの宛先としてのユーザ以外のユーザ等が存在するかどうかを判断する。他の人物が存在するか否かは、上述のステップＳ３５の処理の結果に基づいて判断される。ただし、周囲に存在するユーザが誰であるかまでを特定する必要がないため、カメラ３４および５６からの映像信号に基づいて容易に判断することができ、また、超音波距離センサ２６の入力に基づいて判断することもできる。或いは、これら両方のセンサを用いて判断するようにしてもよい。
【０１１５】
ステップＳ４３で“ＮＯ”であれば、つまり他のユーザが存在しなければ、図９に示すステップＳ５３に進む。一方、ステップＳ４３で“ＹＥＳ”であれば、つまり他のユーザが存在すれば、ステップＳ４５で当該宛先のユーザに秘密のメッセージが届いていることを伝達して、処理を終了する。たとえば、ステップＳ４５では、ロボット１２は、前方斜め上方を向いて、“○○（当該ユーザ名）さん、秘密（親展）のメッセージが届いているよ。”と発声する。具体的には、ＣＰＵ６０は、角度データ（Ｓ軸０度、Ｔ軸０度、Ｕ軸＋４５度、Ｘ軸０度、Ｙ軸０度、Ｚ軸０度、Ｗ軸０度、Ａ軸０度、Ｂ軸０度、Ｃ軸０度、Ｄ軸０度）をモータ制御ボード７２に送るとともに、“○○さん、秘密のメッセージが届いているよ。”に相当する音声合成データをメモリ７０から読み出して音声入力／出力ボード７６に与える。
【０１１６】
上述したように、ステップＳ４１で“ＮＯ”であれば、図８に示すステップＳ４７に進み、このステップＳ４７では、メッセージ中の最初のコミュニケーション行動を実行する。たとえば、お辞儀をしながら、“○○さん、こんにちは。”と発声する。このコミュニケーション行動を実行するＣＰＵ６０の詳細な処理については、上述したとおりであるため、ここでは詳細な説明は省略する。続くステップＳ４９では、当該ユーザ宛のメッセージの伝達を終了したかどうかを判断する。ステップＳ４９で“ＹＥＳ”であれば、つまり当該ユーザ宛のメッセージの伝達を終了すると、図７に示したように処理を終了する。
【０１１７】
一方、ステップＳ４９で“ＮＯ”であれば、つまり当該ユーザ宛のメッセージの伝達を終了していなければ、ステップＳ５１で、メッセージ中の次のコミュニケーション行動を実行して、ステップＳ４９に戻る。たとえば、右手を前に出して（握手をしながら）、“お元気ですか？”と発声する。このコミュニケーション行動を実行するＣＰＵ６０の詳細な処理については、上述したとおりであるため、ここでは詳細な説明は省略する。
【０１１８】
このように、ステップＳ４９およびＳ５１の処理が繰り返されて、当該ユーザ宛のメッセージがロボット１２によって再現されて、当該ユーザに伝達される。
【０１１９】
上述したように、ステップＳ４３で“ＮＯ”であれば、図９に示すステップＳ５３に進み、このステップＳ５３では、メッセージの伝達を開始することを伝えるコミュニケーション行動を実行する。たとえば、周囲を見渡しながら、“○○さん宛の秘密のメッセージを伝えるよ。”と発声する。具体的には、ＣＰＵ６０は、角度データ（Ｓ軸０度、Ｔ軸＋４５度、Ｕ軸０度、Ｘ軸０度、Ｙ軸０度、Ｚ軸０度、Ｗ軸０度、Ａ軸０度、Ｂ軸０度、Ｃ軸０度、Ｄ軸０度）および角度データ（Ｓ軸０度、Ｔ軸−４５度、Ｕ軸０度、Ｘ軸０度、Ｙ軸０度、Ｚ軸０度、Ｗ軸０度、Ａ軸０度、Ｂ軸０度、Ｃ軸０度、Ｄ軸０度）を一定の周期で交互にモータ制御ボード７２に送るとともに、“○○さん宛の秘密のメッセージを伝えるよ。”に相当する音声合成データをメモリ７０から読み出して音声入力／出力ボード７６に与える。
【０１２０】
続くステップＳ５５では、メッセージ中の最初のコミュニケーション行動を実行する。次にステップＳ５７では、当該ユーザ宛のメッセージの伝達を終了したかどうかを判断する。ステップＳ５７で“ＹＥＳ”であれば、つまり当該ユーザ宛のメッセージの伝達を終了すると、図７に示したように処理を終了する。一方、ステップＳ５７で“ＮＯ”であれば、つまり当該ユーザ宛のメッセージの伝達を終了していなければ、ステップＳ５９で周囲の人物（ユーザ）を検出するとともに、周囲に存在するユーザを特定して、ステップＳ６１に進む。
【０１２１】
ステップＳ６１では、他の人物（ユーザ）が存在するかどうかを判断する。ステップＳ６１で“ＮＯ”であれば、つまり他のユーザが存在しなければ、ステップＳ６３で、メッセージ中の次のコミュニケーション行動を実行して、ステップＳ５７に戻る。
【０１２２】
なお、ステップＳ５５〜ステップＳ５９の処理については、上述したステップＳ４７〜ステップＳ５１の処理と同じであり、また、ステップ５９およびステップＳ６１の処理は上述したステップＳ３５およびステップＳ４３の処理と同じであるため、具体的な説明については省略した。
【０１２３】
一方、ステップＳ６１で“ＹＥＳ”であれば、つまり他のユーザが存在すれば、ステップＳ６５で、他の人物が存在することを伝えるとともに、待ちを示すコミュニケーション行動を実行して、ステップＳ５７に戻る。たとえば、待ちを示すコミュニケーション行動としては、両腕（４０Ｒ、４０Ｌ、４４Ｒ、４４Ｌ、４６Ｒ、４６Ｌ）を前方に出して、“周囲に他の人が居るので、ちょっと待ってね。”と発声する。具体的には、ＣＰＵ６０は、角度データ（Ｓ軸０度、Ｔ軸０度、Ｕ軸０度、Ｘ軸＋４５度、Ｙ軸０度、Ｚ軸０度、Ｗ軸０度、Ａ軸＋４５度、Ｂ軸０度、Ｃ軸０度、Ｄ軸０度）をモータ制御ボード７２に送るとともに、“周囲に他の人が居るので、ちょっと待ってね。”に相当する音声合成データをメモリ７０から読み出して音声入力／出力ボード７６に与える。
【０１２４】
この実施例によれば、ロボットが音声だけでなくコミュニケーションの相手の身振り手振りも再現するため、ロボットを通して親密なコミュニケーションを取ることができる。したがって、時間的距離或いは物理的距離を超えたコミュニケーションが可能である。
【０１２５】
なお、この実施例では、日本語を話すユーザ同士のコミュニケーションについて説明したが、他の言語を話すユーザ同士のコミュニケーションについても適用できることは言うまでもない。
【０１２６】
また、この実施例では、他のロボットのアクセスポイントにアクセスしてメッセージを送信するようにしたが、アクセスポイントに変えてメールアドレスを宛先ＤＢに記録しておく場合には、電子メールでメッセージを送信することができる。たとえば、メッセージに含まれるテキストデータおよび身体動作の識別子ｓi を電子メールの本文入力欄に記述するようにすればよい。
【０１２７】
他の実施例のシステム１０は、コミュニケーション対象の母国語が異なるために、ロボット１２或いはロボット１４において、コミュニケーション行動の翻訳を実行するようにした以外は上述の実施例と同様であるため、重複する部分についは説明を省略することにする。
【０１２８】
他の実施例のロボット１２およびロボット１４では、メッセージの翻訳機能すなわち音声（テキストデータ）の翻訳機能および身体行動の翻訳機能を備えている。たとえば、音声認識機能を含む翻訳機能（翻訳システム）としては、本件出願人が研究開発した日英双方向音声翻訳システム「ＡＴＲ−ＭＡＴＲＩＸ」を用いることができる。この「ＡＴＲ−ＭＡＴＲＩＸ」については、「Reaves et al.,"ATR-MATRIX: A Speech Translation System between English and Japanese", 情報処理学会論文集, Vol. 2, pp.87-88, 1999」に詳細に開示されている。
【０１２９】
また、ロボット１２およびロボット１４では、メッセージの翻訳に必要な情報等が追加される。図示は省略するが、メモリ７０には、複数の言語に対応した音声合成データが記録される。また、図示は省略するが、辞書ＤＢ１０４の音声認識用辞書には、複数のユーザの複数の言語（この他の実施例では、日本語および英語）による日常会話を記録した音声データを複数記録したものであり、たとえば、各言語に分けて記録される。
【０１３０】
また、図１０（Ａ）に示すように、宛先情報のテーブルには、ユーザ名およびアクセスポイントに加えて、母国語の情報が記録される。ただし、他の実施例では、簡単のため、ユーザＡおよびユーザＢの母国語が日本語であり、ユーザＣの母国語が英語である場合について示してあるが、これは単なる例示であり、これに限定されるべきでない。たとえば、ユーザＡとユーザＢとが異なる母国語である場合やユーザＡ、ユーザＢおよびユーザＣがそれぞれ互いに異なる母国語である場合についても考えることができる。また、母国語も日本語や英語に限定されるべきでなく、他の国等の言語であってもよいことはもちろんである。
【０１３１】
さらに、図１０（Ｂ）に示すように、行動パターン辞書では、身体動作に対応する行動パターンの辞書として、一対の行動パターンが記録される。具体的には、識別子ｓi は日本人（ここでは、日本国籍の人というよりは、日本で育った人を意味する。）の身体動作（行動パターン）の識別子であり、識別子ｔi はアメリカ人（同様に、アメリカで育った人を意味する。）の行動パターンの識別子である。
【０１３２】
このように、日本人の行動パターンとアメリカ人の行動パターンとを用意するのは、同じ身体動作であっても、国（地域）や文化が異なれば、それぞれ身振り手振りが異なる場合があるからである。たとえば、日本人がおいでおいでをする場合には、掌が下向きで手招きするが、アメリカ人がおいでおいでをする場合には、掌が上向きで手招きする。また、日本人が挨拶をする場合には、お辞儀をするが、外国においては、抱きついたり、キスをしたりする。
【０１３３】
したがって、辞書ＤＢ１０４（或いはメモリ７０）には、識別子ｓi および識別子ｔi に対応する行動パターンのデータが記録され、メモリ７０のＲＯＭには識別子ｓi および識別子ｔi に対応する角度データが記録される。
【０１３４】
たとえば、ユーザＡとユーザＣとが、ロボット１２およびロボット１４を通してコミュニケーションを取る場合には、ユーザＡがロボット１２に対してメッセージを入力すると、ロボット１２は、入力された宛先のユーザ（ユーザＣ）の母国語の情報を宛先情報から取得して、翻訳の必要性を判断する。翻訳が必要な場合には、メッセージに含まれるテキストデータを翻訳するとともに、行動パターンを翻訳する。つまり、テキストデータを日本語から英語に翻訳するとともに、行動パターンの識別子ｓi に対応する識別子ｔi に変更（翻訳）する。
【０１３５】
このように翻訳されたメッセージがロボット１２からロボット１４に送信され、ロボット１４では受信したメッセージに従うコミュニケーション行動をユーザＣに対して実行する。
【０１３６】
一方、ユーザＣがロボット１４に対してメッセージを入力すると、入力された宛先のユーザ（ユーザＡ）の母国語の情報を宛先情報から取得して、翻訳の必要性を判断する。翻訳が必要な場合には、メッセージに含まれるテキストデータを翻訳するとともに、行動パターンを翻訳する。つまり、テキストデータを英語から日本語に翻訳するとともに、行動パターンの識別子ｔi に対応する識別子ｓi に翻訳する。
【０１３７】
このように翻訳されたメッセージがロボット１４からロボット１２に送信され、ロボット１２では受信したメッセージに従うコミュニケーション行動をユーザＡに対して実行する。
【０１３８】
具体的には、ロボット１２（ロボット１４）のＣＰＵ６０が図１１に示すフロー図に従ってメッセージの送信／記録処理を実行する。ただし、上述の実施例で示した処理と同じステップについては同じ参照番号を付し、その説明については省略することにする。また、メッセージ伝達処理は、上述の実施例と同じであるため、重複した説明は省略する。
【０１３９】
図１１に示すように、ステップＳ１１またはＳ１３でメッセージを作成すると、ステップＳ１０１で当該メッセージについての翻訳が必要かどうかを判断する。具体的には、当該メッセージを入力したユーザの母国語と当該メッセージの宛先としてのユーザの母国語とを比較し、異なるか否かを判断する。
【０１４０】
ステップＳ１０１で“ＮＯ”であれば、つまり翻訳が必要でなければ、そのままステップＳ１５に進む。一方、ステップＳ１０１で“ＹＥＳ”であれば、つまり翻訳が必要であれば、ステップＳ１０３でメッセージを翻訳してからステップＳ１５に進む。
【０１４１】
他の実施例によれば、コミュニケートする相手に応じてロボットがメッセージを翻訳するので、異なる母国語のユーザ同士であってもロボットを通して簡単にコミュニケーションを図ることができる。
【０１４２】
なお、他の実施例では、異なる母国語のユーザにメッセージを送信する場合には、必ずメッセージを翻訳するようにしたが、身体動作については翻訳せずにそのままメッセージを送信するようにしてもよい。また、上述の実施例に示したように、メッセージを翻訳せずにそのまま送信するようにしてもよい。このようにすれば、他の国における言語や身振り手振りを知ることができ、外国語を習得したり、異文化交流したりできると考えられる。
【０１４３】
また、他の実施例では、メッセージの送信側でメッセージを翻訳するようにしたが、メッセージの受信側でメッセージを翻訳するようにしてもよい。
【図面の簡単な説明】
【図１】この発明の一実施例の構成を示す図解図である。
【図２】図１実施例のロボットのハードウェアを示す正面図である。
【図３】図１実施例のロボットの電気的な構成を示すブロック図である。
【図４】図３に示すデータベースの内容の一例を示す図解図である。
【図５】図３に示すＣＰＵのメッセージの送信／記録処理を示すフロー図である。
【図６】図３に示すＣＰＵの身体動作の特定処理を示すフロー図である。
【図７】図３に示すＣＰＵのメッセージ伝達処理の一部を示すフロー図である。
【図８】図３に示すＣＰＵのメッセージ伝達処理の他の一部を示すフロー図である。
【図９】図３に示すＣＰＵのメッセージ伝達処理のその他の一部を示すフロー図である。
【図１０】この発明の他の実施例のデータベースの内容を示す図解図である。
【図１１】他の実施例のＣＰＵのメッセージの送信／記録処理の一例を示すフロー図である。
【符号の説明】
１０ …コミュニケーションシステム
１２，１４ …コミュニケーションロボット
６０ …ＣＰＵ
７０ …メモリ
７２ …モータ制御ボード
７４ …センサ入力／出力ボード
７６ …音声入力／出力ボード
１００，１０２，１０４ …データベース
【産業上の利用分野】
この発明はコミュニケーションロボットおよびそれを用いたコミュニケーションシステムに関し、特にたとえば１または複数のコミュニケーション対象との間でコミュニケーション行動を実行する、コミュニケーションロボットおよびそれを用いたコミュニケーションシステムに関する。
【０００２】
【従来の技術】
従来のこの種のコミュニケーションロボットの一例が特許文献１に開示される。この特許文献１に開示される意思伝達装置は、話し手又は聞き手として振る舞う共用ロボットと、話し手制御部、聞き手制御部および音声送受信部とから構成され、たとえば電話器に適用される。この意思伝達装置では、電話回線を通じて送受信される音声信号を時系列的な電気信号のＯＮ／ＯＦＦと捉え、この電気信号のＯＮ／ＯＦＦから頷き動作タイミングを判断し、ロボットの各部を動作させる。具体的には、話し手としてのロボットは、通話相手の音声信号に応じて、瞬きしたり、口を開閉したり、腕、腰等の身体部位を動かしたりしていた。一方、聞き手としてのロボットは、本人であるユーザの音声信号に応じて、頷き動作をしていた。
【０００３】
また、この種のコミュニケーションロボットの他の一例が特許文献２に開示される。この特許文献２に開示される情報提供システムは、ネットワークを介して、複数のロボット装置と情報サーバとが接続されたものである。この情報提供システムでは、ロボット装置が、人物検出処理を実行し、検出した人物の識別を行い、識別したユーザのユーザＩＤを情報提供サーバに渡し、必要な情報を情報サーバから取得し、識別したユーザに対して、情報の提示を行っていた。また、識別したユーザから他のユーザに提供する情報があるときには、提供する情報の記録を行い、記録した情報を情報サーバに渡していた。
【０００４】
【特許文献１】
特開２０００−３４９９２０号（第５頁〜第６頁，第１図〜第５図）
【特許文献２】
特開２００２−３４２７５９号（第７頁〜第９頁，第１図〜第８図）
【０００５】
【発明が解決しようとする課題】
しかし、前者の場合には、音声信号に応じて、頷き動作、瞬き、身体動作を実行するだけであり、実際に通話相手がどのような身振りや手振りをしているかを知ることができなかった。
【０００６】
また、後者の場合には、ユーザがロボット装置の配置される近傍或いはその周囲に存在すれば、情報の提示を受けたり、情報を提供したりすることができるが、やり取りされる情報は文字や音声のみであり、前者の場合と同様に、情報の提示元のユーザの身振りや手振りを知ることができなかった。
【０００７】
つまり、いずれにしても、コミュニケーションの相手の身振りや手振りのような身体動作を知ることができず、電話や音声メールのような音声によるコミュニケーションまたは電子メールのような文字によるコミュニケーションの枠を超えることができなかった。
【０００８】
それゆえに、この発明の主たる目的は、より自然なコミュニケーションを図ることができる、新規なコミュニケーションロボットおよびそれを用いたコミュニケーションシステムを提供することである。
【０００９】
【課題を解決するための手段】
第１の発明は、１または複数のコミュニケーション対象との間で音声および身体動作の少なくとも一方を含むメッセージに従ってコミュニケーション行動を実行するコミュニケーションロボットであって、１のコミュニケーション対象のコミュニケーション行動を取得する行動取得手段、行動取得手段によって取得されたコミュニケーション行動を構成する音声および身体動作の少なくとも一方を含むメッセージを作成する作成手段、メッセージを宛先のコミュニケーション対象に対してのみ伝達することを示す秘匿性を有することを、１のコミュニケーション対象によって指示されたか否かを判断する秘匿性判断手段、秘匿性判断手段の判断結果が肯定的であるとき、メッセージを宛先のコミュニケーション対象に対してのみ伝達することを示す識別情報を付加する付加手段、メッセージを記録媒体に記録する記録手段、記録媒体に記録されたメッセージの宛先のコミュニケーション対象が近傍或いは周囲に存在するか否かを判断する対象存在判断手段、対象存在判断手段の判断結果が肯定的であるとき、メッセージに識別情報が付加されているかどうかを判断する付加判断手段、付加判断手段の判断結果が肯定的であるとき、宛先のコミュニケーション対象以外のコミュニケーション対象が近傍或いは周囲に存在するか否かを判断する非対象存在判断手段、および非対象存在判断手段の判断結果が否定的であるとき、記録媒体に記録されたメッセージに従うコミュニケーション行動を宛先のコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションロボットである。
【００１２】
第４の発明は、１または複数のコミュニケーション対象との間で音声および身体動作の少なくとも一方を含むメッセージに従ってコミュニケーション行動を実行する２以上のコミュニケーションロボットを互いに通信可能に設けたコミュニケーションシステムであって、コミュニケーションロボットは、１のコミュニケーション対象のコミュニケーション行動を取得する行動取得手段、行動取得手段によって取得されたコミュニケーション行動を構成する音声および身体動作の少なくとも一方を含むメッセージを作成する作成手段、メッセージを宛先のコミュニケーション対象に対してのみ伝達することを示す秘匿性を有することを、１のコミュニケーション対象によって指示されたか否かを判断手段、秘匿性判断手段の判断結果が肯定的であるとき、メッセージを宛先のコミュニケーション対象に対してのみ伝達することを示す識別情報を付加する付加手段、作成手段によって作成されたメッセージを宛先のコミュニケーション対象との間でコミュニケーション行動を実行する他のコミュニケーションロボットに送信する送信手段、他のコミュニケーションロボットから送信されたメッセージを受信して記録媒体に記録するメッセージ受信手段、および記録媒体に記録されたメッセージの宛先のコミュニケーション対象が近傍或いは周囲に存在するか否かを判断する対象存在判断手段、対象存在判断手段の判断結果が肯定的であるとき、メッセージに識別情報が付加されているかどうかを判断する付加判断手段、付加判断手段の判断結果が肯定的であるとき、宛先のコミュニケーション対象以外のコミュニケーション対象が近傍或いは周囲に存在するか否かを判断する非対象存在判断手段、および非対象存在判断手段の判断結果が否定的であるとき、記録媒体に記録されたメッセージに従うコミュニケーション行動を宛先のコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションシステムである。
【００１４】
【作用】
第１の発明のコミュニケーションロボットは、人間（ユーザ）のような１または複数のコミュニケーション対象に対して、音および動作（身体動作）の少なくとも一方によるコミュニケーション行動を実行する。コミュニケーションロボットは、１のユーザから身振り手振りのような身体動作を取得する。作成手段は、取得した身体動作を含むメッセージを作成する。メッセージが作成されると、当該メッセージを記録媒体に記録する。実行手段は、記録媒体に記録されているメッセージに従うコミュニケーション行動を、宛先のユーザに対して実行する。つまり、メッセージを入力したユーザのコミュニケーション行動が、コミュニケーションロボットによって再現され、宛先のユーザに伝達され、身振り手振りのような身体動作によるコミュニケーションがなされる。
【００１５】
第２の発明のコミュニケーションロボットは、第１の発明のコミュニケーションロボットと略同じであるが、１のユーザから音声を取得し、当該ユーザが音声を発しているときの身振り手振りのような身体動作を取得する。また、作成手段は、取得した音声および身体動作の少なくとも一方を含むメッセージを作成する。このため、実行手段は、音声および身体動作の少なくとも一方を含むメッセージに従うコミュニケーション行動を、宛先のユーザに対して実行する。つまり、メッセージを入力したユーザのコミュニケーション行動が、コミュニケーションロボットによって再現され、宛先のユーザに伝達される。音声のみまたは身体動作のみ或いはそれら両方を用いたコミュニケーションを図ることができる。
【００１６】
たとえば、第１の発明および第２の発明のコミュニケーションロボットは、他のコミュニケーションロボットにメッセージを送信する送信手段をさらに備えるので、当該メッセージの宛先に応じて、メッセージを記録媒体に記録したり、宛先のユーザとの間でコミュニケーション行動を実行するコミュニケーションロボットにメッセージを送信したりすることができる。つまり、他のコミュニケーションロボットとの間でコミュニケーションを図るユーザとの間でもコミュニケートすることができる。
【００１７】
また、メッセージ受信手段は、他のコミュニケーションロボットから送信されたメッセージを受信して記録媒体に記録するので、遠隔に離れたユーザが入力したメッセージに従うコミュニケーション行動を実行することができる。
【００１８】
さらに、実行手段は、メッセージが記録されているとき、当該メッセージの宛先のユーザを探すためのコミュニケーション行動を実行するので、宛先のユーザは自分宛のメッセージが届いていることを知ることができる。
【００１９】
たとえば、メッセージが秘匿性を有するとき、判別手段が当該メッセージの宛先以外のユーザが存在するか否かを判別する。したがって、当該メッセージの宛先以外のユーザが存在しないと判別されたときには、メッセージに従うコミュニケーション行動を当該宛先のユーザに対して実行することができる。
【００２０】
また、当該メッセージの宛先以外のユーザが存在するときには、メッセージに従うコミュニケーション行動は実行せずに、秘匿性を有するメッセージがあることのみを当該宛先のユーザに知らせるので、秘密のメッセージが他に漏れることはない。
【００２１】
さらに、秘匿性を有するメッセージに従うコミュニケーション行動の実行中に、宛先のユーザ以外のユーザの存在を確認した場合には、コミュニケーション行動を中断するので、このような場合であっても秘密のメッセージが他に漏れることはない。
【００２２】
また、コミュニケーション対象の母国語情報をデータベースに記憶しておけば、メッセージを入力するユーザの母国語とメッセージの宛先としてのユーザの母国語とが一致するか否かに応じてメッセージを翻訳することができる。したがって、異なる母国語のユーザ同士であっても、簡単にコミュニケーションを取ることができる。
【００２３】
たとえば、メッセージに含まれる音声を翻訳するとともに、身体動作を翻訳するので、国（地域）や文化の違いにより、言葉や身体動作が異なる場合であっても、コミュニケーションを取ることができる。
【００２４】
第３の発明のコミュニケーションロボットは、人間（ユーザ）のような１または複数のコミュニケーション対象に対して、音および動作（身体動作）の少なくとも一方によるコミュニケーション行動を実行する。このコミュニケーションロボットでは、メッセージ受信手段が音声および身体動作の少なくとも一方を含むメッセージを受信し、実行手段が、受信したメッセージの宛先としてのユーザに対して、当該メッセージに従うコミュニケーション行動を実行する。つまり、メッセージがコミュニケーションロボットによって再現され、宛先のユーザに伝達される。
【００２５】
第４の発明のコミュニケーションシステムは、２以上のコミュニケーションロボットを備え、たとえば、これらのコミュニケーションロボットを直接、または、電話回線、インターネット或いはＬＡＮのようなネットワークを介して通信可能に接続する。コミュニケーションロボットは、人間（ユーザ）のような１または複数のコミュニケーション対象に対して、音および動作（身体動作）の少なくとも一方によるコミュニケーション行動を実行する。また、コミュニケーションロボットは、１のユーザから身振り手振りのような身体動作を取得する。作成手段は、取得した身体動作を含むメッセージを作成する。メッセージが作成されると、当該メッセージを宛先のユーザとの間でコミュニケーション行動を実行するコミュニケーションロボット（他のコミュニケーションロボット）に対して送信する。また、メッセージ受信手段は、他のコミュニケーションロボットから送信されたメッセージを受信して記録媒体に記録する。実行手段は、記録媒体に記録されているメッセージに従うコミュニケーション行動を、宛先のユーザに対して実行する。つまり、メッセージを入力したユーザのコミュニケーション行動が、コミュニケーションロボットによって再現され、宛先のユーザに伝達される。このようにして、遠隔に存在するユーザ同士であっても、身振り手振りのような身体動作によるコミュニケーションを取ることができる。
【００２６】
第５の発明のコミュニケーションシステムでは、第２の発明に記載のコミュニケーションロボットを用いるようにした以外は、第４の発明に記載のコミュニケーションシステムと同じであるため、重複した説明は省略する。つまり、第５の発明のコミュニケーションシステムでは、音声のみまたは身体動作のみ或いはそれら両方を用いたコミュニケーションを図ることができる。
【００２７】
【発明の効果】
この発明によれば、ロボットが身振り手振りのような身体動作を再現することによりコミュニケーションを図ることができるので、ロボットを通して自然なコミュニケーションを図ることができる。
【００２８】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００２９】
【実施例】
図１を参照して、この実施例のコミュニケーションシステム（以下、単に「システム」という。）１０は、コミュニケーションロボット（以下、単に「ロボット」ということがある。）１２およびロボット１４を含む。ロボット１２およびロボット１４は、電話回線、インターネット或いはＬＡＮのようなネットワーク１６を介して互いに通信可能に設けられる。ロボット１２およびロボット１４は、主として人間のようなコミュニケーションの対象とコミュニケートすることを目的とした相互作用指向のコミュニケーションロボットである。
【００３０】
ただし、コミュニケーションの対象としては、コミュニケーションロボット１２（１４）と同様に構成された他のコミュニケーションロボットであってもよい。
【００３１】
なお、ロボット１２とロボット１４とは、ネットワーク１６を介さずに、直接通信可能に設けるようにしてもよい。たとえば、赤外線を利用したＩｒＤＡ方式，２．４５ＧＨｚ帯の電波を利用したブルートゥース（Bluetooth ）方式，ＩＥＥＥ８０２．１１，ＰＨＳのトランシーバ機能などを用いた無線通信が可能である。
【００３２】
また、この実施例では、２台のロボットを設けるようにしてあるが、ロボットは３台以上設けられてもよい。
【００３３】
図１に示すように、ロボット１２の近傍或いは周囲には、人間ないしはユーザＡおよびユーザＢが存在し、ロボット１４の近傍或いは周囲には、ユーザＣが存在する。この実施例では、ユーザＡ、ユーザＢおよびユーザＣは、いずれも同じ母国語（たとえば、日本語）を話すユーザである。
【００３４】
なお、この実施例では、１人または２人のユーザがロボットの近傍或いは周囲に存在する場合について示してあるが、ユーザは１人以上であれば３人以上の多数であってもよい。
【００３５】
図２はロボット１２の外観を示す正面図であり、この図２を参照して、ロボット１２のハードウェアの構成について説明する。ただし、ロボット１４は、ロボット１２と同じ構成であるため、ここではロボット１２についてのみ説明することとし、ロボット１４についての説明は省略することにする。
【００３６】
図２に示すように、ロボット１２は台車２０を含み、この台車２０の下面にはロボット１２を自律移動させる車輪２２が設けられる。車輪２２は車輪モータ（図３において参照番号「９０」で示す。）によって駆動され、台車２０すなわちロボット１２を前後左右任意の方向に動かすことができる。
【００３７】
なお、図２においては省略するが、台車２０の前面には、衝突センサ（図３において参照暗号「９４」で示す。）が取り付けられ、この衝突センサ９４は台車２０への人や他の障害物の接触を検知する。つまり、ロボット１２の移動中に障害物との接触を検知すると、直ちに車輪２２の駆動を停止してロボット１２の移動を急停止させて、衝突を未然に防止する。
【００３８】
また、この実施例では、ロボット１２の背の高さは、人（ユーザ）、特に子供に威圧感を与えることのないように、１００ｃｍ程度とされる。ただし、この背の高さは変更可能である。
【００３９】
台車２０の上には、多角形柱のセンサ取付パネル２４が設けられ、このセンサ取付パネル２４の各面には、超音波距離センサ２６が取り付けられる。この超音波距離センサ２６は、センサ取付パネル２４すなわちロボット１２の周囲の主としてユーザとの距離を計測するものである。
【００４０】
また、台車２０の上には、さらに、下部がセンサ取付パネル２４に囲まれて、ロボット１２の胴体が直立するように設けられる。この胴体は、下部胴体２８と上部胴体３０とによって構成され、下部胴体２８および上部胴体３０は、連結部３２によって互いに連結される。図示は省略するが、連結部３２には昇降機構が内蔵されていて、この昇降機構を用いることによって、上部胴体３０の高さすなわちロボット１２の背の高さを変化させることができる。昇降機構は、後述するように、腰モータ（図３において参照番号「８８」で示す。）によって駆動される。
【００４１】
なお、上述したロボット１２の背の高さは、上部胴体３０をそれの最下位置にしたときのものである。したがって、ロボット１２の背の高さは、１００ｃｍ以上にすることができる。
【００４２】
上部胴体３０のほぼ中央には、１つの全方位カメラ３４と１つのマイク３６とが設けられる。全方位カメラ３４は、ロボット１２の周囲を撮影するものであり、後述する眼カメラ５６とは区別される。この全方位カメラ３４としては、たとえばＣＣＤやＣＭＯＳのような固体撮像素子を用いるカメラを採用することができる。マイク３６は、周囲の音、とりわけコミュニケーション対象であるユーザの声を取り込む。
【００４３】
上部胴体３０の両肩には、それぞれ、肩関節３８Ｒおよび３８Ｌによって、上腕４０Ｒおよび４０Ｌが設けられる。肩関節３８Ｒおよび３８Ｌは、それぞれ、３軸の自由度を有する。すなわち、肩関節３８Ｒは、Ｘ軸、Ｙ軸およびＺ軸のそれぞれの軸廻りにおいて上腕４０Ｒの角度を制御できる。Ｙ軸は、上腕４０Ｒの長手方向（または軸）に平行な軸であり、Ｘ軸およびＺ軸は、そのＹ軸に対して、それぞれ異なる方向から直交する軸である。他方、肩関節３８Ｌは、Ａ軸、Ｂ軸およびＣ軸のそれぞれの軸廻りにおいて上腕４０Ｌの角度を制御できる。Ｂ軸は、上腕４０Ｌの長手方向（または軸）に平行な軸であり、Ａ軸およびＣ軸は、そのＢ軸に対して、それぞれ異なる方向から直交する軸である。
【００４４】
また、上腕４０Ｒおよび４０Ｌのそれぞれの先端には、肘関節４２Ｒおよび４２Ｌを介して、前腕４４Ｒおよび４４Ｌが設けられる。肘関節４２Ｒおよび４２Ｌは、それぞれ、Ｗ軸およびＤ軸の軸廻りにおいて、前腕４４Ｒおよび４４Ｌの角度を制御できる。
【００４５】
なお、上腕４０Ｒおよび４０Ｌならびに前腕４４Ｒおよび４４Ｌの変位を制御するＸ軸，Ｙ軸，Ｚ軸，Ｗ軸およびＡ軸，Ｂ軸，Ｃ軸，Ｄ軸では、それぞれ、「０度」がホームポジションであり、このホームポジションでは、図２に示すように、上腕４０Ｒおよび４０Ｌならびに前腕４４Ｒおよび４４Ｌは下方に向けられる。
【００４６】
また、図示は省略するが、上部胴体３０の肩関節３８Ｒおよび３８Ｌを含む肩の部分や上述の上腕４０Ｒおよび４０Ｌならびに前腕４４Ｒおよび４４Ｌには、それぞれ、タッチセンサ（図３において包括的に参照番号「９２」で示す。）が設けられていて、これらのタッチセンサ９２は、ユーザがロボット１２の当該各部位に触れたかどうかを検知する。
【００４７】
前腕４４Ｒおよび４４Ｌのそれぞれの先端には、手に相当する球体４６Ｒおよび４６Ｌがそれぞれ固定的に設けられる。ただし、指や掌の機能が必要な場合には、人の手の形をした「手」を用いることも可能である。
【００４８】
なお、ロボット１２の形状・寸法等は適宜設定されるが、他の例としては、たとえば、上部胴体３０は、前面、背面、右側面、左側面、上面および底面を含み、右側面および左側面は表面が斜め前方に向くように形成してもよい。つまり、前面の横幅が背面の横幅よりも短く、上部胴体３０を上から見た形状が台形になるように形成されてもよい。
【００４９】
このような場合、肩関節３８Ｒおよび３８Ｌは、右側面および左側面に、その表面が左右両側面とそれぞれ平行である左右の支持部を介して設けられる。そして、上腕４０Ｒおよび上腕４０Ｌの回動範囲は、これら左右側面または支持部の表面（取り付け面）によって規制され、上腕４０Ｒおよび４０Ｌは取り付け面を超えて回動することはない。
【００５０】
しかし、左右側面の傾斜角、Ｂ軸とＹ軸との間隔、上腕４０Ｒおよび４０Ｌの長さ、ならびに前腕４４Ｒおよび４４Ｌの長さ等を適宜に設定すれば、上腕４０Ｒおよび４０Ｌは前方を超えてより内側まで回動できるので、たとえＷ軸およびＤ軸による腕の自由度がなくてもロボット１２の腕は前方で交差できる。したがって、腕の自由度が少ない場合でも正面に位置する人と抱き合うなどの密接なコミュニケーションを取ることができる。
【００５１】
上部胴体３０の中央上方には、首関節４８を介して頭部５０が設けられる。首関節４８は、３軸の自由度を有し、Ｓ軸、Ｔ軸およびＵ軸の各軸廻りに角度制御可能である。Ｓ軸は首から真上（鉛直上向き）に向かう軸であり、Ｔ軸およびＵ軸は、それぞれ、そのＳ軸に対して異なる方向で直交する軸である。頭部５０には、人の口に相当する位置に、スピーカ５２が設けられる。スピーカ５２は、ロボット１２が、それの周囲（周辺）の人に対して音声（音を含む。）または声によってコミュニケーションを取るために用いられる。ただし、スピーカ５２は、ロボット１２の他の部位、たとえば胴体に設けられてもよい。
【００５２】
また、頭部５０には、目に相当する位置に眼球部５４Ｒおよび５４Ｌが設けられる。眼球部５４Ｒおよび５４Ｌは、それぞれ眼カメラ５６Ｒおよび５６Ｌを含む。以下、右の眼球部５４Ｒと左の眼球部５４Ｌとをまとめて眼球部５４ということがあり、また、右の眼カメラ５６Ｒと左の眼カメラ５６Ｌとをまとめて眼カメラ５６ということもある。
【００５３】
眼カメラ５６は、ロボット１２に接近した人の顔や他の部分ないし物体等を撮影して、それに対応する映像信号を取り込む。眼カメラ５６としては、上述した全方位カメラ３４と同様のカメラを用いることができる。
【００５４】
たとえば、眼カメラ５６は眼球部５４内に固定され、眼球部５４は眼球支持部（図示せず）を介して頭部５０内の所定位置に取り付けられる。眼球支持部は、２軸の自由度を有し、α軸およびβ軸の各軸廻りに角度制御可能である。α軸およびβ軸は頭部５０に対して設けられる軸であり、α軸は頭部５０の上へ向かう方向の軸であり、β軸はα軸に直交しかつ頭部５０の正面側（顔）が向く方向に直交する方向の軸である。この実施例では、頭部５０がホームポジションにあるとき、α軸はＳ軸と平行であり、β軸はＵ軸と平行であるように設定される。このような頭部５０において、眼球支持部がα軸およびβ軸の各軸廻りに回転されることによって、眼球部５４ないし眼カメラ５６の先端（正面）側が変位され、カメラ軸すなわち視線方向が移動される。
【００５５】
なお、眼カメラ５６の変位を制御するα軸およびβ軸では、「０度」がホームポジションであり、このホームポジションでは、図２に示すように、眼カメラ５６のカメラ軸は頭部５０の正面側（顔）が向く方向に向けられ、視線は正視状態となる。
【００５６】
図３はロボット１２の電気的な構成を示すブロック図であり、この図３を参照して、ロボット１２は、全体の制御を司るＣＰＵ６０を含む。ＣＰＵ６０は、マイクロコンピュータ或いはプロセサとも呼ばれ、バス６２を介して、メモリ７０、モータ制御ボード７２、センサ入力／出力ボード７４および音声入力／出力ボード７６に接続される。
【００５７】
なお、電気的な構成についても、ロボット１２とロボット１４とは同じであるため、ここではロボット１２についてのみ説明し、ロボット１４についての説明は省略することにする。
【００５８】
メモリ７０は、図示は省略するが、ＲＯＭやＲＡＭを含み、ＲＯＭにはロボット１２の制御プログラムが予め記憶されるとともに、コミュニケーション行動の実行の際にスピーカ５２から発生すべき音声または声の音声データ（音声合成データ）および同じくコミュニケーション行動の際に所定の身振りや手振りのような身体動作（たとえば、“手を振る”、“握手をする”、“お辞儀をする”、“おいでおいでをする”、“抱きつく”などの動作）を提示するための角度データ（制御データ）等が記憶される。ＲＡＭは、ワークメモリやバッファメモリとして用いられる。
【００５９】
なお、ＲＯＭに記録される角度データは、後述する身体動作（行動パターン）の識別子ｓi に対応づけられている。
【００６０】
モータ制御ボード７２は、たとえばＤＳＰで構成され、各腕や頭部および眼球部等の各軸モータの駆動を制御する。すなわち、モータ制御ボード７２は、ＣＰＵ６０からの制御データを受け、右眼球部５４Ｒのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「右眼球モータ」と示す。）７８の回転角度を制御する。同様に、モータ制御ボード７２は、ＣＰＵ６０からの制御データを受け、左眼球部５４Ｌのα軸およびβ軸のそれぞれの角度を制御する２つのモータ（図３では、まとめて「左眼球モータ」と示す。）８０の回転角度を制御する。
【００６１】
また、モータ制御ボード７２は、ＣＰＵ６０からの制御データを受け、右肩関節３８ＲのＸ軸、Ｙ軸およびＺ軸のそれぞれの角度を制御する３つのモータと右肘関節４２ＲのＷ軸の角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「右腕モータ」と示す。）８２の回転角度を調節する。同様に、モータ制御ボード７２は、ＣＰＵ６０からの制御データを受け、左肩関節３８ＬのＡ軸、Ｂ軸およびＣ軸のそれぞれの角度を制御する３つのモータと左肘関節４２ＬのＤ軸の角度を制御する１つのモータとの計４つのモータ（図３では、まとめて「左腕モータ」と示す。）８４の回転角度を調整する。
【００６２】
さらに、モータ制御ボード７２は、ＣＰＵ６０からの制御データを受け、頭部５０のＳ軸、Ｔ軸およびＵ軸のそれぞれの角度を制御する３つのモータ（図３では、まとめて「頭部モータ」と示す。）８６の回転角度を制御する。さらにまた、モータ制御ボード７２は、ＣＰＵ６０からの制御データを受け、腰モータ８８および車輪２２を駆動する車輪モータ９０の回転角度を制御する。
【００６３】
なお、この実施例では、車輪モータ９０を除くモータは、制御を簡素化するために、ステッピングモータ或いはパルスモータを用いるようにしてある。ただし、車輪モータ９０と同様に、直流モータを用いるようにしてもよい。
【００６４】
センサ入力／出力ボード７４もまた、同様に、ＤＳＰで構成され、各センサからの信号を取り込んでＣＰＵ６０に与える。すなわち、超音波距離センサ２６のそれぞれからの反射時間に関するデータがこのセンサ入力／出力ボード７４を通してＣＰＵ６０に入力される。また、全方位カメラ３４からの映像信号が、必要に応じてこのセンサ入力／出力ボード７４で所定の処理を施された後、ＣＰＵ６０に入力される。眼カメラ５６からの映像信号も、同様にして、ＣＰＵ６０に入力される。また、上述した複数のタッチセンサ９２からの信号がセンサ入力／出力ボード７４を介してＣＰＵ６０に与えられる。さらに、上述した衝突センサ９４からの信号も、同様にして、ＣＰＵ６０に与えられる。
【００６５】
音声入力／出力ボード７６もまた、同様に、ＤＳＰで構成され、ＣＰＵ６０から与えられる音声合成データに従った音声または声がスピーカ５２から出力される。また、マイク３６からの音声入力が、音声入力／出力ボード７６を介してＣＰＵ６０に取り込まれる。
【００６６】
また、ＣＰＵ６０は、バス６２を介して通信ＬＡＮボード９６に接続される。通信ＬＡＮボード９６は、ＤＳＰで構成され、ＣＰＵ６０から送られる送信データを無線通信装置９８に与え、無線通信装置９８から送信データを、ネットワーク１６を介して接続される他のロボット（この実施例では、ロボット１４）或いはコンピュータ（以下、「外部コンピュータ」という。）等に送信させる。また、通信ＬＡＮボード９６は、無線通信装置９８を介してデータを受信し、受信したデータをＣＰＵ６０に与える。つまり、この通信ＬＡＮボード９６および無線通信装置９８によって、ロボット１２は他のロボット１４或いは外部コンピュータ等と無線通信を行うことができる。また、ＣＰＵ６０は、受信したデータをメモリ７０に記録する。
【００６７】
さらに、ＣＰＵ６０は、バス６２を介して３つのデータベース１００、１０２および１０４に接続される。ただし、これらのデータベースは、外部のネットワーク上にアクセス可能に設けるようにしてもよい。データベース１００は、ユーザ情報を記憶するデータベース（以下、「ユーザＤＢ」という。）であり、この実施例では、図４（Ａ）に示すようなユーザ情報のテーブルを記録する。図４（Ａ）から分かるように、ユーザ情報のテーブルには、ユーザ名（この実施例では、ユーザＡおよびユーザＢの名称）に対応して、それぞれを識別するための識別情報が記録される。ここで、識別情報は、ユーザを特定するための情報（データ）であり、この実施例では、後述するように、ユーザの顔を撮影した画像（顔画像）に基づいてユーザを特定するようにしてあるため、識別情報として、ユーザＡおよびユーザＢの顔画像のデータ（画像データ）がそれぞれ記憶される。
【００６８】
ただし、ユーザを特定する方法としては、無線タグのようなタグを用いることも考えられる。このような場合には、無線タグをユーザに所持或いは装着して、当該無線タグからＩＤ（ＲＦＩＤ）や周波数のようなタグ情報を取得して、ユーザを識別することもできる。また、顔画像による処理は、その処理が膨大であるため、各ユーザが着ている服に、色や形の異なるマークをつけて、当該マークを撮影画像から認識して、ユーザを識別することもできる。ただし、それぞれの態様に応じた識別情報（タグ情報やマークのデータ）をユーザＤＢ１００に登録しておく必要がある。
【００６９】
なお、新たなユーザを追加する場合には、当該新しいユーザ等が外部コンピュータを操作して、ユーザＤＢ１００に登録することができる。他の例としては、ロボット１２が備える音声認識機能を用いて、ロボット１２と当該新しいユーザとが会話などのコミュニケーションを取ることにより取得したユーザ名およびそのとき取得した画像データを対応づけて、ロボット１２（厳密には、ＣＰＵ６０）がユーザＤＢ１００に登録することもできる。
【００７０】
また、データベース１０２は、メッセージの宛先情報を登録（記録）するデータベース（以下、「宛先ＤＢ」という。）であり、この実施例では、図４（Ｂ）に示すような、宛先情報のテーブルを記録する。図４（Ｂ）から分かるように、宛先情報のテーブルには、宛先のユーザ名（この実施例では、ユーザＡ、ユーザＢおよびユーザＣ）に対応して、当該ユーザに対してコミュニケーション行動を行うロボット（この実施例では、ロボット１２或いはロボット１４）と通信するためのＩＰアドレスのようなアクセスポイントが記録される。
【００７１】
なお、この実施例では、自身（ロボット１２）がコミュニケーション行動を実行するユーザ（この実施例では、ユーザＡおよびユーザＢ）についてもアクセスポイントを記録するようにしてあるが、当該ユーザについては、アクセスポイントを記録しないで空欄にしておくようにしてもよい。
【００７２】
また、アクセスポイントに変えて、電子メールアドレスを記録するようにしてもよい。
【００７３】
データベース１０４は、ユーザが発する言葉（音声）の内容を音声認識するための辞書（音声認識用辞書）およびユーザの身体動作（行動パターン）を特定するための辞書（行動パターン辞書）を記録するデータベース（以下、「辞書ＤＢ」という。）である。図示は省略するが、音声認識用辞書は、この実施例では、複数のユーザの日本語による日常会話を記録した音声データを複数記録したものである。また、行動パターン辞書は、図４（Ｃ）に示すように、人間の身振り手振りのような身体動作の名称のそれぞれに対応して、行動パターンの識別子ｓi が記録される。行動パターンは、人間の様々な身体動作のそれぞれについてビデオカメラのようなイメージセンサで予め記録した映像信号を解析し、各関節（この実施例では、首、肩、肘および腰）についての角度の時間変化に分解したデータである。図４（Ｃ）からも分かるように、“手を振る”、“握手をする”、“お辞儀をする”、“おいでおいでをする”、“抱きつく”などの所定の身体動作について記録される。この行動パターンのデータは、各識別子ｓi に対応づけて辞書ＤＢ１０４或いはメモリ７０に記録される。
【００７４】
なお、身体動作を取得する場合には、周知のモーションキャプチャシステムを用いることができる。
【００７５】
たとえば、システム１０では、ユーザＡ、ユーザＢおよびユーザＣは、それぞれがコミュニケーション行動を行うロボット１２およびロボット１４を通して、互いにコミュニケートすることができる。
【００７６】
つまり、ロボット１２のみを用いて、ユーザＡはユーザＢに対して、またはユーザＢはユーザＡに対してメッセージを伝達することができる。また、ユーザＡ或いはユーザＢは、ロボット１２およびロボット１４を通してユーザＣにメッセージを伝達することができる。逆に、ユーザＣは、ロボット１４およびロボット１２を通してユーザＡおよびユーザＢの一方にメッセージを伝達することができる。または、ユーザＣは、ロボット１４およびロボット１２を通してユーザＡおよびユーザＢの両方にメッセージを伝達することもできる。
【００７７】
この実施例では、メッセージは音声および身体行動の少なくとも一方を含み、ロボットはメッセージに従うコミュニケーション行動を宛先のユーザに対して実行する。たとえば、ロボットは、ユーザに対して、“おはよう”と発話しながらお辞儀をしたり、“ばいばい”と発話しながら手を振ったりするなどの様々なコミュニケーション行動を取ることができる。ただし、音声のみのコミュニケーションや身体行動のみのコミュニケーションを図ることも可能である。
【００７８】
ロボット１２のみを用いて、ユーザＡがユーザＢに対してメッセージを伝達する場合には、まず、ユーザＡはロボット１２に対してメッセージの入力指示を与える。メッセージの入力指示は、ユーザＡがロボット１２に対して、ロボット１２に設けられるボタン（図示しない）ないしは音声により入力することができ、また、外部コンピュータを操作することにより入力することもできる。次にユーザＡは、音声や外部コンピュータにより、メッセージの宛名すなわち宛先のユーザＢの名称を入力する。続いて、ユーザＡは、ロボット１２に対してコミュニケーション行動を実行し、伝達したいメッセージを入力する。
【００７９】
一方、ロボット１２は、ユーザＡのメッセージの入力指示および宛先の入力に応じて、マイク３６から入力される音声信号の記録を開始するとともに、カメラ３４および５６から入力される映像信号の記録を開始する。つまり、ユーザＡが発話する内容（発話内容）を取得するとともに、ユーザＡが発話しているときの身体動作を取得する。次にロボット１２は、辞書ＤＢ１０４の音声認識用辞書内の音声データと取得した発話内容に対応する音声データとをＤＰマッチング或いはＨＭＭ（隠れマルコフモデル）の方法により比較し、当該発話内容を特定する。つまり、音声認識して、テキストデータに変換する。また、ロボット１２は、辞書ＤＢ１０４或いはメモリ７０に記録される行動パターンと取得した身体動作を解析した行動パターンとをＤＰマッチング或いはＨＭＭの方法により比較し、当該身体行動の内容を特定する。つまり、身体動作を特定して、対応する識別子ｓi を決定する。そして、ロボット１２は、特定した発話内容と身体行動とを用いてメッセージを作成する。たとえば、宛先のユーザ名、発話内容に対応するテキストデータおよび身体行動に対応する識別子ｓi を含むメッセージを作成する。
【００８０】
なお、この実施例では、メッセージのデータ量を比較的少なくするために、入力された音声を音声認識してテキストデータに変換するようにしてあるが、音声データをそのままメッセージに含めるようにしてもよい。また、同様に、身体動作の識別子ｓi に変えて身体動作（行動パターン）のデータをそのままメッセージに含めるようにしてもよい。
【００８１】
また、ユーザの身体動作を取得する場合にも、周知のモーションキャプチャシステムを用いるようにすれば、比較的簡単に身体動作を特定することができる。
【００８２】
次に、ロボット１２は、ユーザＡから指示された宛先に応じて、作成したメッセージの記録処理を実行したり、宛先への送信処理を実行したりする。ここでは、宛先はユーザＢであり、他のロボット（この実施例では、ロボット１４）にメッセージを送信する必要がないため、作成されたメッセージはメモリ７０に記憶される。このような記録処理または送信処理を実行するか否かは、宛先ＤＢ１０２を参照して判断される。つまり、宛先のユーザのアクセスポイントが自身（この実施例では、ロボット１２）のアクセスポイント（アクセスポイントＰ１）であれば、メッセージの記録処理を行い、他のロボット（この実施例では、ロボット１４）のアクセスポイント（アクセスポイントＰ２）であれば、メッセージの送信処理を行う。
【００８３】
メッセージがメモリ７０に記録されると、ロボット１２はユーザＢを探して、ユーザＢにメッセージを伝達する。つまり、ロボット１２は、ユーザＢを探すコミュニケーション行動を実行し、ユーザＢを発見すると、ユーザＢに対してメッセージに従うコミュニケーション行動を実行する。
【００８４】
ユーザＢを探すコミュニケーション行動としては、たとえば、ロボット１２は頭部５０を前方上方に傾けるとともに、“○○（ユーザＢ）さん宛のメッセージが届いているよ。”のような音声をマイク３６から出力する。具体的には、ＣＰＵ６０は、角度データ（Ｓ軸０度、Ｔ軸０度、Ｕ軸＋４５度、Ｘ軸０度、Ｙ軸０度、Ｚ軸０度、Ｗ軸０度、Ａ軸０度、Ｂ軸０度、Ｃ軸０度、Ｄ軸０度）をモータ制御ボード７２に送るとともに、“○○さん宛のメッセージが届いているよ。”に相当する音声合成データをメモリ７０から読み出して音声入力／出力ボード７６に与える。すると、頭部モータ８８（厳密には、Ｕ軸を制御するモータ）が駆動され、頭部５０が前方上方に傾けられる。これと同時或いはほぼ同時に、“○○さん宛のメッセージが届いているよ。”という音声がスピーカ５２から出力される。
【００８５】
なお、音声に含まれる“○○さん”すなわちユーザＢの名称は、メッセージに含まれる宛先のユーザ名から知ることができる。以下、同様である。
【００８６】
次に、ロボット１２は、その近傍或いは周囲にユーザＢが存在するかどうかを判断する。ユーザＢが存在するか否かの判断は、顔画像により行うことができる。つまり、ＣＰＵ６０は、ロボット１２の近傍に存在するユーザの顔画像を撮影し、ユーザＤＢ１００に記録されるユーザＢの識別情報（画像データＢ）と比較して、一致するか否かにより、ユーザＢを判断する。
【００８７】
ただし、ユーザＢがＲＦＩＤのようなタグ情報を発信するタグを所持或いは装着する場合には、そのタグ情報を取得して、ユーザＢの存在を認識するようにしてもよい。
【００８８】
また、メッセージに従うコミュニケーション行動をユーザＢに対して実行する場合には、ＣＰＵ６０はメッセージに含まれる識別子ｓi に対応する角度データをモータ制御ボード７２に送るとともに、テキストデータに対応する音声合成データをメモリ７０から読み出し、音声入力／出力ボード７６に与える。したがって、ユーザＡが入力したメッセージ（音声および身体動作）がロボット１２によって再現され、ユーザＢに伝達される。
【００８９】
たとえば、ユーザＡが、お辞儀をしながら、“○○さん、こんにちは。”と発声し、次に右手を前に出して（握手をしながら）、“お元気ですか？”と発声するようなメッセージを入力した場合には、当該メッセージに従うコミュニケーション行動をユーザＢに対して実行する。
【００９０】
具体的には、ＣＰＵ６０は、まず、角度データ（Ｓ軸０度、Ｔ軸０度、Ｕ軸−４５度、Ｘ軸０度、Ｙ軸０度、Ｚ軸０度、Ｗ軸０度、Ａ軸０度、Ｂ軸０度、Ｃ軸０度、Ｄ軸０度）をモータ制御ボード７２に送るとともに、“○○さん、こんにちは。”に相当する音声合成データをメモリ７０から読み出して音声入力／出力ボード７６に与える。すると、頭部モータ８８（厳密には、Ｕ軸を制御するモータ）が駆動され、頭部５０が前方下向きに傾けられる。これと同時或いはほぼ同時に、“○○さん、こんにちは。”という音声がスピーカ５２から出力される。最初のメッセージに従うコミュニケーション動作を終了すると、各モータはホームポジションに戻され、次のコミュニケーション行動が実行される。
【００９１】
つまり、ＣＰＵ６０は、角度データ（Ｓ軸０度、Ｔ軸０度、Ｕ軸０度、Ｘ軸＋４５度、Ｙ軸０度、Ｚ軸０度、Ｗ軸０度、Ａ軸０度、Ｂ軸０度、Ｃ軸０度、Ｄ軸０度）をモータ制御ボード７２に送るとともに、“お元気ですか？”に相当する音声合成データをメモリ７０から読み出して音声入力／出力ボード７６に与える。すると、台車２０は右腕モータ８２（厳密には、Ｘ軸を制御するモータ）が駆動され、右手すなわち右腕（４０Ｒ、４４Ｒ、４６Ｒ）が前方に出される。これと同時或いはほぼ同時に、“お元気ですか？”という音声がスピーカ５２から出力される。
【００９２】
なお、このように、複数のコミュニケーション行動を含む場合には、各コミュニケーション行動の順番が番号等で識別可能にされる。
【００９３】
また、この実施例では、比較的短い音声を入力した場合について説明してあるため、１つの文についての音声およびそのときの身体動作を１のコミュニケーション行動と考えてあるが、文が長い場合には、音声が途切れた時点や身体動作が停止した時点でコミュニケーション行動を区切るようにしてもよい。
【００９４】
また、ロボット１２のみを用いて、ユーザＢがユーザＡに対してメッセージを伝達する場合においても、上述した内容と同じであり、ユーザＡとユーザＢとを入れ変えればよい。
【００９５】
また、ユーザＡがユーザＣに対して、ロボット１２およびロボット１４を通してメッセージを伝達する場合には、ユーザＡがメッセージの入力指示を入力してからメッセージが作成されるまでの動作は、上述した内容と同じである。メッセージが作成されると、ＣＰＵ６０は、宛先ＤＢ１０２を参照して、ユーザＣに対応するアクセスポイントＰ２を検出する。すると、自身のアクセスポイントＰ１と異なるため、他のロボット（ロボット１４）に送信するメッセージであることが分かる。したがって、ＣＰＵ６０は、検出したアクセスポイントＰ２にアクセスして、ロボット１４にメッセージを送信する。ロボット１４に送信されたメッセージは、ロボット１４が受信し、メモリ７０に記録する。メモリ７０にメッセージが記憶された後では、上述のロボット１２がユーザＢを探し、メッセージに従うコミュニケーション行動を実行するのと同様のコミュニケーション行動がロボット１４によって実行される。つまり、上述のロボット１２とロボット１４とを置き換えるとともに、ユーザＢをユーザＣに置き換えればよい。
【００９６】
さらに、ユーザＣがロボット１４およびロボット１２を通してユーザＡおよびユーザＢのいずれか一方にメッセージを伝達する場合には、送信側と受信側とが逆になる以外は、ユーザＡがロボット１２およびロボット１４を通してユーザＣにメッセージを伝達する場合と同じであるため、重複した説明は省略することにする。
【００９７】
また、ユーザＣがロボット１４およびロボット１２を通してユーザＡおよびユーザＢの両方にメッセージを伝達することもできる。この場合には、ユーザＣは、宛先としてユーザＡおよびユーザＢを入力し、ロボット１４に対してコミュニケーション行動を実行して、メッセージを入力する。一方、当該メッセージを受信したロボット１２は、ユーザＡおよびユーザＢの両方を探し、メッセージに従うコミュニケーション行動をユーザＡおよびユーザＢに対して実行する。
【００９８】
上述したようなメッセージの入力および伝達では、メッセージが秘匿性を有しない場合について説明したが、メッセージを宛先のユーザ以外に知られたくない場合には、当該メッセージを秘密にすることもできる。たとえば、メッセージを入力するときに、当該メッセージが秘密であることを、音声または外部コンピュータにより入力することができる。すると、メッセージを作成するとき或いはメッセージを作成した後に、秘密であることを示すラベルがメッセージに付加される。したがって、メッセージを伝達する側のロボットでは、当該ラベルの付されたメッセージに従うコミュニケーション行動を宛先のユーザのみに対して実行する。つまり、宛先のユーザ以外のユーザがロボットの近傍或いは周囲に存在しないことを確認してから、メッセージを伝達し、メッセージの伝達中に宛先のユーザ以外のユーザがロボットの近傍或いは周囲に近づいた場合には、メッセージの伝達を中断する。
【００９９】
具体的には、ロボット１２のＣＰＵ６０は、図５および図６に示すフロー図に従ってメッセージの送信／記録処理を実行し、図７〜図９に示すフロー図に従ってメッセージの伝達処理を実行する。
【０１００】
なお、ロボット１４のＣＰＵ６０よって実行される処理は、ロボット１２のＣＰＵ６０によって実行される処理と同じであるため、ロボット１２のＣＰＵ６０によって実行される処理についてのみ説明し、ロボット１４のＣＰＵ６０によって実行される処理についての説明は省略する。
【０１０１】
ユーザ（ユーザＡまたはユーザＢ）からメッセージの入力指示が入力され、宛先のユーザ名が入力されると、図５に示すように、メッセージの送信／記録処理を開始し、ステップＳ１で映像および音声を取得する。つまり、カメラ３４および５６からの映像信号をメモリ７０に記録するとともに、マイク３６からの音声信号をメモリ７０に記録する。
【０１０２】
続くステップＳ３では、メッセージの入力が終了したかどうかを判断する。具体的には、ユーザからメッセージの入力終了が指示されたかどうかを判断する。ただし、音声が一定時間以上入力されない場合に、メッセージの入力が終了したと判断するようにしてもよい。ステップＳ３で“ＮＯ”であれば、つまりメッセージの入力が終了していなければ、そのままステップＳ１に戻る。
【０１０３】
一方、ステップＳ３で“ＹＥＳ”であれば、つまりメッセージの入力が終了すれば、ステップＳ５でマイク３６を通して入力された音声について音声認識処理を実行する。次いで、ステップＳ７で、後述する身体動作の特定処理を実行し、ステップＳ９では、当該メッセージが秘密であるかどうかを判断する。つまり、ユーザがメッセージを秘密にすることを、音声または外部コンピュータにより入力したかどうかを判断する。
【０１０４】
ステップＳ９で“ＮＯ”であれば、つまり当該メッセージが秘密でなければ、ステップＳ１１で、宛先のユーザ名、テキストデータおよび識別子ｓi を含むメッセージを作成して、ステップＳ１５に進む。一方、ステップＳ９で“ＹＥＳ”であれば、つまり当該メッセージが秘密であれば、ステップＳ１３で、秘密メッセージを作成して、すなわち、宛先のユーザ名、テキストデータおよび識別子ｓi を含むメッセージに秘密のラベルを付して、ステップＳ１５に進む。
【０１０５】
続いて、ステップＳ１５では、当該メッセージを他のロボット（この実施例では、ロボット１４）に送信するかどうかを判断する。つまり、入力された宛先のユーザ名を宛先ＤＢ１０２に記録される宛先情報のテーブルから検索し、当該ユーザ名に対応して記録されるアクセスポイントが他のロボットへのアクセスポイントかどうかを判断する。
【０１０６】
ステップＳ１５で“ＹＥＳ”であれば、つまり他のロボットへ送信するメッセージであれば、ステップＳ１７で他のロボットにメッセージを送信して、処理を終了する。つまり、宛先のコミュニケーション対象としてのユーザとの間でコミュニケーション行動を実行するロボットにメッセージを送信する。一方、ステップＳ１５で“ＮＯ”であれば、つまり他のロボットへ送信するメッセージでなければ、ステップＳ１９でメッセージをメモリ７０に記録して、処理を終了する。
【０１０７】
なお、この実施例では、メッセージの宛先としてのユーザが予め宛先ＤＢ１０２に登録されていることを前提として、メッセージを送信／記録するようにしてあるが、入力された宛先のユーザ名が宛先ＤＢ１０２に登録されていない場合には、メッセージの作成処理を実行する以前に、メッセージを入力したユーザに対して、メッセージの宛先のアクセスポイントを入力させるコミュニケーション行動を実行するようにすればよい。たとえば、“宛先のアクセスポイントを入力してください。”という音声をスピーカ５２から出力すればよい。
【０１０８】
身体動作特定処理が開始されると、図６に示すように、ステップＳ２１で取得した行動（身体動作）すなわち身体動作を撮影した映像信号を解析して、行動要素に分解する。つまり、各関節の角度の時間変化を抽出する。続くステップＳ２３では、ステップＳ２１において分解した行動要素と辞書ＤＢ１０４或いはメモリ７０に記録される行動パターンとを比較し、一致度が一番高い行動パターンを検出する。そして、ステップＳ２５では、ステップＳ２３で検出した行動パターンに対応する識別子ｓi を特定（取得）して、身体動作特定処理をリターンする。
【０１０９】
一方、ＣＰＵ６０は、上述したようなメッセージの送信／記録処理を実行していない間に所定の時間間隔或いはユーザの指示に従って図７〜図９に示すようなメッセージ伝達処理を実行する。メッセージ伝達処理を開始すると、図７に示すように、ステップＳ３１で未伝達のメッセージがメモリ７０に存在するかどうかを判断する。
【０１１０】
ステップＳ３１で“ＮＯ”であれば、つまり未伝達のメッセージが存在しなければ、そのまま処理を終了する。ただし、ユーザの指示でメッセージ伝達処理を開始した場合には、“メッセージはありません。”のような音声をスピーカ５２から出力して、処理を終了するようにしてもよい。一方、ステップＳ３１で“ＹＥＳ”であれば、つまり未伝達のメッセージが存在すれば、ステップＳ３３で１の未伝達メッセージを選択して、ステップＳ３５に進む。ただし、未伝達メッセージが１つしか存在しない場合には、そのままステップＳ３５に移行する。
【０１１１】
ステップＳ３５では、周囲の人物（ユーザ）を検出するとともに、存在するユーザを特定する。上述したように、この実施例では、顔画像を撮影し、撮影した顔画像のデータとユーザＤＢ１００に記憶される識別情報（画像データ）とを比較して、ユーザを特定する。
【０１１２】
続くステップＳ３７では、未伝達の人物が存在するかどうかを判断する。つまり、当該メッセージの宛先としてのユーザが当該ロボット１２の近傍或いは周囲に存在するかどうかを判断する。ステップＳ３７で“ＮＯ”であれば、つまり当該メッセージの宛先としてのユーザが存在しなければ、ステップＳ３９でユーザを探すコミュニケーション行動を実行して、ステップＳ３５に戻る。
【０１１３】
一方、ステップＳ３７で“ＹＥＳ”であれば、つまり当該メッセージの宛先としてのユーザが存在すれば、ステップＳ４１で当該メッセージが秘密か（秘匿性を有するか）どうかを判断する。ステップＳ４１で“ＮＯ”であれば、つまり当該メッセージが秘密でなければ、図８に示すステップＳ４７に進む。
【０１１４】
一方、ステップＳ４１で“ＹＥＳ”であれば、つまり当該メッセージが秘密であれば、ステップＳ４３で、ロボット１２の近傍或いは周囲に当該メッセージの宛先としてのユーザ以外のユーザ等が存在するかどうかを判断する。他の人物が存在するか否かは、上述のステップＳ３５の処理の結果に基づいて判断される。ただし、周囲に存在するユーザが誰であるかまでを特定する必要がないため、カメラ３４および５６からの映像信号に基づいて容易に判断することができ、また、超音波距離センサ２６の入力に基づいて判断することもできる。或いは、これら両方のセンサを用いて判断するようにしてもよい。
【０１１５】
ステップＳ４３で“ＮＯ”であれば、つまり他のユーザが存在しなければ、図９に示すステップＳ５３に進む。一方、ステップＳ４３で“ＹＥＳ”であれば、つまり他のユーザが存在すれば、ステップＳ４５で当該宛先のユーザに秘密のメッセージが届いていることを伝達して、処理を終了する。たとえば、ステップＳ４５では、ロボット１２は、前方斜め上方を向いて、“○○（当該ユーザ名）さん、秘密（親展）のメッセージが届いているよ。”と発声する。具体的には、ＣＰＵ６０は、角度データ（Ｓ軸０度、Ｔ軸０度、Ｕ軸＋４５度、Ｘ軸０度、Ｙ軸０度、Ｚ軸０度、Ｗ軸０度、Ａ軸０度、Ｂ軸０度、Ｃ軸０度、Ｄ軸０度）をモータ制御ボード７２に送るとともに、“○○さん、秘密のメッセージが届いているよ。”に相当する音声合成データをメモリ７０から読み出して音声入力／出力ボード７６に与える。
【０１１６】
上述したように、ステップＳ４１で“ＮＯ”であれば、図８に示すステップＳ４７に進み、このステップＳ４７では、メッセージ中の最初のコミュニケーション行動を実行する。たとえば、お辞儀をしながら、“○○さん、こんにちは。”と発声する。このコミュニケーション行動を実行するＣＰＵ６０の詳細な処理については、上述したとおりであるため、ここでは詳細な説明は省略する。続くステップＳ４９では、当該ユーザ宛のメッセージの伝達を終了したかどうかを判断する。ステップＳ４９で“ＹＥＳ”であれば、つまり当該ユーザ宛のメッセージの伝達を終了すると、図７に示したように処理を終了する。
【０１１７】
一方、ステップＳ４９で“ＮＯ”であれば、つまり当該ユーザ宛のメッセージの伝達を終了していなければ、ステップＳ５１で、メッセージ中の次のコミュニケーション行動を実行して、ステップＳ４９に戻る。たとえば、右手を前に出して（握手をしながら）、“お元気ですか？”と発声する。このコミュニケーション行動を実行するＣＰＵ６０の詳細な処理については、上述したとおりであるため、ここでは詳細な説明は省略する。
【０１１８】
このように、ステップＳ４９およびＳ５１の処理が繰り返されて、当該ユーザ宛のメッセージがロボット１２によって再現されて、当該ユーザに伝達される。
【０１１９】
上述したように、ステップＳ４３で“ＮＯ”であれば、図９に示すステップＳ５３に進み、このステップＳ５３では、メッセージの伝達を開始することを伝えるコミュニケーション行動を実行する。たとえば、周囲を見渡しながら、“○○さん宛の秘密のメッセージを伝えるよ。”と発声する。具体的には、ＣＰＵ６０は、角度データ（Ｓ軸０度、Ｔ軸＋４５度、Ｕ軸０度、Ｘ軸０度、Ｙ軸０度、Ｚ軸０度、Ｗ軸０度、Ａ軸０度、Ｂ軸０度、Ｃ軸０度、Ｄ軸０度）および角度データ（Ｓ軸０度、Ｔ軸−４５度、Ｕ軸０度、Ｘ軸０度、Ｙ軸０度、Ｚ軸０度、Ｗ軸０度、Ａ軸０度、Ｂ軸０度、Ｃ軸０度、Ｄ軸０度）を一定の周期で交互にモータ制御ボード７２に送るとともに、“○○さん宛の秘密のメッセージを伝えるよ。”に相当する音声合成データをメモリ７０から読み出して音声入力／出力ボード７６に与える。
【０１２０】
続くステップＳ５５では、メッセージ中の最初のコミュニケーション行動を実行する。次にステップＳ５７では、当該ユーザ宛のメッセージの伝達を終了したかどうかを判断する。ステップＳ５７で“ＹＥＳ”であれば、つまり当該ユーザ宛のメッセージの伝達を終了すると、図７に示したように処理を終了する。一方、ステップＳ５７で“ＮＯ”であれば、つまり当該ユーザ宛のメッセージの伝達を終了していなければ、ステップＳ５９で周囲の人物（ユーザ）を検出するとともに、周囲に存在するユーザを特定して、ステップＳ６１に進む。
【０１２１】
ステップＳ６１では、他の人物（ユーザ）が存在するかどうかを判断する。ステップＳ６１で“ＮＯ”であれば、つまり他のユーザが存在しなければ、ステップＳ６３で、メッセージ中の次のコミュニケーション行動を実行して、ステップＳ５７に戻る。
【０１２２】
なお、ステップＳ５５〜ステップＳ５９の処理については、上述したステップＳ４７〜ステップＳ５１の処理と同じであり、また、ステップ５９およびステップＳ６１の処理は上述したステップＳ３５およびステップＳ４３の処理と同じであるため、具体的な説明については省略した。
【０１２３】
一方、ステップＳ６１で“ＹＥＳ”であれば、つまり他のユーザが存在すれば、ステップＳ６５で、他の人物が存在することを伝えるとともに、待ちを示すコミュニケーション行動を実行して、ステップＳ５７に戻る。たとえば、待ちを示すコミュニケーション行動としては、両腕（４０Ｒ、４０Ｌ、４４Ｒ、４４Ｌ、４６Ｒ、４６Ｌ）を前方に出して、“周囲に他の人が居るので、ちょっと待ってね。”と発声する。具体的には、ＣＰＵ６０は、角度データ（Ｓ軸０度、Ｔ軸０度、Ｕ軸０度、Ｘ軸＋４５度、Ｙ軸０度、Ｚ軸０度、Ｗ軸０度、Ａ軸＋４５度、Ｂ軸０度、Ｃ軸０度、Ｄ軸０度）をモータ制御ボード７２に送るとともに、“周囲に他の人が居るので、ちょっと待ってね。”に相当する音声合成データをメモリ７０から読み出して音声入力／出力ボード７６に与える。
【０１２４】
この実施例によれば、ロボットが音声だけでなくコミュニケーションの相手の身振り手振りも再現するため、ロボットを通して親密なコミュニケーションを取ることができる。したがって、時間的距離或いは物理的距離を超えたコミュニケーションが可能である。
【０１２５】
なお、この実施例では、日本語を話すユーザ同士のコミュニケーションについて説明したが、他の言語を話すユーザ同士のコミュニケーションについても適用できることは言うまでもない。
【０１２６】
また、この実施例では、他のロボットのアクセスポイントにアクセスしてメッセージを送信するようにしたが、アクセスポイントに変えてメールアドレスを宛先ＤＢに記録しておく場合には、電子メールでメッセージを送信することができる。たとえば、メッセージに含まれるテキストデータおよび身体動作の識別子ｓi を電子メールの本文入力欄に記述するようにすればよい。
【０１２７】
他の実施例のシステム１０は、コミュニケーション対象の母国語が異なるために、ロボット１２或いはロボット１４において、コミュニケーション行動の翻訳を実行するようにした以外は上述の実施例と同様であるため、重複する部分についは説明を省略することにする。
【０１２８】
他の実施例のロボット１２およびロボット１４では、メッセージの翻訳機能すなわち音声（テキストデータ）の翻訳機能および身体行動の翻訳機能を備えている。たとえば、音声認識機能を含む翻訳機能（翻訳システム）としては、本件出願人が研究開発した日英双方向音声翻訳システム「ＡＴＲ−ＭＡＴＲＩＸ」を用いることができる。この「ＡＴＲ−ＭＡＴＲＩＸ」については、「Reaves et al.,"ATR-MATRIX: A Speech Translation System between English and Japanese", 情報処理学会論文集, Vol. 2, pp.87-88, 1999」に詳細に開示されている。
【０１２９】
また、ロボット１２およびロボット１４では、メッセージの翻訳に必要な情報等が追加される。図示は省略するが、メモリ７０には、複数の言語に対応した音声合成データが記録される。また、図示は省略するが、辞書ＤＢ１０４の音声認識用辞書には、複数のユーザの複数の言語（この他の実施例では、日本語および英語）による日常会話を記録した音声データを複数記録したものであり、たとえば、各言語に分けて記録される。
【０１３０】
また、図１０（Ａ）に示すように、宛先情報のテーブルには、ユーザ名およびアクセスポイントに加えて、母国語の情報が記録される。ただし、他の実施例では、簡単のため、ユーザＡおよびユーザＢの母国語が日本語であり、ユーザＣの母国語が英語である場合について示してあるが、これは単なる例示であり、これに限定されるべきでない。たとえば、ユーザＡとユーザＢとが異なる母国語である場合やユーザＡ、ユーザＢおよびユーザＣがそれぞれ互いに異なる母国語である場合についても考えることができる。また、母国語も日本語や英語に限定されるべきでなく、他の国等の言語であってもよいことはもちろんである。
【０１３１】
さらに、図１０（Ｂ）に示すように、行動パターン辞書では、身体動作に対応する行動パターンの辞書として、一対の行動パターンが記録される。具体的には、識別子ｓi は日本人（ここでは、日本国籍の人というよりは、日本で育った人を意味する。）の身体動作（行動パターン）の識別子であり、識別子ｔi はアメリカ人（同様に、アメリカで育った人を意味する。）の行動パターンの識別子である。
【０１３２】
このように、日本人の行動パターンとアメリカ人の行動パターンとを用意するのは、同じ身体動作であっても、国（地域）や文化が異なれば、それぞれ身振り手振りが異なる場合があるからである。たとえば、日本人がおいでおいでをする場合には、掌が下向きで手招きするが、アメリカ人がおいでおいでをする場合には、掌が上向きで手招きする。また、日本人が挨拶をする場合には、お辞儀をするが、外国においては、抱きついたり、キスをしたりする。
【０１３３】
したがって、辞書ＤＢ１０４（或いはメモリ７０）には、識別子ｓi および識別子ｔi に対応する行動パターンのデータが記録され、メモリ７０のＲＯＭには識別子ｓi および識別子ｔi に対応する角度データが記録される。
【０１３４】
たとえば、ユーザＡとユーザＣとが、ロボット１２およびロボット１４を通してコミュニケーションを取る場合には、ユーザＡがロボット１２に対してメッセージを入力すると、ロボット１２は、入力された宛先のユーザ（ユーザＣ）の母国語の情報を宛先情報から取得して、翻訳の必要性を判断する。翻訳が必要な場合には、メッセージに含まれるテキストデータを翻訳するとともに、行動パターンを翻訳する。つまり、テキストデータを日本語から英語に翻訳するとともに、行動パターンの識別子ｓi に対応する識別子ｔi に変更（翻訳）する。
【０１３５】
このように翻訳されたメッセージがロボット１２からロボット１４に送信され、ロボット１４では受信したメッセージに従うコミュニケーション行動をユーザＣに対して実行する。
【０１３６】
一方、ユーザＣがロボット１４に対してメッセージを入力すると、入力された宛先のユーザ（ユーザＡ）の母国語の情報を宛先情報から取得して、翻訳の必要性を判断する。翻訳が必要な場合には、メッセージに含まれるテキストデータを翻訳するとともに、行動パターンを翻訳する。つまり、テキストデータを英語から日本語に翻訳するとともに、行動パターンの識別子ｔi に対応する識別子ｓi に翻訳する。
【０１３７】
このように翻訳されたメッセージがロボット１４からロボット１２に送信され、ロボット１２では受信したメッセージに従うコミュニケーション行動をユーザＡに対して実行する。
【０１３８】
具体的には、ロボット１２（ロボット１４）のＣＰＵ６０が図１１に示すフロー図に従ってメッセージの送信／記録処理を実行する。ただし、上述の実施例で示した処理と同じステップについては同じ参照番号を付し、その説明については省略することにする。また、メッセージ伝達処理は、上述の実施例と同じであるため、重複した説明は省略する。
【０１３９】
図１１に示すように、ステップＳ１１またはＳ１３でメッセージを作成すると、ステップＳ１０１で当該メッセージについての翻訳が必要かどうかを判断する。具体的には、当該メッセージを入力したユーザの母国語と当該メッセージの宛先としてのユーザの母国語とを比較し、異なるか否かを判断する。
【０１４０】
ステップＳ１０１で“ＮＯ”であれば、つまり翻訳が必要でなければ、そのままステップＳ１５に進む。一方、ステップＳ１０１で“ＹＥＳ”であれば、つまり翻訳が必要であれば、ステップＳ１０３でメッセージを翻訳してからステップＳ１５に進む。
【０１４１】
他の実施例によれば、コミュニケートする相手に応じてロボットがメッセージを翻訳するので、異なる母国語のユーザ同士であってもロボットを通して簡単にコミュニケーションを図ることができる。
【０１４２】
なお、他の実施例では、異なる母国語のユーザにメッセージを送信する場合には、必ずメッセージを翻訳するようにしたが、身体動作については翻訳せずにそのままメッセージを送信するようにしてもよい。また、上述の実施例に示したように、メッセージを翻訳せずにそのまま送信するようにしてもよい。このようにすれば、他の国における言語や身振り手振りを知ることができ、外国語を習得したり、異文化交流したりできると考えられる。
【０１４３】
また、他の実施例では、メッセージの送信側でメッセージを翻訳するようにしたが、メッセージの受信側でメッセージを翻訳するようにしてもよい。
【図面の簡単な説明】
【図１】この発明の一実施例の構成を示す図解図である。
【図２】図１実施例のロボットのハードウェアを示す正面図である。
【図３】図１実施例のロボットの電気的な構成を示すブロック図である。
【図４】図３に示すデータベースの内容の一例を示す図解図である。
【図５】図３に示すＣＰＵのメッセージの送信／記録処理を示すフロー図である。
【図６】図３に示すＣＰＵの身体動作の特定処理を示すフロー図である。
【図７】図３に示すＣＰＵのメッセージ伝達処理の一部を示すフロー図である。
【図８】図３に示すＣＰＵのメッセージ伝達処理の他の一部を示すフロー図である。
【図９】図３に示すＣＰＵのメッセージ伝達処理のその他の一部を示すフロー図である。
【図１０】この発明の他の実施例のデータベースの内容を示す図解図である。
【図１１】他の実施例のＣＰＵのメッセージの送信／記録処理の一例を示すフロー図である。
【符号の説明】
１０ …コミュニケーションシステム
１２，１４ …コミュニケーションロボット
６０ …ＣＰＵ
７０ …メモリ
７２ …モータ制御ボード
７４ …センサ入力／出力ボード
７６ …音声入力／出力ボード
１００，１０２，１０４ …データベース
Claims (9)
- １または複数のコミュニケーション対象との間で音声および身体動作の少なくとも一方を含むメッセージに従ってコミュニケーション行動を実行するコミュニケーションロボットであって、
１の前記コミュニケーション対象のコミュニケーション行動を取得する行動取得手段、
前記行動取得手段によって取得されたコミュニケーション行動を構成する音声および身体動作の少なくとも一方を含むメッセージを作成する作成手段、
前記作成手段によって作成されたメッセージが宛先のコミュニケーション対象に対してのみ伝達することを示す秘匿性を有することを、前記１のコミュニケーション対象によって指示されたか否かを判断する秘匿性判断手段、
前記秘匿性判断手段の判断結果が肯定的であるとき、前記メッセージを前記宛先のコミュニケーション対象に対してのみ伝達することを示す識別情報を付加する付加手段、
前記メッセージを記録媒体に記録する記録手段、
前記記録媒体に記録されたメッセージの前記宛先のコミュニケーション対象が近傍或いは周囲に存在するか否かを判断する対象存在判断手段、
前記対象存在判断手段の判断結果が肯定的であるとき、前記メッセージに前記識別情報が付加されているかどうかを判断する付加判断手段、
前記付加判断手段の判断結果が肯定的であるとき、前記宛先のコミュニケーション対象以外のコミュニケーション対象が近傍或いは周囲に存在するか否かを判断する非対象存在判断手段、および
前記非対象存在判断手段の判断結果が否定的であるとき、前記記録媒体に記録されたメッセージに従うコミュニケーション行動を前記宛先のコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションロボット。 - 前記１または複数のコミュニケーション対象との間でコミュニケーション行動を行うコミュニケーションロボットと通信するための通信情報を、各コミュニケーション対象について記憶する通信情報記憶手段、
前記メッセージの宛先のコミュニケーション対象についての通信情報が他のコミュニケーションロボットの通信情報を示すとき、当該通信情報に従って前記メッセージを当該他のコミュニケーションロボットに送信する送信手段、および
前記作成手段によってメッセージが作成されたとき当該メッセージの宛先に応じて前記記録手段および前記送信手段のいずれか一方を能動化する能動化手段をさらに備える、請求項１記載のコミュニケーションロボット。 - 他のコミュニケーションロボットから送信されたメッセージを受信して前記記録媒体に記録するメッセージ受信手段をさらに備える、請求項２記載のコミュニケーションロボット。
- 前記実行手段は前記記録手段に前記メッセージが記録されているとき当該メッセージの宛先としてのコミュニケーション対象を探すためのコミュニケーション行動を実行する、請求項１ないし３のいずれかに記載のコミュニケーションロボット。
- 前記非対象存在判断手段の判断結果が肯定的であるとき、前記実行手段は当該メッセージの存在のみを当該メッセージの宛先としてのコミュニケーション対象に対して報知するコミュニケーション行動を実行する、請求項１ないし４のいずれかに記載のコミュニケーションロボット。
- 前記非対象存在判断手段は、前記実行手段によって秘匿性を有するメッセージに従うコミュニケーション行動が実行されているとき、当該メッセージの宛先以外のコミュニケーション対象が存在するか否かをさらに判断し、
前記非対象存在判断手段の判断結果が肯定的であるとき、前記実行手段は当該秘匿性を有するメッセージに従うコミュニケーション行動を中断する、請求項５記載のコミュニケーションロボット。 - 少なくともコミュニケーション対象の母国語情報を記録するデータベース、
前記１のコミュニケーション対象の母国語と前記宛先のコミュニケーション対象の母国語とを比較する比較手段、および
前記比較手段の比較結果に基づいて前記メッセージを翻訳する翻訳手段をさらに備える、請求項１ないし６のいずれかに記載のコミュニケーションロボット。 - 前記翻訳手段は、前記メッセージに含まれる音声を翻訳する音声翻訳手段、および前記メッセージに含まれる身体動作を翻訳する身体行動翻訳手段を含む、請求項７記載のコミュニケーションロボット。
- １または複数のコミュニケーション対象との間で音声および身体動作の少なくとも一方を含むメッセージに従ってコミュニケーション行動を実行する２以上のコミュニケーションロボットを互いに通信可能に設けたコミュニケーションシステムであって、
前記コミュニケーションロボットは、
１の前記コミュニケーション対象のコミュニケーション行動を取得する行動取得手段、
前記行動取得手段によって取得されたコミュニケーション行動を構成する音声および身体動作の少なくとも一方を含むメッセージを作成する作成手段、
前記作成手段によって作成されたメッセージが宛先のコミュニケーション対象に対してのみ伝達することを示す秘匿性を有することを、前記１のコミュニケーション対象によって指示されたか否かを判断する秘匿性手段、
前記秘匿性判断手段の判断結果が肯定的であるとき、前記メッセージを前記宛先のコミュニケーション対象に対してのみ伝達することを示す識別情報を付加する付加手段、
前記作成手段によって作成されたメッセージを宛先のコミュニケーション対象との間でコミュニケーション行動を実行する他のコミュニケーションロボットに送信する送信手段、
他の前記コミュニケーションロボットから送信されたメッセージを受信して記録媒体に記録するメッセージ受信手段、および
前記記録媒体に記録されたメッセージの前記宛先のコミュニケーション対象が近傍或いは周囲に存在するか否かを判断する対象存在判断手段、
前記対象存在判断手段の判断結果が肯定的であるとき、前記メッセージに前記識別情報が付加されているかどうかを判断する付加判断手段、
前記付加判断手段の判断結果が肯定的であるとき、前記宛先のコミュニケーション対象以外のコミュニケーション対象が近傍或いは周囲に存在するか否かを判断する非対象存在判断手段、および
前記非対象存在判断手段の判断結果が否定的であるとき、前記記録媒体に記録されたメッセージに従うコミュニケーション行動を前記宛先のコミュニケーション対象に対して実行する実行手段を備える、コミュニケーションシステム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003019054A JP4014044B2 (ja) | 2003-01-28 | 2003-01-28 | コミュニケーションロボットおよびそれを用いたコミュニケーションシステム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003019054A JP4014044B2 (ja) | 2003-01-28 | 2003-01-28 | コミュニケーションロボットおよびそれを用いたコミュニケーションシステム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004230479A JP2004230479A (ja) | 2004-08-19 |
| JP4014044B2 true JP4014044B2 (ja) | 2007-11-28 |
Family
ID=32949030
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003019054A Expired - Lifetime JP4014044B2 (ja) | 2003-01-28 | 2003-01-28 | コミュニケーションロボットおよびそれを用いたコミュニケーションシステム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4014044B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105082150A (zh) * | 2015-08-25 | 2015-11-25 | 国家康复辅具研究中心 | 一种基于用户情绪及意图识别的机器人人机交互方法 |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006146435A (ja) * | 2004-11-17 | 2006-06-08 | Univ Waseda | 動作伝達システムおよび動作伝達方法 |
| KR100627851B1 (ko) * | 2005-04-14 | 2006-09-26 | 에스케이 텔레콤주식회사 | 이동형 로봇을 이용한 멀티미디어 메시지 서비스 시스템 및그 방법 |
| JP4751192B2 (ja) * | 2005-12-12 | 2011-08-17 | 本田技研工業株式会社 | 移動ロボット |
| JP4512830B2 (ja) * | 2006-02-20 | 2010-07-28 | 国立大学法人埼玉大学 | コミュニケーションロボット |
| JP2007260864A (ja) * | 2006-03-29 | 2007-10-11 | Advanced Telecommunication Research Institute International | コミュニケーションロボット |
| JP2008254074A (ja) * | 2007-03-30 | 2008-10-23 | Sega Corp | ロボットのモーション編集装置及びそのプログラム |
| US20110118870A1 (en) * | 2007-09-06 | 2011-05-19 | Olympus Corporation | Robot control system, robot, program, and information storage medium |
| JP2009241166A (ja) * | 2008-03-28 | 2009-10-22 | Advanced Telecommunication Research Institute International | ロボット遠隔操作システム |
| KR101548907B1 (ko) * | 2009-01-06 | 2015-09-02 | 삼성전자 주식회사 | 다중언어의 대화시스템 및 그 제어방법 |
| JP5453908B2 (ja) * | 2009-05-08 | 2014-03-26 | 日本電気株式会社 | ロボット装置 |
| JP5783758B2 (ja) * | 2011-02-28 | 2015-09-24 | 株式会社デジタルリンク | ロボット端末及びロボットシステム |
| JP6559417B2 (ja) * | 2014-12-03 | 2019-08-14 | シャープ株式会社 | 情報処理装置、情報処理方法、対話システム、および制御プログラム |
| JP6663444B2 (ja) | 2015-10-29 | 2020-03-11 | 株式会社日立製作所 | 視覚情報と聴覚情報の同期方法および情報処理装置 |
| JP6711621B2 (ja) * | 2015-12-28 | 2020-06-17 | ヴイストン株式会社 | ロボット、ロボット制御方法およびロボットプログラム |
| JP2017191390A (ja) * | 2016-04-12 | 2017-10-19 | ロボットスタート株式会社 | コミュニケーションシステム、会話ログ収集システム、サーバ及びコミュニケーション方法 |
| JP6798258B2 (ja) * | 2016-11-08 | 2020-12-09 | 富士通株式会社 | 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム |
| CN106695786B (zh) * | 2016-12-12 | 2020-03-31 | 北京光年无限科技有限公司 | 一种用于智能机器人分工协作方法以及机器人 |
| CN108326875B (zh) | 2017-01-20 | 2023-03-24 | 松下知识产权经营株式会社 | 通信控制方法与装置、远程呈现机器人以及存储介质 |
| JP6788845B2 (ja) | 2017-06-23 | 2020-11-25 | パナソニックＩｐマネジメント株式会社 | 遠隔通信方法、遠隔通信システム及び自律移動装置 |
| CN109635616B (zh) * | 2017-10-09 | 2022-12-27 | 阿里巴巴集团控股有限公司 | 互动方法和设备 |
| JP6724889B2 (ja) * | 2017-12-07 | 2020-07-15 | カシオ計算機株式会社 | 見守りシステム及び見守り方法 |
| JP7331349B2 (ja) * | 2018-02-13 | 2023-08-23 | カシオ計算機株式会社 | 会話出力システム、サーバ、会話出力方法及びプログラム |
| JP7180198B2 (ja) | 2018-08-20 | 2022-11-30 | 富士フイルムビジネスイノベーション株式会社 | 自走式移動装置、情報処理装置及びプログラム |
| CN111736694B (zh) * | 2020-06-11 | 2024-03-05 | 上海境腾信息科技有限公司 | 一种远程会议的全息呈现方法、存储介质及*** |
-
2003
- 2003-01-28 JP JP2003019054A patent/JP4014044B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105082150A (zh) * | 2015-08-25 | 2015-11-25 | 国家康复辅具研究中心 | 一种基于用户情绪及意图识别的机器人人机交互方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004230479A (ja) | 2004-08-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4014044B2 (ja) | コミュニケーションロボットおよびそれを用いたコミュニケーションシステム | |
| JP4024683B2 (ja) | コミュニケーションロボット | |
| JP5429462B2 (ja) | コミュニケーションロボット | |
| JP5033994B2 (ja) | コミュニケーションロボット | |
| JP3996015B2 (ja) | 姿勢認識装置及び自律ロボット | |
| JP4599522B2 (ja) | コミュニケーションロボット | |
| JP4718987B2 (ja) | インターフェース装置およびそれを備えた移動ロボット | |
| JP5120745B2 (ja) | コミュニケーションロボット | |
| JP2009241166A (ja) | ロボット遠隔操作システム | |
| JP4677593B2 (ja) | コミュニケーションロボット | |
| US20190279529A1 (en) | Portable robot for two-way communication with the hearing-impaired | |
| JP2009045692A (ja) | コミュニケーションロボットとその動作方法 | |
| JP5145569B2 (ja) | 対象物特定方法および装置 | |
| JP4399603B2 (ja) | コミュニケーションロボット | |
| WO2022228068A1 (zh) | 电子设备的图像获取方法、装置、***及电子设备 | |
| JP2006272471A (ja) | コミュニケーションロボット | |
| CN108959273A (zh) | 翻译方法、电子装置及存储介质 | |
| JP4517086B2 (ja) | コミュニケーションロボットシステムおよびロボット制御装置 | |
| JP2004214895A (ja) | 通信補助装置 | |
| JP2009131914A (ja) | ロボット制御システム | |
| JP2005131713A (ja) | コミュニケーションロボット | |
| JP3942599B2 (ja) | コミュニケーションロボット | |
| JP2007160427A (ja) | ロボット制御システム | |
| JP2002361585A (ja) | コミュニケーションロボット | |
| JP3745649B2 (ja) | コミュニケーションロボット |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070403 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070703 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070808 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070905 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070905 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100921 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4014044 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110921 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120921 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130921 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |