JP2005231012A - ロボット装置及びその制御方法 - Google Patents

Abstract

【課題】
本発明は、エンターテインメント性を格段と向上させ得るロボット装置及びその制御方法を実現しようとするものである。
【解決手段】
胴体部に多段階の関節機構を有する複数の腕部がそれぞれ連結されたロボット装置及びその制御方法において、各腕部が動作する際に描く軌道を当該各腕部の平均移動速度と共に動作パターンとして記憶する動作記憶手段と、供給される音楽データに基づく音楽からリズムを抽出するリズム抽出手段と、リズムに基づいて各腕部の平均移動速度の範囲を決定する速度範囲決定手段と、決定された範囲に合う動作パターンを動作記憶手段から選択的に読み出す動作選択手段とを設けるようにした。
【選択図】 図６

Description

本発明はロボット装置及びその制御方法に関し、例えばエンターテインメントロボットに適用して好適なものである。

近年、多くの企業や大学等の研究機関においてヒューマノイド型ロボットの開発が進められている。かかるヒューマノイド型ロボットは、ＣＣＤ（Charge Coupled Device）カメラ、マイクロホン及びタッチセンサ等の外部センサと、バッテリセンサ及び加速度センサ等の内部センサとが搭載され、これら外部センサ及び内部センサの出力に基づいて外部及び内部の状態を認識し、認識結果に基づいて自律的に行動し得るようになされたものである（例えば非特許文献１参照）。

また近年では、ユーザが行う姿勢や行動をほぼ同様に真似て再現する機能（以下、これを物真似機能と呼ぶ）や、音楽に合わせてダンスを踊る機能（以下、これをダンス機能と呼ぶ）を搭載したエンターテインメントロボットも提案されている（例えば特許文献２及び３参照。）
特開２００３−２７０８３５公報 特開平８−１８７３６４号公報 特開２００２−８６３７８公報

ところで、かかる物真似機能が搭載された従来のロボットでは、予め設定入力された動作パターンのみならず、ユーザの各種動作を真似ることによって獲得した複数種類の動作パターンを、如何にして面白くかつバリエーション豊富に発現するかという課題があった。

この課題を解決する１つの方法として、この物真似機能に上述のようなダンス機能を組み合わせる方法が考えられる。すなわちダンス機能により音楽に合わせてダンスを踊る際に、物真似機能によって獲得した複数種類の動作パターンを当該音楽にマッチするように選択的に発現させることができれば、より一層エンターテインメント性が高いロボットを実現できると考えられる。

ところが、従来のロボットに搭載されたダンス機能を実行するにあたって、ユーザは所望の動作パターンからなる踊りをロボットに発現させるためには、ロボットの手足等を直接手にとりながら当該動作パターンに応じた一連の動きを実際に行わせるようにして教示する方法（いわゆるダイレクトティーチング法）を事前に行わなければならないといった煩雑さがあった。

さらにロボットの踊りを面白くかつバリエーション豊富に発現させるためには、音楽の選曲に応じて所望の踊りを構成する種々の動作パターンの全てについて、ユーザが事前にロボットに教示させておかなければならず、ユーザにとって非常に負担となるという問題があった。

本発明は以上の点を考慮してなされたもので、エンターテインメント性を格段と向上させ得るロボット装置及びその制御方法を提案しようとするものである。

かかる課題を解決するため本発明においては、胴体部に多段階の関節機構を有する複数の腕部がそれぞれ連結されたロボット装置において、各腕部が動作する際に描く軌道を当該各腕部の平均移動速度と共に動作パターンとして記憶する動作記憶手段と、供給される音楽データに基づく音楽からリズムを抽出するリズム抽出手段と、リズムに基づいて各腕部の平均移動速度の範囲を決定する速度範囲決定手段と、決定された範囲に合う動作パターンを動作記憶手段から選択的に読み出す動作選択手段とを設けるようにした。

この結果ロボット装置では、ユーザが選曲した音楽のリズムに合う最適な動作パターンに応じたダンスを踊ることができ、かくして従来のようにユーザが事前にロボット装置に音楽ごとにその音楽に応じた動作パターンを教示させておくといった手間や煩雑さを回避することができる。

また本発明においては、撮像手段による撮像結果として得られるフレーム画像内に含まれる顔画像及び手画像を認識する画像認識手段と、画像認識手段により認識された顔画像に対する手画像の相対位置関係に基づいて、フレーム画像内を移動する手画像の軌道を検出する軌道検出手段と、軌道検出手段により検出された手画像の軌道をロボット用のサイズに変換して動作パターンを得るサイズ変換手段とを設け、動作記憶手段は、サイズ変換手段から得られる動作パターンを記憶するようにした。

この結果ロボット装置では、ユーザが所望する動作パターンをユーザ自身の動きを画像認識しながらロボット自身の動きとして学習することができ、かくして従来のようにユーザがロボット装置の手足を直接手にとりながら教示する方法を事前に行うといった手間や煩雑さを回避することができる。

さらに本発明においては、胴体部に多段階の関節機構を有する複数の腕部がそれぞれ連結されたロボット装置の制御方法において、供給される音楽データに基づく音楽からリズムを抽出する第１のステップと、リズムに基づいて各腕部の平均移動速度の範囲を決定する第２のステップと、各腕部が動作する際に描く軌道を当該各腕部の平均移動速度と共に動作パターンとして予め記憶しておき、複数の動作パターンの中から決定された範囲に合う動作パターンを選択的に読み出す第３のステップとを設けるようにした。

この結果ロボット装置では、ユーザが選曲した音楽のリズムに合う最適な動作パターンに応じたダンスを踊ることができ、かくして従来のようにユーザが事前にロボット装置に音楽ごとにその音楽に応じた動作パターンを教示させておくといった手間や煩雑さを回避することができる。

さらに本発明においては、撮像結果として得られるフレーム画像内に含まれる顔画像及び手画像を認識した後、当該顔画像に対する手画像の相対位置関係に基づいて、フレーム画像内を移動する手画像の軌道を検出し、当該検出された手画像の軌道をロボット用のサイズに変換して得られた動作パターンを記憶しておくようにした。

この結果ロボット装置では、ユーザが所望する動作パターンをユーザ自身の動きを画像認識しながらロボット自身の動きとして学習することができ、かくして従来のようにユーザがロボット装置の手足を直接手にとりながら教示する方法を事前に行うといった手間や煩雑さを回避することができる。

上述のように本発明によれば、胴体部に多段階の関節機構を有する複数の腕部がそれぞれ連結されたロボット装置において、各腕部が動作する際に描く軌道を当該各腕部の平均移動速度と共に動作パターンとして記憶する動作記憶手段と、供給される音楽データに基づく音楽からリズムを抽出するリズム抽出手段と、リズムに基づいて各腕部の平均移動速度の範囲を決定する速度範囲決定手段と、決定された範囲に合う動作パターンを動作記憶手段から選択的に読み出す動作選択手段とを設けるようにしたことにより、ユーザが選曲した音楽のリズムに合う最適な動作パターンに応じたダンスを踊ることができ、かくしてエンターテインメント性を格段と向上させ得るロボット装置を実現できる。

また本発明によれば、胴体部に多段階の関節機構を有する複数の腕部がそれぞれ連結されたロボット装置の制御方法において、供給される音楽データに基づく音楽からリズムを抽出する第１のステップと、リズムに基づいて各腕部の平均移動速度の範囲を決定する第２のステップと、各腕部が動作する際に描く軌道を当該各腕部の平均移動速度と共に動作パターンとして予め記憶しておき、複数の動作パターンの中から決定された範囲に合う動作パターンを選択的に読み出す第３のステップとを設けるようにしたことにより、ユーザが選曲した音楽のリズムに合う最適な動作パターンに応じたダンスを踊ることができ、かくしてエンターテインメント性を格段と向上させ得るロボット装置の制御方法を実現できる。

以下図面について、本発明の一実施の形態を詳述する。

（１）本実施の形態によるロボット１の全体構成
図１において、１は全体として本実施の形態によるロボットを示し、胴体部ユニット２の上部に首部３を介して頭部ユニット４が連結されると共に、当該胴体部ユニット２の上部左右両側面にそれぞれ腕部ユニット５Ａ、５Ｂが連結され、かつ当該胴体部ユニット２の下部に一対の脚部ユニット６Ａ、６Ｂが連結されることにより構成されている。

この場合、首部３は、図２に示すように、首関節ピッチ軸１０回り、首関節ヨー軸１１回り及び首関節ピッチ軸１２回りの自由度を有する首関節機構部１３により保持されている。また頭部ユニット４は、この首部３の先端部に図２のように首部ロール軸１４回りの自由度をもって取り付けられている。これによりこのロボット１においては、頭部ユニット４を前後、左右及び斜めの所望方向に向かせることができるようになされている。

また各腕部ユニット５Ａは、図１において明らかなように、上腕部ブロック１５、前腕部ブロック１６及び手先部ブロック１７の３つのブロックから構成され、上腕部ブロック１５の上端部が図２のように肩ピッチ軸１８回り及び肩ロール軸１９回りの自由度を有する肩関節機構部２０を介して胴体部ユニット２に連結されている。

このとき前腕部ブロック１６は、図２のように上腕部ブロック１５に上腕ヨー軸２１回りの自由度をもって連結されている。また手先部ブロック１７は、図２のように前腕部ブロック１６に手首ヨー軸２２回りの自由度をもって連結されている。さらに前腕部ブロック１６には、肘ピッチ軸２３回りの自由度を有する肘関節機構部２４が設けられている。

これによりロボット１においては、これら腕部ユニット５Ａ、５Ｂを全体としてほぼ人間の腕部と同様の自由度をもって動かすことができ、かくして片手を上げた挨拶や腕部ユニット５Ａ、５Ｂを振り回すダンスなどの当該腕部ユニット５Ａ、５Ｂを用いた各種行動を行い得るようになされている。

さらに手先部ブロック１７の先端部には、５本の指部２５がそれぞれ屈曲及び伸長自在に取り付けられており、これによりこれら指部を使って物を摘んだり、把持することができるようになされている。

他方、各脚部ユニット６Ａ、６Ｂは、図１において明らかなように、大腿部ブロック３０、脛部ブロック３１及び足平部ブロック３２の３つのブロックから構成され、大腿部ブロック３０の上端部が図２のように股関節ヨー軸３３回り、股関節ロール軸３４回り及び股関節ピッチ軸３５回りの自由度を有する股関節機構部３６を介して胴体部ユニット２に連結されている。

このとき大腿部ブロック３０及び脛部ブロック３１は、図２のように脛ピッチ軸３７回りの自由度を有する膝関節機構部３８を介して連結されると共に、脛ブロック３１及び足平ブロック３２は、図２のように足首ピッチ軸３９回り及び足首ロール軸４０回りの自由度を有する足首関節機構部４１を介して連結されている。

これによりロボット１においては、これら脚部ユニット６Ａ、６Ｂを人間の脚部とほぼ同様の自由度をもって動かすことができ、かくして歩行やボールを蹴るなどの脚部ユニット６Ａ、６Ｂを用いた各種行動を行い得るようになされている。

なおこのロボット１の場合、各股関節機構部３６は、図２のように体幹ロール軸４２回り及び体幹ピッチ軸４３回りの自由度を有する腰関節機構部４４により支持されており、これにより胴体部ユニット２を前後、左右方向に自在に傾かせることもできるようになされている。

ここでロボット１においては、上述のように頭部ユニット４、各腕部ユニット５Ａ、５Ｂ、各脚部ユニット６Ａ、６Ｂ及び胴体部ユニット２を動かすための動力源として、図３に示すように、首関節機構部１３及び肩関節機構部２０等の各関節機構部を含む各自由度を有する部位に、それぞれその自由度数分のモータＡ_１〜Ａ_１７が配設されている。

また胴体部ユニット２には、当該ロボット１全体の動作制御を司る制御ユニット５０と、電源回路及び通信回路などの周辺回路５１となどが収納されると共に、各構成ユニット（胴体部ユニット２、頭部ユニット４、各腕部ユニット５Ａ、５Ｂ及び各脚部ユニット６Ａ、６Ｂ）内には、それぞれ制御ユニット５０と電気的に接続された中継用のサブ制御ユニット５２Ａ〜５２Ｄが収納されている。

かかるロボット１の機能構成を図４のように模式的に示す。この図４に示すように、ロボット１は、胴体部ユニット２内に設けられた全体の動作の統括的制御やその他のデータ処理を行う制御ユニット５０と、各構成ユニット（胴体部ユニット２、頭部ユニット４、各腕部ユニット５Ａ、５Ｂ及び各脚部ユニット６Ａ、６Ｂ）内の内部に設けられた入出力部５５と、図３において上述した各モータＡ_１〜Ａ_１７を含む動力源からなる駆動部５６と、電源部５７とで構成される。

入出力部５５は、入力部としてロボット１の目に相当する一対のＣＣＤ（Charge Coupled Device）カメラ６０や、耳に相当する一対のマイクロホン６１、頭部や手及び足裏などの部位に配設されてユーザからの物理的な働きかけや、手と外部物体との接触、足裏面の接地等を感知するタッチセンサ６２、あるいは五感に相当するその他の各種のセンサを含む。

また入出力部５５は、出力部としてロボット１の口に相当するスピーカ６３、あるいは点滅の組み合わせや点灯のタイミングにより顔の表情を形成するＬＥＤ（目ランプ）６４などを装備している。これら出力部は、音声やランプの点滅など、脚などによる機械運動パターン以外の形式でもロボット１からのユーザ・フィードバックを表現することができる。

駆動部５６は、制御ユニット５０が指令する所定の運動パターンに従ってロボット１の機体動作を実現する機能ブロックであり、行動制御による制御対象物である。駆動部５６は、ロボット１の各関節における自由度を実現するための機能モジュールであり、それぞれの関節におけるロール、ピッチ、ヨーなど各軸毎に設けられた複数の駆動ユニット６５_１〜６５_１７で構成される。各駆動ユニット６５_１〜６５_１７は、所定軸回りの回転動作を行うモータＡ_１〜Ａ_１７と、モータＡ_１〜Ａ_１７の回転位置を検出するエンコーダＰ_１〜Ｐ_１７と、エンコーダＰ_１〜Ｐ_１７の出力に基づいてモータＡ_１〜Ａ_１７の回転位置や回転速度を適応的に制御するドライバ６６_１〜６６_１７の組み合わせで構成される。

電源部５７は、その字句通り、ロボット１内に各電気回路などに対して給電を行う機能モジュールである。本実施の形態に係るロボット１は、バッテリを用いた自律駆動式であり、電源部５７は、充電バッテリ６７と、充電バッテリ６７の充放電状態を管理する充放電制御部６８とで構成される。

充電バッテリ６７は、例えば、複数本のリチウムイオン２次電池セルをカートリッジ式にパッケージ化した「バッテリ・パック」の形態で構成される。

また、充放電制御部６８は、充電バッテリ６７の端子電圧や充電／放電電流量、充電バッテリ６７の周囲温度などを測定することで充電バッテリ６７の残存容量を把握し、充電の開始時期や終了時期などを決定する。充放電制御部６８が決定する充電の開始及び終了時期は制御ユニット５０に通知され、ロボット１が充電オペレーションを開始及び終了するためのトリガとなる。

制御ユニット５０は、ロボット１の「頭脳」に相当し、例えば頭部ユニット４又は胴体部ユニット２内に搭載されている。この制御ユニット５０は、図５に示すように、メイン・コントローラとしてのＣＰＵ（Central Processing Unit）７０が、メモリやその他の各回路コンポーネントや周辺機器とバス接続された構成となっている。バス７１は、データ・バス、アドレス・バス、コントロール・バスなどを含む共通信号伝送路である。バス７１上の各装置にはそれぞれに固有のアドレス（メモリ・アドレス又はＩ／Ｏアドレス）が割り当てられている。ＣＰＵ７０は、アドレスを指定することによってバス７１上の特定の装置と通信することができる。

ＲＡＭ（Read Access Memory）７２は、ＤＲＡＭ（Dynamic RAM）などの揮発性メモリで構成された書き込み可能メモリであり、ＣＰＵ７０が実行するプログラム・コードをロードしたり、実行プログラムによる作業データの一時的な保存のために使用される。

ＲＯＭ（Read Only Memory）７３は、プログラムやデータを恒久的に格納する読み出し専用メモリである。ＲＯＭ７３に格納されるプログラム・コードには、ロボット１の電源投入時に実行する自己診断テスト・プログラムや、ロボット１の動作を規定する制御プログラムなどが挙げられる。

ロボット１の制御プログラムには、ＣＣＤカメラ６０やマイクロホン６１などの各種センサからの入力を処理してシンボルとして認識する「センサ入力・認識処理プログラム」、短期記憶などの記憶動作を司りながらセンサ入力と所定の行動制御モデルとに基づいてロボット１の行動を制御する「行動制御プログラム」、行動制御モデルに従って各関節モータの駆動やスピーカ６３の音声出力などを制御する「駆動制御プログラム」などが含まれる。

不揮発性メモリ７４は、例えばＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）のように電気的に消去再書き込みが可能なメモリ素子で構成され、逐次更新すべきデータを不揮発的に保持するために使用される。逐次更新すべきデータには、暗記鍵やその他のセキュリティ情報、出荷後にインストールすべき装置制御プログラムなどが挙げられる。

インターフェース７５は、制御ユニット５０外の機器と相互接続し、データ交換を可能にするための装置である。インターフェース７５は、例えば、入出力部５５内のＣＣＤカメラ６０やマイクロホン６１及びスピーカ６３との間でデータ入出力を行う。また、インターフェース７５は、駆動部５６内の各ドライバ６６_１〜６６_１７との間でデータやコマンドの入出力を行う。

また、インターフェース７５は、ＲＳ（Recommended Standard）−２３２Ｃなどのシリアル・インターフェース、ＩＥＥＥ（Institute of Electrical and Electronics Engineers ）１２８４などのパラレル・インターフェース、ＵＳＢ（Universal Serial Bus）インターフェース、ｉ−Ｌｉｎｋ（ＩＥＥＥ１３９４）インターフェース、ＳＣＳＩ（Small Computer System Interface ）インターフェース、ＰＣカードやメモリ・スティックを受容するメモリ・カードインターフェース（カードスロット）などのような、コンピュータの周辺機器接続用の汎用インターフェースを備え、ローカル接続された外部機器との間でプログラムやデータの移動を行い得るようにしてもよい。また、インターフェース７５の他の例として、赤外線通信（ＩｒＤＡ）インターフェースを備え、外部機器と無線通信を行うようにしてもよい。

さらに、制御ユニット５０は、無線通信インターフェース７６やネットワーク・インターフェース・カード（ＮＩＣ）７７などを含み、Ｂｌｕｅｔｏｏｔｈのような近接無線データ通信や、ＩＥＥＥ８０２．１１ｂのような無線ネットワーク、あるいはインターネットなどの高域ネットワークを経由して、外部のさまざまなホスト・コンピュータとデータ通信を行うことができる。

このようなロボット１とホスト・コンピュータ間におけるデータ通信により、遠隔のコンピュータ資源を用いて、ロボット１の複雑な動作制御を演算したり、リモート・コントロールすることができる。

（２）ロボット１のソフトウェア構成
図６は、ＲＯＭ７３（図５）に格納された制御プログラム群により構成されるロボット１の行動制御システム８０の機能構成を模式的に示したものである。

この行動制御システム８０は、オブジェクト指向プログラミングを採り入れて実装されている。この場合、各ソフトウェアは、データとそのデータに対する処理手続きとを一体化させた「オブジェクト」というモジュール単位で扱われる。また各オブジェクトは、メッセージ通信と共有メモリを使ったオブジェクト間通信方法によりデータの受け渡しとＩｎｖｏｋｅを行うことができる。

ここで行動制御システム８０は、ＣＣＤカメラ６０（図４）、マイクロホン６１（図４）及びタッチセンサ６２（図４）などの各種センサからのセンサ出力に基づいて外部環境を認識するための画像認識部８１、音声認識部８２及び接触認識部８３を有している。

画像認識部８１は、ＣＣＤカメラ６０から与えられる画像信号Ｓ１に基づいて顔認識や色認識などの画像認識処理や特徴抽出を実行する。そして画像認識部８１は、かかる顔認識結果であるその人物に固有の顔ＩＤ（識別子）、顔画像領域の位置及び大きさといった顔認識情報や、色認識結果である色領域の位置や大きさ及び特徴量といった色認識情報などの各種画像認識結果と、画像信号Ｓ１とを短期記憶部８４に送出する。また画像認識部８１は、ＣＣＤカメラ６０からの画像信号Ｓ１に基づいて、いわゆるステレオビジョン法によって撮像対象までの距離を検出し、検出結果を短期記憶部８４に送出する。

この音声認識部８２は、マイクロホン６１から与えられる音声信号Ｓ２を受け取ると、当該音声信号Ｓ２に基づいて音声認識や話者認識、音源方向認識などの各種音に関する認識処理を実行する。そして音声認識部８２は、かかる音声認識結果である認識した単語の文字列情報と、音響的特徴等に基づく話者認識処理結果であるその話者に固有の話者ＩＤ情報と、音源方向認識結果である音源方向情報となどの各種音声認識結果を短期記憶部８４に送出する。また音声認識部８２は、これら各種音声認識結果と併せて、これら音声信号Ｓ２を短期記憶部８４に送出する。

さらに接触認識部８３は、頭部ユニット４（図１）の上部や腕部ユニット５Ａ、５Ｂ（図１）の先端部である手、脚部ユニット７Ａ、７Ｂ（図１）の底部である足底等に配設されたタッチセンサ６２からそれぞれ与えられる圧力検出信号Ｓ３に基づいて「撫でられた」、「叩かれた」、「物を把持した」、「足裏面が接地した」という外部との物理的な接触を認識し、得られたこれら接触認識結果を短期記憶部８４に送出する。また接触認識部８３は、これら接触認識結果と併せて、各タッチセンサ６２からの圧力検出信号Ｓ３を短期記憶部８４に送出する。

短期記憶部８４は、ロボット１の外部環境に関する情報を比較的短い時間だけ保持するオブジェクトであり、画像認識部８１から与えられる各種画像認識結果及び画像信号Ｓ１と、音声認識部８２から与えられる各種音声認識結果、音源位置情報及び音声信号Ｓ２と、接触認識部８３から与えられる各種接触認識結果及び圧力検出信号Ｓ３とを受け取り、これらを短期間だけ記憶する。

また短期記憶部８４は、これら受け取った画像認識結果、音声認識結果及び接触認識結果と、画像信号Ｓ１、音声信号Ｓ２、音源位置情報、自己位置情報及び各圧力検出信号Ｓ３とを統合的に用いて顔画像領域、人物ＩＤ、話者ＩＤ及び文字列情報等の対応付けを行うことにより、現在どこにどの人物がいて、発した言葉がどの人物のものであり、その人物とはこれまでにどのような対話を行ったかというターゲット情報及びイベント情報を生成し、これを行動選択制御部８５に送出する。

行動選択制御部８５は、短期記憶部８４から与えられるターゲット情報及びイベント情報と、短期記憶部８４の記憶内容とに基づいて、予め複数用意されている行動の中からロボット１が現在置かれている状況及び以前の行動に依存して選択した行動（状況依存行動）や、外部刺激に応じた反射的な行動（反射行動）、又は与えられた状況若しくはユーザからの命令に応じた比較的長期に渡る行動計画に基づく行動（熟考行動）などを次のロボット１の行動として決定する。そして行動選択制御部８５は、このようにして決定した行動を出力管理部８６に通知する。

出力管理部８６は、行動選択制御部８５からの通知に応じて、状況依存行動及び反射行動などの複数の行動が競合した場合の調停処理や、動作、音声及びＬＥＤ６４の点滅の同期をとる処理を行いながら、対応する駆動ユニット６６_１〜６６_１７のモータＡ_１〜Ａ_１７を駆動したり、ＬＥＤ６４を所定パターンで点滅駆動させる。

また行動選択制御部８５は、次の行動としてユーザとの対話を決定した場合には、この後音声認識部８２により短期記憶部８４に順次格納されるユーザの発話の音声認識結果を常時監視し、この音声認識結果に基づいて、ロボット１に発話させるべき内容を順次決定する。

そして行動選択制御部８５は、この決定結果に基づいて必要な発話内容を予めＲＯＭ７３（図５）に格納されたデータベース（図示せず）から読み出し、これを出力管理部８６に送出する。

このようにしてこのロボット１においては、ＣＣＤカメラ６０、マイクロホン６１及びタッチセンサ６２などの各種センサのセンサ出力に基づき認識される外部状況等に基づいて自律的に行動し得るようになされている。

（３）動作記憶制御機能及びダンス選択制御機能に関する行動制御システム８０の処理
次にこのロボット１に搭載されている動作記憶制御機能及びダンス選択制御機能について説明する。このロボット１には、ユーザの手の軌道（動作する際に描く一定の経路）に基づく動作パターンを予め動作データベース８７（図６）に記憶しておく動作記憶制御機能と、ＢＧＭ（background music）データベース８８（図６）から選択的に再生される音楽の特徴に合わせて動作データベース８７から最適な動作パターンを読み出して当該動作パターンに応じたダンスを踊らせるダンス選択制御機能とが搭載されている。そしてこれら動作記憶制御機能及びダンス選択制御機能は、主として図６について上述した行動制御システム８０における各種処理により実現されている。

（３−１）動作記憶制御機能
このうち動作記憶制御機能に関する行動制御システム８０の処理内容としては、図７に示すフローチャートＲＴ１において、ユーザの顔に対する左右の手の相対位置関係に基づき、当該左右の手の軌道を検出する手軌道検出処理（ステップＳＰ１）と、当該検出したユーザの各手の軌道をロボット１の各手の軌道に合うようにサイズ変換する軌道サイズ変換処理（ステップＳＰ２）とに分類される。

まず手軌道検出処理における行動制御システム８０では、画像認識部８１は、ＣＣＤカメラ６０から与えられる画像信号Ｓ１に基づいて、被写体である人物の顔に相当する画像領域（以下、これを顔画像領域と呼ぶ）の位置及び大きさ等の顔認識処理を行うと共に、当該人物の左右の手に相当する画像領域（以下、これを手画像領域と呼ぶ）の位置及び大きさ等の手認識処理を時系列的に行いながら、当該手画像領域の軌道を検出する。

具体的に本実施の形態においては、被写体人物の顔認識処理を行う方法として、固定顔、ニューラルネットワーク及びサポートベクタマシン（ＳＶＭ：Support Vector Machine）などのパターン認識の手法を利用して、予め顔パターンを学習させて識別器を生成する方法を採用している。

すなわちパターン認識を用いて撮像画像の中から人物の顔画像領域を検出するプロセスの場合、撮像画像から背景差分及び肌色領域の抽出を行うことにより顔探索範囲を絞り込んだ後、テンプレートマッチングを行って顔候補を抽出し、得られた顔画像領域から主成分分析した結果を特徴量として識別カテゴリ毎に作成したガウス混合モデルを用いて尤度計算を行うことにより、当該尤度の比較及び統合に基づいて顔又は非顔の判定を行う。

また被写体人物の左右の手画像領域の軌道を検出する方法として、本実施の形態においては、撮像画像の中から左右の手画像領域を色情報に基づいて切り出した後、当該左右の手画像領域を検出及び追跡を行いながらこれらの軌道を検出する。

まず画像認識部８１は、画像信号に基づくフレーム画像の２次元色ヒストグラムを正規混合分布で近似して手画像領域及び背景画像領域の色モデルを動的に生成する。その際、かかる正規混合分布は、第１の正規分布が手画像領域の色の分布と近似するように、制限付きＥＭアルゴリズムによって推定される。

すなわち制限付きＥＭアルゴリズムで正規混合分布を推定する際に、検出対象となる手画像領域の色の推定平均値を求めた後、当該手画像領域を形成する画素群をベイズ決定則に基づいて分類する。このときフレーム画像内における手画像領域の位置は一定ではなく、固定的な分布では不十分であることから、平均値シフトアルゴリズムに基づいて適正な位置にこの分布を平行移動する。

このようにして画像認識部８１は、比較的簡易な演算処理を行いつつ動的に手画像領域及び背景画像領域の色モデルを更新しながら当該手画像領域を切り出して追跡することができる。

なおここで、色による手画像領域の切り出しのために用いられるベイズ決定則について述べる。２次元色ヒストグラムＰは、照明の影響を最小限に抑えるべく、ＨＳＶ（又はＨＳＩ）表色系のＨＳ色空間を用いて算出される。この２次元色ヒストグラムＰは、Ｋ個の正規分布Ｎ_１、…、Ｎ_Ｋの重み付きの和である正規混合分布により近似される。

その正規混合分布は、ＨＳ色空間の色をｃ、正規分布Ｎの重みをξ_ｉ、各分布Ｎの平均値及び標準偏差をμ_ｉ、σ_ｉとしたとき、次式、

のように定義される。

この正規混合分布は、その第１の正規分布Ｎ_１が手の色の分布を近似するように制限付きＥＭアルゴリズムによって推定される。第１の正規分布Ｎ_１で手画像領域の色をモデル化するためには、平均値μ_ｉ及び標準偏差σ_ｉは、それぞれ次式、

のように表される。ここで、ξ_ｌｏｗ、ξ_ｈｉｇｈはそれぞれ学習用データでの標準偏差ξ_１の上限及び下限であり、Ｅ（Ｃ_ｈａｎｄ）は、手画像領域の色の分布の推定平均である。この結果、平均値μ_１は固定され、標準偏差ξ_１は制限される。

かかるＥ（Ｃ_ｈａｎｄ）は、手画像領域の空間確率密度分布Ｐ（ｈａｎｄ｜ｘ，ｙ）に従って、フレーム画像を形成する各画素の色情報を重み付き平均することにより求められる。

このようにして最終的にベイズ決定則に基づいて、次式、

のような関係式が成り立つ画素群を手画像領域の色をもつ画素群として、当該色をもたない画素群から分類することができる。

次に画像認識部８１は、画像信号Ｓ１に基づくフレーム画像の中から切り出した手画像領域を、検出過程及び追跡過程の２種類の処理過程を経るようにして軌道を検出する。

まず画像認識部８１は、手画像領域の検出過程において、フレーム画像内に所定の位置及びサイズでなるガイドサークルを初期値として設定しておき、当該ガイドサークル内をユーザの人指し指の指先をタッチすることで開始状態となると仮定する。本実施の形態の場合、かかるガイドサークルの直径をＣＣＤカメラの垂直画角の25〔％〕に設定するようになされている。

この手画像領域の空間確率密度分布Ｐ（ｈａｎｄ｜ｘ，ｙ）は、想定された初期位置のための空間確率密度分布であり、ユーザの手は当該空間確率分布を用いてその位置周辺でしか検出されないことから、フレーム画像から外れるまで手画像領域を追跡すべく、次の手画像領域の追跡過程を行う。

続いて画像認識部８１は、手画像領域の追跡過程において、手画像領域の空間確率密度分布Ｐ（ｈａｎｄ｜ｘ，ｙ）を、近傍の支配的なモードを探索する単純な反復法である平均値シフトアルゴリズムにより導き出される位置に平行移動することにより追跡を可能とする。

具体的には画像認識部８１は、手画像領域の空間確率密度分布Ｐ（ｈａｎｄ｜ｘ，ｙ）が現在の手画像領域の位置に徐々に移動するように、平均値シフトアルゴリズムの各反復過程に上述した式（４）を用いた手画像領域を形成する画素群の分類処理を組み込む。

すなわちまず画像認識部８１は、手画像領域の空間確率密度分布Ｐ（ｈａｎｄ｜ｘ，ｙ）の重心を前フレームで計算された手画像領域の画素群の平均位置に平行移動する。続いて画像認識部８１は、その移動した手画像領域の空間確率密度分布Ｐ（ｈａｎｄ｜ｘ，ｙ）と現フレーム画像からその推定平均Ｅ（Ｃ_ｈａｎｄ）を求め、制限付きＥＭアルゴリズムを用いて計算される正規混合分布により、手画像領域及び背景画像領域の色モデルを生成する。

さらに画像認識部８１は、手画像領域の空間確率密度分布Ｐ（ｈａｎｄ｜ｘ，ｙ）と手画像領域及び背景画像領域の色モデルとを用いて、上述した式（４）により手画像領域及び背景画像領域の画素群を分類した後、このうち手画像領域の画素群の平均位置を求め、当該平均位置に手画像領域の空間確率密度分布Ｐ（ｈａｎｄ｜ｘ，ｙ）の重心を移動する。

そして画像認識部８１は、かかる手画像領域の空間確率密度分布Ｐ（ｈａｎｄ｜ｘ，ｙ）の重心を当該平均位置に移動する処理を、当該処理結果が収束するか、又は繰り返し回数が所定回数以上になるまで繰り返す。

このようにして画像認識部８１は、各フレーム画像において、手画像領域の色の分布の推定平均Ｅ（Ｃ_ｈａｎｄ）が、前フレーム画像で計算された手画像領域の画素群の平均位置に移動した手画像領域の空間確率密度分布Ｐ（ｈａｎｄ｜ｘ，ｙ）を用いて得られ、さらに、正規混合分布がその推定平均Ｅ（Ｃ_ｈａｎｄ）と手画像領域の空間確率密度分布Ｐ（ｈａｎｄ｜ｘ，ｙ）を用いて得られることを利用して、動的に手画像領域及び背景画像領域の色モデルを更新しながら手画像領域を追跡することができる。

続いて軌道サイズ変換処理における行動制御システム８０では、画像認識部８１は、手軌道検出処理において検出したユーザの左右の手画像領域の軌道を、実際にロボットが動かす左右の手の軌道に合うようにサイズ変換する。

具体的には画像認識部８１は、フレーム画像内の手画像領域及び顔画像領域の位置をそれぞれ画面上の座標として検出した後、手画像領域の位置座標から顔画像領域の位置座標を減算することにより、手画像領域の顔画像領域に対する相対座標を算出することができる。例えば0.1秒ごとに検出すると、１秒間に10組の左右の手画像領域の顔画像領域に対する相対座標を得ることができる。

さらに画像認識部８１は、得られた相対座標の時間変化に基づいて、各時刻における手画像領域の移動速度を算出することができると共に、当該手画像領域の移動速度の変化量に基づいて、各時刻における左右の手画像領域の加速度を算出することができる。

従って、画像認識部８１は、所定時間ごと（例えば0.1秒ごと）に算出した左右の手画像領域の相対位置、移動速度及び加速度に基づいて、ロボット１の左右の手の軌道を表すデータ（以下、これを軌道データと呼ぶ）を算出することができる。さらに画像認識部８１は、左右の手画像領域の移動速度及び加速度について例えば５サンプル程度の平均値を計算するようにして、一層ばらつきの少ないスムーズな値を得ることができる（以下、これらの平均値を表すデータを平均移動データと呼ぶ）。

このようにして行動制御システム８０では、ユーザが左右の手を所望方向に移動させながら所望の動作パターンを行ったときに、画像認識部８１がその動作パターンに応じたロボット１の左右の手の軌道を検出した後、当該検出結果でなる軌道データ及びこれに対応する平均移動データ（以下、これらを合わせて動作パターンデータと呼ぶ）Ｓ１０を短期記憶部８４を介して動作データベース８７に記憶する。

その際、短期記憶部８４は、動作データベース８７に対する記憶の開始及び終了をユーザからの発話内容に基づいて行うようになされている。すなわち短期記憶部８４は、ユーザが発した開始の合図（例えば「ジェスチャ学習開始」）を音声認識部８２からの音声認識結果として受け取ると、画像認識部８１における上述したロボット１の左右の手の軌道の検出結果である動作パターンデータＳ１０を動作データベース８７に記憶する一方、ユーザが発した終了の合図（例えば「ジェスチャ学習停止」）を音声認識部８２からの音声認識結果として受け取ると、動作パターンデータＳ１０の動作データベース８７への記録を停止する。

このように行動制御システム８０では、上述のような動作記憶制御機能を実行することにより、ユーザの左右の手の軌道に基づく動作パターンをロボット用の動作パターンに変換して得られる動作パターンデータ（軌道データ及びこれに対応する平均移動データ）Ｓ１０として動作データベース８７に記憶することができる。

（３−２）ダンス選択制御機能
またダンス選択制御機能に関する行動制御システム８０の処理内容としては、図８に示すフローチャートＲＴ２において、ユーザによって選曲された音楽のリズム（又はビート）を抽出するリズム抽出処理（ステップＳＰ１１）と、当該抽出した音楽のリズムに基づいてロボット１の左右の手の平均移動速度の範囲を決定した後、その範囲に合う動作パターンを選択して出力する動作選択処理（ステップＳＰ１２）とに分類される。

まずリズム抽出処理における行動制御システム８０では、ＢＧＭ選択部８９がユーザが指定した音楽を表す音楽データＳ１１をＢＧＭデータベース８８から読み出して行動選択制御部８５及び出力管理部８６にそれぞれ送出する。

行動選択制御部８５は、ＢＧＭ選択部８９によって選択された音楽データＳ１１がＢＧＭデータベース８８から与えられると、当該音楽データＳ１１に基づく音楽の基本要素のうちリズムを抽出する。

基本的に音楽は、メロディ（旋律）、ハーモニ（和音）及びリズム（拍子）の３種類の要素から構成される。このうちリズムは、連続する一定の拍子を意味し、当該拍子の速度（テンポ）を１分間に４分音符がいくつ入るかを単位として表すようになされている。

具体的に行動選択制御部８５は、ＢＧＭデータベース８８から読み出した音楽データＳ１１をローパスフィルタ（図示せず）を介して低周波数成分（数〔Ｈｚ〕〜数十〔Ｈｚ〕）を検出した後、所定レベルに設定した閾値を基準として、当該音楽データＳ１１における信号レベルのピークの立ち上がりを順次検出する。

続いて行動選択制御部８５は、得られた信号レベルの各ピークの立ち上がり時点から所定期間だけデータを無視する期間（ピーク幅）を設定し、そのピーク幅を除いた信号波形を解析するようにして、各ピーク同士の間隔（ピーク間隔）を計算する。

このようにして行動選択制御部８５は、音楽データＳ１１における信号レベルのピーク間隔の平均値を求めた後、当該ピーク間隔の平均値を表す周波数をリズム（拍子）として得ることができる。

続いて動作選択処理における行動制御システム８０では、行動選択制御部８５は、リズム抽出処理において抽出した音楽データＳ１１に基づく音楽のリズムを、その周波数の値に従い複数のクラスに分類する。本実施の形態の場合、音楽のリズムの周波数が０〔Hz〕以上５〔Hz〕未満の範囲を第１のクラスと、５〔Hz〕以上10〔Hz〕未満の範囲を第２のクラスと、10〔Hz〕以上30〔Hz〕未満の範囲を第３のクラスと、30〔Hz〕以上の範囲を第４のクラスと分類する。

そして音楽のリズムに対してロボット１の手の移動速度がどの程度が適当であるかをユーザが主観的に決定する必要があるため、行動選択制御部８５は、音楽のリズムを周波数レベルで分類した４つのクラスについて、当該各クラスごとにロボット１の左右の手の平均移動速度の範囲を割り当てる。すなわち本実施の形態の場合、ロボット１の左右の手の平均移動速度を、第１のクラスには０〔cm/sec〕以上２〔cm/sec〕未満の範囲を、第２のクラスには２〔cm/sec〕以上４〔cm/sec〕未満の範囲を、第３のクラスには４〔cm/sec〕以上８〔cm/sec〕未満の範囲を、第４のクラスには８〔cm/sec〕以上の範囲をそれぞれ割り当てるようになされている。

このように音楽のリズムとロボット１の左右の手の平均移動速度とは図９に示すような対応表として表わされる。この対応表によると、例えば現在の音楽のリズムが８〔Hz〕と検出された場合、ロボット１の左右の手の平均移動速度が、第２のクラスすなわち２〔cm/sec〕以上４〔cm/sec〕未満の範囲にある動作パターンを選択すれば良いことがわかる。

やがて行動選択制御部８５は、動作データベース８７に記憶されている複数の動作パターンデータＳ１０のうち、現在の音楽のリズムに対応するロボット１の左右の手の平均移動速度の範囲を決定した後、当該範囲内にある平均移動データを含む動作パターンデータＳ１０を乱数を用いてランダムに選択して読み出す。

かくして出力管理部８６は、ＢＧＭ選択部８９によって選択された音楽データＳ１１がＢＧＭデータベース８８から与えられると共に、行動選択制御部８５から動作パターンデータＳ１０が与えられると、この音楽データＳ１１に基づく音楽を再生すると同時に当該音楽のリズムに合う最適な動作パターンを再現させることができる。

このように行動制御システム８０では、上述のようなダンス選択制御機能を実行することにより、ユーザが指定した音楽のリズムに合わせて最適な動作パターンを選択して、当該動作パターンに応じたダンスを踊らせることができる。

（４）本実施の形態による動作及び効果
以上の構成において、ロボット１では、ユーザの指示によりユーザ自身が左右の手を用いて所望の動作を行うと、当該左右の手の軌道をユーザの顔に対する相対位置関係に基づいて検出した後、当該検出したユーザの左右の手の軌道をその平均移動速度と共にロボット用のサイズに変換して動作パターンとして記憶しておく。

このようにロボット１では、ユーザが所望する動作パターンをユーザ自身の動きを画像認識しながらロボット自身の動きとして学習することができ、この結果、従来のようにユーザがロボット１の手足を直接手にとりながら教示する方法を事前に行うといった手間や煩雑さを回避することができる。

続いてロボット１は、ユーザの操作に応じて所望の音楽が選曲されると、当該選曲された音楽のリズムを抽出してそのリズムに基づいてロボット１の左右の手の平均移動速度の範囲を決定した後、その範囲に合う動作パターンを予め記憶された動作パターンの中から選択することにより、ユーザが選曲した音楽のリズムに合う最適な動作パターンに応じたダンスを踊ることができる。

例えばリズムの速い曲であればロボット１の手先の平均移動速度が比較的速い動作パターンを選択する一方、リズムの遅い曲であればロボット１の手先の平均移動速度が比較的遅い動作パターンを選択することが可能となる。

このようにロボット１では、ユーザが選曲した音楽のリズムに合う最適な動作パターンに応じたダンスを踊ることができ、この結果、従来のようにユーザが事前にロボット１に音楽ごとにその音楽に応じた動作パターンを教示させておくといった手間や煩雑さを回避することができる。

以上の構成によれば、このロボット１において、ユーザ自身が行った動作を画像認識しながら当該動作に応じた左右の手の軌道をその平均移動速度と共にロボット用のサイズに変換して動作パターンとして記憶しておき、選曲された音楽から抽出したリズムに基づいてロボット１の左右の手の平均移動速度の範囲を決定して当該範囲に合う動作パターンを選択するようにしたことにより、選曲した音楽のリズムに合う最適な動作パターンに応じたダンスを踊ることができ、この結果、ロボット１の踊りを面白くかつバリエーション豊富に発現させることができ、かくしてエンターテインメント性を格段と向上させ得るロボットを実現できる。

（５）他の実施の形態
なお上述のように本実施の形態においては、本発明を図１〜図３のように、胴体部ユニット（胴体部）２に多段階の関節機構を有する複数の腕部ユニット５Ａ、５Ｂがそれぞれ連結されたロボット１に適用するようにした場合について述べたが、本発明はこれに限らず、この他種々のロボット装置に広く適用することができる。

また上述のように本実施の形態においては、各腕部ユニット（腕部）５Ａ、５Ｂが動作する際に描く軌道を当該各腕部ユニット（腕部）５Ａ、５Ｂの平均移動速度と共に動作パターンとして記憶する動作記憶手段を、図６に示す行動制御システム８０における動作データベース８７から構成するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成からなる動作記憶手段に広く適用するようにしても良い。

また動作記憶手段としての動作データベース８７に記憶する動作パターンを、ＣＣＤカメラ（撮像手段）６０による撮像結果として得られるフレーム画像内に含まれる顔画像及び手画像を画像認識部（画像認識手段）８１において認識した後、当該顔画像に対する手画像の相対位置関係に基づいて、フレーム画像内を移動する手画像の軌道を画像認識部（軌道検出手段）８１において検出し、当該検出された手画像の軌道を画像認識部（サイズ変換手段）８１においてロボット用のサイズに変換して得るようにした場合について述べたが、本発明はこれに限らず、ユーザの負担を低減し得る手法であれば、種々の方法を用いて生成した動作パターンを記憶させるようにしても良い。

さらに画像認識部８１は、撮像結果として得られるフレーム画像内に含まれる顔画像及び手画像を認識した後、当該顔画像に対する手画像の相対位置関係に基づいて、フレーム画像内を移動する手画像の軌道を検出するようにした場合について述べたが、本発明はこれに限らず、ユーザが体に色付きのバンドを装着しておき、当該各バンドの色検出を行うようにしても良く、この場合、ユーザの体の多くの部分の動きを検出することができる利点がある。さらに体の部分とバンドの色との関係を予め決定しておけば、画像認識部８１における画像認識処理に要する負担が低減されるため処理速度を早くし得るという利点がある。

さらに上述のように本実施の形態においては、供給される音楽データＳ１１に基づく音楽からリズムを抽出するリズム抽出手段と、リズムに基づいて各腕部ユニット（腕部）５Ａ、５Ｂの平均移動速度の範囲を決定する速度範囲決定手段と、決定された範囲に合う動作パターンを動作データベース（動作記憶手段）８７から選択的に読み出す動作選択手段とを、図６に示す行動制御システム８０における行動選択制御部８５から構成するようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のものを適用するようにしても良く、さらにはリズム抽出手段、速度範囲決定手段及び動作選択手段を一体構成のもの以外にも別々に構成するようにしても良い。

また行動選択制御部（リズム抽出手段）８５は、ピーク検出によりリズム抽出を行うようにした場合について述べたが、本発明はこれに限らず、自己相関、すなわち時間に関する不規則変動量とその隔たり時間との２つの変動積の平均値を用いてリズム抽出を行うようにしても良い。

また行動選択制御部（動作選択手段）８５は、単に動作パターンを選択する以外にも、選択した動作パターンを逐次的に繋ぎ合わせるようにしても良い。例えば、ロボット１が音楽を再生しながら１０秒ごとに当該音楽のリズムの抽出と動作パターンの選択とを行うようにすれば、より一層選曲された音楽の状態に合わせた細かい動作パターンの選択をすることができる。

さらに上述のように本実施の形態においては、複数種類の音楽データＳ１１を予め記憶しておく音楽記憶手段を、図６に示す行動制御システム８０におけるＢＧＭデータベース８８から構成し、外部から指定された音楽に対応する音楽データＳ１１をリズム抽出対象とするようにした場合について述べたが、本発明はこれに限らず、この他種々の構成のものを広く適用するようにしても良い。

またＢＧＭデータベース（音楽記憶手段）８８には、予め音楽データＳ１１を記憶させておく以外にも、例えばインターネット等のネットワークを介して種々の音楽サーバ（図示せず）から必要に応じて複数種類の音楽データＳ１１をダウンロードするように設定しておくようにしても良い。この結果、ロボット１では、記憶しておく音楽の種類をより豊富にすることができて非常に便利である。

さらに上述のように本実施の形態においては、ＢＧＭデータベース（音楽記憶手段）８８に予め音楽データＳ１１を記憶させておくようにした場合について述べたが、本発明はこれに限らず、ロボット１の背景に流れる音楽をマイクロホン（音楽収音手段）６１を用いて収音した後、当該収音した音楽について行動選択制御部（リズム抽出手段）８５がリアルタイムでリズムを抽出するようにしても良い。この結果、ロボット自体に音楽の再生機能を設ける必要がなくて済み、環境にかかわらずバリエーション豊富なダンスを踊らせることができる。

本発明は、エンターテインメントロボットの他、対話機能を有する他の用途のロボット装置やロボット装置以外の他の機器に広く適用することができる。

本実施の形態によるロボットの外観構成を示す斜視図である。 本実施の形態によるロボットのハードウェア構成を示す略線図である。 本実施の形態によるロボットのハードウェア構成を示す略線的なブロック図である。 本実施の形態によるロボットのハードウェア構成を示す略線的なブロック図である。 図４に示す制御ユニットの構成を示すブロック図である。 本実施の形態によるロボットの行動制御システムの具体的構成を示すブロック図である。 動作記憶制御機能の説明に供するフローチャートである。 ダンス選択制御機能の説明に供するフローチャートである。 リズムと手の平均移動速度との対応を表す図表である。

符号の説明

１……ロボット、２……胴体部ユニット、４……頭部ユニット、５Ａ、５Ｂ……腕部ユニット、５０……制御ユニット、５５……入出力部、５６……駆動部、５７……電源部、６０……マイクロホン、６１……ＣＣＤカメラ、６２……タッチセンサ、６３……スピーカ、７０……ＣＰＵ、８０……行動制御システム、８１……画像認識部、８２……音声認識部、８３……接触認識部、８４……短期記憶部、８５……行動選択制御部、８６……出力管理部、８７……動作データベース、８８……ＢＧＭデータベース、８９……ＢＧＭ選択部、Ｓ１……画像信号、Ｓ２……音声信号、Ｓ１０……動作パターンデータ、Ｓ１１……音楽データ、ＲＴ１……動作記憶制御機能、ＲＴ２……ダンス選択制御機能。

Claims (12)

1. 胴体部に多段階の関節機構を有する複数の腕部がそれぞれ連結されたロボット装置において、
   各上記腕部が動作する際に描く軌道を当該各腕部の平均移動速度と共に動作パターンとして記憶する動作記憶手段と、
   供給される音楽データに基づく音楽からリズムを抽出するリズム抽出手段と、
   上記リズムに基づいて各上記腕部の平均移動速度の範囲を決定する速度範囲決定手段と、
   上記決定された範囲に合う動作パターンを上記動作記憶手段から選択的に読み出す動作選択手段と
   を具えることを特徴とするロボット装置。
2. 撮像手段による撮像結果として得られるフレーム画像内に含まれる顔画像及び手画像を認識する画像認識手段と、
   上記画像認識手段により認識された上記顔画像に対する上記手画像の相対位置関係に基づいて、上記フレーム画像内を移動する上記手画像の軌道を検出する軌道検出手段と、
   上記軌道検出手段により検出された上記手画像の軌道をロボット用のサイズに変換して上記動作パターンを得るサイズ変換手段と
   を具え、
   上記動作記憶手段は、上記サイズ変換手段から得られる上記動作パターンを記憶する
   ことを特徴とする請求項１に記載のロボット装置。
3. 複数種類の上記音楽データを予め記憶しておく音楽記憶手段
   を具え、
   上記音楽記憶手段は、外部から指定された音楽に対応する上記音楽データを上記リズム抽出手段に供給する
   ことを特徴とする請求項１に記載のロボット装置。
4. 上記音楽記憶手段は、
   必要に応じてネットワークを介して複数種類の上記音楽データをダウンロードする
   ことを特徴とする請求項３に記載のロボット装置。
5. ロボットの背景に流れる音楽を収音する音楽収音手段
   を具え、
   上記リズム抽出手段は、上記音楽収音手段により収音された上記音楽からリアルタイムでリズムを抽出する
   ことを特徴とする請求項１に記載のロボット装置。
6. 上記動作選択手段は、
   上記選択した動作パターンを逐次的に繋ぎ合わせる
   ことを特徴とする請求項１に記載のロボット装置。
7. 胴体部に多段階の関節機構を有する複数の腕部がそれぞれ連結されたロボット装置の制御方法において、
   供給される音楽データに基づく音楽からリズムを抽出する第１のステップと、
   上記リズムに基づいて各上記腕部の平均移動速度の範囲を決定する第２のステップと、
   各上記腕部が動作する際に描く軌道を当該各腕部の平均移動速度と共に動作パターンとして予め記憶しておき、複数の上記動作パターンの中から上記決定された範囲に合う動作パターンを選択的に読み出す第３のステップと
   を具えることを特徴とするロボット装置の制御方法。
8. 上記第３のステップでは、
   撮像結果として得られるフレーム画像内に含まれる顔画像及び手画像を認識した後、当該顔画像に対する上記手画像の相対位置関係に基づいて、上記フレーム画像内を移動する上記手画像の軌道を検出し、当該検出された上記手画像の軌道をロボット用のサイズに変換して得られた上記動作パターンを記憶しておく
   ことを特徴とする請求項７に記載のロボット装置の制御方法。
9. 上記第１のステップでは、
   予め記憶しておいた複数種類の上記音楽データのうち、外部から指定された音楽に対応する上記音楽データをリズム抽出対象とする
   ことを特徴とする請求項７に記載のロボット装置の制御方法。
10. 上記第１のステップでは、
    上記リズム抽出対象となる音楽データを選択する前に、必要に応じてネットワークを介して複数種類の上記音楽データをダウンロードする
    ことを特徴とする請求項９に記載のロボット装置の制御方法。
11. 上記第１のステップでは、
    ロボットの背景に流れる音楽を収音しながら、当該音楽からリアルタイムでリズムを抽出する
    ことを特徴とする請求項７に記載のロボット装置の制御方法。
12. 上記第３のステップでは、
    上記選択した動作パターンを逐次的に繋ぎ合わせる
    ことを特徴とする請求項７に記載のロボット装置の制御方法。
    

Images