JP2007221300A - ロボット及びロボットの制御方法 - Google Patents

Abstract

【課題】本発明はロボット及びロボットの制御方法に関し，人とのコミュニケーションを行う機能を持ち，呼びかけに対して簡易な構成により反応することを目的とする。
【解決手段】頭部が胴体に対して回転可能に取り付けられたロボットであって，頭部に，その顔の正面方向に向けられた指向性マイクを設け，胴体に，その首の回りの前方に一定間隔を置いて配置された複数個のマイクにより構成されたアレイマイクとロボットを制御する制御部とを備える。制御部は，アレイマイクからの音声検出手段と，検出した音声から音源方向を含む人の呼びかけを検出する手段と，検出した音源方向に頭部を回転させる頭部回転制御手段と，音源方向に向けられた指向性マイクからの音声を取得する指向性マイクの音声取得手段と，取得した音声に基づいて出力制御を行う出力制御手段とを備えるよう構成する。
【選択図】図１

Description

本発明は，オフィスロボット等の人とのコミュニケーションを行う機能を持つロボット及びロボットの制御方法に関する。

近年，頭部，胴体を持つ対話型の人型ロボットが各種の企業において広く進められており，そのようなロボットに対して人間が声をかけた時にその声がどの方向から発生したかをロボットが検出することができる技術が知られている。その中の一つは，自律行動ロボットとして，頭部の眼の位置に撮像部，耳の位置に左・右のマイクを備えた音検出部を設け，音源から発生した音を検出して音源定位処理により音が発した方向を特定し，特定した方向に頭部を駆動することで，撮像部により音源の方向の周辺の画像を撮影して，画像の中から特定形状の目標画像を抽出するという技術である（特許文献１参照）。同様の技術としてロボットの頭部の眼の位置にカメラ，耳の位置に左・右のマイクを備え，聴覚モジュール，視覚モジュール，モータ制御モジュールによりそれぞれ聴覚イベント，視覚イベント及びモータイベントを抽出して聴覚情報，視覚情報及びモータ情報を表示する技術（特許文献２参照）がある。更に，ロボットの胴体，頭部の何れかに複数個のマイクロフォンから成るマイクロフォンアレイを設け，音源からの音響信号を受音し，マイクロフォン毎の入力信号の遅延和から音源方向を算出し，音源の方向にロボットの注目方向に向けて音源の方向とマイクロフォンアレイの指向方向を一致させる技術（特許文献３参照）がある。
特開２００３−６２７７７号公報 特開２００２−２６４０５２号公報 特開２００２−３６６１９１号公報

上記特許文献１，２の技術では，ロボットの頭部の耳の位置に左・右のマイクを設け，眼の位置に視覚情報を設けるものであり，音源の方向を簡単な構成により抽出して，その方向から音声を抽出したいという目的に対しては構成が複雑であり，コストがかかるという問題がある。また，特許文献３の技術では，マイクロフォンアレイをロボットのどこかに設け音響信号を受音してマイクロフォン毎の遅延和から音源方向を算出してロボットの注目方向をマイクロフォンアレイの指向方向と一致させるというだけであり，マイクロフォンアレイをどのように設け，注目方向に向けて音源からの音声を検出するかという具体的な構成を特徴とするものではない。

本発明は人とのコミュニケーションを行う機能を持ち，呼びかけに対して簡易な構成により反応をするロボット及びロボットの制御方法を提供することを目的とする。

図１は本発明の原理構成を示す図である。図中，１は胴体に対して回転可能なロボットの頭部，１０は頭部１の正面方向に指向性を持つ指向性マイク，２はロボットの胴体，２０は複数のマイクロフォンを配列して構成されたアレイマイク，２１は制御部，２２は頭部回転機構，２３は呼びかけ者の音声に応じた出力（表示出力，音声出力，機械的な出力等）を行う出力手段である。制御部２１内の２１ａはアレイマイクの音声検出手段，２１ｂは取得した音声信号を分析して音源方向，音量及び音声構成からある方向からの人による呼びかけであることを検出する呼びかけ検出手段，２１ｃは頭部回転制御手段，２１ｄは指向性マイクの音声取得手段，２１ｅは音声に対応した出力制御を行う出力制御手段である。

本発明の特徴はロボットの胴体２の上部（首の周囲等）に所定の間隔で配置された複数のマイクロフォンで構成するアレイマイク２０を設けて呼びかけ人（音源）のいる方向を検出するために設けられ，頭部１に設けた指向性マイク１０は呼びかけ人の音声を取得するために設けられている。

最初に制御部２１において，アレイマイクの音声検出手段２１ａで呼びかけ人からの声を検出する。次に呼びかけ検出手段２１ｂでアレイマイク２０を構成する複数のマイクで取得した各信号を分析し，音源の方向や音量及び人の声であることを検出すると，検出した音源の方向を示す信号を頭部回転制御手段２１ｃに供給する。頭部回転制御手段２１ｃは受け取った方向を示す信号に応じて，頭部回転機構２２を駆動する。これにより胴体２に取り付けられた頭部１の正面は呼びかけ人に真っ直ぐに向き合う。この状態で，指向性マイク音声取得手段２１ｄにより，正面方向に対して指向性を持つ指向性マイク１０から呼びかけ人の音声を取得し，取得した音声に応じて出力制御手段２１ｅが制御され，出力制御手段２１ｅにより出力手段２３が駆動される。出力手段２３としては，音声出力，表示出力，ロボットの動き等がある。なお，音声取得手段２１ｄにより取得した音声は，出力手段２３により「音声伝言」として録音したり，音声認識手段を付加することで音声を認識して対応した出力制御手段２１ｅを制御するように構成することができる。また，アレイマイク２０は首の前方または周囲（全周）に複数配置するか，胴体２（胸部や腹部）の前方または周囲（全周）に複数配置することができる。

本発明によればロボットの周囲から声をかけたときに，ロボットが反応して頭部（顔の正面）をその声をかけた人の方に向けると声をかけた人はロボットが自分に注目してくれたと感じてロボットとのコミュニケーションに意欲を持つようになる。また，声をかけた人の音声の内容に応じた出力動作が行われると，ロボットが声を認識したことが分かり，更に深いコミュニケーションを続ける契機となる。

また，音響的に声をかけた方向からの音だけを指向性マイクにより抽出し，他の方向の音を抑制することができ，Ｓ／Ｎ比の高い音声信号を入力することができるので音声認識率を向上することができる。

図２はロボットの実施例の外観構成，図３はロボットのシステム構成を示す。

図２において，１，２の各符号は上記図１の同一符号と同じであり，１は頭部，１０は頭部１の顔の中心位置（図の例は鼻の位置）に設けた指向性マイク，１１は頭部の眼の位置に設けたカメラ，２は胴体（ボディ），２０はロボットの胴体２の首の周りの，頭部１を軸として両肩を結ぶ前方の半円に沿って一定間隔を置いて配置した複数のマイクにより構成したアレイマイク，２４は外部の人に対して文字や画像を表示するモニタ部，２５は外部の人に音声を出力するスピーカ，２６はロボットの腕，２７はロボットの胴体２を支え，ロボットを移動させる移動装置である。図２の実施例では，アレイマイク２０は首の周りの前方に一定間隔をおいて配置されているが，アレイマイク２０の設置形式としては，配置位置や，配置構成により次の(1) 〜(4) のように各種の形式で設けることができる。

(1) 首の前方に配置する形式
(2) 首の周りに配置する形式，例えば，６０度おきに６個のマイクを全周に配置する。
(3) 胴体の前方に配置する形式
(4) 胴体の周囲に配置する形式

図３はロボットのシステム構成を示し，上記図２に示すロボットの全体の制御を行うシステム構成である。図中，３０はデータを格納するＲＡＭ，プログラム及びデータを格納したＲＯＭ，マイクから入力する音声（ディジタル信号）について分析（音量，周波数帯域等），音声認識及び音声合成等の処理を行う音声処理回路や，プログラムによる処理を行うＣＰＵを搭載したＣＰＵボード，３１は頭部回転機構，３２は頭部に設けた指向性マイク（図２の１０），３３はアレイマイク（図２の２０），３４はカメラ（図２の１１），３５はモニタ部（図２の２４），３６は移動装置駆動機構，３７はスピーカ（図２の２５），３８はロボットの各部に電源を供給する電源部である。

図４は実施例１のフローチャートであり，上記図３のＣＰＵボード３０において実行される。

最初にアレイマイクにより音声を取得し（図４のＳ１），アレイマイクにより取得した音声（複数のマイクからの複数の音声）から，音源方向を判別し（同Ｓ２０），マイクからの音量が判別され（同Ｓ２１），更に音声らしさ（人間の音声であるか）を判別する（同Ｓ２２）。なお，「音声らしさ」は，音が機械雑音でないことを示す度合であるが，入力音の周波数特性や途切れパターンを解析することで音声らしいかどうかを判断することができる。なお，これらのＳ２０〜Ｓ２２の判別は同時に行うことができるが，順番に行ってもよい。

この後，上記Ｓ２０〜Ｓ２２の結果について，(1) 一定以上の音量であるか，(2) 一定以上（度合い）の音声らしさ，(3) 一定以上の音源方向確実性，で音声を取得できたかの判別をする（図４のＳ３）。これによりロボットが人から呼びかけられたかどうかが判断される。この判別で一つでも条件を満たさない音声を取得できないと判定されると，ステップＳ１に戻り，全ての条件を満たした音声を取得したと判定されると，呼びかけられた方向（音源方向）の情報を用い，ロボットの頭部をその方向に回転させる（図４のＳ４）。ロボットの頭部を回転させることにより，呼びかけた人にはロボットが自分の声に注意を向けたことが，身振りから分かる。これにより，コミュニケーション性が向上する。次に指向性マイクにより音声を取得し（同Ｓ５），以降は指向性マイクで呼びかけた人の音声をクリアに取得し，取得した音声を利用した処理を行う（同Ｓ６）。この時の音声を利用した処理としては，音声方向に頭を動かして使用者に反応したり，音声認識をして認識にしたがった制御をしたり，モニタ部（図２の２４）に何らかの表示を行ったり，音声伝言の録音（ＣＰＵボード３０に音声記録のチップを搭載することにより実現する）をしたり，スピーカ（図２の２５）から何らかの音声出力を行ったり，腕（図２の２６）を動かす等の処理がある。

上記の音声を利用した処理（図４のＳ６の処理）を実行中にもアレイマイクによる音声方向を検出し続け，利用者が動いた場合でも頭部を追従して回転させるようにすることができる。

また，アレイマイクにより擬似的な指向性を作り出すこともできるが指向性マイクを使用した方が容易に性能が上がる。また，アレイマイクは音声方向を検出するためだけに使用するので性能がそれほど高くないマイクを使用することができる。

図５は音源方向計測の確実性の説明図である。図５のＡ．はアレイマイクの構成を示し，Ｂ．はマイク信号の相関度を示す。図５のＡ．において，２０ａ〜２０ｅは上記図２に示すロボットの胴体２の首回り（両肩を結ぶ前方の半円に沿った）に設けたアレイマイク２０を構成する個別のマイクを表し，この例では５個設けられているが，その個数は５個に限定されない。このような構成において，音源方向の検出は次のように行われる。

音源方向検出は，基本的には多数のマイクに入力する音声の相関を次のように取る処理により行われる。

すなわち，音が正面からθの方向からマイク２０ａ，マイク２０ｂ，２０ｃ，…，２０ｅに入力するとき，５本のマイクに到達するのに時間差が生じる。各マイクから取得した音を想定した角θに従って，遅延させて比較し，最も一致した角θを音の到来方向とする。図５のＢ．は横軸に想定角，縦軸に一致度をグラフで表し，相関度の高い角度（方向）を音の到来方向と判断する。実際には，環境には雑音が存在するためにグラフは到来方向以外の角でもピークが存在したり，波形がゆがむが，この度合いが音源方向計測の確実度（信頼度と同じ）となる。具体的には，第２ピーク（２番目の高さ）が存在するときは，第１ピーク（１番目の高さ）との高さの差が確実度（信頼度）となる。また，ピークが一つの時でも，ピークの精鋭度（鋭さ）が計測の確実度（信頼度）となる。

図６は実施例２のフローチャートである。最初にアレイマイクにより音を取得し（図６のＳ１），アレイマイクにより取得した複数の音声から，音源方向を判別し（同Ｓ２０），アレイマイクからの音量を判別し（同Ｓ２１），また，入力した音を音声認識する（同Ｓ２２）。これらの処理結果に基づいて，(1) 一定以上の音量で，(2) 認識した単語にキーワードが含まれ，(3) 一定以上の音源方向の確実性，という条件を満たす音声を取得したか判別する。この判別で一つでも条件を満たさないことが判定されると，ステップＳ１に戻り，全ての条件を満たした音声を取得したと判定されると，呼びかけられた方向（音源方向）の情報を用い，ロボットの頭部をその方向に回転させる（図６のＳ４）。続いて，音源に頭部を回転することにより音源方向に向いた指向性マイクにより呼びかけた人の音声を取得し（図６のＳ５），音声を利用した処理を行う（同Ｓ６）。

この実施例２では，音声認識（図６のＳ２２）により特定のキーワードとして，例えば呼びかけた人からロボットの名前（例えば，「ロボチャン」といった名前）で呼びかけられた時に反応することができ，空調雑音や突発雑音等に応答することがなくなる。なお，キーワードは一つではなく，複数を登録しておいて，その中の一つでも呼びかけられると反応するよう構成することができる。例えば，「ロボットくん」や，「こんにちわ」等である。

図７は音声認識の説明図であり，上記図６のステップＳ２２においてアレイマイクから取得した音声について実行され，後述する図８のＳ２２においても実行される。なお，図８のＳ６１においても同様の原理により実行できる（但し，指向性マイクから取得した音声について認識する）。

図７において，２０はアレイマイク，３０は単語切り出し部，３１は比較部，３２は単語バンク，３３は認識結果出力部，３４はテーブルである。この音声認識の原理は，アレイマイク２０から入力した音声から単語切り出し部３０で単語を表す音声パターンを切り出し，比較部３１において予め各候補単語の音声パターンが登録された単語バンク３２の各候補単語リストの音声パターンと比較し，一致度を計算して，認識結果出力部３３でテーブル３４に各候補単語について一致度（得点）を格納する。単語が短いほど，また音声が不明瞭なほど単語リスト間の差は少なくなる。実際にはＳ／Ｎが低下したりイントネーションが想定したものと異なったりして更に認識はあいまいとなる。音声認識の信頼度は，第１候補単語の一致度（得点）とそれ以外の単語の得点の差から計算できる。単純には第１候補と第２候補の得点比から計算することで得られる。

図８は実施例３のフローチャートである。この実施例３のフローチャートでは，アレイマイクにより音を取得し（図８のＳ１），音源方向，音量，音声認識を行って（同Ｓ２０〜Ｓ２２），一定以上の音量で，認識単語にキーワードが含まれていて，一定以上の音源方向確実性で音声を取得できたかを判定し（同Ｓ３），頭部を呼びかけ方向に回転させ（同Ｓ４），指向性マイクにより音声を取得（同Ｓ５）までの処理は上記図６に示す実施例２のフローチャートと同じである。この後，指向性マイク（図２の１０）により取得した音声について音量を検出し（図８のＳ６０），指向性マイクにより明瞭な信号として取得した音声について音声認識を行い（同Ｓ６１），続いて取得した音がロボットに人が話しかけた音声であるか評価する。すなわち，一定以上の音量があり，単語の内容を認識できたかを判断する（図８のＳ７）。認識できた（人による認識できる音声であると評価）できた場合，ロボット向けの呼びかけであると判断し，人の話声でないと判断された場合には，回転させた首を戻して周囲の音を注意するモードに復帰する（図８のＳ８）。判断できた場合は，音声を利用した処理を行う（図８のＳ９）。なお，ステップＳ８では回転させた首を戻しているが，戻さないでステップＳ１において，アレイマイクによる音を取得する処理に移行し，周囲の音を聴取するようにしてもよい。

この実施例３により，アレイマイクだけではあまりクリアに取得できない環境でも，声に反応するロボットを構成することができる。

（付記１） 頭部が胴体に対して回転可能に取り付けられたロボットにおいて，前記頭部に，その顔の正面方向に向けられた指向性マイクを設け，前記胴体に，その首または胴体の何れかの前方または周囲の何れかに一定間隔を置いて配置された複数個のマイクにより構成されたアレイマイクとロボットを制御する制御部とを備え，前記制御部は，前記アレイマイクからの音声検出手段と，検出した音声から音源方向を含む人の呼びかけを検出する手段と，検出した音源方向に頭部を回転させる頭部回転制御手段と，音源方向に向けられた指向性マイクからの音声を取得する指向性マイクの音声取得手段と，取得した音声に基づいて出力制御を行う出力制御手段とを備える，ことを特徴とするロボット。

（付記２） 付記１において，前記制御部の呼びかけ検出手段は，前記アレイマイクから取得した音声について，音量が一定レベル以上か，音源方向が検出されたか，音声らしさが検出されたか，のそれぞれを検出することにより呼びかけとして検出することを特徴とするロボット。

（付記３） 付記１において，前記制御部の前記呼びかけ検出手段は，前記アレイマイクから取得した音声の認識を行って予め決められたキーワードを検出すると，前記頭部回転制御手段による音源方向への頭部回転制御を行うことを特徴とするロボット。

（付記４） 付記１乃至３の何れかにおいて，前記制御部の前記頭部回転制御手段による頭部回転制御の後，音声認識手段により前記指向性マイクから取得した音声について評価を行い，音声として評価できないと前記頭部回転制御手段を駆動して，前記頭部を以前の方向の戻すように回転させることを特徴とするロボット。

（付記５） 付記４において，前記音声認識手段は前記指向性マイクから取得した音声について，音量が一定量以上であると共に音声認識により単語を認識できたかを判断することにより音声として評価することを特徴とするロボット。

（付記６） 頭部が胴体に対して回転可能に取り付けられ，前記頭部に，その顔の正面方向に向けられた指向性マイクを備え，前記胴体に，その首の回りの前方に一定間隔を置いて配置された複数個のマイクにより構成されたアレイマイクを備えたロボットの制御方法において，前記アレイマイクにより音声を取得し，前記アレイマイクにより取得した音声から音源方向を検出し，前記検出した音源方向に前記頭部を回転させ，前記頭部の回転の後，前記指向性マイクから音声を取得し，前記指向性マイクから取得した音声を認識して制御を行う，ことを特徴とするロボットの制御方法。

本発明の原理構成を示す図である。 ロボットの実施例の外観構成を示す図である。 ロボットのシステム構成を示す図である。 実施例１のフローチャートである。 音源方向計測の確実性の説明図である。 実施例２のフローチャートを示す図である。 音声認識の説明図である。 実施例３のフローチャートを示す図である。

符号の説明

１ ロボットの頭部
１０ 指向性マイク
２ ロボットの胴体
２０ アレイマイク
２１ 制御部
２１ａ アレイマイクの音声検出手段
２１ｂ 呼びかけ検出手段
２１ｃ 頭部回転制御手段
２１ｄ 指向性マイクの音声取得手段
２１ｅ 出力制御手段
２２ 頭部回転機構
２３ 出力手段

Claims (4)

1. 頭部が胴体に対して回転可能に取り付けられたロボットにおいて，
   前記頭部に，その顔の正面方向に向けられた指向性マイクを設け，
   前記胴体に，その首または胴体の何れかの前方または周囲の何れかに一定間隔を置いて配置された複数個のマイクにより構成されたアレイマイクとロボットを制御する制御部とを備え，
   前記制御部は，前記アレイマイクからの音声検出手段と，検出した音声から音源方向を含む人の呼びかけを検出する手段と，検出した音源方向に頭部を回転させる頭部回転制御手段と，音源方向に向けられた指向性マイクからの音声を取得する指向性マイクの音声取得手段と，取得した音声に基づいて出力制御を行う出力制御手段とを備える，
   ことを特徴とするロボット。
2. 請求項１において，
   前記制御部の呼びかけを検出する手段は，前記アレイマイクから取得した音声について，音量が一定レベル以上か，音源方向が検出されたか，音声らしさが検出されたか，のそれぞれを検出することにより呼びかけとして検出することを特徴とするロボット。
3. 請求項１において，
   前記制御部の前記呼びかけを検出する手段は，前記アレイマイクから取得した音声の認識を行って予め決められたキーワードを検出すると，前記頭部回転制御手段による音源方向への頭部回転制御を行うことを特徴とするロボット。
4. 頭部が胴体に対して回転可能に取り付けられ，前記頭部に，その顔の正面方向に向けられた指向性マイクを備え，前記胴体に，その首の回りの前方に一定間隔を置いて配置された複数個のマイクにより構成されたアレイマイクを備えたロボットの制御方法において，
   前記アレイマイクにより音声を取得し，
   前記アレイマイクにより取得した音声から音源方向を検出し，
   前記検出した音源方向に前記頭部を回転させ，
   前記頭部の回転の後，前記指向性マイクから音声を取得し，
   前記指向性マイクから取得した音声を認識して制御を行う，
   ことを特徴とするロボットの制御方法。

Images