JPH08187368A - ゲーム装置、入力装置、音声選択装置、音声認識装置及び音声反応装置 - Google Patents

Abstract

(57)【要約】 【目的】 人間にとって自然な音声による操作を可能と
するゲーム装置を提供する。 【構成】 音声認識部２音声を認識し、発声区間検出部
４は画像入力部３が取り込んだ話者（装置の操作者）の
***付近の動きから、話者の発声区間を検出する。統合
判断部５は、音声認識結果と検出された発声区間の情報
とに基づいて、話者が発声した音声認識結果のみを抽出
する。認識結果は制御部６に送られ、飛行船７の制御に
利用される。以上の構成により、話者以外の周囲騒音に
よる誤認識を防止することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声を用いて操作する
ゲーム装置、***画像や音声を入力する入力装置、およ
び音声反応装置に関する。

【０００２】

【従来の技術】図３４に従来のゲーム装置の例として、
無線受信機を備えた飛行船を操作者の手元の無線受信器
付きリモートコントローラーによって操作するゲーム装
置を示す。図３４に示すように、従来のゲーム装置で
は、リモートコントローラに備えられたジョイスティッ
ク１６１を用いて対象物を操作するのが一般的である。
操作者がジョイスティック１６１を動かすと、その角度
が角度検出部１６２および１６３によって検出され、電
気信号に変換されて制御部１６４に出力される。制御部
１６４は、これらの電気信号に基づき、ジョイスティッ
ク１６１の角度に応じて飛行船７の移動を制御するため
のラジオコントロール信号を出力する。

【０００３】

【発明が解決しようとする課題】しかしながら従来のゲ
ーム装置は、ジョイスティック１６１による操作である
ため、人間にとって自然な操作とはなっていない。この
ため操作習熟に時間がかかる、とっさの反応に鈍くなる
等の問題点を有していた。また、飛行船ではなく、駆動
装置付きの風船を操作するゲーム装置もあるが、この装
置においても上述したようにして風船の動きが制御され
るため、風船の動きが非生物的になってしまい、風船独
特の暖かみが薄れるという問題があった。

【０００４】また、操作者の***の画像を入力すること
により、音声を認識する装置も提案されているが、この
ような装置では、高度な光学系レンズを必要とするため
に装置自体が大ががりなものとなってしまう上に高価で
あるという問題点がある。

【０００５】本発明はこのような現状に鑑みてなされた
ものであり、その目的は、（１）自然な音声による操作
が可能であり、操作習熟を必要とせず、さらに騒音下あ
るいは音声を発しにくい状況での利用、および発声に障
害を持つ者の利用を可能にするゲーム装置を低コストか
つ簡易な構成で提供すること、（２）操作者の***の動
きおよび音声を簡易な構成により入力することが可能で
ある入力装置、（３）同一の入力音声に対して、複数の
言葉の中からランダムに選択された言葉を音声として出
力する音声選択装置、（４）音声によって自然な動作を
させることができるゲーム装置または玩具、ならびにこ
れらに用いられる音声認識装置を提供すること、および
（５）入力される音声に応じて動作を変えることができ
る音声反応装置を提供することにある。

【０００６】

【課題を解決するための手段】本発明のゲーム装置は、
操作者によって発生された音声を含む少なくとも１つの
音声を入力し、入力された該音声を第１の電気信号に変
換し、該第１の電気信号を出力する音声入力手段と、該
音声入力手段から出力された該第１の電気信号に基づい
て該少なくとも１つの音声を認識する音声認識手段と、
該操作者の***の動きを光学的に検出し、検出された該
***の動きを第２の電気信号に変換し、該第２の電気信
号を出力する画像入力手段と、該第２の電気信号を受け
取り、受け取った該第２の電気信号に基づいて、該話者
によって該音声が発生されている区間を求める発生区間
検出手段と、該音声認識手段によって認識された該少な
くとも１つの音声と、該発生区間検出手段によって求め
られた該区間とに基づいて、該少なくとも１つの音声か
ら該操作者によって発生された該音声を抽出する統合判
断手段と、該統合判断手段によって抽出された該音声に
基づいて、対象物を制御する制御手段とを備えており、
そのことにより上記目的を達成する。

【０００７】前記発声区間検出手段は、前記画像入力手
段から出力される前記第２の電気信号の変化の度合いを
検出する微分手段と、該微分手段によって検出される該
変化の度合いが所定の値を超えたときに、対応する音声
は前記操作者によって発生されたと判断する手段とを備
えていてもよい。

【０００８】前記統合判断手段は、前記発声区間検出手
段によって求められた前記区間に所定の長さの区間を加
えることにより評価区間を作成する手段と、前記音声認
識手段によって認識された前記少なくとも１つの音声
が、該音声認識手段から出力された認識結果出力時間を
検出する手段と、該認識結果出力時間と該評価区間とを
比較し、該少なくとも１つの音声のうち、該認識結果出
力時間が該評価区間内に収まっている音声を前記操作者
によって発声された前記音声と判断する手段とを備えて
いてもよい。

【０００９】本発明の他のゲーム装置は、操作者の***
の動きを光学的に入力し、該入力された***の動きを電
気信号に変換し、該電気信号を出力する画像入力手段
と、該電気信号に基づいて該***の動きを求め、該求め
られた***の動きに対応する言葉を認識し、認識結果を
出力する***認識手段と、該認識結果に基づいた制御信
号に応じて対象物を制御する制御手段とを備えており、
そのことにより上記目的を達成する。

【００１０】前記***認識手段は、所定数の言葉を記憶
している記憶手段と、前記求められた***の動きに応じ
て該所定数の言葉から１つを選択し、該選択された言葉
を該***の動きに対応する該言葉であると判断するマッ
チング手段とを備えていてもよい。

【００１１】前記記憶手段は、前記所定数の言葉に対応
する***の動きを標準パターンとして記憶しており、前
記マッチング手段は、該標準パターンの全てについて、
前記求められた***の動きとの距離を算出し、該標準パ
ターンのうちの該距離が最も小さい１つに対応する言葉
を選択してもよい。

【００１２】前記ゲーム装置は、音声を入力し、該音声
を他の電気信号に変換し、該他の電気信号を出力する音
声入力手段と、該音声入力手段から出力された該他の電
気信号に基づいて該音声を認識する音声認識手段と、該
音声認識手段による認識結果と、前記***認識手段によ
る前記認識結果との両方に基づいて、前記制御手段に与
えられるべき前記制御信号を出力する統合判断手段とを
さらに備えていてもよい。

【００１３】前記ゲーム装置は、前記音声認識手段によ
る前記認識結果に対して、音声認識信頼度を求める手段
と、前記***認識手段による前記認識結果に対して、口
唇認識信頼度を求める手段とを有しており、前記統合判
断手段は、該音声認識信頼度および該***認識信頼度に
基づいて、該音声認識手段による該認識結果および該口
唇認識手段の該認識結果のうちの一方を選択し、それを
前記制御信号として出力してもよい。

【００１４】前記画像入力手段は、光を出射する発光手
段と、前記操作者の前記***によって反射された該光を
受け取り、該受け取った光を前記第２の電気信号に変換
する受光手段とを有していてもよい。

【００１５】前記画像入力手段は、光を出射する発光手
段と、前記操作者の前記***によって反射された該光を
受け取り、該受け取った光を前記電気信号に変換する受
光手段とを有していてもよい。

【００１６】前記画像入力手段は、光を出射する発光手
段と、前記操作者の前記***によって反射された該光を
受け取り、該受け取った光を前記電気信号に変換する受
光手段とを有していてもよい。

【００１７】前記光は、前記***に側方から照射されて
もよい。

【００１８】前記光は、前記***に正面から照射されて
もよい。

【００１９】前記音声入力手段は、少なくとも１つのマ
イクロフォンを有していてもよい。前記音声入力手段は
少なくとも１つのマイクロフォンを有しており、該少な
くとも１つのマイクロフォン、および前記画像入力手段
の前記発光手段および前記受光手段は、１つの台上に設
けられていてもよい。

【００２０】本発明の入力装置は、ヘッドフォン状のヘ
ッドセットと、一端が該ヘッドセットに接合されている
支柱と、該支柱の他端に接合されている台であって、そ
の上に、操作者の***に照射される光を発生する少なく
とも１つの発光素子と、該***によって反射された該光
を受け取る少なくとも１つの受光素子とが設けられてい
る台とを備えており、そのことにより上記目的を達成す
る。

【００２１】前記台上には、音声を入力する音声入力手
段が設けられていてもよい。

【００２２】本発明の音声選択装置は、複数のテーブル
を格納する第１の記憶手段であって、該複数のテーブル
のそれぞれは、１つの入力に対して出力されうる複数の
言葉を含んでいる第１の記憶手段と、該複数のテーブル
のうちの１つを格納する第２の記憶手段と、外部からの
入力に応じて、該第２の記憶手段に格納されている該１
つのテーブルに含まれている該複数の言葉から１つの言
葉を選択し、該選択された１つの言葉を音声として出力
する選択手段と、該第２の記憶手段に格納されている該
１つのテーブルを、該第１の記憶手段に格納されている
該複数のテーブルのうちから該選択された１つの言葉に
応じて決定される他のテーブルに更新する遷移手段とを
備えており、そのことにより上記目的を達成する。

【００２３】前記音声選択装置は、乱数を発生する手段
をさらに備えており、前記選択手段は該乱数を用いて前
記複数の言葉から前記１つの言葉を選択してもよい。

【００２４】本発明の他の音声選択装置は、テーブルを
格納する記憶手段であって、該テーブルは、１つの入力
に応じて出力されうる複数の言葉を含んでいる記憶手段
と、外部からの入力を受け取り、該記憶手段に格納され
ている該テーブルに含まれている該複数の言葉から乱数
を用いて１つの言葉を選択し、それを音声として出力す
る選択手段と、該乱数を発生する手段とを備えており、
そのことにより上記目的を達成する。

【００２５】本発明の音声反応装置は、上述した音声選
択装置と、音声を入力し、該音声を認識し、認識結果を
該音声選択装置に与える音声認識手段とを備えており、
そのことにより上記目的を達成する。

【００２６】本発明の他のゲーム装置は、上述した音声
反応装置を備えており、そのことにより上記目的を達成
する。

【００２７】本発明の他のゲーム装置は、上述した音声
反応装置を複数個備えており、それにより該音声反応装
置がお互いに対話し、そのことにより上記目的を達成す
る。本発明の他のゲーム装置は、入力した音声を電気信
号に変換する複数の音声入力部であって、該複数の音声
入力部はそれぞれ異なる方向に対応している音声入力部
と、該電気信号のエネルギーを該複数の音声入力部のそ
れぞれについて求め、該複数の音声入力部のうちの該エ
ネルギーが最大である１つを決定し、該決定された１つ
の音声入力部に対応する方向を該音声が発生された方向
であると判定する方向検出手段とを備えており、そのこ
とにより上記目的を達成する。

【００２８】前記ゲーム装置は、対象物を動作させる動
作手段と、前記判定された方向に該対象物の動作する方
向を変更するように該動作手段を制御する制御手段とを
さらに備えていてもよい。

【００２９】前記ゲーム装置は、対象物の動作の現在の
方向を計測する計測手段、および前記判定された方向を
入力し、該現在の方向および該判定された方向に基づい
て目的方向を求め、該目的方向を格納する手段とを有し
ている方向選択手段と、該対象物を動作させる動作手段
とをさらに備えており、該方向選択手段は、該目的方向
と該現在の方向の差を用いて、該対象物の動作の該現在
の方向と該目的方向とが実質的に一致するように該動作
手段を制御してもよい。

【００３０】本発明の他のゲーム装置は、音声により相
対的な方向を入力する入力手段と、対象物の現在の方向
を計測する計測手段と、該現在の方向および該入力され
た相対的な方向に基づいて目的方向を求め、該目的方向
を格納する手段とを有する方向選択手段を備えたゲーム
装置であって、該方向選択手段によって、該目的方向と
該現在の方向の差を用いて、該対象物の該現在の方向と
該目的方向とが実質的に一致するように該対象物を制御
し、そのことにより上記目的を達成する。

【００３１】前記入力手段は、前記音声が入力される入
力部と、該入力された音声に基づいて前記相対的な方向
を認識する認識部とを有していてもよい。

【００３２】本発明の他のゲーム装置は、音声により絶
対的な方向を入力する入力手段と、該絶対的な方向に基
づいて目的方向を決定し、該目的方向を格納する手段
と、対象物の現在の方向を計測する計測手段とを有する
方向選択手段を備えたゲーム装置であって、該方向選択
手段によって、該目的方向と該現在の方向の差を用い
て、該対象物の該現在の方向と該目的方向とが実質的に
一致するように該対象物を制御し、そのことにより上記
目的を達成する。

【００３３】前記入力手段は、前記音声が入力される入
力部と、該入力された音声に基づいて前記絶対的な方向
を認識する認識部とを有していてもよい。

【００３４】本発明の音声認識装置は、音声に対応する
電気信号を受け取り、該電気信号から、該音声の入力が
終了した時間である音声終了点を検出する第１の検出手
段と、該電気信号に基づいて、該音声が入力された区間
のうちの該音声が発声された区間である発声区間を決定
する第２の検出手段と、該電気信号の該発声区間の部分
に基づいて、特徴量ベクトルを作成する特徴量抽出手段
と、予め作成された複数の候補音声の特徴量ベクトルを
記憶する記憶手段と、該特徴量抽出手段からの該特徴量
ベクトルを、該記憶手段に記憶されている該複数の候補
音声の該特徴量ベクトルのそれぞれと比較することによ
り、該入力された音声を認識する手段とを備えており、
そのことにより上記目的を達成する。

【００３５】前記第１の検出手段は、前記電気信号を、
それぞれが所定の長さを有する複数のフレームに分割す
る手段と、該複数のフレームのそれぞれに対して該電気
信号のエネルギーを求める算出手段と、該エネルギーの
分散に基づいて前記音声終了点を決定する決定手段とを
備えていてもよい。

【００３６】前記決定手段は、予め定められている閾値
と前記エネルギーの前記分散とを比較することにより前
記音声終了点を決定し、該音声終了点は、該エネルギー
の該分散が該閾値とよりも大きい値から小さい値に変化
するときに該分散が該閾値と一致する時間であってもよ
い。

【００３７】前記決定手段は、前記複数のフレームの前
記エネルギーのうちの所定数のフレームのエネルギーに
対する分散を用いてもよい。

【００３８】前記第２の検出手段は、前記電気信号の前
記エネルギーを平滑化する手段と、該電気信号の該エネ
ルギーを平滑化しないままフレーム毎に順次格納する第
１の循環式記憶手段と、該平滑化されたエネルギーをフ
レーム毎に順次格納する第２の循環式記憶手段と、前記
音声終了点が検出されたときに該第１の循環式記憶手段
に格納されている該平滑化されていないエネルギーおよ
び該第２の循環式記憶手段に格納されている平滑化され
たエネルギーの両方を用いて、発声区間検出用閾値を算
出する閾値算出手段と、該平滑化されていないエネルギ
ーを該発声区間検出用閾値と比較することにより、前記
発声区間を決定する発声区間決定手段とを有していても
よい。

【００３９】前記閾値算出手段は、前記音声終了点が検
出された時点で前記第１の循環式記憶手段に格納されて
いる前記平滑化されていないエネルギーの最大値と、該
音声終了点が検出されていない時点で前記第２の循環式
記憶手段に格納されている前記平滑化エネルギーの最小
値とを用いて、前記発声区間検出用閾値を算出してもよ
い。

【００４０】前記特徴量検出手段は、前記電気信号の前
記発声区間の部分から、該電気信号のフレーム毎のゼロ
交差数と、該電気信号を微分して得られる信号のフレー
ム毎のゼロ交差数と、該電気信号の前記エネルギーとを
算出し、これらを前記特徴量ベクトルの要素としてもよ
い。

【００４１】本発明の他の音声反応装置は、少なくとも
１つの上述した音声認識装置と、該少なくとも１つの音
声認識装置の認識結果に基づいて対象物を制御する少な
くとも１つの制御手段とを備えており、そのことにより
上記目的を達成する。

【００４２】前記音声反応装置は、前記少なくとも１つ
の音声認識装置に接続されており、該少なくとも１つの
音声認識装置による前記認識結果を送信する送信手段
と、前記少なくとも１つの制御装置に接続されており、
該送信された認識結果を受け取り、該少なくとも１つの
制御装置に与える受信手段とをさらに備えており、該少
なくとも１つの制御装置および該受信手段は前記対象物
に取り付けられており、それにより該対象物を遠隔より
操作することを可能としてもよい。

【００４３】

【作用】本発明のゲーム装置では、音声認識手段は入力
された音声を認識し、発声区間検出装置は話者（操作
者）の***の動きから話者が発声している区間である発
声区間を検出する。この音声認識結果、および発声区間
の検出結果に基づいて、統合判断部が話者が音声により
入力したコマンドを認識し、そのコマンドに応じて制御
部が対象物を制御する。これにより、人間の音声により
ゲームを操作することが可能であり、話者以外の者の音
声を誤認識したことに起因する誤操作を防ぐことができ
る。また、本発明の他のゲーム装置では、操作者の***
の動きから直にコマンドを認識するので、人間の音声に
より、騒音下、あるいは音声を発しにくい状況でもゲー
ムを操作することが可能となる。また、このゲーム装置
は、発生に障害のある者の利用も可能とする。本発明の
さらに他のゲーム装置では、音声認識手段による認識結
果と***の動きに基づく認識結果との両方から統合判断
部がより確からしい認識結果を判定する。このため、上
述した利点に加えて、音声によるゲーム操作の信頼性を
より高くすることができるという利点も得られる。

【００４４】本発明の入力装置は、軽いヘッドセットに
支柱を取り付け、支柱に取り付けた台に安価な発光素子
（例えば、ＬＥＤ等）と安価が受光素子（フォトダイオ
ード等）を取り付けているために、非常に軽く、しかも
安価に入力装置を提供することができる。さらに、ヘッ
ドセットを伸縮可能にしておけば、その入力装置の操作
者ごとにヘッドセットの長さを調節して、発光素子およ
び受光素子と操作者の***付近との位置関係を調節する
ことができる。

【００４５】本発明の音声選択装置では、外部から１つ
の入力があると、第２の記憶手段に格納されているテー
ブルに含まれている言葉のうちの１つが選択され、音声
として出力される。そして、第２の記憶手段に格納され
ているテーブルは、第１の記憶手段に格納されている複
数のテーブルのうちからこの出力に応じて選ばれるテー
ブルに変更される。次に外部から入力があると、上述し
た動作が繰り返される。このようにして、本発明の音声
選択装置は、１つの入力に１つの言葉を返すという１回
の動作だけではなく、次々と与えられる入力に応じて言
葉を返していくということができる。この音声選択装置
を音声認識装置と組み合わせれば、入力された音声から
それに対応する言葉を認識し、その認識結果に応じて、
ランダムに選ばれた言葉を音声として出力する音声反応
装置を構成することができる。ゲーム装置にこの音声反
応装置を少なくとも１個設ければ、音声反応装置に操作
者と対話を行わせることができるし、また複数個設ける
と、装置同士で対話を行うゲーム装置を構成することも
できる。また１つの入力に対して出力されるべき言葉を
乱数を用いて選択することにより、同一の入力に対して
常に同じ言葉を出力するというのではなく、変化のある
出力を行うことができる。

【００４６】本発明の他のゲーム装置では、それぞれが
異なる方向に対応している複数の音声入力部を用いて音
声が入力された方向を検出する。そして、検出された方
向に対象物の移動の向きあるいは対象物自体の向きを変
更する。このようにして、音声により対象物を動作させ
ることができる。また本発明の他のゲーム装置では、音
声によって入力された方向と現在の対象物の移動方向あ
るいは向きとの差を方位計で検出しながら、対象物の移
動方向あるいは向きを変更する。

【００４７】本発明の音声認識装置は、入力された音声
に対応する電気信号から音声の入力が終了した点を検出
する。続いて、このようにして求められる音声が入力さ
れている区間分の電気信号から、さらに音声が発声され
ている区間を抽出する。この音声が発声されている区間
分の電気信号から、実際に候補音声の特徴量ベクトルと
比較される特徴量ベクトルを作成するので、本発明の音
声認識装置は簡単な構成で精度よく音声を認識すること
ができる。また、音声が発声されている区間の抽出に用
いられる閾値は、上記電気信号のエネルギーおよびこの
エネルギーを平滑化したものとに基づいて算出される。
これにより、音声が発声されている区間を良好に検出す
ることができる。さらに、この音声認識装置を、対象物
の動作を制御する手段と組み合わせて得られる音声反応
装置では、入力された音声に対応する動作を対象物に行
わせることができる。

【００４８】

【実施例】

（第１の実施例）以下、図面を参照しながら本発明のゲ
ーム装置の第１の実施例を説明する。本実施例は、飛行
船の動きに応じた音声コマンドで飛行船を操作するゲー
ム装置である。音声コマンドは、「前」・「後ろ」・
「右」・「左」・「上」・「下」の６個のコマンドを含
んでいる。

【００４９】本実施例では、話者（ゲーム装置の操作
者）の音声信号とともに話者の***の動きを表す信号を
入力し、これらの信号に基づいて話者が発声しているか
否かを判定する処理を行っている。これにより、周囲の
騒音、特に他者が話した声による誤動作を防止すること
が可能となる。

【００５０】図１に、本実施例のゲーム装置の構成を簡
単に示す。本実施例のゲーム装置は、入力された音声を
処理するための音声入力部１および音声認識部２、***
の動きを入力し、***の動きを示す信号を処理するため
の画像入力部３および発声区間検出部４を備えている。
音声認識部２および発声区間検出部４は、ともに統合判
断部５に接続されており、ここで入力された音声および
***の動きの両方に基づき、話者が発声したコマンドが
何であるかが判断される。統合判断部５の判断結果は制
御部６に入力され、これに基づいて制御部６は飛行船７
を制御する。

【００５１】まず、話者が発声したコマンドを含む音声
が音声入力部１に入力される。音声の入力は、例えば、
通常のマイクロフォン等を利用することができる。音声
入力部１は入力された音声を電気信号に変換し、これを
音声信号１１として音声認識部２に出力する。音声認識
部２は音声信号１１を解析し、その結果を音声認識結果
１２として出力する。音声信号１１の解析は、例えばＤ
Ｐマッチング等の従来から知られている手法により行う
ことができる。

【００５２】以上の入力音声の処理と平行して、***の
動きを表す電気信号の処理が行われる。話者がコマンド
を発声すると、そのときの***の動きが画像入力部３に
入力される。図２に画像入力部３の構成例を示す。本実
施例の画像入力部３は、ＬＥＤ２１から発した光を話者
の***部分に照射し、***部分に反射された光をフォト
ダイオード２２によって検出する。これにより、***の
動きに応じた電気信号１３を出力する。話者の***に動
きがある場合、電気信号１３のレベルは、話者の***付
近の陰影の変化に応じて変化する。なお、話者の***に
は、ＬＥＤ２１からの光を正面から照射してもよいし、
側面から照射してもよい。

【００５３】画像入力部３からの電気信号１３は発声区
間検出部４に入力される。図３に、本実施例の発声区間
検出部４の構成を示す。発声区間検出部４は、微分回路
３１と区間検出部３２とを有している。微分回路３１
は、入力された電気信号１３の変化度合いを示す微分信
号３３を出力する。微分信号３３の波形の一例を図５に
示す。図５は、ＬＥＤ２１からの光を話者の***に側面
から照射した状態で話者がコマンド「前」および「後
ろ」を発声したときに得られた微分信号３３を示してい
る。図５から分かるように、話者が発声している場合に
は、微分信号３３の振幅が大きくなる。また、話者の口
唇に側面からＬＥＤ光を当てているため、コマンド「後
ろ」の「う」を発した時に唇が尖る動きが波形に反映さ
れているのがわかる。なお、ＬＥＤ２１からの光を話者
の***に正面からあてる場合には、光が話者の顔のみに
当たるので、電気信号１３および微分信号３３は背景の
動きに起因するノイズの影響を受けないという利点があ
る。

【００５４】区間検出部３２は、この微分信号３３を受
け取り、微分信号３３の振幅の大きさを判定し、話者の
発声区間を検出する。具体的な発声区間の検出法を図６
を参照しながら説明する。

【００５５】区間検出部３２は、微分信号３３のレベル
が所定の振幅閾値５１を超えると、その微分信号３３は
話者がコマンドを発声したことによって生じたものであ
ると判断し、微分信号３３のレベルが振幅閾値５１を超
えている区間を発声区間とする。図６に示す例では、区
間１および区間２が発声区間である。続いて、隣接する
発声区間のインターバルを所定の時間閾値５２と比較す
る。この時間閾値５２は、複数の発声区間が同一の発声
に対応するものか否か、つまり複数の発声区間が連続す
るものか否かを判断するために用いられる値である。発
声区間のインターバルが時間閾値５２以内であれば、そ
のインターバルを挟んだ２つの発声区間は連続した発声
区間であると判断される。このようにして判定された連
続した発声区間を表す信号１４が発声区間検出部４から
出力される。なお、振幅閾値５１および時間閾値５２
は、いずれも、予め適当な値に設定され得る。

【００５６】以上述べたようにして、発声区間検出部４
は、微分信号３３を用いて***の動きの激しさと持続時
間を検出することにより、話者がコマンドを発声した区
間を求める。

【００５７】次に、統合判断部５の動作について説明す
る。統合判断部５は、図４に示すように、音声認識時間
判定部４１、出力判定部４２および出力ゲート４３を有
している。音声認識時間判定部４１は音声認識結果１２
を受け取り、認識された音声が音声入力部１に入力され
た時間を出力判定部４２に伝える。出力判定部４２に
は、音声認識時間判定部４１からの出力の他に、発声区
間検出部４からの発声区間検出信号１４が入力される。
ここで、図７を参照しながら出力判定部４２の動作を説
明する。

【００５８】出力判定部４２は、まず、受け取った発声
区間検出信号１４に基づいて、発声区間の前後に評価用
の時間閾値７１を足すことにより評価用発声区間７２を
作成する。次に、音声認識結果１２が音声認識部２から
出力された時間が、上記評価用発声区間７２に収まって
いるか否かを判定する。収まっている場合には、音声入
力部１に入力され、音声認識部２によって認識された音
声は、話者によって発声されたものであると判断され
る。判断の結果は信号１５として制御部６に出力され
る。

【００５９】なお、評価用発声区間７２を作成するため
の時間閾値７１は、音声認識部２が行う認識処理に要す
る時間を考慮して設定される。これは、認識された音声
が話者の発声によるものかどうかを判断する材料の１つ
として、音声認識結果１２が出力された時間を用いてい
るためである。

【００６０】このようにして、音声によって入力された
コマンドに対応する信号１５が得られると、制御部６
は、入力されたコマンドに応じたラジオコントロール信
号を出力することにより飛行船７を制御する。

【００６１】以上のように第１の実施例では、話者がコ
マンドを発声したときの***の動きから話者が発声して
いる発声区間を検出し、これに基づいて、認識された音
声が話者のものか否かを判断する。このため、話者以外
の発声による誤認識、およびその結果生じる対象物の誤
動作を防止することができる。

【００６２】従って、音声による操作という人間にとっ
て自然な操作によるゲーム装置を実現することが可能と
なる。また、本実施例では、話者の***の動きを、ＬＥ
Ｄとフォトダイオードとの組み合わせといった簡易な構
成・方法によって検出している。このため、話者の***
の画像をビデオカメラ等を用いて取り入れていた従来の
装置と比較して、非常に安価に実現することができる。
もちろん、フォトダイオードの代わりにフォトトランジ
スタを用いても構わない。

【００６３】なお、図２、図３の回路構成は一例を示し
たもので、この構成のみに限定されるものではない。ま
た、計算機のソフトウェアを利用して実現することも可
能である。

【００６４】（第２の実施例）本発明の第２の実施例の
ゲーム装置では、コマンドを音声により入力するのでは
なく、***の動きのみで入力し、入力されたコマンドに
応じて飛行船を制御する。これにより、騒音下での利
用、また例えば真夜中等の音声を発声できない状況にお
ける利用、あるいは発声に障害がある者の利用を可能に
する。

【００６５】図８は、本実施例のゲーム装置の構成を簡
単に示す図である。本実施例のゲーム装置は、上記実施
例１と同様に、画像入力部３、制御部６、飛行船７を備
えており、さらに、***の動きから話者（操作者）の言
葉を認識する***認識部８１を備えている。

【００６６】***認識部８１の構成例を図９に示す。本
実施例では、***認識部８１は、微分回路３１、差分計
算部９１、データベース９２およびパターンマッチング
部９３から構成される。微分回路３１は、上記第１の実
施例のゲーム装置の発声区間検出部４において用いられ
たものと同じである。差分計算部９１は、微分回路３１
からの微分信号３３を所定の時間幅でサンプリングし、
サンプリングデータ間の差分を計算する。差分計算の結
果は、差分計算部９１からデータベース９２およびパタ
ーンマッチング部９３の両方に送られる。データベース
９２には、認識に用いられる標準パターンの差分計算結
果が保持されている。パターンマッチング部９３は、保
持されている標準パターンの差分結果と、認識対象とな
っている入力パターンの差分計算結果との距離の差を求
め、この差に基づいて***の動きとして入力された言葉
を認識する。もちろん、差が小さいほど認識結果の信頼
性は高い。

【００６７】以下、本実施例のゲーム装置の動作を詳細
に説明する。本実施例では、***認識部８１は、上述し
たように標準パターンと入力パターンとの比較により入
力された言葉の認識を行うために、認識動作を行うより
も前に標準パターンを予め***認識部８１に登録してお
く必要がある。

【００６８】（登録動作）まず、画像入力部３が、話者
の***部分によって反射されたＬＥＤ反射光を受け、口
唇の動きに応じた電気信号１３を***認識部８１に出力
する。電気信号１３は***認識部８１の微分回路３１に
入力される。微分回路３１は、電気信号１３の変化の度
合いを示す微分信号３３を差分計算部９１に伝える。こ
こまでは、第１の実施例と同様である。

【００６９】差分計算部９１の動作を図１０を参照しな
がら説明する。まず、微分信号３３を時間幅（Δt）で
サンプリングし、得られたサンプリングデータにおいて
隣り合うサンプリングデータ間の差を計算する。計算さ
れたサンプリングデータ間の差、すなわち一連の差分デ
ータはデータベース９２に出力される。データベース９
２はこの差分データ列を保持する。以上の動作を、認識
されるべき言葉（カテゴリー）の数だけ繰り返し、全て
のカテゴリーに対して差分データ列を格納する。格納さ
れた差分データ列は、認識に用いられる標準パターンと
して保持されることになる。本実施例では、対象物の制
御に用いられるコマンドは、「前」・「後ろ」・「右」
・「左」・「上」・「下」の６つである。従って、上述
した差分データ列の格納は６回繰り返され、最終的には
６つの標準パターンがデータベース９２に保持されるこ
とになる。

【００７０】このようにして全ての標準パターンをデー
タベース９２に登録し終えると、データベース９２は各
差分データ列を調べ、***が動いている部分に相当する
データが続いている区間の長さを各差分データ列に対し
て抽出する。具体的には、例えば、差分データ列内でゼ
ロに近い値が所定の時間よりも長く続いていれば、その
区間は***が動いていないときに相当すると判断する。
そして、全ての標準パターンについて***が動いている
部分に対応する区間の長さを抽出し終わると、最も長い
長さを有する標準パターンを選び出し、その長さを標準
パターンの差分データ列長（Ｎ）と定める。以上で登録
動作が終了し、標準パターンの差分データ列がデータベ
ース９２に保持された状態となる。

【００７１】（認識動作時）***部分の動きを入力して
から微分信号３３を得るまでの動作は、登録動作時と全
く同様である。ここでは、微分信号３３が差分計算部９
１に入力されてから後の動作を図１１を参照しながら説
明する。

【００７２】差分計算部９１に入力された微分信号３３
は、登録動作時と同じように時間幅（Δt）でサンプリ
ングされる。続いて、標準パターンの差分データ列長
（Ｎ）の長さ分の区間内のサンプリングデータについ
て、隣接するサンプリングデータ間の差分を計算し、得
られた一連の差分データをその区間の差分データ列とす
る。差分が計算される区間は順次Δtずつ時間的に後方
にずらしていく。図１１では、一番目のサンプリングデ
ータを区間の始まりとし、区間の長さがＮであるような
区間１１１についての差分データ列、および区間１１１
からＮ／２だけ時間的に後方にずれた区間１１２につい
て差分データ列のみを図示している。

【００７３】区間の長さがＮである複数の区間の差分デ
ータ列（以下、これらを認識差分データ列とする）が求
められると、これらの認識差分データ列は、パターンマ
ッチング部９３に送られる。パターンマッチング部９３
は、データベース９２から標準パターンを読み出してき
て、複数の認識差分データ列のそれぞれについて、標準
パターンのそれぞれとの距離を求める。本実施例では、
上述したように６個の標準パターンがデータベース９２
に登録されているので、パターンマッチング部９３は認
識差分データ列のそれぞれについて、各標準パターンと
の距離を１つずつ計算することになる。

【００７４】認識差分データ列と標準パターンとの距離
は、以下の式を用いて計算される。 ここで、r_iはｉ番目の認識差分データ列、p_ijはｊ番目
の標準パターン（ｊ番目のカテゴリーに対応）、ｄ_jは
認識差分データ列とｊ番目の標準パターンとの距離であ
る。パターンマッチング部９３は、この距離ｄ_j がある
一定値以下となると、認識差分データ列がｊ番目の標準
パターンと一致したと判断し、そのｊ番目のカテゴリー
（言葉）に対応する信号８２を判断結果として出力す
る。

【００７５】この判断結果は制御部６に入力され、制御
部６はｊ番目のカテゴリーに対応したラジオコントロー
ル信号を出力して、飛行船７を制御する。

【００７６】以上述べたように、本実施例では、***の
動きのみを基に入力された言葉（コマンド）を認識し、
認識された言葉に応じて飛行船を制御する。このため、
騒音下での利用や、声が出しにくい状況での利用、また
発声に障害がある者の利用が可能になる。

【００７７】また、***の動きを入力する画像入力部３
は、上記実施例１と同様に、ＬＥＤ２１とフォトダイオ
ード２２の組み合わせによって実現され得るため、ビデ
オカメラ等を用いて***の画像自体を取り込む従来の方
法と比較して、非常に安価なゲーム装置を提供すること
ができる。

【００７８】なお、本実施例ではゲームの利用者が、コ
マンドの入力に先立って、コマンドの認識に用いられる
標準パターンの登録を行っている。しかし、例えばゲー
ム装置製造時あるいは出荷時等にあらかじめ不特定の利
用者の***の動きに対応できるような標準パターンをデ
ータベース９２に登録しておき、利用者による登録を省
略するようにしてもよい。

【００７９】（第３の実施例）続いて、本発明の第３の
実施例のゲーム装置を説明する。本実施例では、コマン
ドを音声および話者（操作者）の***の動きの両方によ
り入力し、両方の認識結果を統合して判断することによ
り、飛行船を操作する。このため、騒音下においても話
者が発声したコマンドを確実に認識することが可能であ
る。

【００８０】図１２に本実施例のゲーム装置の構成を簡
単に示す。本実施例のゲーム装置は、実施例１のゲーム
装置と同様の構成を有する音声入力部１、画像入力部
３、制御部６および飛行船７を備えている。また、さら
に音声処理部１２１および***処理部１２２を備えてい
る。音声処理部１２１は、上記実施例１の音声認識部２
と同様にして入力された音声を認識し、続いて認識結果
の信頼度を算出する。また、***処理部１２２は、実施
例２の***認識部８１と同様にして***の動きとして入
力された言葉（コマンド）を認識し、それとあわせて認
識結果の信頼度を算出する。音声処理部１２１および口
唇処理部１２２からの出力はともに統合判断部１２３に
入力される。統合判断部１２３は、各処理部１２１およ
び１２２からの認識結果、および信頼度から統合的に話
者の入力したコマンドを判断し、判断結果を出力する。

【００８１】以下、本実施例のゲーム装置の動作を詳細
に説明する。

【００８２】話者（ゲーム装置の操作者）が発声した音
声を音声入力部１が入力し、入力された音声に対応する
電気信号１１を音声処理部１２１に伝えるのは、実施例
１と同様である。音声処理部１２１は、電気信号１１を
受け取り、これに基づいて入力された音声を認識する。
音声認識の手法としては、従来から知られているどの方
法を用いてもよい。ここでは、例えば上記実施例の***
認識部の説明において述べた方法と同様に、入力される
可能性のある全てのコマンドについてそれを発声したと
きに得られる電気信号１１を処理して得られるデータ列
を標準パターンとして予め登録しておき、実際にゲーム
装置の操作者がコマンドを発声したときに得られた電気
信号１１を処理して得られた認識対象データ列と、予め
登録された全ての標準パターンとの距離を算出すること
により、音声入力部から入力されたコマンド（音声）が
何であるかを認識する。このようにして音声が認識され
ると、続いて音声処理部１２１は、認識結果はどの程度
信頼がおけるものかを示す信頼度を求め、音声認識結果
と信頼度との両方を出力１２４として統合判断部１２３
に与える。信頼度の求め方は後で述べる。

【００８３】また入力された音声の処理と平行して、口
唇の動きを表す信号の処理が行われる。まず、画像入力
部３は、話者の***の動きを実施例１と同様にして入力
し、***の動きに応じてレベルが変化する電気信号１３
を出力する。***処理部１２２は電気信号１３を受け取
り、実施例２と同様の処理を行う。ただし、本実施例の
***処理部１２２は、認識差分データ列と標準パターン
とのパターンマッチングの結果、認識差分データ列がｊ
番目の標準パターンと一致するものと判断されると、そ
の認識差分データ列とｊ番目の標準パターンとの距離ｄ
_jに基づいて、認識結果の信頼度を算出する。このよう
にして得られた認識結果と信頼度はともに統合判断部１
２３に出力される。

【００８４】次に、簡単に信頼度の算出方法を簡単に説
明する。本実施例では、音声認識結果の信頼度も***の
動きに基づく認識結果の信頼度も同じ処理により求めら
れる。以下、音声認識結果の信頼度の算出を説明する。
音声認識結果の信頼度を「大」、「中」、「小」の３段
階で評価する場合を考える。なお、信頼度「小」のとき
が最も認識結果の信頼性が高く、信頼度「大」のときに
認識結果の信頼性は最も低いものとする。この場合、信
頼度「小」と「中」とを分ける閾値α_L、および信頼度
「中」と「大」とを区切る閾値α_H（ただしα_L＜α_H）
を用い、認識対象と一致すると判断された標準パターン
と認識対象との距離ｄを上記閾値と比較する。比較した
結果ｄ＜α_Lならば信頼度は「小」と判定される。同様
に、α_L≦ｄ＜α_H、ｄ≧α_Hのときには、それぞれ信頼
度は「中」、「大」と判定される。***の動きに基づく
認識結果についても同様に、閾値との比較により信頼度
がどの段階であるかが判定される。なお、ここで用いら
れる閾値は、適当な値に設定することができる。また、
信頼度の算出方法は、ここで説明した方法に限られず、
公知のどの方法を用いてもよい。

【００８５】続いて、統合判断部１２３の動作を、図１
３を参照しながら説明する。

【００８６】図１３は、統合判断を行う方法の概念を示
す図である。まず、統合判断部１２３は、音声認識結果
が音声処理部１２１から出力された時間（すなわち出力
１２４が発生された時間）および***の動きに基づく認
識結果が***処理部１２２から出力された時間（すなわ
ち出力１２５が発生された時間）を検出し、検出された
各出力時間の前後に所定の閾値１３１に相当する区間を
足すことにより、評価用区間１３２ａおよび１３２ｂを
作成する。続いて、***認識結果についての評価用区間
１３２ａと音声認識結果について作成された評価用認識
区間１３２ｂとが重なっているか否かを判定する。重な
っている場合には、統合判断部１２３は、***の動きを
入力した操作者が発声した音声が入力され、認識された
と判断する。重なっていない場合には、認識された音声
は、周囲の騒音や操作者以外のものの発声によると判断
される。これにより、操作者以外の音声の誤認識を防ぐ
ことができる。

【００８７】次に、統合判断部１２３は、***の動きに
基づく認識結果と音声に基づく認識結果とが一致してい
るかどうかを判定し、一致した場合にはそれらの認識結
果を統合判断結果とする（図１３の統合判断結果
「前」）。一致しなかった場合、各認識結果に対して求
められた信頼度に応じて統合判断結果を決定する。認識
結果に対する信頼度の組み合わせと、その組み合わせに
応じて決定される統合判断結果との対応関係の例を図１
４に示す。この例では、上述したように、各認識結果に
対する信頼度を、最も信頼性の低い「大」、最も信頼性
の高い「小」、およびこれらの間の「中」との３段階で
評価している。図１４の（ａ）は、信頼度が同等である
ときに音声認識結果を優先する場合の対応関係であり、
（ｂ）は***認識結果を優先する場合の対応関係であ
る。どちらの認識結果を採用するかは、このゲーム装置
が操作される周囲の環境等の要因に応じて決定されるも
のであり、これを予めゲーム装置に登録しておくことも
可能であるし、あるいは操作者が自分で入力するように
ゲーム装置を構成してもよい。例えば、（ａ）のように
音声認識結果が優先されるのは、発声に支障がない健常
者でかつ周囲の騒音が比較的小さい場合であり、発声に
障害を持つ話者の場合や周囲の騒音が非常に大きい場合
には（ｂ）を採用する。

【００８８】統合判断部１２３は、以上述べたように決
定された統合判断結果を信号１５として出力する。最後
に、制御部６が判断結果に応じたラジオコントロール信
号を出力して、飛行船７を制御する。

【００８９】以上のように本実施例によれば、音声信号
とともに***の動きも認識し、両者の結果を統合的に使
って認識するため、騒音下においても確実に話者が発声
した言葉（コマンド）を認識することができる。同時
に、発声に障害を持つ者が音声操作によるゲームを利用
することを可能にするという効果もある。また、上述し
た実施例１および２と同様に、ＬＥＤ２１とフォトダイ
オード２２の組み合わせで***の動きを検出しているた
め、ビデオカメラ等を用いて***の画像を取り込む方法
と比較して非常に安価に実現できる、という効果もあ
る。

【００９０】なお、詳細な説明は省略したが、本実施例
でも第２の実施例と同様に、ゲームの利用者が***認識
時の標準パターンの登録を行うが、あらかじめ不特定話
者に対応できる形の標準パターンを準備しておき、利用
者による登録を省略するようにしてもよい。

【００９１】また、上記実施例１〜３では、飛行船７を
ラジオコントロール信号によって制御するゲーム装置を
例として説明しているが、本発明が適用されうるゲーム
装置はこれに限られないのはもちろんである。例えば、
上記実施例のいずれかで述べたような構成を操作者の数
だけ設ければ、複数の操作者が同時にプレイすることが
可能なゲーム装置を実現することができる。

【００９２】以下、本発明の入力装置を説明する。図１
５は、本発明の入力装置の構成を簡単に示す図である。
本発明の入力装置は、ヘッドセット１５４と、それに取
り付けられた支柱１５５と、フォトダイオード１５１お
よびＬＥＤ１５２が設けられた台１５３とを有してお
り、台１５３は所定の角度で支柱１５５に接合されてい
る（図１５の（ａ）参照）。台１５３と支柱１５５との
角度を調整すれば、ＬＥＤ１５２が発した光が操作者の
***部分に照射される方向を変更することができる。こ
の入力装置は、ＬＥＤ１５２が発した光を操作者の***
部分に照射し、反射された光をフォトダイオード１５１
で検出することにより、***の動きを入力する装置であ
る。このような入力装置は、例えば、上記実施例１〜３
における画像入力部として用いることができる。また、
台１５３にマイク１５６を付加すれば（図１５の（ｂ）
参照）、この入力装置を音声入力装置としても用いるこ
とができる。

【００９３】図１５の（ａ）に示すようにマイクを設け
ていない入力装置は、上記実施例２の画像入力部として
用いることができる。また、図１５の（ｂ）に示すよう
にマイクを有する入力装置は、上記実施例１および３の
音声入力部と画像入力部とを兼ねた装置として用いるこ
とができる。

【００９４】このように、本発明の入力装置は、非常に
サイズが小さく、かつ非常に軽く実装することができる
フォトダイオード１５１、ＬＥＤ１５２、およびマイク
１５６を用いているので、入力装置全体のサイズおよび
重量は非常に小さい。また、使用している構成要素はす
べて安価であるため、低コストで実現することができ
る。さらに、本発明の入力装置は、ヘッドセット１５４
により操作者の頭部に固定されるため、***とフォトダ
イオード１５１およびＬＥＤ１５２の位置を実質的に一
定にすることができる。このため、***の動きを安定し
て入力することができる。また、本発明の入力装置は光
により***の動きを入力し、それを電気信号に変換して
出力するので、従来の入力装置、例えば***の動きでは
なく画像を入力する装置や、超音波を用いる装置といっ
た大がかりで複雑な構成にならざるを得ない入力装置よ
りも簡易な構成にすることが可能である。

【００９５】なお、ここでは、フォトダイオードとＬＥ
Ｄはそれぞれ１つずつしか実装していないが、それぞれ
を複数個実装することも可能である。たとえば、ＬＥＤ
とフォトダイオードを２組準備し、各組を十字状に配置
すれば面上での動き方向が検出できるといった効果があ
る。

【００９６】以上説明したように、本発明によれば、人
間にとって自然な音声による操作が可能であり、かつ操
作習熟を必要としないゲーム装置を得ることができる。
また、音声のみから入力された言葉（コマンド）を認識
するのではなく、***の動きを利用しているので、騒音
下においても安定な操作が可能である。さらに、***の
動きをＬＥＤとフォトダイオード（フォトトランジス
タ）の組み合わせでとらえるため、ビデオカメラ、ある
いは超音波等を利用する場合と比較して、低コストで実
現することができる。

【００９７】さらに、上記第１の実施例で述べたよう
に、***の動きから話者の発声区間を検出し、これを音
声認識結果の判断材料とするため、話者以外の発声によ
る誤認識を防止することができる。また、上記第２およ
び第３の実施例で述べたように、***の動きから入力さ
れた言葉（コマンド）を認識して飛行船の制御を行うよ
うにすれば、騒音下においても、また声が出しにくい状
況や、発声に障害を持つ者の利用も可能となる。

【００９８】また、本発明の入力装置は、軽いヘッドセ
ットと支柱および台に安価な発光素子（ＬＥＤ等）と安
価な受光素子（フォトダイオード等）を取り付けてい
る。このため、非常に軽く、しかも安価な入力装置を実
現することができる。

【００９９】上記実施例１〜３では、認識された音声あ
るいは***の動きに応じて、対象物の移動が制御される
例を説明した。しかし、音声あるいは***の動きに基づ
いて制御される対象物の動作は移動に限らず、例えば何
らかの言葉を言い返す、等の動作であってもよい。以下
に説明するのは、認識された音声に応じて、対象物に何
らかの動作（移動を含む）を行わせるための様々な装置
である。

【０１００】以下に、認識された音声に応じて対象物に
何らかの動作を行わせるための装置を各実施例において
説明する。

【０１０１】（第４の実施例）本実施例では、認識され
た音声に応じて、その音声に対して用意された出力音声
の集合から１つの出力音声を選択し、それを出力する装
置を説明する。

【０１０２】図１６に本実施例の音声選択装置１００の
構成を簡単に示す。音声選択装置１００は、乱数発生部
１０１、選択部１０２、入出力状態メモリ１０３、状態
遷移部１０４および入出力状態データベース１０５とを
有している。入出力状態データベース１０５には、複数
個の入出力状態テーブルが予め記憶されている。各入出
力状態テーブルは、状態ｓにおける入力ｘ（ｘは負でな
い整数）と、入力ｘに対するｎ（ｓ）個の出力音声の集
合ｓｐ（ｘ，ｉ）（０≦ｉ＜ｎ（ｓ））とを含んでい
る。入出力状態テーブルの例を図１７に示す。入出力状
態メモリ１０３には、最初、図１７（ａ）に示す初期状
態のテーブル２０１が格納されている。乱数発生部１０
１は、出力音声の集合から出力すべき１つの音声を選択
するのに用いられるｉを決定する。

【０１０３】以下、この音声選択装置１００の動作を説
明する。選択部１０２に外部から入力ｘがあると、選択
部１０２は、入出力状態メモリ１０３に格納されている
入出力状態テーブルを参照し、入力ｘに対応する出力音
声集合ｓｐ（ｘ，ｉ）を選択する。続いて、選択部１０
２は、乱数発生部１０１に乱数ｒ（ｎ（ｓ））（ただ
し、０≦ｒ（ｎ（ｓ））＜ｎ（ｓ））によって決定さ
せ、ｉ＝ｒ（ｎ（ｓ））として出力音声集合ｓｐ（ｘ，
ｉ）の中から１つの音声を選び出す。そして、これを外
部に出力する。

【０１０４】選択部１０２からの出力は、外部だけでは
なく、状態遷移部１０４にも与えられる。選択部１０２
からの出力を受け取ると、状態遷移部１０４は、入出力
状態データベース１０５を参照しながら、入出力状態メ
モリ１０３の内容を、選択部１０２からの出力に対する
入出力状態テーブルに書き換える。例えば、初期状態２
０１において「元気？」が出力された場合、状態遷移部
１０４は、入出力状態データベース１０５を参照して、
出力「元気？」に対する入出力状態２０２のテーブルを
取り出す。そして、取り出した状態２０２のテーブルを
入出力状態メモリ１０３に格納する。

【０１０５】このようにして本実施例の音声選択装置１
００は、入力された音声に対して、乱数を用いて選ばれ
た音声を出力する。従って、この音声選択装置１００を
用いれば簡単な対話システムを構築することが可能とな
る。また、図１８に示すように、状態遷移部１０４と入
出力状態データベース１０５とを省略した簡単な構成の
音声選択装置１００ａを用いれば、入力された音声に対
して一回だけの応答をさせるようにすることもできる。

【０１０６】上記音声選択装置１００および１００ａ
は、図２７に示すように音声反応装置１２０３の音声選
択装置１２０２として、音声認識装置１２０１と組み合
わせて用いられ得る。具体的に説明すると、まず、音声
認識装置１２０１によって音声が認識されると、その認
識結果は、例えばその音声に付された識別番号によって
音声選択装置１２０２に入力される。音声選択装置１２
０２は、入力された識別番号を入力ｘとして出力音声集
合から１つの音声をランダムに選択し、それを出力す
る。これにより、ある音声を入力するとそれに対応した
音声が出力され、しかも、同じ入力音声に対してもさま
ざまな応答をすることができる音声反応装置１２０３を
実現することができる。例えば、音声選択装置１２０２
が初期状態にあるときに音声認識装置１２０１が「おは
よう」という音声を認識結果として出力すると、音声選
択装置１２０２には、「おはよう」という音声に与えら
れた識別番号１が入力ｘとして入力される（図２（ａ）
参照）。これに応じて、音声選択装置１２０２は、「お
はよう」、「元気？」の２つの出力音声を含む集合ｓｐ
（１，ｉ）から１つをランダムに選び、出力する。

【０１０７】この音声反応装置１２０３では、実際の動
作に先立って、音声選択装置１２０２に入力として受け
入れられ得る音声を登録しておく必要がある。登録音声
集合に含まれていない音声が音声選択装置１２０２に入
力されたときには、例えば、「何？」という音声を音声
選択装置１２０２から出力させればよい。また上記実施
例３の装置を音声認識装置１２０１として用いた場合に
は、認識された音声の信頼性が低いときにはもう一度音
声入力をしてもらうための音声を音声認識選択装置１２
０２から出力させることもできる。

【０１０８】このように本発明の音声選択装置では、入
出力の状態を表すテーブルを複数個用意し、過去の入出
力の履歴に応じて入出力の状態を遷移させている。従っ
て本発明の音声選択装置を用いれば、簡単な対話を行う
装置を実現することが可能となる。また、この音声選択
装置では、１つの入力に対して複数の出力音声の候補を
有しており、これらの出力音声候補から１つをランダム
に選択して出力する。このため、１つの入力に対して常
に同じ応答をするのではなく、変化のある応答をするこ
とができる音声反応装置が得られる。

【０１０９】（第５の実施例）次に、本発明の方向検出
装置および方向選択装置を説明する。

【０１１０】まず、図１９を参照しながら方向検出装置
４００を説明する。方向検出装置４００は、方向検出部
４０１とこれに接続された複数のマイク４０２を有して
おり、マイク４０２は、制御される対象物に取り付けら
れている。ここでは、マイクの個数が４個である場合を
例として方向検出装置４００の動作を説明する。４個の
マイクｍ（ｉ）（ｉ＝０，１，２，３）から音声が入力
されると、方向検出部４０１は、図２０に示すように、
入力された音声ｓｐ（ｍ（ｉ），ｔ）をフレームｆ（ｍ
（ｉ），ｊ）５０１（０≦ｊ）に分割する。例えば１フ
レームの長さは１６ｍｓとされる。次に方向検出部４０
１は、各フレームについてフレーム内の音声のエネルギ
ーｅ（ｍ（ｎ），ｊ）を求め、求められたエネルギーｅ
（ｍ（ｎ），ｊ）を長さｌ(例えば長さ１００)の循環メ
モリ（不図示）に順次蓄えていく。このとき方向検出部
４０１は、１フレーム毎のエネルギーが蓄えられる度に
各マイクについて過去ｌフレーム分のエネルギーの和を
求め、エネルギーの和が最大となるマイクを決定する。
続いて方向検出部４０１は、エネルギーの和の最大値を
予め実験的に定められた閾値Ｔｈｅと比較し、エネルギ
ーの和の最大値が閾値Ｔｈｅよりも大きければ、方向検
出部４０１からそのマイクへ至る方向が音声が聞こえて
くる方向であると判定する。こうして判定されたマイク
の番号ｉが、音声が入力された方向として方向検出部４
０１から出力する。

【０１１１】このように動作する方向検出装置４００
を、例えば、図２８に示すように動作装置１３０２と組
み合わせて用いれば、音声の聞こえた方向に応じて所定
の動作を行う音声反応装置１３０３を構成することがで
きる。具体的には、例えば対象物（例えば風船やぬいぐ
るみなど）にこれを動かすための動作装置１３０２およ
び方向検出装置１３０１（図１９では４００）を取り付
ければ、人間の声のする方に対象物が移動するというよ
うに、音声に応じて音声が聞こえてくる方向に向けて所
定の動作を行う装置を作ることができる。

【０１１２】なお、上述した動作装置１３０２の一例と
しては、対象物に取り付けられたプロペラ付きのモータ
ーを３個とこれらのモーターの駆動装置とを有してお
り、次に移動しようとする方向を入力すると、対象物が
その方向へ移動するように３個のモーターを制御する装
置がある。

【０１１３】次に図２１を参照しながら方向選択装置を
説明する。方向選択装置６００は、オフセット算出部６
０１、方位計６０２および目的方向メモリ６０３を有し
ており、対象物の移動する方向あるいは対象物の向きを
制御するための装置として用いられ得る。オフセット算
出部６０１は、次に対象物が移動すべき方向あるいは対
象物が向くべき方向を示す入力ｘ（ｘは負でない整数）
が入力されると、予めオフセット算出部６０１に格納さ
れているテーブルに基づいて、入力ｘに応じたオフセッ
トを出力する。出力されたオフセットは、方位計６０２
によって計測されたその時点での対象物の実際の方向に
加算されて目的方向メモリ６０３に送られる。目的方向
メモリ６０３は、方位計６０２からの実際の方向にオフ
セットを加えたものを次に対象物が移動すべき方向ある
いは次に対象物が向くべき方向として記憶する。

【０１１４】このように図２１の方向選択装置は、入力
ｘに応じて、現在対象物が移動している方向あるいは対
象物が向いている方向を基準として対象物の方向を変え
るために用いられる。

【０１１５】また、図２１の方向選択装置６００に代え
て図２２の方向選択装置７００を用いれば、現在の方向
を基準とした相対的な方向に対象物の方向を変えるので
はなく、絶対的な方向に変えることができる。図２２の
方向選択装置７００では、方向算出部７０１は、絶対的
な方向（例えば、北など）を示す入力ｘ（ｘは負でない
整数）を外部から受け取ると、入力ｘに対応する値を出
力する。出力された値は目的とする方向としてそのまま
目的方向メモリ６０３に記憶される。この方向算出部７
０１も上述したオフセット算出部６０１と同様に、入力
ｘに対する絶対的な方向の値をテーブルとして保持する
ことによって実現可能である。このように目的とする方
向をメモリ６０３に格納した後、方向選択装置７００
は、対象物が移動していく、あるいは向きを変えていく
中での現在の方向を方位計６０２で順次計測し、計測さ
れた方向と目的方向メモリ６０３に記憶された方向との
差分を出力する。この出力に基づいて対象物に対してフ
ィードバック制御を行えば、目的とする絶対的な方向に
対象物を移動させたり、対象物の向きを変えたりするこ
とができる。

【０１１６】上述したような方向選択装置を、音声認識
装置および動作装置と組み合わせれば、図２９に示すよ
うに、対象物の向きあるいは移動方向を音声によって入
力すればそれに応じて対象物の向きあるいは移動方向が
変化する音声反応装置１４０２を実現することができ
る。音声反応装置１４０２では、音声認識装置１２０１
の認識結果を方向選択装置１４０１の入力とし、さらに
方向選択装置１４０１の出力を動作装置１３０２に入力
している。これにより、現在の対象物の向きあるいは移
動方向と目的とする方向とを比較しながら、対象物の動
作を制御することが可能になる。

【０１１７】例えば、北を０度とし、東回りを正の方向
としたときに、対象物が現在０度の方向を向いている場
合を考える。このとき、方向選択装置１４０１として上
述した方向選択装置６００（図２１参照）を用いている
ものとする。目的とする方向を示す音声が音声認識装置
１２０１により「右」という言葉であると認識される
と、方向選択装置６００のオフセット算出部６０１に
「右」という言葉に＋９０度が対応づけられているテー
ブルを格納しておけば、方向選択装置６００は、動作装
置１３０２に対して、対象物の向きあるいは移動方向を
現在の向きから東回りに９０度ほど変えるようにという
出力を送る。このとき、方向選択装置６００によって、
対象物の向きあるいは移動方向の変化中に現在の方向と
目的とする方向とは常に比較される。動作装置１３０２
は、方向選択装置６００の出力によって目的とする方向
に対象物の向きあるいは移動方向が変わるように制御さ
れる。あるいは方向選択装置１４０１として用いられて
いるのが図２２の方向選択装置７００である場合には、
目的とする方向を表す言葉として、「右」や「左」では
なく「北」や「南西」というような絶対的な方向を表す
言葉が入力されることになる。このとき、方向選択装置
７００は、入力された言葉が「北」であれば０度を、
「南西」であれば−１３５度を目的とする絶対的な方向
として目的方向メモリに格納し、上述したような動作を
行う。なお、ここで目的とする方向は−１８０度〜＋１
８０度とする。

【０１１８】また、本実施例の方向検出装置および方向
選択装置を動作装置と組み合わせてもよい。この場合、
図３０に示すように、方向検出装置１３０１の検出結果
を方向選択装置１４０１の入力とし、方向選択装置１４
０１の出力を動作装置１３０２の入力とする。これによ
り、対象物の向きあるいは移動している方向を、現在の
対象物の向きあるいは移動している方向と目的とする方
向とを比較しながら音声が聞こえてくる方向に変えると
いう音声反応装置１５０１を実現することができる。

【０１１９】（第６の実施例）本実施例では、音声認識
に関する装置を説明する。この装置は、図２６に示すよ
うに、音声終了点検出装置１１０１、音声検出装置１１
０２、特徴量抽出装置１１０３、距離計算装置１１０４
および辞書１１１０５を有している。

【０１２０】まず、入力された音声に対応する信号を受
け取り、その信号に基づいて音声終了点を検出する音声
終了点検出装置１１０１を説明する。本明細書では「音
声終了点」は音声入力が終了した時間を意味するものと
する。

【０１２１】本実施例の音声終了点検出装置１１０１
は、マイクなどの音声入力装置に接続されている。音声
入力装置から音声ｓ（ｔ）が入力されると、音声終了点
検出装置１１０１は、図２３に示すように入力された音
声ｓ（ｔ）をフレームｆ（ｉ）（ｉは負でない整数）に
分割し、各フレーム内のエネルギーｅ（ｉ）を求める。
図２３では、音声ｓ（ｔ）を曲線８０１で、エネルギー
ｅ（ｉ）を曲線８０２で表している。続いて音声終了点
検出装置１１０１は、１フレーム分の音声が入力される
度にそのフレームから所定個数前のフレームまでのエネ
ルギーの分散を求め、予め実験的に定められている閾値
Ｔｈｖと比較する。比較の結果、エネルギーの分散が閾
値Ｔｈｖと大きい方から小さい方に交差していれば、交
差した時点を音声終了点と判定する。

【０１２２】ここで一定期間のフレーム毎のエネルギー
から分散を求める方法を述べる。まず、循環メモリを使
う方法であるが、フレーム毎に求まるエネルギーを順
次、長さｌの循環メモリ８０３に格納していく。そし
て、１フレームのエネルギーが求まる度に、そこから一
定期間ほど遡ったフレームのエネルギーを循環メモリ８
０３から参照することにより、分散を求める。

【０１２３】また、循環メモリを用いずにエネルギーの
分散を求める方法もある。この方法では、音声終了点検
出装置１１０１に過去の所定数個のフレームについての
平均ｍ（ｉ−１）と分散ｖ（ｉ−１）を保持させてお
き、新しいフレームに対してエネルギーｅ（ｉ）が求め
られる度に、新しく求められたエネルギーｅ（ｉ）と過
去のエネルギーの平均ｍ（ｉ−１）との重みづけした和
を新しいエネルギーの平均ｍ（ｉ）とし、同じく過去の
分散ｖ（ｉ−１）と｜ｅ（ｉ）−ｍ（ｉ）｜との重みづ
け和を新しい分散ｖ（ｉ）とする。このようにすれば擬
似的なエネルギーの分散を求めることができる。ここ
で、重みづけには減衰定数αを用い、次式を用いて新し
い平均と分散とを求める。αとしては１．０２を用いて
いる。

【０１２４】

【数１】

【０１２５】このようにすることにより、循環メモリを
必要とせず、メモリの節約につながり、新しいエネルギ
ーが求まる度に一定期間内のエネルギーの総和を求める
等の手間が省け、処理時間の短縮にもつながる。

【０１２６】次に、実際に音声が発音された区間を抽出
する音声検出装置１１０２を説明する。この区間の抽出
のために、エネルギーを格納するための循環メモリ８０
３とは別に、平滑化エネルギーを格納するための循環メ
モリ９０２を用意しておき、図２４に示すように、１フ
レームのエネルギーが求まる度にメモリ８０３にはエネ
ルギー８０２を、メモリ９０２には平滑化エネルギー９
０１を蓄えてゆく。上述したようにして音声終了点９０
３が求まった時点では、これらの循環メモリ８０３およ
び９０２にはエネルギーおよび平滑化エネルギーの履歴
が残っており、これらの循環メモリの長さｌを十分な長
さ（例えば２秒に相当する長さ）にしておけば、一単語
分のエネルギーを残しておくことができる。そこで、音
声検出装置１１０２は、これらのメモリに格納されてい
るエネルギーおよび平滑化エネルギーを用いて音声が発
音された区間を抽出する。

【０１２７】区間の抽出は次のような手順で行われる。
まず、後で説明するようにして閾値Ｔｈを決定する。こ
の閾値Ｔｈと循環メモリ８０３内に格納されているエネ
ルギーとを過去のものから順に比較していき、エネルギ
ーが初めてその閾値を超える点を音声が発音された区間
の始点とする。また、逆に音声終了点から過去に遡って
いくときにエネルギーが初めて閾値と交差する点を音声
が発音された区間の終点とする。このようにして、音声
が発音された区間を抽出する。

【０１２８】ここで閾値Ｔｈの決定の仕方を説明する。
まず、音声終了点が検出された時点でのメモリ８０３内
のエネルギーの最大値ｍａｘ１００１と、メモリ９０２
ないの平滑化エネルギーの最小値ｍｉｎ１００２とを求
める。これらの値を用いて、次式から閾値Ｔｈを算出す
る。

【０１２９】

【数２】

【０１３０】ただし、βとしては０．０７程度の値を採
用した。

【０１３１】またここでは、エネルギーを平滑化する方
法としては一定ウインドウ内のメディアン値を採る方法
を用いている。しかし、平滑化の方法はこれに限定され
るものではなく、例えば平均値を採ってもかまわない。
なお、閾値Ｔｈを求める際に平滑化エネルギーの最大値
ではなくエネルギーの最大値を用いたのは、閾値Ｔｈを
求めるのに平滑化エネルギーの最大値を用いると、単語
の長さが変動した場合に最大値が大幅に変動し、それに
伴なって閾値Ｔｈも変動してしまい、結果的に良好な音
声検出ができなくなるからである。また、平滑化エネル
ギーの最小値を閾値Ｔｈの算出に用いているので、音声
ではないノイズが検出されるのを防ぐこともできる。

【０１３２】上述したようにして、音声が発音されてい
る区間の抽出、すなわち入力された信号のうちの音声に
相当する部分の検出が音声検出装置１１０２によって行
われる。

【０１３３】次に、検出された音声から、特徴量抽出装
置１１０３によって、認識のための特徴量を抽出する。
特徴量もエネルギー同様、フレーム毎に求めるものと
し、循環メモリに蓄えていくものとする。ここで特徴量
とは、原信号のゼロ交差数と原信号の微分信号のゼロ交
差数と原信号のエネルギーの対数をとったもののフレー
ム間差分の３つの要素を含む特徴量ベクトルとする。

【０１３４】このように音声終了点検出装置１１０１、
音声検出装置１１０２、および特徴量抽出装置１１０３
を経て得られた音声の特徴量ベクトルは、距離計算装置
１１０４に入力される。距離計算装置１１０４は、辞書
１１０５に予め登録されている複数の音声の特徴量ベク
トルのそれぞれと入力された特徴量ベクトルとを照合
し、最もスコアがよかったものを認識結果として出力す
る。照合の方法は単純にベクトル間のユークリッド距離
を取ってもよいし、ＤＰマッチング法を用いてもよい。

【０１３５】以上説明したようにして、本実施例の装置
は音声認識を行う。この音声認識装置は、図２７に示す
ように実施例４で述べた音声選択装置１２０２と組み合
わせて用いることもできるし、図２９に示すように実施
例５で述べた方向選択装置１４０１、および動作装置１
３０２に組み合わせることもできる。また、単に動作装
置１３０２と組み合わせて、音声認識装置１２０１の結
果を動作装置１３０２の入力として目的の方向へ装置全
体を移動させる音声反応装置１６０１を構成することも
できる。

【０１３６】さらに、実施例４〜６で述べた音声反応装
置のうち音声認識装置１２０１を含むものでは、音声認
識装置側に信号送信装置１７０１を付加し、それぞれの
構成の中で音声認識装置の後段に来る音声選択装置１２
０２や方向選択装置１４０１や動作装置１３０２に信号
受信装置１７０２を付加すれば、音声認識装置のみを手
元のリモコンとして対象物を遠隔操作することが可能と
なる。ここで信号送受信に赤外線や無線を用いることが
可能である。

【０１３７】また、上述した音声反応装置を風船に取り
つけることによって、風船と対話したり、風船をコント
ロールすることが可能になり、風船独特のあたたかみを
生かした玩具を作ることが可能となる。

【０１３８】また、図３３に示すように、上述した音声
認識装置と音声選択装置とを備えた音声反応装置１２０
３を風船１８０１に取り付けた物を２つ用意し、人がこ
の音声反応装置に話しかけるのではなく、２つの音声反
応装置同士がお互いに対話するように構成すれば、勝手
に対話するような玩具を作ることが可能となる。さら
に、この音声反応装置付き風船１８０１を複数用意し、
対話させることも可能である。このときに、それぞれの
音声反応装置付き風船に音声認識過程でリジェクト機能
を持たせれば、特定の言葉に対してのみ反応することが
可能となり、ある発声に対し一つの風船だけが反応する
ように構成することも可能となる。例えば、それぞれの
風船１８０１に名前を付け、その名前を呼んだ時だけ反
応させることが可能となる。ここでリジェクトの方法は
音声認識を行う時に内部の辞書と距離を計算するが、実
験的に閾値を決めておき、その閾値を越えたものをリジ
ェクトするというものがある。さらに、音声反応装置に
時計を組み込んで、所定の時間が経過したら、登録され
ている出力音声集合の中から１つの音声をランダムに選
んで出力させることにより、音声反応装置側から対話を
始めることのできる玩具を構成することも可能である。

【０１３９】なお、上記対象物は風船に限定されるもの
ではなく、ぬいぐるみや人形、あるいは写真や絵であっ
てもかまわない。また、ディスプレイ中の動画であって
もよい。また、対象物として、風船以外の反重力装置
（例えば、ヘリコプターのようにプロペラによって浮上
するものや、リニアモーターカーのように磁力によって
浮上するもの）を用いてもよい。

【０１４０】

【発明の効果】以上説明したように、本発明によれば、
人間にとって自然な音声による操作が可能であり、かつ
操作習熟を必要としないゲーム装置を得ることができ
る。また、音声のみから入力された言葉（コマンド）を
認識するのではなく、***の動きを利用しているので、
騒音下においても安定な操作が可能である。さらに、口
唇の動きをＬＥＤとフォトダイオード（フォトトランジ
スタ）の組み合わせでとらえるため、ビデオカメラ、あ
るいは超音波等を利用する場合と比較して、低コストで
実現することができる。

【０１４１】さらに、本発明の音声認識装置では、***
の動きから話者の発声区間を検出し、これを音声認識結
果の判断材料とするため、話者以外の発声による誤認識
を防止することができる。また、本発明の他の音声認識
装置では、***の動きから入力された言葉（コマンド）
を認識して飛行船の制御を行うために、騒音下において
も、また声が出しにくい状況や、発声に障害を持つ者の
利用も可能となる。

【０１４２】また、本発明の入力装置は、軽いヘッドセ
ットと支柱および台に安価な発光素子（ＬＥＤ等）と安
価な受光素子（フォトダイオード等）を取り付けてい
る。このため、非常に軽く、しかも安価な入力装置を実
現することができる。

【０１４３】以上説明したように、本発明の音声選択装
置は、入出力の状態を複数用意し過去の入出力の履歴に
より入出力の状態を遷移させる。このため、この音声選
択装置を用いることにより簡単な対話をする装置を提供
することが可能となる。また、本発明の音声選択装置は
１つの入力に対し複数の出力を用意しており、この中か
らランダムに選択した１つを出力するので、１つの入力
に対し常に同じ応答ではなく、変化のある応答をするこ
とができる。

【０１４４】また、本発明の方向検出装置は、複数のマ
イクによって音声を入力し、エネルギーが最大となるマ
イクを検出する。これにより、音声が発声された方向を
検出することができる。さらに、本発明の方向選択装置
を用いれば、方位計によって現在の位置を検出しなが
ら、対象物を入力された方向に正確に移動させたり、あ
るいは入力された方向に対象物の向きを変えたりするこ
とができる。

【０１４５】また、本発明の音声認識装置は、音声終了
点検出装置によりまず大まかな音声の終了点を求めてか
ら、音声検出装置で自動的に閾値を求める。ここで、入
力された音声のエネルギーの最大値と、エネルギーを平
滑化したものの最小値とから閾値を決定しているので、
音声の発声区間の長短に関係なく、良好な音声区間抽出
を行うことができる。音声検出装置が閾値を用いて音声
を検出すると、この音声から特徴量を求め、これに基づ
いて音声認識を行う。

【０１４６】また、上述した装置を適宜組み合わせるこ
とにより、様々な音声反応装置を得ることができる。例
えば、音声認識装置と音声選択装置を組み合わせれば、
人が声で話しかけると返答する音声反応装置が得られ、
これによりマン・マシンインターフェースを構築するこ
とが可能となる。また、方向検出装置と動作装置を組み
合わせれば、音声に反応して対象物を動作させることが
可能となるし、音声認識装置と方向選択装置と動作装置
を組み合わせれば、音声の内容が示す方向に対象物を正
確に移動させたり、音声の内容が示す方向に対象物の向
きを変えたりすることが可能となる。さらに、音声反応
装置のうちの音声認識装置に信号送信装置を接続し、音
声認識装置の後段にくる装置に信号受信装置を接続して
対象物に取り付ければ、遠隔からの操作が可能である音
声反応装置を実現することができる。

【０１４７】さらに、上述したような音声反応装置を複
数個用意すれば、音声反応装置間で自動的に対話をする
玩具を構成することも可能である。また、音声反応装置
をそれぞれ風船に付ければ、風船独特の暖かみを持ち、
しかも話しかけることが可能な玩具を作ることができ
る。また、時計を組み込み、ある時間がくれば適当な音
声を出力することによって人間から話かけるのではな
く、自分から話しかける音声反応装置を作ることも可能
である。

【図面の簡単な説明】

【図１】本発明の第１の実施例のゲーム装置の構成を示
すブロック図である。

【図２】本発明の第１〜第３の実施例の画像入力部の詳
細な構成を示す図である。

【図３】本発明の第１の実施例における発声区間検出部
の詳細な構成を示す図である。

【図４】本発明の第１の実施例における統合判断部の詳
細な構成を示すブロック図である。

【図５】本発明の第１〜第３の実施例における微分信号
の出力例を示すグラフである。

【図６】図３の発声区間検出部の処理動作を説明するた
めの図である。

【図７】図４の統合判断部の処理動作を説明するための
図である。

【図８】本発明の第２の実施例のゲーム装置の構成を示
すブロック図である。

【図９】本発明の第２、第３の実施例における***認識
部の詳細な構成を示すブロック図である。

【図１０】本発明の第２、第３の実施例における微分回
路の処理動作を示す図である。

【図１１】本発明の第２、第３の実施例のパターンマッ
チング部の処理動作を示す図である。

【図１２】本発明の第３の実施例のゲーム装置の構成を
示すブロック図である。

【図１３】本発明の第３の実施例における統合判断部の
処理動作を示す図である。

【図１４】本発明の第３の実施例における統合判断部の
処理動作を示す図である。

【図１５】本発明の入力装置の具体的構成例を示す図で
ある。

【図１６】本発明の第４の実施例の音声選択装置の構成
を示す図である。

【図１７】図１６の音声選択装置における入出力状態を
示す図である。

【図１８】本発明の変形例の音声選択装置の構成を示す
図である。

【図１９】本発明の第５の実施例の方向検出装置の構成
を示す図である。

【図２０】入力された音声の波形とフレームとを説明す
る図である。

【図２１】本発明の第５の実施例の方向選択装置の構成
を示す図である。

【図２２】本発明の第５の実施例の他の方向選択装置の
構成を示す図である。

【図２３】音声波形、エネルギー、および循環メモリを
説明する図である。

【図２４】本発明の第６の実施例における音声終了点の
検出方法を説明する図である。

【図２５】本発明の第６の実施例における音声検出方法
を説明する図である。

【図２６】本発明の第６の実施例の音声認識装置の構成
を示すブロック図である。

【図２７】本発明の音声認識装置、および音声選択装置
を用いた音声反応装置の構成を示す図である。

【図２８】本発明の方向検出装置、および動作装置を用
いた音声反応装置の構成を示す図である。

【図２９】本発明の音声認識装置、方向選択装置、およ
び動作装置を用いた音声反応装置の構成を示す図であ
る。

【図３０】本発明の方向検出装置、方向選択装置、およ
び動作装置を用いた音声反応装置の構成を示す図であ
る。

【図３１】本発明の音声認識装置、および動作装置を用
いた音声反応装置の構成を示す図である。

【図３２】本発明の遠隔操作が可能な音声反応装置の構
成を示す図である。

【図３３】本発明の音声反応装置を用いた玩具の一例を
示す図である。

【図３４】従来のゲーム装置の構成を示す図である。

【符号の説明】

１ 音声入力部 ３ 画像入力部 ２ 音声認識部 ４ 発声区間検出部 ５、１２３ 統合判断部 ６ 制御部 ７ 飛行船 ２１ ＬＥＤ ２２ フォトダイオード ８１ ***認識部 １００，１００ａ 音声選択装置 １０１ 乱数発生部 １０２ 音声選択部 １０３ 入出力状態メモリ １０４ 状態遷移部 １０５ 入出力状態データベース ４００、１３０１ 方向検出装置 ４０１ 方向検出部 ６００、７００、１４０１ 方向選択装置 ６０１ オフセット算出装置 ６０２ 方位計 ６０３ 目的方向メモリ ７０１ 方向算出装置 １１０１ 音声終了点検出装置 １１０２ 音声検出装置 １１０３ 特徴量抽出装置 １１０４ 距離計算装置 １１０５ 辞書 １２０１ 音声認識装置 １２０２ 音声選択装置 １３０２ 動作装置 １７０１ 信号送信装置 １７０２ 信号受信装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ１０Ｌ 9/12 ３０１ Ｂ Ｈ０４Ｑ 9/00 ３０１ Ｂ (72)発明者 萱嶋 一弘 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 松井 謙二 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 松川 善彦 大阪府門真市大字門真1006番地 松下電器 産業株式会社内

Claims (39)

【特許請求の範囲】
1. 【請求項１】 操作者によって発生された音声を含む少
   なくとも１つの音声を入力し、入力された該音声を第１
   の電気信号に変換し、該第１の電気信号を出力する音声
   入力手段と、 該音声入力手段から出力された該第１の電気信号に基づ
   いて該少なくとも１つの音声を認識する音声認識手段
   と、 該操作者の***の動きを光学的に検出し、検出された該
   ***の動きを第２の電気信号に変換し、該第２の電気信
   号を出力する画像入力手段と、 該第２の電気信号を受け取り、受け取った該第２の電気
   信号に基づいて、該話者によって該音声が発生されてい
   る区間を求める発生区間検出手段と、 該音声認識手段によって認識された該少なくとも１つの
   音声と、該発生区間検出手段によって求められた該区間
   とに基づいて、該少なくとも１つの音声から該操作者に
   よって発生された該音声を抽出する統合判断手段と、 該統合判断手段によって抽出された該音声に基づいて、
   対象物を制御する制御手段と、を備えているゲーム装
   置。
2. 【請求項２】 前記発声区間検出手段は、 前記画像入力手段から出力される前記第２の電気信号の
   変化の度合いを検出する微分手段と、 該微分手段によって検出される該変化の度合いが所定の
   値を超えたときに、対応する音声は前記操作者によって
   発生されたと判断する手段と、を備えている請求項１に
   記載のゲーム装置。
3. 【請求項３】 前記統合判断手段は、 前記発声区間検出手段によって求められた前記区間に所
   定の長さの区間を加えることにより、評価区間を作成す
   る手段と、 前記音声認識手段によって認識された前記少なくとも１
   つの音声が、該音声認識手段から出力された認識結果出
   力時間を検出する手段と、 該認識結果出力時間と該評価区間とを比較し、該少なく
   とも１つの音声のうち、該認識結果出力時間が該評価区
   間内に収まっている音声を前記操作者によって発声され
   た前記音声と判断する手段と、を備えている請求項１ま
   たは２に記載のゲーム装置。
4. 【請求項４】 操作者の***の動きを光学的に入力し、
   該入力された***の動きを電気信号に変換し、該電気信
   号を出力する画像入力手段と、 該電気信号に基づいて該***の動きを求め、該求められ
   た***の動きに対応する言葉を認識し、認識結果を出力
   する***認識手段と、 該認識結果に基づいた制御信号に応じて対象物を制御す
   る制御手段と、を備えているゲーム装置。
5. 【請求項５】 前記***認識手段は、 所定数の言葉を記憶している記憶手段と、 前記求められた***の動きに応じて該所定数の言葉から
   １つを選択し、該選択された言葉を該***の動きに対応
   する該言葉であると判断するマッチング手段と、を備え
   ている請求項４に記載のゲーム装置。
6. 【請求項６】 前記記憶手段は、前記所定数の言葉に対
   応する***の動きを標準パターンとして記憶しており、 前記マッチング手段は、該標準パターンの全てについ
   て、前記求められた***の動きとの距離を算出し、該標
   準パターンのうちの該距離が最も小さい１つに対応する
   言葉を選択する、請求項５に記載のゲーム装置。
7. 【請求項７】 音声を入力し、該音声を他の電気信号に
   変換し、該他の電気信号を出力する音声入力手段と、 該音声入力手段から出力された該他の電気信号に基づい
   て該音声を認識する音声認識手段と、 該音声認識手段による認識結果と、前記***認識手段に
   よる前記認識結果との両方に基づいて、前記制御手段に
   与えられるべき前記制御信号を出力する統合判断手段
   と、をさらに備えている、請求項４に記載のゲーム装
   置。
8. 【請求項８】 前記音声認識手段による前記認識結果に
   対して、音声認識信頼度を求める手段と、 前記***認識手段による前記認識結果に対して、***認
   識信頼度を求める手段と、を有しており、前記統合判断
   手段は、該音声認識信頼度および該***認識信頼度に基
   づいて、該音声認識手段による該認識結果および該***
   認識手段の該認識結果のうちの一方を選択し、それを前
   記制御信号として出力する、請求項７に記載のゲーム装
   置。
9. 【請求項９】 前記画像入力手段は、光を出射する発光
   手段と、前記操作者の前記***によって反射された該光
   を受け取り、該受け取った光を前記第２の電気信号に変
   換する受光手段とを有している、請求項１に記載のゲー
   ム装置。
10. 【請求項１０】 前記画像入力手段は、光を出射する発
    光手段と、前記操作者の前記***によって反射された該
    光を受け取り、該受け取った光を前記電気信号に変換す
    る受光手段とを有している、請求項４に記載のゲーム装
    置。
11. 【請求項１１】 前記画像入力手段は、光を出射する発
    光手段と、前記操作者の前記***によって反射された該
    光を受け取り、該受け取った光を前記電気信号に変換す
    る受光手段とを有している、請求項７に記載のゲーム装
    置。
12. 【請求項１２】 前記光は、前記***に側方から照射さ
    れる、請求項９、１０および１１のいずれか１つに記載
    のゲーム装置。
13. 【請求項１３】 前記光は、前記***に正面から照射さ
    れる、請求項９、１０および１１のいずれか１つに記載
    のゲーム装置。
14. 【請求項１４】 前記音声入力手段は、少なくとも１つ
    のマイクロフォンを有している、請求項１または７に記
    載のゲーム装置。
15. 【請求項１５】 前記音声入力手段は少なくとも１つの
    マイクロフォンを有しており、該少なくとも１つのマイ
    クロフォン、および前記画像入力手段の前記発光手段お
    よび前記受光手段は、１つの台上に設けられている、請
    求項１１に記載のゲーム装置。
16. 【請求項１６】 ヘッドフォン状のヘッドセットと、 一端が該ヘッドセットに接合されている支柱と、 該支柱の他端に接合されている台であって、その上に、
    操作者の***に照射される光を発生する少なくとも１つ
    の発光素子と、該***によって反射された該光を受け取
    る少なくとも１つの受光素子とが設けられている台と、
    を備えている入力装置。
17. 【請求項１７】 前記台上には、音声を入力する音声入
    力手段が設けられている、請求項１６に記載の入力装
    置。
18. 【請求項１８】 複数のテーブルを格納する第１の記憶
    手段であって、該複数のテーブルのそれぞれは、１つの
    入力に対して出力されうる複数の言葉を含んでいる第１
    の記憶手段と、 該複数のテーブルのうちの１つを格納する第２の記憶手
    段と、 外部からの入力に応じて、該第２の記憶手段に格納され
    ている該１つのテーブルに含まれている該複数の言葉か
    ら１つの言葉を選択し、該選択された１つの言葉を音声
    として出力する選択手段と、 該第２の記憶手段に格納されている該１つのテーブル
    を、該第１の記憶手段に格納されている該複数のテーブ
    ルのうちから該選択された１つの言葉に応じて決定され
    る他のテーブルに更新する遷移手段と、を備えている音
    声選択装置。
19. 【請求項１９】 乱数を発生する手段をさらに備えてお
    り、前記選択手段は該乱数を用いて前記複数の言葉から
    前記１つの言葉を選択する、請求項１８に記載の音声選
    択装置。
20. 【請求項２０】 テーブルを格納する記憶手段であっ
    て、該テーブルは、１つの入力に応じて出力されうる複
    数の言葉を含んでいる記憶手段と、 外部からの入力を受け取り、該記憶手段に格納されてい
    る該テーブルに含まれている該複数の言葉から乱数を用
    いて１つの言葉を選択し、それを音声として出力する選
    択手段と、 該乱数を発生する手段と、を備えている音声選択装置。
21. 【請求項２１】 請求項１８、１９および２０のうちの
    いずれか１つに記載の音声選択装置と、 音声を入力し、該音声を認識し、認識結果を該音声選択
    装置に与える音声認識手段と、を備えている音声反応装
    置。
22. 【請求項２２】 請求項２１に記載の音声反応装置を備
    えているゲーム装置。
23. 【請求項２３】 請求項２１に記載の音声反応装置を複
    数個備えており、それにより該音声反応装置がお互いに
    対話するゲーム装置。
24. 【請求項２４】 入力した音声を電気信号に変換する複
    数の音声入力部であって、該複数の音声入力部はそれぞ
    れ異なる方向に対応している音声入力部と、 該電気信号のエネルギーを該複数の音声入力部のそれぞ
    れについて求め、該複数の音声入力部のうちの該エネル
    ギーが最大である１つを決定し、該決定された１つの音
    声入力部に対応する方向を該音声が発生された方向であ
    ると判定する方向検出手段と、を備えているゲーム装
    置。
25. 【請求項２５】 対象物を動作させる動作手段と、 前記判定された方向に該対象物の動作する方向を変更す
    るように該動作手段を制御する制御手段と、をさらに備
    えている請求項２４に記載のゲーム装置。
26. 【請求項２６】 前記ゲーム装置は、 対象物の動作の現在の方向を計測する計測手段と、 前記判定された方向を入力し、該現在の方向および該判
    定された方向に基づいて目的方向を求め、該目的方向を
    格納する手段と、を有している方向選択手段と、 該対象物を動作させる動作手段と、をさらに備えてお
    り、該方向選択手段は、該目的方向と該現在の方向の差
    を用いて、該対象物の動作の該現在の方向と該目的方向
    とが実質的に一致するように該動作手段を制御する請求
    項２４に記載のゲーム装置。
27. 【請求項２７】 音声により相対的な方向を入力する入
    力手段と、 対象物の現在の方向を計測する計測手段と、 該現在の方向および該入力された相対的な方向に基づい
    て目的方向を求め、該目的方向を格納する手段と、を有
    する方向選択手段を備えたゲーム装置であって、 該方向選択手段によって、該目的方向と該現在の方向の
    差を用いて、該対象物の該現在の方向と該目的方向とが
    実質的に一致するように該対象物を制御するゲーム装
    置。
28. 【請求項２８】 前記入力手段は、前記音声が入力され
    る入力部と、該入力された音声に基づいて前記相対的な
    方向を認識する認識部とを有している、請求項２７に記
    載のゲーム装置。
29. 【請求項２９】 音声により絶対的な方向を入力する入
    力手段と、 該絶対的な方向に基づいて目的方向を決定し、該目的方
    向を格納する手段と、 対象物の現在の方向を計測する計測手段と、を有する方
    向選択手段を備えたゲーム装置であって、 該方向選択手段によって、該目的方向と該現在の方向の
    差を用いて、該対象物の該現在の方向と該目的方向とが
    実質的に一致するように該対象物を制御するゲーム装
    置。
30. 【請求項３０】 前記入力手段は、前記音声が入力され
    る入力部と、該入力された音声に基づいて前記絶対的な
    方向を認識する認識部とを有している、請求項２９に記
    載のゲーム装置。
31. 【請求項３１】 音声に対応する電気信号を受け取り、
    該電気信号から、該音声の入力が終了した時間である音
    声終了点を検出する第１の検出手段と、 該電気信号に基づいて、該音声が入力された区間のうち
    の該音声が発声された区間である発声区間を決定する第
    ２の検出手段と、 該電気信号の該発声区間の部分に基づいて、特徴量ベク
    トルを作成する特徴量抽出手段と、 予め作成された複数の候補音声の特徴量ベクトルを記憶
    する記憶手段と、 該特徴量抽出手段からの該特徴量ベクトルを、該記憶手
    段に記憶されている該複数の候補音声の該特徴量ベクト
    ルのそれぞれと比較することにより、該入力された音声
    を認識する手段と、を備えている音声認識装置。
32. 【請求項３２】 前記第１の検出手段は、 前記電気信号を、それぞれが所定の長さを有する複数の
    フレームに分割する手段と、 該複数のフレームのそれぞれに対して該電気信号のエネ
    ルギーを求める算出手段と、 該エネルギーの分散に基づいて前記音声終了点を決定す
    る決定手段と、を備えている、請求項３１に記載の音声
    認識装置。
33. 【請求項３３】 前記決定手段は、予め定められている
    閾値と前記エネルギーの前記分散とを比較することによ
    り前記音声終了点を決定し、 該音声終了点は、該エネルギーの該分散が該閾値とより
    も大きい値から小さい値に変化するときに該分散が該閾
    値と一致する時間である、請求項３２に記載の音声認識
    装置。
34. 【請求項３４】 前記決定手段は、前記複数のフレーム
    の前記エネルギーのうちの所定数のフレームのエネルギ
    ーに対する分散を用いる、請求項３２または３３に記載
    の音声認識装置。
35. 【請求項３５】 前記第２の検出手段は、 前記電気信号の前記エネルギーを平滑化する手段と、 該電気信号の該エネルギーを平滑化しないままフレーム
    毎に順次格納する第１の循環式記憶手段と、 該平滑化されたエネルギーをフレーム毎に順次格納する
    第２の循環式記憶手段と、 前記音声終了点が検出されたときに該第１の循環式記憶
    手段に格納されている該平滑化されていないエネルギー
    および該第２の循環式記憶手段に格納されている平滑化
    されたエネルギーの両方を用いて、発声区間検出用閾値
    を算出する閾値算出手段と、 該平滑化されていないエネルギーを該発声区間検出用閾
    値と比較することにより、前記発声区間を決定する発声
    区間決定手段と、を有している請求項３２に記載の音声
    認識装置。
36. 【請求項３６】 前記閾値算出手段は、前記音声終了点
    が検出された時点で前記第１の循環式記憶手段に格納さ
    れている前記平滑化されていないエネルギーの最大値
    と、該音声終了点が検出されていない時点で前記第２の
    循環式記憶手段に格納されている前記平滑化エネルギー
    の最小値とを用いて、前記発声区間検出用閾値を算出す
    る、請求項３５に記載の音声認識装置。
37. 【請求項３７】 前記特徴量検出手段は、 前記電気信号の前記発声区間の部分から、該電気信号の
    フレーム毎のゼロ交差数と、該電気信号を微分して得ら
    れる信号のフレーム毎のゼロ交差数と、該電気信号の前
    記エネルギーとを算出し、これらを前記特徴量ベクトル
    の要素とする、請求項３５または３６に記載の音声認識
    装置。
38. 【請求項３８】 請求項３２から３７のいずれか１つに
    記載の少なくとも１つの音声認識装置と、 該少なくとも１つの音声認識装置の認識結果に基づいて
    対象物を制御する少なくとも１つの制御手段と、を備え
    ている音声反応装置。
39. 【請求項３９】 前記音声反応装置は、 前記少なくとも１つの音声認識装置に接続されており、
    該少なくとも１つの音声認識装置による前記認識結果を
    送信する送信手段と、 前記少なくとも１つの制御装置に接続されており、該送
    信された認識結果を受け取り、該少なくとも１つの制御
    装置に与える受信手段と、をさらに備えており、 該少なくとも１つの制御装置および該受信手段は前記対
    象物に取り付けられており、それにより該対象物を遠隔
    より操作することを可能とする、請求項３８に記載の音
    声反応装置。