JP2008067854A - 電動車椅子搭載用音声入力装置 - Google Patents

Abstract

【課題】操作者を限定せずに、広く一般的な使用を可能とする電動車椅子搭載用音声入力装置を提供すること。
【解決手段】電動車椅子搭載用音声入力装置は、それぞれマイクロフォン１１を複数個離間してマイクロフォンアレイ１２として設けたマイクロフォン取付体１０ａ、１０ｂを、電動車椅子の肘掛の先端部分に前記マイクロフォンが位置するように取付け、前記車両に設けた制御手段により前記両マイクロフォンから取り込んだ信号に対して音源位置推定または音声認識をすることにより操作者の指示を特定する。
【選択図】図１

Description

本発明は、様々な環境騒音が存在する実環境下において、高齢者や障害者などが、マイクロフォンを身に付ける必要が無く、音声により操作可能な電動車椅子搭載の音声入力装置に関する。

音声により制御可能な電動車椅子に関する先行技術として特許文献１や特許文献２などがあるが、いずれも音声の入力装置としてシングルマイクロフォンの使用を前提としている。マイクロフォンアレイを音声入力装置として用いた先行技術として特許文献３があり、マイクロフォンアレイを用いて音源位置を推定し、それによって電動車椅子を制御する先行技術が特許文献４などに示されている。

特開２００３−３１０６６５号公報 特開平６−２２５９１０号公報 特願２００６−０４４７１１号公報 特願２００６−０４５０９６号公報

様々な環境騒音が存在する実環境下で音声により電動車椅子を操作する場合、雑音に対して頑健な音声認識の実現が必要不可欠である。従来のシングルマイクロフォンから入力される音声で制御可能な電動車椅子では、雑音の混入を抑えるためにヘッドセットなどの接話型マイクロフォンを用いる必要がある。しかし、ヘッドセットマイクロフォンは、電動車椅子を使用する度に装着する必要があり、また使用中に位置がずれた場合は自分でその位置を修正する必要がある。これでは、例えば、ある程度発話はできるが、手を自由に動かすことが困難な障害者などにとっては、必ずしも実用的ではないという問題がる。この問題を避けるためには、マイクロフォンを電動車椅子に固定し、操作者はマイクロフォンを一切見につけずに操作出来る電動車椅子を提供する必要がある。しかし、この場合、操作者とマイクロフォン間の距離が広がるため、周囲雑音が混入し音声認識精度が劣化する問題、また周囲雑音により引き起こされる電動車椅子の誤動作などが問題となる。これを解決する手段の一つが、マイクロフォンを複数個用いて操作者の音声を受音し、音源位置推定（特願２００６−０４５０９６）や妨害雑音の抑圧などの処理を行うことである。例えば、先行技術の特願２００６−０４４７１１では、操作者の背後から両肩上を通って操作者の口元より先まで達する程度の長さを持つ支柱上に、複数のマイクロフォンを配置する音声入力装置について述べている。しかし、例えば、脳性麻痺で痙性があり不随意運動がある障害者にとって、高い位置にマイクロフォンを設置するのは安全性の面で問題があり、また、デザイン的にも操作者を閉じこめるようになってしまうという問題があった。

本発明の目的は、操作者を限定せずに、広く一般的な使用を可能とする電動車椅子搭載用音声入力装置を提供することにある。

本発明の電動車椅子搭載用音声入力装置は、それぞれマイクロフォンを複数個離間してマイクロフォンアレイとして設けたマイクロフォン取付体を、電動車椅子の肘掛の先端部分に前記マイクロフォンが位置するように取付け、前記車両に設けた制御手段により前記両マイクロフォンから取り込んだ信号に対して音源位置推定または音声認識をすることにより操作者の指示を特定する。さらには、操作者の指示を特定し、その指示に従って前記車両を走行制御する。
また、本発明の電動車椅子搭載用音声入力装置は、前記左右の肘掛先端に取付けた一対のマイクロフォン取付体上に、操作者から見て「ハ」の字になるようにマイクロフォンを傾斜して配置する。

本発明の電動車椅子搭載用音声入力装置は、車椅子に固定されたマイクロフォンを用いることで、ある程度の発話はできるが、手を自由に動かすことが困難な障害者などが使用しても、マイクロフォンの装着やマイクロフォン位置の修正などの手続きを必要としない実用的な電動車椅子が実現される。また前述した構造を持つマイクロフォンスタンドを採用することで、マイクロフォンアレイ音声入力装置および音源の位置または到来方向推定手法と音源分離手法を組み合わせることで、周囲雑音が混入し認識精度が劣化する問題や、周囲雑音により引き起こされる車椅子の誤動作の問題などが解決される。更に、脳性麻痺で痙性があり不随意運動がある障害者が使用しても、マイクロフォンアレイと接触することがなく安全に電動車椅子を操作することができる。
また、本発明の電動車椅子搭載用音声入力装置は、左右の肘掛先端に取付けた一対のマイクロフォン取付体上に、操作者から見て「ハ」の字になるようにマイクロフォンを傾斜して配置するので、各マイクロフォンはシート中心から略等距離となり、操作者の周囲の音を略同じレベルで集音することができる。
また、マイクロフォンを操作者中心から「ハ」の字に配置したので、周囲から操作者に向かって集中する音声信号を、操作者を中心としたときの中心角を大きく取って集音することができる。このことは、従来のようにマイクロフォンを１個とした場合に、特定の方向の音声信号のみの集音になるのと対照的である。
マイクロフォンアレイを２本ある程度の間隔で配置することで、例えば、それぞれのマイクロフォンアレイで音波の到来方向を推定し、その交点として音源の座標を推定することが原理的に可能となる。

本発明の実施の形態を図に基づいて詳細に説明する。

図１は本発明の音声入力装置を搭載した電動車椅子の外観図、図２は図１に示す音声入力装置のブロック回路図である。
図１に示す本発明の音声入力装置を搭載した電動車椅子は、音声入力装置等を備える電動車椅子からなる。
電動車椅子は、例えば、車椅子としての、２つの後輪２３、２つの前輪２２、後輪２３の上方に設置されたシート２０と背もたれ２５、背もたれ２５の両側に設置された肘掛２１ａ，２１ｂ、前輪２２の前方に設置された足置き２４を有すると供に、肘掛２１ａ、２１ｂにはマイクロフォン取付体１０ａ、１０ｂがそれぞれ設けられている。
音声入力装置は、図２示されるように構成される。音声入力装置の主要構成部品はシート２０内や背もたれ２５に収納される。

マイクロフォン１１を複数個連設したマイクロフォンアレイ１２を基板１３上に設けたマイクロフォン取付体１０ａ、１０ｂを、左右の肘掛２１ａ，２１ｂの先端に配線を備えた支持体１４により支持する。両側のマイクロフォンアレイ１２は、シート２０に座った人が見て「ハ」の字になるように配置する。このように配置することにより、各マイクロフォンはシート２０中心から略等距離となり、操作者の周囲の音を略同じレベルで集音することができる。
マイクロフォン取付体１０ａおよび１０ｂに設けたマイクロフォンアレイ１２は、マイクロフォン１１を任意数調節自在に設ける。マイクロフォンの数、配置間隔等は任意に設定する。

図２は本発明の電動車椅子の機能ブロック図である。
図２に示すように、電動車椅子の機能はブロックで表すと、音声入力装置の一部を構成する２個のマイクロフォンアレイ１２、マイクロフォンアンプ６１、ＡＤＣ（アナログ／デジタル変換器）６１、表示手段となるディスプレイ３１、制御手段となるＣＰＵ（中央演算処理装置）ボード６３と記憶装置６４、駆動手段となる駆動制御手段６５と駆動モータ６７、操作手段となるジョイスティックや緊急停止ボタンなどの操作スイッチ６６を有する。ＣＰＵ６３と駆動制御手段６５は、シリアルケーブル６９で接続する。
マイクロフォンアンプ６１、ＡＤＣ（アナログ／デジタル変換器）６１、制御手段となるＣＰＵ（中央演算処理装置）ボード６３と記憶装置６４、駆動手段となる駆動制御手段６５と駆動モータ６７は、車椅子のシート２０や背もたれ２５中に収納してある。
制御手段は、マイクロフォンアンプ６１、ＡＤＣ（アナログ／デジタル変換器）６１、制御手段となるＣＰＵ（中央演算処理装置）ボード６３と記憶装置６４を有する。

（音声入力装置）
音声入力手段は、ユーザ音声を受音するために相互に離間して配置した複数のマイクロフォンアレイ１２からなる受音手段を備える。

（発声位置推定手段と制御手段）
ＣＰＵ（中央演算処理装置）ボード６３は、ＣＰＵを搭載したボードからなり、発声位置推定手段および制御手段を含む。発声位置推定手段および制御手段は、ＣＰＵボード６３に接続される記憶装置６４を備える。
図３はマイクロフォンアレイの機能説明図である。
発声位置推定手段は、図３に示すように、前記受音手段で受音したマルチチャネル音声データに基づきユーザの発声位置を推定し発声位置推定信号を出力する。
制御手段は、前記発声位置推定信号および前記補助操作信号に基づき前記駆動制御手段を制御する。
ＡＤＣ６１とＣＰＵボード６３はＵＳＢケーブル６８を介して接続し、マイクアンプおよびＡＤＣ６１の電源はＣＰＵボード６３から供給する。サンプリングレートは任意に設定でき、例えば８ｋＨｚとし、量子化ビット数は任意に設定でき、例えば１６ｂｉｔとする。処理精度を上げるときには、サンプリングレートおよび量子化ビット数を上げる。

（補助入力手段）
補助操作手段は、図示されていないが、操作スイッチ６６で代表され、例えばジョイスティック（図示省略）からなる座標位置指定手段、および、緊急停止ボタン（図示省略）により補助操作信号を出力する。

（画像表示手段）
画像表示手段は、ディスプレイ３１を有し、前記発声位置推定信号および車椅子の状態等を視覚的に示す。

（駆動手段）
駆動手段は、駆動制御装置６５を備え、車椅子の車輪の駆動源である駆動モータ６７を駆動制御する。

（発声位置検出）
上記発声位置推定手段により、複数の受音手段を備えた音声入力装置からの入力信号を用いて発声位置検出処理を行う。
音声で車椅子を制御するためには、マイクロフォンから入力された音が、ユーザ音声なのか、それとも環境騒音なのかを特定する必要がある。これはその音源の位置を推定することで判断できる。もし、車椅子の外に音源があればその音源は環境騒音と判断し、また車椅子内部に音源がある場合はユーザ音声と判断する。
例えば、マイクロフォンアレイを1本だけ使用する場合、音波の到来方向を推定することはできるが、マイクロフォン間隔を相当広げない限り、マイクロフォンアレイから音源までの距離を測定することは困難である。一方、図３に示すように、マイクロフォンアレイを２本ある程度の間隔で配置することで、例えば、それぞれのマイクロフォンアレイで音波の到来方向を推定し、その交点として音源の座標を推定することが原理的に可能となる。ある程度の間隔とは、２つのマイクロフォンアレイから到来波を観測したときに、球面波として観測できる程度の間隔を意味する。
以上の理由により、本発明では、図３に示すようなマイクロフォンアレイをある程度の間隔を置いて２本配置する構造を採用する。

（音声認識装置）
図４は本発明の音声認識装置のブロック構成図である。この音声認識装置は図２においてＣＰＵボード６３と記憶装置６４とから構成される。
音声認識装置４０は、マイクロフォンアレイ処理部４１と、音声認識処理部４２から構成される。
マイクロフォンアレイ処理部４１は、入力音声をひろうマイクロフォンアレイ音声入力装置４３と、装置４３の出力のひろった音から遠距離にある音源の音波到来方向を推定する遠距離にある音源の音波到来方向推定手段４５と、装置４３の出力のひろった音から近距離にある音源の位置を推定する近距離にある音源の位置推定手段４６と、手段４５および４６の音源位置情報に基づいて装置４３の出力のひろった音から抽出対象の音源の音声を分離する音源分離処理手段４４と、手段４５および４６の音源位置情報に基づいてユーザ（ヘッドセット型マイクロフォンアレイ音声入力装置装着者）の発話を検出するユーザの発話検出手段４７と、ユーザの発話検出手段４７からの検出信号に応じて音源分離処理手段４４からの音声信号を切換出力する切換手段４８から構成される。
音声認識処理部４２は、切換手段４８からの音声信号に対して特徴を補正処理する特徴補正処理手段４９と、手段４９からの特徴を補正した音声信号を音声認識して認識結果を出力する音声認識手段５０から構成される。

本発明のマイクロフォンアレイを用いる音声認識装置は、下記の５つの要素技術から構成される。
１．マイクロフォンアレイから近距離にある音源の位置推定
２．マイクロフォンアレイから遠距離にある音源の音波到来方向の推定
３．ユーザの発話検出
４．音源分離処理
５．音声認識処理（特願２００３−３２０１８３）
これらの要素技術の詳細について以下で説明する。

（音源位置推定）
図３は本発明のマイクロフォンアレイの機能説明図である。
マイクロフォン１、２、３、４と、マイクロフォン５、６、７、８は、図３に示されるように、対向して、配置される。また、各マイクロフォンと音源の位置等は図のような関係になっているものとする。
マイクロフォンアレイから約１ｍ以内の近距離にある音源の位置を、マイクロフォンアレイで推定する方法について以下に説明する。

複数のマイクロフォンは３次元空間中の任意の位置に配置可能である。３次元空間中の任意の位置

に置かれた音源から出力された音響信号を、３次元空間中の任意の位置

に配置されたＱ個のマイクロフォンで受音する。音源と各マイクロフォン間の距離Ｒｑは次式で求められる。

音源から各マイクロフォンまでの伝播時間τｑは、音速をｖとすると、次式で求められる。

各マイクロフォンで受音した中心周波数ωの狭帯域信号の、音源のそれに対する利得ｇｑは、一般的に、音源とマイクロフォン間の距離Ｒｑと中心周波数ωの関数として定義される。

例えば、利得を距離Ｒｑだけの関数として、実験的に求めた次式のような関数を用いる。

中心周波数ωの狭帯域信号に関する、音源と各マイクロフォン間の伝達特性は、

と表される。そして、位置Ｐ０にある音源を表す位置ベクトルａ（ω，Ｐ０）を、次式のように、狭帯域信号に関する、音源と各マイクロフォン間の伝達特性を要素とする複素ベクトルとして定義する。

音源位置の推定はＭＵＳＩＣ法（相関行列を固有値分解することで信号部分空間と雑音部分空間を求め、任意の音源位置ベクトルと雑音部分空間の内積の逆数を求めることにより、音源の音波到来方向や位置を調べる手法）を用いて、以下の手順で行う。ｑ番目のマイロフォン入力の短時間フーリエ変換を

で表し、これを要素として観測ベクトルを次のように定義する。

ここで、ｎはフレーム時刻のインデックスである。連続するＮ個の観測ベクトルから相関行列を次式により求める。

この相関行列の大きい順に並べた固有値を

とし、それぞれに対応する固有ベクトルを

とする。そして、音源数Ｓを次式により推定する。

もしくは、固有値に対する閾値を設け、その閾値を超える固有値の数を音源数Sとすることも可能である。
雑音部分空間の基底ベクトルから行列Ｒｎ（ω）を次のように定義し、

周波数帯域

および音源位置推定の探索領域Ｕを

として、

を計算する。そして、関数Ｆ（Ｐ）が極大値をとる座標ベクトルを求める。ここでは仮にＳ個の極大値を与える座標ベクトルがＰ１，Ｐ２，・・・，Ｐｓが推定されたとする。次にその各々の座標ベクトルにある音源のパワーを次式により求める。

そして、２つの閾値Ｆｔｈｒ， Ｐｔｈｒを用意し、各位置ベクトルにおけるＦ（Ｐｓ）とＰ（Ｐｓ）が次の条件を満足するときに、

連続するＮ個のフレーム時間内の座標ベクトルＰｌにおいて発声があったと判断する。
音源位置の推定処理は連続するＮ個のフレームを１つのブロックとして処理する。音源位置の推定をより安定に行うためには、フレーム数Ｎを増やす、そして／また連続するＮｂ個のブロックの全てで式（３０）の条件が満たされたら発声があったと判断する。ブロック数は任意に設定する。連続するＮフレームの時間内において、近似的に音源が静止していると見られるほどの速さで音源が移動している場合は、前記手法により音源の移動奇跡を捉えることができる。
（周囲雑音の音波到来方向推定）

マイクロフォンアレイから遠距離にある音源の音波が到来する方向を、マイクロフォンアレイで推定する手法について以下に述べる。
複数のマイクロフォンは3次元空間中の任意の位置に配置可能である。遠距離から到来する音波は平面波として観測されると考える。

図５は本発明のマイクロフォンアレイを用いた受音機能を説明する説明図である。
図５は、例として、任意の位置に配置された３個のマイクロフォンｍ１、ｍ２、ｍ３で、音源から到来した音波を受音する場合を示している。図５で、点ｃは基準点を示しており、この基準点のまわりで音波の到来方向を推定する。図５で、平面ｓは、基準点ｃを含む平面波の断面を示している。平面ｓの法線ベクトルｎは、そのベクトルの向きを音波の伝播方向と逆向きとし、次式のように定義する。

3次元空間中の音源の音波到来方向は２つのパラメータ（θ，φ）で表される。方向（θ，φ）から到来する音波を各マイクロフォンで受音し、そのフーリエ変換を求めることで受音信号を狭帯域信号に分解し、各受音信号の狭帯域信号毎に利得と位相を複素数として表し、それを要素として狭帯域信号毎に全受音信号分だけ並べたベクトルを音源の位置ベクトルと定義する。以下の処理において、方向（θ，φ）から到来する音波は、前述の位置ベクトルとして表現される。位置ベクトルは具体的に以下のように求められる。ｑ番目のマイクロフォンと平面ｓの間の距離ｒｑを次式により求める。

距離ｒｑは平面ｓに関してマイクロフォンが音源側に位置すれば正となり、逆に音源と反対側にある場合は負の値をとる。音速をｖとするとマイクロフォンと平面ｓ間の伝播時間Ｔｑは次式で表される。

平面ｓでの振幅を基準としてそこから距離ｒｑ離れた位置の振幅に関する利得を、狭帯域信号の中心周波数ωと距離ｒｑの関数として次のように定義する。

平面ｓでの位相を基準としてそこから距離ｒｑ離れた位置の位相差は、次式で表される。

以上より、平面ｓを基準として、各マイクロフォンで観測される狭帯域信号の利得と位相差は次式で表される。

Ｑ個のマイクで（θ、φ）方向から到来する音波を観測するとき、音源の位置ベクトルは、各マイクロフォンについて式（２６）に従い求めた値を要素とするベクトルとして次式のように定義される。

音源の位置ベクトルが定義されたら、音波の到来方向推定は、ＭＵＳＩＣ法を用いて行われる。式（１５）で与えられる行列Ｒｎ（ω）を用い、音波到来方向推定の探索領域Ｉを

として、

を計算する。そして、関数Ｊ（θ、φ）が極大値を与える方向（θ、φ）を求める。ここでは仮にＫ個の音源が存在し、極大値を与えるＫ個の音波到来方向（（θ１、φ１），・・・，（θＫ、φＫ））が推定されたとする。次にその各々の音波到来方向にある音源のパワーを次式により求める。

そして、２つの閾値Ｊｔｈｒ， Ｑｔｈｒを用意し、各到来方向におけるＪ（θｋ，φｋ）とＱ（θｋ，φｋ）が次の条件を満足するときに、

連続するＮ個のフレーム時間内の到来方向（θｋ，φｋ）において発声があったと判断する。音波の到来方向の推定処理は連続するＮ個のフレームを１つのブロックとして処理する。到来方向の推定をより安定に行うためには、フレーム数Ｎを増やす、そして／また連続するＮｂ個のブロックの全てで式（３１）の条件が満たされたらその方向から音波の到来があったと判断する。ブロック数は任意に設定する。連続するＮフレームの時間内において、近似的に音源が静止していると見られるほどの速さで音源が移動している場合は、前記手法により音波の到来方向の移動奇跡を捉えることができる。

近距離音源の位置推定結果と遠距離音源の音波到来方向推定結果は、続く発話検出処理や音源分離処理で重要な役割を果たすが、近距離音源と遠距離音源が同時に発生していて、更に、遠距離音源から到来する音波に対して近距離音源のパワーが著しく大きくなるとき、遠距離音源の音波の到来方向推定がうまく行えない場合がある。このような時は、近距離音源が発生する直前に推定された、遠距離音源の音波の到来方向推定結果を用いるなどして対処する。

（発話検出処理）
複数の音源が存在している場合、どの音源が認識すべき音声なのかの特定は一般的に難しい。一方、音声を用いたインタフェースを採用するシステムでは、予めシステムのユーザがシステムに対して相対的にどのような位置で発声するかを表すユーザ発声領域を決めておくことができる。この場合、前述の方法でシステムの周囲に音源が複数存在しているとしても、各音源の位置や音波の到来方向を推定できれば、システムが予め想定しているユーザ発声領域に入る音源を選択することで容易にユーザの音声を特定できるようになる。

式（２０）や式（３１）の条件が満たされることで音源の存在を検出し、更に音源の位置や音波の到来方向の条件が満たされてユーザの発声が検出される。この検出結果は発話区間情報として、後続音声認識処理において重要な役割を果たす。音声認識を行う場合、入力信号の中から発話区間の開始時点と終了時点を検出する必要がある。しかし、周囲雑音が存在する雑音環境下での発話区間検出は必ずしも容易ではない。一般的に、発話区間の開始時点がずれると音声認識精度が著しく劣化してしまう。一方、複数の音源が存在していても、その音源がある位置や音波の到来方向において、式（１８）や式（２９）で表される関数は鋭いピークを示す。従って、この情報を用いて発話区間検出を行っている本発明音声認識装置は、複数の周囲雑音が存在しても頑健に発話区間検出が行え、高い音声認識精度を保つことができるという利点を持つ。

例えば、図６に示すようなユーザの発声領域を定義することができる。
図６は本発明による発話検出処理の機能説明図である。
この図では簡単のためにＸ−Ｙ平面のみで表すが、一般的に3次元空間においても同様に任意のユーザ発声領域を定義することができる。図６では、任意の位置に配置された８個のマイクロフォンｍ１〜ｍ８を用いた処理を仮定し、近距離音源の探索領域および遠距離音源の探索領域のそれぞれで、ユーザ発声領域を定義している。近距離音源の探索空間は、（ＰｘＬ，ＰｙＬ）と（ＰｘＨ，ＰｙＨ）の2点を結ぶ直線を対角線とする矩形領域で、その領域内で（ＰＴｘＬ１，ＰＴｙＬ１）と（ＰＴｘＨ１，ＰＴｙＨ１）、（ＰＴｘＬ２，ＰＴｙＬ２）と（ＰＴｘＨ２，ＰＴｙＨ２）のそれぞれの2点を結ぶ直線を対角線とする２つの矩形領域をユーザの発声領域と定義している。従って、式（２０）により発声があったと判断された音源位置のなかで、その座標ベクトルが前記ユーザ発声領域内に入っているものを選択することで、近距離に存在する音源の中でユーザ音声を特定できる。

一方、遠距離音源の探索空間は点Ｃを基準として、角度θＬからθＨの方向を探索領域とし、その領域内で角度θＴＬ１からθＴＨ１の領域をユーザの発声領域と定義している。従って、式（３１）により発声があったと判断された音波の到来方向のなかで、到来方向が前記ユーザ発声領域内に入っているものを選択することで、遠距離に存在する音源の中でユーザ音声を特定できる。

（音源分離処理）
発話検出された音源の位置推定結果または音波の到来方向推定結果を用いて、ユーザの音声を強調し周囲雑音を抑圧する音源分離処理について以下に説明する。
ユーザ音声の発話位置または到来方向は前記発話検出処理により求められている。また、周囲雑音の音源位置または到来方向も既に推定されている。これらの推定結果と式（８）と式（２７）の音源位置ベクトル、そして無指向性雑音の分散を表すσを用いて、行列Ｖ（ω）を次式のように定義する。

この相関行列の大きい順に並べた固有値を

とし、それぞれに対応する固有ベクトルを

とする。

ここで、相関行列Ｖ（ω）には近距離音源Ｓ個と遠距離音源Ｋ個を合わせて（Ｓ＋Ｋ）個の音源が含まれているから、固有値の大きい方から（Ｓ＋Ｋ）の固有値と固有ベクトルを用いて、Ｚ（ω）を次式のように定義する。

そして、近距離の座標ベクトルＰに居るユーザの音声を強調する分離フィルタＷ（ω）は、次式で与えられる。

式（３６）の分離フィルタに式（１０）の観測ベクトルを乗じることで座標ベクトルＰに居るユーザの音声ｖ（ω）が得られる。

この強調されたユーザ音声の波形信号は式（３７）の逆フーリエ変換を計算することで求められる。

一方、遠距離の方向（θ，φ）に居るユーザの音声を強調する場合の分離フィルタＭ（ω）は次式で与えられる。

式（３８）の分離フィルタに式（１０）の観測ベクトルを乗じることで方向（θ，φ）に居るユーザの強調音声ｖ（ω）が得られる。

この強調されたユーザ音声の波形信号は式（３７）の逆フーリエ変換を計算することで求められる。
連続するＮフレームの時間内において、近似的に音源が静止していると見られるほどの速さで音源が移動している場合は、前記手法により移動しているユーザの強調音声が得られる。

（音声認識処理）
前記音源分離処理は、指向性雑音に対しては有効であるが、無指向性雑音に対してはある程度雑音が残留してしまう。また、突発性雑音のように短時間で発生する雑音に対してもあまり雑音抑圧効果を望めない。そこで、前記音源分離処理により強調されたユーザ音声の認識に、例えば、特願２００３−３２０１８３号「背景雑音歪みの補正処理方法及びそれを用いた音声認識システム」で述べられている特徴補正法を組み込んだ音声認識エンジンを用いることで、残留雑音の影響を軽減する。なお本発明は、音声認識エンジンとして特願２００３−３２０１８３号に限定するものではなく、この他にも雑音に頑健な様々な手法を実装した音声認識エンジンを使用することが考えられる。

特願２００３−３２０１８３号で述べられている特徴補正法は、音声認識エンジンが予め音声認識のためにテンプレートモデルとして持っているＨｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ（ＨＭＭ）に基づいて雑音重畳音声の特徴量補正を行う。ＨＭＭは雑音のないクリーン音声から求めたＭｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔ（ＭＦＣＣ）に基づいて学習されている。このため、特徴補正のために新たにパラメータを用意する必要がなく、既存の認識エンジンに比較的容易に特徴補正法を組み込むことができるという利点がある。この手法は雑音を定常成分と一時的に変化を示す非定常成分に分けて考え、定常成分に関しては発話直前の数フレームから雑音の定常成分を推定する。

ＨＭＭが持っている分布のコピーを生成し、推定した雑音の定常成分を加えることで定常雑音重畳音声の特徴量分布を生成する。観測された雑音重畳音声の特徴量の事後確率を、この定常雑音重畳音声の特徴量分布で評価することで、雑音の定常成分による歪を吸収する。しかし、この処理だけでは雑音の非定常成分による歪が考慮されていないので、雑音の非定常成分が存在する場合には、前記手段で求めた事後確率は正確ではなくなる。一方、特徴補正にＨＭＭを用いることで、特徴量時系列の時間的構造とそれに沿って求められる累積出力確率が利用可能となる。この累積出力確率から算出される重みを前述の事後確率に付与することにより、雑音の一時的に変化する非定常成分により劣化した事後確率の信頼度を改善することが出来る。

音声認識を行う場合、入力信号の中から発話区間の開始時点と終了時点を検出する必要がある。しかし、周囲雑音が存在する雑音環境下での発話区間検出は必ずしも容易ではない。特に、前記特徴補正を組み込んだ音声認識エンジンは、発話開始直前の数フレームから周囲雑音の定常的な特徴を推定するので、発話区間の開始時点がずれると認識精度が著しく劣化してしまう。一方、複数の音源が存在していても、その音源がある位置や音波の到来方向において、式（１８）や式（２９）で表される関数は鋭いピークを示す。従って、この情報を用いて発話区間検出を行っている本発明音声認識装置は、複数の周囲雑音が存在しても頑健に発話区間検出が行え、高い音声認識精度を保つことができる。
このように音声認識された結果の信号を用いて車いすの駆動機構を制御する。

本発明のマイクロフォンアレイ音声入力装置を車椅子に搭載した概観図である。 本発明の電動車椅子の機能ブロック図である。 本発明のマイクロフォンアレイの機能説明図である。 本発明の音声認識装置のブロック構成図である。 本発明のマイクロフォンアレイを用いた受音機能を説明する説明図である。 本発明による発話検出処理の機能説明図である。

符号の説明

１０ａ、１０ｂ マイクロフォン取付体
１１ マイクロフォン
１２ マイクロフォンアレイ
１３ 基板
１４ 支持体
２０ シート
２１ａ、２１ｂ 肘掛け
２５ 背もたれ
３０ａ、３０ｂ 平行マイクロフォンアレイ
３１ ディスプレイ
３２ マイクロフォンアンプとＡＤＣ
３３ ＣＰＵボード
３４ 記憶装置
３５ イヤホーンスピーカ
３６ 送受信装置
４０ 音声認識装置
４１ マイクロフォンアレイ処理部
４２ 音声認識処理部
４３ マイクロフォンアレイ音声入力装置
４４ 音源分離処理手段
４５ 遠距離にある音源の音波到来方向推定手段
４６ 近距離にある音源の位置推定手段
４７ ユーザの発話検出手段
４８ 切換器
４９ 特徴補正処理手段
５０ 音声認識手段
ｍ１、ｍ２、ｍ３、ｍ４、ｍ５、ｍ６、ｍ７、ｍ８ マイクロフォン

Claims (3)

1. 肘掛付電動車椅子と、
   マイクロフォンを複数個離間してマイクロフォンアレイとしてそれぞれ設け、電動車椅子の肘掛の先端部分に前記マイクロフォンが位置するように取付けたマイクロフォン取付体と、
   前記両マイクロフォンから取り込んだ信号に基づいて音源位置推定又は音声認識を行う制御手段を有することを特徴とする音声入力装置。
2. 前記左右の肘掛先端に取付けた一対のマイクロフォン取付体上に、両方のマイクロフォンアレイが操作者から見てハの字になるようにマイクロフォンを傾斜して配置することを特徴とする請求項１記載の音声入力装置。
3. 前記制御手段により、前記音源位置推定又は音声認識に基づき操作者の指示を特定し、その指示に従って前記車両を走行制御することを特徴とする請求項１又は２記載の音声入力装置。

Images