JP4953095B2 - Information processing device - Google Patents
Information processing device Download PDFInfo
- Publication number
- JP4953095B2 JP4953095B2 JP2008132552A JP2008132552A JP4953095B2 JP 4953095 B2 JP4953095 B2 JP 4953095B2 JP 2008132552 A JP2008132552 A JP 2008132552A JP 2008132552 A JP2008132552 A JP 2008132552A JP 4953095 B2 JP4953095 B2 JP 4953095B2
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- display
- user
- duration
- microphone array
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Position Input By Displaying (AREA)
- Obtaining Desirable Characteristics In Audible-Bandwidth Transducers (AREA)
- Circuit For Audible Band Transducer (AREA)
Description
本発明は、3次元空間内の位置を呼気や音声を用いてディスプレイなどにユーザー操作を表示する情報処理装置に関する。 The present invention relates to an information processing apparatus that displays a user operation on a display or the like using a breath or voice for a position in a three-dimensional space.
コンピュータへの入力手段としてキーボードやマウスなどが広く用いられている。いずれも手を用いて操作することが前提になっているため、手に不自由がある身体障害者がコンピュータへアクセスすることの障害となっている。手を用いない入力手段として、「目線」、「舌」、「音声」などを利用するものがある。「目線」を利用する手法はヘッドマウント型のデバイスを用いるため、手の不自由な方が自力で装着するのが困難という問題がある。「舌」を用いた手法では口腔内にセンサを入れて使用するため、デバイス装着時の困難に加え衛生的な問題もある。「音声」を用いた手法では卓上に置かれたマイクロフォンに向かって話すことによりセンサ類を装着する必要はなくなるが、音声認識が可能な程度の明瞭な音声コマンドを発声できることが前提条件となっている。 Keyboards and mice are widely used as input means to computers. Since it is assumed that all of them are operated with the hand, it is an obstacle to the handicapped person with handicap access to the computer. As an input means that does not use a hand, there is one that uses “line of sight”, “tongue”, “voice”, and the like. Since the method using the “line of sight” uses a head-mounted device, there is a problem that it is difficult for a handicapped person to wear it by himself. In the method using the “tongue”, since a sensor is inserted into the oral cavity, there are hygienic problems in addition to the difficulty in wearing the device. In the method using “speech”, it is not necessary to wear sensors by speaking to a microphone placed on the table, but it is a prerequisite that speech commands that are clear enough to be recognized can be spoken. Yes.
マウス操作など手による操作が困難で、かつ音声認識が出来るほどの明瞭な音声コマンドの発声が困難な方を対象として、音声や呼気音などの発声位置をマイクロフォンアレイ処理で特定する音声ポインティングデバイスの開発が行われている。例えば、特許文献1(特開2004−280301号公報)では、マイクロフォンアレイに呼気を吹きかけながら口先または顔を移動させることで、カーソルを操作する音声ポインティングデバイスとそれを用いたインターフェイスの開発事例が公開されている。これは、平面上に配列したマイクロフォンアレイ上で検出した入力音の2次元的な位置情報に基づいてカーソルの移動方向を決定し、入力音の強度でカーソル移動の速さを制御する仕様となっている
また、特許文献2(特開2007−228135号公報)では、雑音に対する頑健性を高めた音声ポインティングデバイスを開発し、ユーザが進みたい方向を向いて音声、呼気音、または口笛などの音をたてることで、進行方向の指示が可能な電動車いすの開発を行っている。電動車いすの例では、ポインティングデバイスのセンサ部である2つのマイクロフォンアレイを左右の肘掛先端に実装することで、音源の2次元的な位置を推定している。
しかしながら、特許文献1に記載された手法のようにカーソル移動の速さを入力音の強度だけで入力操作を行うと、特に、小さなアイコンやボタンへのカーソル移動など細かな入力が困難となる。また、周囲雑音の干渉に弱いため、雑音のある一般的な環境下での実用性は低かった。 However, when the input operation is performed only with the intensity of the input sound as in the method described in Patent Document 1, it becomes difficult to perform fine input such as moving the cursor to small icons or buttons. Further, since it is vulnerable to interference from ambient noise, its practicality in a general environment with noise is low.
ところで、発明者は、ポインティングデバイスを卓上で使えるように小型化し、かつ3次元的な音源位置の推定も高精度に行えるように3軸マイクロフォンアレイの構成とした、3次元音声ポインティングデバイスの開発を既に行っている。このような発明者の開発した3次元音声ポインティングデバイスを用いることで、雑音に対する脆弱性の問題を回避することができた。 By the way, the inventor has developed a three-dimensional audio pointing device having a three-axis microphone array so that the pointing device can be miniaturized so that it can be used on a desktop and a three-dimensional sound source position can be estimated with high accuracy. Already done. By using such a three-dimensional audio pointing device developed by the inventor, the problem of vulnerability to noise could be avoided.
しかし、このような3次元音声ポインティングデバイスを用いても、小さなアイコンやボタンへのカーソル移動など細かなコントロールが困難という問題点に関しては、インタ
ーフェイスの改善の余地が大いに残されている。
However, even if such a three-dimensional voice pointing device is used, there is still much room for improvement of the interface with respect to the problem that fine control such as moving the cursor to a small icon or button is difficult.
以上のような従来技術の問題点を鑑み、本発明では、雑音がある環境下でもユーザーの3次元空間内の位置を呼気や音声を用いてディスプレイなどにユーザー操作を表示する情報処理装置を提供し、なおかつ、小さなアイコンやボタンへのカーソル移動などの細かな入力操作を行うことを可能とする情報処理装置を提供することである。 In view of the above-described problems of the prior art, the present invention provides an information processing apparatus that displays a user operation on a display or the like using a breath or voice to indicate the position of the user in a three-dimensional space even in a noisy environment. Yet another object of the present invention is to provide an information processing apparatus capable of performing fine input operations such as moving a cursor to small icons and buttons.
上記課題を解決するために、請求項1に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイと、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の発声位置を3次元的に特定する発声位置特定手段と、ユーザーに対する表示を行う表示手段と、前記表示手段を制御する表示制御手段と、を有し、前記表示制御手段は、前記発声位置特定手段によって特定された発声位置に応じて、前記表示手段上に表示されるカーソル位置の変更を行うように制御することを有することを特徴とする情報処理装置である。 In order to solve the above-described problem, the invention according to claim 1 is issued from a nasal cavity of a user based on a microphone array in which a plurality of microphones are provided in a predetermined arrangement and voice data acquired by the microphone array. An utterance position specifying means for three-dimensionally specifying the utterance position of the sound, display means for displaying to a user, and display control means for controlling the display means, wherein the display control means An information processing apparatus comprising: controlling to change a cursor position displayed on the display unit in accordance with the utterance position specified by the position specifying unit.
また、請求項2に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイと、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の継続時間を特定する継続時間特定手段と、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の発声位置を3次元的に特定する発声位置特定手段と、前記継続時間特定手段によって特定された継続時間が所定時間より長いか否かを判定する継続時間判定手段と、ユーザーに対する表示を行う表示手段と、前記表示手段を制御する表示制御手段と、を有し、前記表示制御手段は、前記継続時間判定手段による判定結果と、前記発声位置特定手段によって特定された発声位置とに応じて、前記表示手段における表示態様を変更するように制御することを特徴とする情報処理装置である。 According to a second aspect of the present invention, there is provided a microphone array in which a plurality of microphones are provided in a predetermined arrangement, and a duration of a sound emitted from a user's nasal cavity based on voice data acquired by the microphone array. Continuation time specifying means for specifying, utterance position specifying means for specifying three-dimensionally the utterance position of the sound emitted from the user's nasal cavity based on the sound data acquired by the microphone array, and the continuation time specifying means The display control unit includes: a duration determination unit that determines whether or not the duration specified by is longer than a predetermined time; a display unit that performs display for a user; and a display control unit that controls the display unit. The means responds to the determination result by the duration determination means and the utterance position specified by the utterance position specification means. Te is an information processing apparatus and controls to change the display form on the display means.
また、請求項3に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイと、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の継続時間を特定する継続時間特定手段と、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の発声位置を3次元的に特定する発声位置特定手段と、前記継続時間特定手段によって特定された継続時間が所定時間より長いか否かを判定する継続時間判定手段と、ユーザーに対する表示を行う表示手段と、前記表示手段を制御する表示制御手段と、を有し、前記表示制御手段は、前記継続時間判定手段による判定結果と、前記発声位置特定手段によって特定された発声位置とに応じて、前記表示手段における拡大表示実行又は拡大表示解除の別を変更するように制御することを特徴とする情報処理装置である。 According to a third aspect of the present invention, there is provided a microphone array in which a plurality of microphones are provided in a predetermined arrangement, and a duration of a sound emitted from a user's nasal cavity based on voice data acquired by the microphone array. Continuation time specifying means for specifying, utterance position specifying means for specifying three-dimensionally the utterance position of the sound emitted from the user's nasal cavity based on the sound data acquired by the microphone array, and the continuation time specifying means The display control unit includes: a duration determination unit that determines whether or not the duration specified by is longer than a predetermined time; a display unit that performs display for a user; and a display control unit that controls the display unit. The means responds to the determination result by the duration determination means and the utterance position specified by the utterance position specification means. Te is an information processing apparatus and controls to change another enlarged display execution or enlarged display cancellation on the display unit.
また、請求項4に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイクロフォンアレイと、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の継続時間を特定する継続時間特定手段と、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の発声位置を3次元的に特定する発声位置特定手段と、前記継続時間特定手段によって特定された継続時間が所定時間より長いか否かを判定する継続時間判定手段と、ユーザーに対する表示を行う表示手段と、前記表示手段を制御する表示制御手段と、を有し、前記表示制御手段は、前記継続時間判定手段による判定結果と、前記発声位置特定手段によって特定された発声位置とに応じて、前記表示手段における表示の拡大率を変更するように制御することを特徴とする情報処理装置である。 According to a fourth aspect of the present invention, there is provided a microphone array in which a plurality of microphones are provided in a predetermined arrangement, and a duration of a sound emitted from a user's nasal cavity based on voice data acquired by the microphone array. Continuation time specifying means for specifying, utterance position specifying means for specifying three-dimensionally the utterance position of the sound emitted from the user's nasal cavity based on the sound data acquired by the microphone array, and the continuation time specifying means The display control unit includes: a duration determination unit that determines whether or not the duration specified by is longer than a predetermined time; a display unit that performs display for a user; and a display control unit that controls the display unit. The means responds to the determination result by the duration determination means and the utterance position specified by the utterance position specification means. Te is an information processing apparatus and controls to change the magnification of the display on the display means.
また、請求項5に係る発明は、複数のマイクロフォンが所定配置で設けられてなるマイ
クロフォンアレイと、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の継続時間を特定する継続時間特定手段と、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の発声位置を3次元的に特定する発声位置特定手段と、前記継続時間特定手段によって特定された継続時間が所定時間より長いか否かを判定する継続時間判定手段と、ユーザーに対する表示を行う表示手段と、前記表示手段を制御する表示制御手段と、を有し、前記表示制御手段は、前記継続時間判定手段による判定結果と、前記発声位置特定手段によって特定された発声位置とに応じて、前記表示手段に表示されるカーソルの移動量の変更を行うように制御することを有することを特徴とする情報処理装置である。
According to a fifth aspect of the present invention, there is provided a microphone array in which a plurality of microphones are provided in a predetermined arrangement, and a duration of a sound emitted from a user's nasal cavity based on voice data acquired by the microphone array. Continuation time specifying means for specifying, utterance position specifying means for specifying three-dimensionally the utterance position of the sound emitted from the user's nasal cavity based on the sound data acquired by the microphone array, and the continuation time specifying means The display control unit includes: a duration determination unit that determines whether or not the duration specified by is longer than a predetermined time; a display unit that performs display for a user; and a display control unit that controls the display unit. The means responds to the determination result by the duration determination means and the utterance position specified by the utterance position specification means. Te is an information processing apparatus characterized by having a controlling so as to change the amount of movement of the cursor displayed on the display means.
また、請求項6に係る発明は、請求項3又は請求項4に記載の情報処理装置において、前記表示制御手段は、前記表示手段における表示の拡大率の変更に伴い、前記表示手段に表示されるカーソルの移動量を変更することを特徴とする。 According to a sixth aspect of the present invention, in the information processing apparatus according to the third or fourth aspect, the display control means is displayed on the display means in accordance with a change in a display enlargement ratio on the display means. The moving amount of the cursor is changed.
また、請求項7に係る発明は、請求項6に記載の情報処理装置において、前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の音量を特定する音量特定手段、を有し、前記表示制御手段は、前記表示手段に表示されるカーソルの移動量を、前記音量特定手段によって特定された音量又は音量の対数値に比例させるように制御することを特徴とする。 According to a seventh aspect of the present invention, in the information processing apparatus according to the sixth aspect, the sound volume specifying means for specifying the volume of the sound emitted from the user's nasal cavity based on the sound data acquired by the microphone array. The display control means controls the amount of movement of the cursor displayed on the display means to be proportional to the volume specified by the volume specifying means or the logarithmic value of the volume. .
また、請求項8に係る発明は、請求項6に記載の情報処理装置において、前記表示制御手段は、前記表示手段に表示されるカーソルの移動量を、前記発声位置特定手段によって特定された発声位置と所定線分との間の距離に比例させるように制御することを特徴とする。 The invention according to claim 8 is the information processing apparatus according to claim 6, wherein the display control means determines the amount of movement of the cursor displayed on the display means by the utterance specified by the utterance position specifying means. Control is performed so as to be proportional to the distance between the position and the predetermined line segment.
また、請求項9に係る発明は、請求項1乃至請求項8に記載の情報処理装置において、前記表示制御手段は、前記発声位置特定手段によって特定された発声位置を前記表示手段に表示するように制御することを特徴とする。 The invention according to claim 9 is the information processing apparatus according to any one of claims 1 to 8, wherein the display control means displays the utterance position specified by the utterance position specification means on the display means. It is characterized by controlling to.
本発明の情報処理装置によれば、雑音がある環境下でもユーザーの3次元空間内の位置を呼気や音声を用いてディスプレイなどにユーザー操作を表示することが可能となる。 According to the information processing apparatus of the present invention, it is possible to display a user operation on a display or the like using a breath or voice of the position of the user in a three-dimensional space even in a noisy environment.
また、本発明の情報処理装置によれば、小さなアイコンやボタンへのカーソル移動などの細かな入力操作を行うことが可能となる。 In addition, according to the information processing apparatus of the present invention, it is possible to perform fine input operations such as cursor movement to small icons and buttons.
以下、本発明の実施の形態を図面を参照しつつ説明する。
図1は本発明の実施の形態に係る情報処理装置の外観を斜視的に示す図であり、図2は本発明の実施の形態に係る情報処理装置に用いられるインターフェイス装置の外観を斜視的に示す図であり、図3は本発明の実施の形態に係る情報処理装置のブロック構成を示す図である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a perspective view showing an external appearance of an information processing apparatus according to an embodiment of the present invention. FIG. 2 is a perspective view showing an external appearance of an interface apparatus used in the information processing apparatus according to the embodiment of the present invention. FIG. 3 is a diagram showing a block configuration of the information processing apparatus according to the embodiment of the present invention.
図1及び図2において、10は情報処理装置、20はコンピュータ本体部、30はディスプレイ部、100はインターフェイス装置、200はマイクロフォンアレイ、201はシリコンマイク、202はウインドスクリーン、210はスタンド、211は主支柱、212は左側支柱、213は右側支柱、280はマイクアンプ、290はAD変換部、300はCPU、400は記憶部、500は接続ポート部をそれぞれ示している。 1 and 2, 10 is an information processing device, 20 is a computer main unit, 30 is a display unit, 100 is an interface device, 200 is a microphone array, 201 is a silicon microphone, 202 is a wind screen, 210 is a stand, and 211 is The main support, 212 is a left support, 213 is a right support, 280 is a microphone amplifier, 290 is an AD conversion unit, 300 is a CPU, 400 is a storage unit, and 500 is a connection port unit.
情報処理装置10は、マウスなどの入力用ポインティングデバイスの代替となるインタ
ーフェイス装置100と、インターフェイス装置100からの入力を受けこれに基づいて演算処理などを行うコンピュータ本体部20と、コンピュータ本体部20からの出力をユーザーのために表示するディスプレイ部30とから主として構成されている。コンピュータ本体部20は、CPU(不図示)とCPU上で動作するプログラムを保持するROM(不図示)やHDD(不図示)、CPUのワークエリアとして機能するRAM(不図示)、他の機器と接続するためのインターフェイス手段(不図示)などからなる汎用の情報処理機構であり、例えば汎用のパーソナルコンピュータを用いることができる。また、特許請求の範囲において「表示制御手段」として表現される構成は、コンピュータ本体部20のCPUとCPU上で動作するプログラムとビデオRAM(不図示)などによって実現されるものである。このようなコンピュータ本体部20の構成や動作については、いずれも周知であるので詳述を避ける。また、特許請求の範囲において「表示手段」として記載されている構成はディスプレイ部30である。このディスプレイ部30についても一般的なものを用いることができる。なお、コンピュータ本体部20としては、汎用のパーソナルコンピュータなどを用いることができるが、これに限らず、その他の種々のコンピュータを用いることができる。
The
以下、本発明に係る情報処理装置10において、特徴的なインターフェイス装置100について詳しく説明する。図2はインターフェイス装置100のユーザーインターフェイス部の構成を示しており、図示するようなユーザーの鼻腔・口腔から発せられた音に基づいて、コンピュータなどに対する入力デバイスとして機能するものである。なお、このようなインターフェイス装置100は、コンピュータに対する入力用途のみならず、電気製品や車両に対する入力用途にも用いることが可能である。
Hereinafter, the
インターフェイス装置100の外観は、スタンド210上に立設された主支柱211と、主支柱211から左右に枝分かれし、左側支柱212と右側支柱213と、それぞれの支柱に設けられたマイクロフォン群とから構成されており、卓上に設置が可能なようになっている。より具体的には、これら主支柱211、左側支柱212、右側支柱213のそれぞれに3cm間隔でシリコンマイク201が不図示の基板上に設けられており、計12個のマイクロフォン群からマイクロフォンアレイ200が構成されている。なお、本実施形態に係るインターフェイス装置100においては、シリコンマイク201が12個用いられたものに基づいて説明するが、シリコンマイク201の数は3個以上で構成すればよく、本発明が12個のシリコンマイク201の使用に限定されるものではない。なお、シリコンマイク201の数が少ないと耐雑音性が悪化するし、また、シリコンマイク201の数が多いと音声データの処理負荷が重くなるので、本実施形態では先に述べたようにマイクロフォンアレイ200を12個のシリコンマイク201で構成している。また、シリコンマイク201には、3mm×5mm程度の小型シリコンマイクを採用している。
The external appearance of the
それぞれの支柱に配された4つのシリコンマイク201は、ウインドスクリーン202によって覆われており、風きり音が入力されるのを伏せいている。また、左側支柱212に配されたマイクロフォン群、右側支柱213に配されたマイクロフォン群は略「ハ」の字のレイアウトとなるように配置されており、主支柱211に配されたマイクロフォン群は垂直に配置されている。
The four
図3はインターフェイス装置100を含むブロック構成が示される図である。12個のシリコンマイク201から構成されるマイクロフォンアレイ200の出力は、マイクアンプ280で増幅されAD変換部290でアナログ−デジタル変換された後、CPU300に入力されるようになっている。記憶部400は、CPU300上で動作するプログラムを保持するROMや、CPU300のワークエリアとして機能するRAMから構成されている。この記憶部400に記憶されているプログラムに基づいてCPU300が動作することによって、本発明のインターフェイス装置100として機能する。
FIG. 3 is a diagram showing a block configuration including the
なお、特許請求の範囲に記載されている「継続時間特定手段」、「発声位置特定手段」、「継続時間判定手段」、「音量特定手段」、などの各手段は、記憶部400に記憶されているプログラムに基づいて動作するCPU300によって実現されるものである。
Note that each means such as “continuation time specifying means”, “speech position specifying means”, “continuation time determining means”, and “volume specifying means” described in the claims is stored in the
また、記憶部400には、後述するイベントデータベースが記憶保持されている。接続ポート部500は、コンピュータ本体部20などの他の機器と接続するためのインターフェイス手段であり、USBなどの周知のものを利用することができる。
The
以上のように構成されるインターフェイス装置100の利用形態について説明する。なお、以下に種々の実施形態を個別的に説明するが、それぞれの実施形態は記憶部400に記憶させるプログラムを変更することによってそれぞれ実現することができる。また、以下に個別的に説明する種々の実施形態を任意に組み合わせて構成したインターフェイス装置も、本実施形態のインターフェイス装置に含まれるものである。
A usage form of the
図4は本発明の実施の形態に係るインターフェイス装置の利用形態例を示す図である。本実施形態に係るインターフェイス装置100では、インターフェイス装置100を用いて、3次元空間内で推定された発声位置がどの領域に属すかを特定するものである。
FIG. 4 is a diagram showing an example of how the interface device according to the embodiment of the present invention is used. In the
なお、以下、「発声」という語には、ユーザーの鼻口腔から発せられた全ての種類の音が含まれるものとする。ユーザーの鼻口腔から発せられた音には、例えば、舌打ちの音なども含まれるものであるが、一般的な利用としては、ユーザーの「シュッ」、「パッ」などの短い発声音や「シュー」、「アー」などの継続する継続的発声音が想定される。 Hereinafter, the term “speech” includes all kinds of sounds emitted from the user's nasal cavity. The sound emitted from the user's nose and mouth includes, for example, the sound of a tongue, but as a general use, a short utterance sound such as a user's “shush” or “pad” or “shoe” ”,“ A ”, etc., continuous continuous utterance sounds are assumed.
図4に示す実施形態においては、ユーザーの発声検出領域Rを定義し、この発声検出領
域の中のユーザーの発声のみを検出するようにして、発声検出領域R外からの音は雑音と
して処理する。
In the embodiment shown in FIG. 4, the user's utterance detection region R is defined, and only the user's utterance in the utterance detection region is detected, and the sound from outside the utterance detection region R is processed as noise. .
そして、定義されたユーザーの発声検出領域Rの中で、発声がどの位置からなされたの
かが特定される。このような特定を行う構成は、特許請求の範囲において「発声位置特定手段」として表現されている。
Then, in the defined user utterance detection region R, it is specified from which position the utterance is made. The configuration for performing such specification is expressed as “voice position specifying means” in the claims.
また、後述するように発声検出領域Rの中は、仮想的な空間に領域に分割する。そして
、仮想的に分割された空間の中で、発声がどの空間内で発声があったのかに係る情報が利用される。
Further, as will be described later, the utterance detection region R is divided into virtual spaces. Then, information relating to which space is uttered in the virtually divided space is used.
また、定義されたユーザーの発声検出領域の中で、発声の開始から終了までの継続時間が特定される。すなわち、ユーザーの「シュッ」、「パッ」などの短い発声音と、「シュー」、「アー」などの継続する継続的発声音との別が特定される。このような特定を行う構成は、特許請求の範囲において「継続時間特定手段」として表現されている。 Further, the duration from the start to the end of the utterance is specified in the defined user utterance detection area. That is, a distinction is made between a short utterance sound such as “shush” or “pat” of a user and a continuous utterance sound such as “shoe” or “ar”. The configuration for performing such specification is expressed as “continuation time specifying means” in the claims.
また、定義されたユーザーの発声検出領域の中で、ユーザーの発声の音量の特定が行われる。このような特定を行う構成は、特許請求の範囲において「音量特定手段」として表現されている。 In addition, the volume of the user's utterance is specified in the defined user's utterance detection area. The configuration for performing such identification is expressed as “volume identifying means” in the claims.
以上のような実施形態におけるインターフェイス装置の処理について説明する。図5は本発明の実施の形態に係るインターフェイス装置の処理のフローチャートを示す図である。 Processing of the interface device in the above embodiment will be described. FIG. 5 is a view showing a flowchart of processing of the interface device according to the embodiment of the present invention.
ステップS100で、処理が開始されると、次にステップS101に進み、マイクロフ
ォンアレイ200から音声データの取り込みが行われる。このステップではより具体的には、マイクロフォンアレイ200から出力される音声のアナログ信号をマイクアンプ280で増幅した後、AD変換部290でデジタル信号に変換し、記憶部400に一時記憶する。
When the process is started in step S100, the process proceeds to step S101, and audio data is captured from the
次のステップS102では、ユーザー発声位置と周囲雑音到来方向の3次元的な情報の特定を行う。より詳細には、本願の発明者らによる特開2007−228135号公報、特開2008−67854号公報、特願2006−240721号の明細書、図面に記載の手法を用いて、ユーザーの発声位置と周囲雑音到来方向を3次元空間内で特定する。 In the next step S102, the three-dimensional information of the user utterance position and the ambient noise arrival direction is specified. In more detail, using the method described in Japanese Patent Application Laid-Open No. 2007-228135, Japanese Patent Application Laid-Open No. 2008-67854, Japanese Patent Application No. 2006-240721, and drawings by the inventors of the present application, The ambient noise arrival direction is specified in a three-dimensional space.
次に、ステップS103では、ユーザーの発声があるか否かが判定される。このステップでは、特願2006−240721号に記載の手法を用いてユーザーの発声を検出し、もしユーザーの発声が検出されなければ、ステップS101から繰り返す。もしユーザーの発声が検出されればステップS104へ進む。 Next, in step S103, it is determined whether or not there is a user utterance. In this step, the user's utterance is detected using the method described in Japanese Patent Application No. 2006-240721, and if the user's utterance is not detected, the process is repeated from step S101. If the user utterance is detected, the process proceeds to step S104.
ステップS104では、周囲雑音の抑制を実行する。このステップでは、特願2006−240721号に記載の手法を用いて周囲雑音を抑圧しユーザーの発声を強調する音源分離処理を行う。 In step S104, ambient noise is suppressed. In this step, sound source separation processing for suppressing ambient noise and enhancing the user's utterance is performed using the method described in Japanese Patent Application No. 2006-240721.
ステップS105では、ユーザーの発声の継続時間の特定が行われる。すなわち、このステップでは、ユーザーの発声の継続音の開始から終了までの時間を特定する処理を行う。 In step S105, the duration of the user's utterance is specified. That is, in this step, processing for specifying the time from the start to the end of the continuous sound of the user's utterance is performed.
ステップS106では、3次元的な発声位置の特定を行う。より具体的には、3次元空間内で推定された発声位置がどの領域に属すかを特定する。例えば、図3示すようにユーザーの発声検出領域を定義し、更にその発声検出領域を8つの領域に分割する。そして、その8つの分割領域の中で、発声がどの領域内で検出されたかを特定する。 In step S106, the three-dimensional utterance position is specified. More specifically, the region to which the utterance position estimated in the three-dimensional space belongs is specified. For example, as shown in FIG. 3, a user utterance detection area is defined, and the utterance detection area is further divided into eight areas. Then, the region in which the utterance is detected is specified in the eight divided regions.
ステップS107では、ユーザーの発声の発声音量の特定が行われる。音の大きさを表すパワーなどの音量に相当するパラメータを計測することによって行う。 In step S107, the utterance volume of the user's utterance is specified. This is done by measuring a parameter corresponding to a volume such as a power representing the loudness.
ステップS108では、イベント特定処理のサブルーチンが実行される。記憶部400に保持されるイベントデータベースには、例えば、発声継続時間、発声検出位置、発声音量などに応じたイベントが記憶されている。すなわち、発声継続時間、発声検出位置、発声音量などとイベントとの組み合わせが定義されて、当該イベントデータベースに保持されるようになっている。イベント特定処理では、このイベントデータベースの情報が参照される。
In step S108, a subroutine for event identification processing is executed. In the event database held in the
イベントデータベースには、例えば、図3の上段手前の左側の領域で短時間の発声として定義したイベントがあらかじめ登録されている。そして、ステップS106のイベントの特定処理では、発声位置が前述の位置になっているかを判断し、発声継続時間があるしきい値以下であるかを判断し、発声が所定の発声音量以上であるかなどを判断し、全ての条件が適合したときにそのイベントが発生したと判断する。 In the event database, for example, an event defined as a short-time utterance in the left area before the upper row in FIG. 3 is registered in advance. Then, in the event specifying process in step S106, it is determined whether the utterance position is the above-described position, it is determined whether the utterance duration is below a certain threshold value, and the utterance is equal to or greater than a predetermined utterance volume. It is determined that the event has occurred when all the conditions are met.
ステップS109では、該当イベントがあるかが判定される。ステップS108で、イベントデータベースに適合するイベントが検出されたかどうかを調べ、もしイベントが一つも検出されなければ、ステップS101へ戻る。もし、イベントが検出された場合は、ステップS110へ進む。 In step S109, it is determined whether there is a corresponding event. In step S108, it is checked whether an event that matches the event database is detected. If no event is detected, the process returns to step S101. If an event is detected, the process proceeds to step S110.
ステップS110では、コンピュータ本体部20に対して、イベント検出信号を送信す
る。
In step S110, an event detection signal is transmitted to the computer
アプリケーション側の典型的な処理が点線の囲み中に示されている。以下、アプリケーション側で想定される典型的な処理について説明する。ステップS201では、本発明のインターフェイス装置から送られるイベント検出信号の受信を待ち続ける。もし、イベント検出信号を受信した場合は、ステップS202へ移る。ステップS202では、受信したイベント検出信号に対応した適切な処理を実行する。そして、ステップS201へ戻る。 Typical processing on the application side is shown in the dotted box. Hereinafter, typical processing assumed on the application side will be described. In step S201, it continues to wait for the reception of an event detection signal sent from the interface device of the present invention. If an event detection signal is received, the process proceeds to step S202. In step S202, an appropriate process corresponding to the received event detection signal is executed. Then, the process returns to step S201.
インターフェイス装置100では、例えば、手前、左上の分割領域での発声が検出された場合には、マウスの左クリックに相当するイベント検出信号を生成し、コンピュータ本体部20側に送信する。このようなイベント検出信号を受信したコンピュータ本体部20は、ステップS202でマウスの左クリックに相当する処理を実行する。
In the
このように本実施形態の情報処理装置によれば、雑音がある環境下でもユーザーの呼気音や発声の発声位置などが3次元的に特定され、特定された事項に応じた処理をコンピュータ本体部20側で実行することができるようになる。 As described above, according to the information processing apparatus of the present embodiment, the user's breathing sound, the utterance position of the utterance, and the like are three-dimensionally specified even in a noisy environment, and processing corresponding to the specified matter is performed on the computer main unit. 20 can be executed on the side.
次に、ステップS108におけるサブルーチン処理の第1実施形態について説明する。図6は本発明の第1実施の形態に係るインターフェイス装置のサブルーチン処理のフローチャートを示す図であり、図7は本発明の第1実施の形態に係る情報処理装置において発声検出領域R中に定義された仮想空間例を示す図であり、図8は本発明の第1実施の形態
に係る情報処理装置において発声検出領域R中に定義された仮想空間例を示す図である。
Next, a first embodiment of the subroutine processing in step S108 will be described. FIG. 6 is a flowchart of the subroutine processing of the interface device according to the first embodiment of the present invention. FIG. 7 is a definition in the utterance detection region R in the information processing device according to the first embodiment of the present invention. FIG. 8 is a diagram showing an example of a virtual space defined in the utterance detection region R in the information processing apparatus according to the first embodiment of the present invention.
図6において、ステップS300で、イベント特定処理のサブルーチンが開始されると、次に、ステップS301に進み、特定された発声継続時間が所定の時間より長いか否かが判定される。この判定ステップは、ユーザーが「シュッ」、「パッ」などの短い発声を行っているのか、「シュー」、「アー」などの長い発声を行っているのかを判定するものである。 In FIG. 6, when the event specifying process subroutine is started in step S300, the process proceeds to step S301, where it is determined whether or not the specified utterance duration is longer than a predetermined time. In this determination step, it is determined whether the user is making a short utterance such as “shu” or “pa” or a long utterance such as “shoe” or “a”.
ステップS301の判定結果YESであるときにはステップS302に進み、判定結果NOであるときにはステップS304に進む。 When the determination result in step S301 is YES, the process proceeds to step S302, and when the determination result is NO, the process proceeds to step S304.
ステップS302では、仮想空間Aに基づいてイベントの特定を行うようにする。このような仮想空間Aは、図7に示されるようなものである。仮想空間Aは、A1、A2、A3
、A4の4つの空間に分割されており、それぞれ空間で発声があった場合には、一般的な
十字キーの「上」、「下」、「右」、「左」に相当するイベントとして定義されている。例えば、A1の領域内でユーザーが長く「シュー」と発音すると、十字キーの「上」に相
当するイベント検出信号が生成される訳である。
In step S302, an event is specified based on the virtual space A. Such a virtual space A is as shown in FIG. The virtual space A is A 1 , A 2 , A 3
, A 4 is divided into four spaces, and if there are utterances in each space, the events correspond to “up”, “down”, “right”, and “left” of general cross keys Is defined. For example, when the user pronounces “shoe” for a long time in the area A 1 , an event detection signal corresponding to “up” of the cross key is generated.
ステップS303では、発声音量(又はその対数値)に比例したカーソル移動量を特定する。すなわち、大きな音量で発声するほど一度に大きく移動することができるようなイベント検出信号を生成する。このようなイベント検出信号によれば、ディスプレイ部30では、大きな音量で発声されるほど、カーソルが一度に大きく移動するような表示制御がなされる。例えば、A1の領域内でユーザーが、比較的大きな声で長く「シュー」と発音
すると、十字キーの「上」の方向に速くカーソルが移動するようなイベント検出信号が生成される。
In step S303, the cursor movement amount proportional to the utterance volume (or its logarithmic value) is specified. In other words, an event detection signal is generated that can move more at a time as the voice is uttered at a higher volume. According to such an event detection signal, display control is performed on the
ステップS304では、仮想空間Bに基づいてイベントの特定を行うようにする。このような仮想空間Bは、図8に示されるようなものである。仮想空間Bは、B1、B2の2つ
の空間に分割されており、それぞれ空間で発声があった場合には、一般的なマウスの「右クリック」、「左クリック」に相当するイベントとして定義されている。例えば、B1の
領域内でユーザーが短く「シュッ」と発音すると、マウスの「右クリック」に相当するイベント検出信号が生成される訳である。
In step S304, an event is specified based on the virtual space B. Such a virtual space B is as shown in FIG. The virtual space B is divided into two spaces B 1 and B 2 , and when there is a utterance in each space, the events correspond to “right click” and “left click” of a general mouse. Is defined. For example, when the user pronounces “shuffle” briefly in the region B 1 , an event detection signal corresponding to “right click” of the mouse is generated.
ステップS305では、上記のように左クリックか右クリックかが特定される。 In step S305, whether left click or right click is specified as described above.
ステップS306ではリターンする。 In step S306, the process returns.
上記のようにインターフェイス装置100で生成されたイベント検出信号によって、コンピュータ本体部20はディスプレイ部30における表示を制御する。すなわち、例えばA1の領域内でユーザーが長く「シュー」などと発音すると、ディスプレイ部30におい
てカーソルが上方向に移動するように表示制御がされる。また、B1の領域内でユーザー
が短く「シュッ」などと発音すると、ディスプレイ部30において、マウスの右クリックに相当するような表示制御がされる。
The computer
なお、上記の実施形態においては、仮想空間Aは、A1、A2、A3、A4の4つの空間に分割し、それぞれ空間で発声があった場合には、一般的な十字キーの「上」、「下」、「右」、「左」を割り付ける単純な場合について説明したが、より詳細に仮想空間を分割することも可能である。すなわち、A1とA3との中間の辺りで長く発声すると、斜め上方向にカーソルが移動するようなイベント検出信号をインターフェイス装置100で生成し、ディスプレイ部30においてカーソルが斜め上方向に移動するように表示制御がされるようにしても良い。つまり、X−Y平面の原点の真上で発声が検出されたらカーソルは上へ移動し、右上45°の方向で発声が検出されたらカーソルは右上45°の方向に移動するように表示制御する。また、カーソルの移動量は、分割された領域の境界部に存在する所定の線分(O−O’)からの距離に比例して決定するようにしてもよい。すなわち、中心から離れて発声するほど一度に大きくカーソルを移動させることができるように表示制御を行う。カーソルの移動量は、距離と発声音量に比例して決定するようにしてもよい。
In the above embodiment, the virtual space A is divided into four spaces A 1 , A 2 , A 3 , and A 4 . The simple case of assigning “upper”, “lower”, “right”, and “left” has been described, but it is also possible to divide the virtual space in more detail. That is, an event detection signal is generated by the
このような本発明の情報処理装置によれば、雑音がある環境下でもユーザーの3次元空間内の位置を呼気や音声を用いてディスプレイなどにユーザー操作を表示することが可能となる。 According to such an information processing apparatus of the present invention, it is possible to display a user operation on a display or the like by using a breath or a voice of the position of the user in a three-dimensional space even in a noisy environment.
次に、本発明の第2実施形態について説明する。図9は本発明の第2実施の形態に係るインターフェイス装置のサブルーチン処理のフローチャートを示す図であり、図10は本発明の第2実施の形態に係る情報処理装置において発声検出領域R中に定義された仮想空
間例を示す図である。
Next, a second embodiment of the present invention will be described. FIG. 9 is a diagram showing a flowchart of the subroutine processing of the interface device according to the second embodiment of the present invention, and FIG. 10 is defined in the utterance detection region R in the information processing device according to the second embodiment of the present invention. It is a figure which shows the performed virtual space example.
ステップS400において、イベント特定処理のサブルーチンが開始されると、次に、ステップS401に進み、特定された発声継続時間が所定の時間より長いか否かが判定される。この判定ステップは、ユーザーが「シュッ」、「パッ」などの短い発声を行っているのか、「シュー」、「アー」などの長い発声を行っているのかを判定するものである。 When the event specifying process subroutine is started in step S400, the process proceeds to step S401, where it is determined whether the specified utterance duration is longer than a predetermined time. In this determination step, it is determined whether the user is making a short utterance such as “shu” or “pa” or a long utterance such as “shoe” or “a”.
ステップS402では、仮想空間Aに基づいてイベントの特定を行うようにする。このような仮想空間Aは、図7に示されるようなものである。仮想空間Aは、A1、A2、A3
、A4の4つの空間に分割されており、それぞれ空間で発声があった場合には、一般的な
十字キーの「上」、「下」、「右」、「左」に相当するイベントとして定義されている。例えば、A1の領域内でユーザーが長く「シュー」と発音すると、十字キーの「上」に相
当するイベント検出信号が生成される訳である。
In step S402, an event is specified based on the virtual space A. Such a virtual space A is as shown in FIG. The virtual space A is A 1 , A 2 , A 3
, A 4 is divided into four spaces, and if there are utterances in each space, the events correspond to “up”, “down”, “right”, and “left” of general cross keys Is defined. For example, when the user pronounces “shoe” for a long time in the area A 1 , an event detection signal corresponding to “up” of the cross key is generated.
ステップS403では、発声音量(又はその対数値)に比例したカーソル移動量を特定する。すなわち、大きな音量で発声するほど一度に大きく移動することができるようなイベント検出信号を生成する。このようなイベント検出信号によれば、ディスプレイ部30では、大きな音量で発声されるほど、カーソルが一度に大きく移動するような表示制御がなされる。
In step S403, the cursor movement amount proportional to the utterance volume (or its logarithmic value) is specified. In other words, an event detection signal is generated that can move more at a time as the voice is uttered at a higher volume. According to such an event detection signal, display control is performed on the
ステップS304では、仮想空間Cに基づいてイベントの特定を行うようにする。このような仮想空間Cは、図8に示されるようなものである。仮想空間Cは、C1、C2、C3
の3つの空間に分割されており、それぞれ空間で発声があった場合には、一般的なマウスの「右クリック」、「左クリック」、「拡大表示の実行/解除」に相当するイベントとして定義されている。例えば、C1の領域内でユーザーが短く「シュッ」と発音すると、マ
ウスの「右クリック」に相当するイベント検出信号が生成される訳である。また、C3の
領域内でユーザーが短く「シュッ」と発音すると、カーソル近傍の表示の拡大表示を実行したり、或いは拡大表示を解除したりするコマンドに相当するイベント検出信号が生成される訳である。
In step S304, an event is specified based on the virtual space C. Such a virtual space C is as shown in FIG. The virtual space C is C 1 , C 2 , C 3
If there is a utterance in each space, it is defined as an event equivalent to a general mouse "right click", "left click", or "execution / cancellation of enlarged display" Has been. For example, when the user pronounces “shuffle” briefly in the area C 1 , an event detection signal corresponding to “right click” of the mouse is generated. In addition, when the user pronounces “sh” shortly in the area C 3 , an event detection signal corresponding to a command for executing an enlarged display near the cursor or canceling the enlarged display is generated. It is.
本実施形態では、このようなイベント検出信号が、コンピュータ本体部20側に送信され、それに基づいて、コンピュータ本体部20がディスプレイ部30の表示制御を行うようになっているので、小さなアイコンやボタンへのカーソル移動などの細かな入力操作を行うことが可能となるのである。
In the present embodiment, such an event detection signal is transmitted to the computer
ステップS405では、上記のように左クリックか右クリックか拡大表示の実行/解除かが特定される。 In step S405, whether left click, right click, or execution / cancellation of enlarged display is specified as described above.
ステップS406ではリターンする。 In step S406, the process returns.
上記のようにインターフェイス装置100で生成されたイベント検出信号によって、コンピュータ本体部20はディスプレイ部30における表示を制御する。すなわち、C3の
領域内でユーザーが短く「シュッ」などと発音すると、ディスプレイ部30においてカーソル近傍の表示の拡大表示を実行したり、或いは拡大表示を解除したりする表示制御がなされる。つまり、C3の領域内でユーザーの短時間の発声が、拡大表示ON・OFFのト
グルスイッチのような役割を果たし、ユーザーはこのようなスイッチ機能によって、必要に応じて拡大表示を行い、細かい入力作業を実行することができるようになる。これにより、本発明の情報処理装置10では、小さなアイコンやボタンへのカーソル移動などの細かな入力操作を行うことが可能となる。
The computer
なお、上記の実施形態においては、仮想空間Aは、A1、A2、A3、A4の4つの空間に分割し、それぞれ空間で発声があった場合には、一般的な十字キーの「上」、「下」、「右」、「左」を割り付ける単純な場合について説明したが、より詳細に仮想空間を分割することも可能であることは先に述べた通りである。また、カーソルの移動量は、分割された領域の境界部に存在する所定の線分(O−O’)からの距離に比例して決定するようにしてもよい。すなわち、中心から離れて発声するほど一度に大きくカーソルを移動させることができるように表示制御を行う。カーソルの移動量は、距離と発声音量に比例して決定するようにしてもよい。 In the above embodiment, the virtual space A is divided into four spaces A 1 , A 2 , A 3 , and A 4 . The simple case of assigning “upper”, “lower”, “right”, and “left” has been described. However, as described above, it is possible to divide the virtual space in more detail. Further, the amount of movement of the cursor may be determined in proportion to the distance from a predetermined line segment (OO ′) existing at the boundary of the divided area. That is, display control is performed so that the cursor can be moved larger at once as the utterance is further away from the center. The amount of movement of the cursor may be determined in proportion to the distance and the sound volume.
次に、本発明の第3実施形態について説明する。図11は本発明の第3実施の形態に係るインターフェイス装置のサブルーチン処理のフローチャートを示す図であり、図12は本発明の第3実施の形態に係る情報処理装置において発声検出領域R中に定義された仮想
空間例を示す図である。
Next, a third embodiment of the present invention will be described. FIG. 11 is a diagram showing a flowchart of subroutine processing of the interface device according to the third embodiment of the present invention. FIG. 12 shows the definition in the utterance detection region R in the information processing device according to the third embodiment of the present invention. It is a figure which shows the performed virtual space example.
図11において、ステップS500で、イベント特定処理のサブルーチンが開始されると、次に、ステップS501に進み、特定された発声継続時間が所定の時間より長いか否かが判定される。この判定ステップは、ユーザーが「シュッ」、「パッ」などの短い発声を行っているのか、「シュー」、「アー」などの長い発声を行っているのかを判定するものである。本実施形態においても、まずユーザーの発声継続音の長短によって、発声検出領域R中で用いる仮想空間を異なるものとするように処理する。 In FIG. 11, when the event specifying process subroutine is started in step S500, the process proceeds to step S501, where it is determined whether the specified utterance duration is longer than a predetermined time. In this determination step, it is determined whether the user is making a short utterance such as “shu” or “pa” or a long utterance such as “shoe” or “a”. Also in the present embodiment, first, processing is performed so that the virtual space used in the utterance detection region R differs depending on the length of the utterance continuous sound of the user.
ステップS501の判定結果YESであるときにはステップS502に進み、判定結果NOであるときにはステップS506に進む。 When the determination result in step S501 is YES, the process proceeds to step S502, and when the determination result is NO, the process proceeds to step S506.
ステップS502では、仮想空間Dに基づいてイベントの特定を行うようにする。このような仮想空間Dは、図12に示されるようなものである。仮想空間Dは、D1、D2、D3、D4、D5の5つの空間に分割されており、それぞれ空間で発声があった場合には、一
般的な十字キーの「上」、「下」、「右」、「左」に相当するイベントとして定義されている。例えば、D1の領域内でユーザーが長く「シュー」と発音すると、十字キーの「上
」に相当するイベント検出信号が生成される訳である。また、発声検出領域Rの奥側に設
定されたD5の領域は、ディスプレイ部30における表示の拡大率をユーザーが変更可能
なように設けられた空間である。そして、拡大率の変更においては、PQRS平面と発声位置と間の距離に応じて拡大率が設定されるようにしている。領域D5において、PQR
S平面と発声位置とが近ければ近いほど、拡大率が大きくなるように設定し、PQRS平面と発声位置とが近ければ近いほど、拡大率が小さくなるように設定すると、入力デバイスとして直感的に用いることが可能である。例えば、D5の領域内でユーザーが長く「シ
ュー」と発音しながら、長い発声で近づくと拡大率が大きくなるようなイベント検出信号がインターフェイス装置100によって生成され、これをコンピュータ本体部20に送信し、ディスプレイ部30における表示の拡大率を大きくするように表示制御させる。
In step S502, an event is specified based on the virtual space D. Such a virtual space D is as shown in FIG. The virtual space D is divided into five spaces D 1 , D 2 , D 3 , D 4 , and D 5 , and when there is utterance in each space, the “up” of a general cross key, It is defined as an event corresponding to “down”, “right”, and “left”. For example, when the user pronounces “shoe” for a long time in the area of D 1 , an event detection signal corresponding to “up” of the cross key is generated. Further, the region D 5 set on the far side of the utterance detection region R is a space provided so that the user can change the magnification rate of display on the
When the S plane and the utterance position are closer, the enlargement ratio is set to be larger, and when the PQRS plane and the utterance position are closer to each other, the enlargement ratio is set to be smaller. It is possible to use. For example, an event detection signal is generated by the
ステップS503では、発声位置がD1,D2,D3,D4内であるか否かが判定される。ステップS503の判定結果がYESであるときにはステップS504に進み、判定結果がNOであるときにはステップS505に進む。 At step S503, the utterance location whether inside D 1, D 2, D 3 , D 4 are determined. When the determination result of step S503 is YES, the process proceeds to step S504, and when the determination result is NO, the process proceeds to step S505.
ステップS504では、発声音量(又はその対数値)に比例したカーソル移動量を特定する。すなわち、大きな音量で発声するほど一度に大きく移動することができるようなイベント検出信号を生成する。このようなイベント検出信号によれば、ディスプレイ部30では、大きな音量で発声されるほど、カーソルが一度に大きく移動するような表示制御がなされる。例えば、D1の領域内でユーザーが、比較的大きな声で長く「シュー」と発音
すると、十字キーの「上」の方向に速くカーソルが移動するようなイベント検出信号が生成される。
In step S504, the cursor movement amount proportional to the utterance volume (or its logarithmic value) is specified. In other words, an event detection signal is generated that can move more at a time as the voice is uttered at a higher volume. According to such an event detection signal, display control is performed on the
ステップS505では、先に述べたような方法―PQRS平面と発声位置とが近ければ近いほど、拡大率が大きくし、PQRS平面と発声位置とが近ければ近いほど、拡大率が小さくする―で、拡大率の特定を行う。 In step S505, the method as described above—the closer the PQRS plane and the utterance position are, the larger the enlargement ratio is; and the closer the PQRS plane and the utterance position are, the smaller the enlargement ratio is— Specify the magnification.
ステップS506では、仮想空間Bに基づいてイベントの特定を行うようにする。このような仮想空間Bは、図8に示されるようなものである。仮想空間Bは、B1、B2の2つの空間に分割されており、それぞれ空間で発声があった場合には、一般的なマウスの「右クリック」、「左クリック」に相当するイベントとして定義されている。例えば、B1
の領域内でユーザーが短く「シュッ」と発音すると、マウスの「右クリック」に相当するイベント検出信号が生成される訳である。
In step S506, an event is specified based on the virtual space B. Such a virtual space B is as shown in FIG. The virtual space B is divided into two spaces B 1 and B 2 , and when there is a utterance in each space, the events correspond to “right click” and “left click” of a general mouse. Is defined. For example, B 1
When the user pronounces “shuffle” briefly in the area of, an event detection signal corresponding to “right click” of the mouse is generated.
ステップS507では、上記のように左クリックか右クリックかが特定される。 In step S507, whether left click or right click is specified as described above.
ステップS508ではリターンする。 In step S508, the process returns.
上記のようにインターフェイス装置100で生成されたイベント検出信号によって、コンピュータ本体部20はディスプレイ部30における表示を制御する。すなわち、D5の
領域内でユーザーが長く「シュー」などと発音しながら、PQRS平面に近づけば近づくほど、ディスプレイ部30での表示の拡大率が大きくなり、D5の領域内でユーザーが長
く「シュー」などと発音しながら、PQRS平面から離れれば離れるほど、ディスプレイ部30での表示の拡大率が小さくなるように、表示制御がなされるようになっている。ユーザーはこのような拡大率の変更機能によって、必要に応じて拡大表示を行い、細かい入力作業を実行することができるようになる。これにより、本発明の情報処理装置10では、小さなアイコンやボタンへのカーソル移動などの細かな入力操作を行うことが可能となる。
The computer
なお、上記の実施形態においては、仮想空間Dは、D1、D2、D3、D4の4つの空間に分割し、それぞれ空間で発声があった場合には、一般的な十字キーの「上」、「下」、「右」、「左」を割り付ける単純な場合について説明したが、より詳細に仮想空間を分割することも可能である。すなわち、D1とD3との中間の辺りで長く発声すると、斜め上方向にカーソルが移動するようなイベント検出信号をインターフェイス装置100で生成し、ディスプレイ部30においてカーソルが斜め上方向に移動するように表示制御がされるようにしても良い。つまり、X−Y平面の原点の真上で発声が検出されたらカーソルは上へ移動し、右上45°の方向で発声が検出されたらカーソルは右上45°の方向に移動するように表示制御する。また、カーソルの移動量は、分割された領域の境界部に存在する所定の線分(O−O’)からの距離に比例して決定するようにしてもよい。すなわち、中心から離れて発声するほど一度に大きくカーソルを移動させることができるように表示制御を行う。カーソルの移動量は、距離と発声音量に比例して決定するようにしてもよい。
In the above-described embodiment, the virtual space D is divided into four spaces D 1 , D 2 , D 3 , and D 4 . The simple case of assigning “upper”, “lower”, “right”, and “left” has been described, but it is also possible to divide the virtual space in more detail. That is, an event detection signal is generated by the
次に、本発明の第4実施形態について説明する。図13は本発明の第4実施の形態に係るインターフェイス装置のサブルーチン処理のフローチャートを示す図であり、図14は本発明の第4実施の形態に係る情報処理装置において発声検出領域R中に定義された仮想
空間例を示す図である。
Next, a fourth embodiment of the present invention will be described. FIG. 13 is a flowchart of subroutine processing of the interface device according to the fourth embodiment of the present invention, and FIG. 14 is defined in the utterance detection region R in the information processing device according to the fourth embodiment of the present invention. It is a figure which shows the performed virtual space example.
図13において、ステップS600で、イベント特定処理のサブルーチンが開始されると、次に、ステップS601に進み、特定された発声継続時間が所定の時間より長いか否かが判定される。この判定ステップは、ユーザーが「シュッ」、「パッ」などの短い発声を行っているのか、「シュー」、「アー」などの長い発声を行っているのかを判定するものである。本実施形態においても、まずユーザーの発声継続音の長短によって、発声検出領域R中で用いる仮想空間を異なるものとするように処理する。 In FIG. 13, when the event specifying process subroutine is started in step S600, the process proceeds to step S601, in which it is determined whether the specified utterance duration is longer than a predetermined time. In this determination step, it is determined whether the user is making a short utterance such as “shu” or “pa” or a long utterance such as “shoe” or “a”. Also in the present embodiment, first, processing is performed so that the virtual space used in the utterance detection region R differs depending on the length of the utterance continuous sound of the user.
ステップS601の判定結果YESであるときにはステップS602に進み、判定結果NOであるときにはステップS604に進む。 When the determination result in step S601 is YES, the process proceeds to step S602, and when the determination result is NO, the process proceeds to step S604.
ステップS602では、仮想空間Aに基づいてイベントの特定を行うようにする。このような仮想空間Aは、図7に示されるようなものである。仮想空間Aは、A1、A2、A3
、A4の4つの空間に分割されており、それぞれ空間で発声があった場合には、一般的な
十字キーの「上」、「下」、「右」、「左」に相当するイベントとして定義されている。例えば、A1の領域内でユーザーが長く「シュー」と発音すると、十字キーの「上」に相
当するイベント検出信号が生成される訳である。
In step S602, an event is specified based on the virtual space A. Such a virtual space A is as shown in FIG. The virtual space A is A 1 , A 2 , A 3
, A 4 is divided into four spaces, and if there are utterances in each space, the events correspond to “up”, “down”, “right”, and “left” of general cross keys Is defined. For example, when the user pronounces “shoe” for a long time in the area A 1 , an event detection signal corresponding to “up” of the cross key is generated.
ステップS603では、発声音量(又はその対数値)に比例したカーソル移動量を特定
する。すなわち、大きな音量で発声するほど一度に大きく移動することができるようなイベント検出信号を生成する。このようなイベント検出信号によれば、ディスプレイ部30では、大きな音量で発声されるほど、カーソルが一度に大きく移動するような表示制御がなされる。例えば、A1の領域内でユーザーが、比較的大きな声で長く「シュー」と発音
すると、十字キーの「上」の方向に速くカーソルが移動するようなイベント検出信号が生成される。
In step S603, the cursor movement amount proportional to the utterance volume (or its logarithmic value) is specified. In other words, an event detection signal is generated that can move more at a time as the voice is uttered at a higher volume. According to such an event detection signal, display control is performed on the
ステップS604では、仮想空間Eに基づいてイベントの特定を行うようにする。このような仮想空間Eは、図14に示されるようなものである。仮想空間EはE1、E2、E3
、E4、E5、E6の6つの空間に分割されており、E1、E2の領域で発声があった場合に
は、一般的なマウスの「右クリック」、「左クリック」に相当するイベントとして定義されている。例えば、E1の領域内でユーザーが短く「シュッ」と発音すると、マウスの「
右クリック」に相当するイベント検出信号が生成される訳である。
In step S604, an event is specified based on the virtual space E. Such a virtual space E is as shown in FIG. The virtual space E is E 1 , E 2 , E 3
, E 4 , E 5 , and E 6 are divided into six spaces, and when there is a utterance in the E 1 and E 2 areas, the mouse is divided into “right click” and “left click”. It is defined as the corresponding event. For example, if the user pronounces “sh” shortly in the area of E 1 ,
An event detection signal corresponding to “right click” is generated.
また、奥側において4つに分割されている空間領域のE3、E4、E5、E6のそれぞれ空間で発声があった場合には、一般的な十字キーの「上」、「下」、「右」、「左」に相当し、かつ、カーソルの移動量を微少量とするイベントとして定義されている。例えば、E3の領域内でユーザーが短く「シュッ」と発音すると、「上」への微少量のカーソル移動
に相当するイベント検出信号が生成される訳である。このようなイベント検出信号によれば、ディスプレイ部30では、カーソルが微小移動するような表示制御がなされる。すなわち、ユーザーは必要に応じて、空間領域のE3、E4、E5、E6の短い発声を行うことにより、カーソルの細かい移動を実行することができるようになる。
In addition, when there is a utterance in each of the space areas E 3 , E 4 , E 5 , and E 6 that are divided into four on the far side, the “up” and “down” ”,“ Right ”, and“ Left ”, and are defined as events in which the amount of movement of the cursor is very small. For example, when the user pronounces “sh” shortly in the area E 3 , an event detection signal corresponding to a small amount of cursor movement to “up” is generated. According to such an event detection signal, display control is performed on the
ステップS605においては、発声位置がE1,E2内であるか否かが判定される。ステップS605における判定結果がYESであるときにはステップS606に進み、判定結果がNOであるときにはステップS607に進む。 In step S605, it is determined whether or not the utterance position is within E1 and E2. When the determination result in step S605 is YES, the process proceeds to step S606, and when the determination result is NO, the process proceeds to step S607.
ステップS606では、上記のように左クリックか右クリックかが特定される。 In step S606, whether left click or right click is specified as described above.
また、ステップS607では、先に述べたように十字の方向別で微小量のカーソル移動が特定される。 In step S607, as described above, a minute amount of cursor movement is specified for each cross direction.
ステップS608でリターンする。 In step S608, the process returns.
上記のようにインターフェイス装置100で生成されたイベント検出信号によって、コンピュータ本体部20はディスプレイ部30における表示を制御する。すなわち、特に本実施形態においては、奥側において4つに分割されている空間領域のE3、E4、E5、E6のそれぞれ空間で短い発声があった場合には、カーソルの移動量が微量になるように表示制御がなされるものであり、ユーザーは必要に応じて、空間領域のE3、E4、E5、E6の短い発声を行うことにより、カーソルの細かい移動を実行することができるようになる。これにより、本発明の情報処理装置10では、小さなアイコンやボタンへのカーソル移動などの細かな入力操作を行うことが可能となる。
The computer
なお、上記の実施形態においては、仮想空間Aは、A1、A2、A3、A4の4つの空間に分割し、それぞれ空間で発声があった場合には、一般的な十字キーの「上」、「下」、「右」、「左」を割り付ける単純な場合について説明したが、より詳細に仮想空間を分割することも可能である。すなわち、A1とA3との中間の辺りで長く発声すると、斜め上方向にカーソルが移動するようなイベント検出信号をインターフェイス装置100で生成し、ディスプレイ部30においてカーソルが斜め上方向に移動するように表示制御がされるようにしても良い。つまり、X−Y平面の原点の真上で発声が検出されたらカーソルは上へ
移動し、右上45°の方向で発声が検出されたらカーソルは右上45°の方向に移動するように表示制御する。また、カーソルの移動量は、分割された領域の境界部に存在する所定の線分(O−O’)からの距離に比例して決定するようにしてもよい。すなわち、中心から離れて発声するほど一度に大きくカーソルを移動させることができるように表示制御を行う。カーソルの移動量は、距離と発声音量に比例して決定するようにしてもよい。
In the above embodiment, the virtual space A is divided into four spaces A 1 , A 2 , A 3 , and A 4 . The simple case of assigning “upper”, “lower”, “right”, and “left” has been described, but it is also possible to divide the virtual space in more detail. That is, an event detection signal is generated by the
また、上記の実施形態においては、仮想空間Eの奥側においては、E3、E4、E5、E6の4つの空間に分割し、それぞれ空間で発声があった場合には、一般的な十字キーの「上」、「下」、「右」、「左」を割り付ける単純な場合について説明したが、より詳細に仮想空間を分割することも可能である。すなわち、E3とE5との中間の辺りで長く発声すると、斜め上方向にカーソルが移動するようなイベント検出信号をインターフェイス装置100で生成し、ディスプレイ部30においてカーソルが斜め上方向に移動するように表示制御がされるようにしても良い。つまり、X−Y平面の原点の真上で発声が検出されたらカーソルは上へ移動し、右上45°の方向で発声が検出されたらカーソルは右上45°の方向に移動するように表示制御する。
In the above embodiment, the inner side of the virtual space E is divided into four spaces E 3 , E 4 , E 5 , and E 6. The simple case of assigning “up”, “down”, “right”, and “left” of the cross keys has been described, but the virtual space can be divided in more detail. That is, an event detection signal is generated by the
次に、本発明の第5実施形態について説明する。図15は本発明の第5実施の形態に係るインターフェイス装置のサブルーチン処理のフローチャートを示す図である。本実施形態は、第2実施形態の変形例であり、図9に示すフローチャートのステップS403がステップS403’に変更されたものである。そこで、このステップを中心に説明する。 Next, a fifth embodiment of the present invention will be described. FIG. 15 is a view showing a flowchart of subroutine processing of the interface apparatus according to the fifth embodiment of the present invention. This embodiment is a modification of the second embodiment, and step S403 in the flowchart shown in FIG. 9 is changed to step S403 '. Therefore, this step will be mainly described.
第5実施の形態に係るインターフェイス装置のサブルーチン処理のステップS403’においては、カーソル移動量を特定する際には、発声音量(又はその対数値)に比例し、なおかつ、拡大率に反比例したカーソル移動量が特定されるようになっている。例えば、拡大率が2倍となると、例えば、カーソルの移動量は1/2となるように設定されている。 In step S403 ′ of the subroutine processing of the interface device according to the fifth embodiment, when the cursor movement amount is specified, the cursor movement is proportional to the utterance volume (or its logarithmic value) and inversely proportional to the enlargement ratio. The amount is to be specified. For example, when the enlargement ratio is doubled, for example, the amount of movement of the cursor is set to ½.
この実施形態では、カーソルを大局的な範囲で大きく移動させる場合は、画面の拡大率を等倍として、小さく移動する場合は拡大率を上げて表示するが、画面を拡大した時にカーソルの移動量が拡大前と同じままでは、拡大画面内をカーソルが大きく移動してしまい操作が困難となる。そこで、これを避けるために、拡大率と実際のカーソルの移動量を反比例させることで、拡大表示内でのカーソルの移動量を一定に保つようにする。例えば、2倍表示の場合には実際のカーソルの移動量が2分の一になる。小さなアイコンやボタンなどの対象を選択するときは拡大率を上げることで、見かけ上の対象物を大きくし、選択しやすくする。 In this embodiment, when the cursor is moved largely in a global range, the screen enlargement ratio is set to the same magnification, and when the cursor is moved small, the enlargement ratio is increased and displayed. If it remains the same as before enlargement, the cursor moves greatly within the enlargement screen, making operation difficult. Therefore, in order to avoid this, the amount of movement of the cursor in the enlarged display is kept constant by making the enlargement ratio and the actual amount of movement of the cursor inversely proportional. For example, in the case of double display, the actual amount of cursor movement is halved. When selecting an object such as a small icon or button, increasing the enlargement ratio increases the apparent object and makes it easier to select.
次に、本発明の第6実施形態について説明する。図16は本発明の第6実施の形態に係るインターフェイス装置のサブルーチン処理のフローチャートを示す図であり、図17は本発明の第6実施の形態に係る情報処理装置において発声検出領域R中に定義された仮想
空間例を示す図である。
Next, a sixth embodiment of the present invention will be described. FIG. 16 is a diagram showing a flowchart of the subroutine processing of the interface device according to the sixth embodiment of the present invention, and FIG. 17 is the definition in the utterance detection region R in the information processing device according to the sixth embodiment of the present invention. It is a figure which shows the performed virtual space example.
本実施形態は、第2実施形態の変形例であり、図9に示すフローチャートのステップS403がステップS403’ ’に変更されたものである。そこで、このステップを中心
に説明する。
The present embodiment is a modification of the second embodiment, in which step S403 in the flowchart shown in FIG. 9 is changed to step S403 ′ ′. Therefore, this step will be mainly described.
第6実施の形態に係るインターフェイス装置のサブルーチン処理のステップS403’
’においては、カーソル移動量を特定する際には、距離dに比例し、なおかつ、拡大率
に反比例したカーソル移動量が特定されるようになっている。例えば、拡大率が2倍となると、例えば、カーソルの移動量は1/2となるように設定されている。
Step S403 ′ of the subroutine processing of the interface device according to the sixth embodiment
In ', when the cursor movement amount is specified, the cursor movement amount that is proportional to the distance d and inversely proportional to the enlargement ratio is specified. For example, when the enlargement ratio is doubled, for example, the amount of movement of the cursor is set to ½.
この実施形態では、カーソルの移動量は、分割された領域の境界部に存在する所定の線
分(O−O’)からの距離dに比例して決定する。すなわち、中心から離れて発声するほど一度に大きくカーソルを移動させることができるように表示制御を行う。
In this embodiment, the movement amount of the cursor is determined in proportion to a distance d from a predetermined line segment (OO ′) existing at the boundary portion of the divided area. That is, display control is performed so that the cursor can be moved larger at once as the utterance is further away from the center.
また、拡大率と実際のカーソルの移動量を反比例させることで、拡大表示内でのカーソルの移動量を一定に保つようにすることで、小さなアイコンやボタンなどの対象を選択するときは拡大率を上げることで、見かけ上の対象物を大きくし、選択しやすくすることが可能となる。 In addition, by making the magnification rate and the actual cursor movement amount inversely proportional, the movement amount of the cursor in the enlarged display is kept constant. By raising, it becomes possible to enlarge the apparent object and make it easier to select.
次に、本発明の第7実施形態について説明する。図18は本発明の第7実施の形態に係るインターフェイス装置のサブルーチン処理のフローチャートを示す図である。本実施形態は、第3実施形態の変形例であり、図11に示すフローチャートのステップS504がステップS504’に変更されたものである。そこで、このステップを中心に説明する。 Next, a seventh embodiment of the present invention will be described. FIG. 18 is a diagram showing a flowchart of subroutine processing of the interface apparatus according to the seventh embodiment of the present invention. The present embodiment is a modification of the third embodiment, in which step S504 in the flowchart shown in FIG. 11 is changed to step S504 '. Therefore, this step will be mainly described.
第7実施の形態に係るインターフェイス装置のサブルーチン処理のステップS504’においては、カーソル移動量を特定する際には、発声音量(又はその対数値)に比例し、なおかつ、拡大率に反比例したカーソル移動量が特定されるようになっている。例えば、拡大率が2倍となると、例えば、カーソルの移動量は1/2となるように設定されている。このように拡大率と実際のカーソルの移動量を反比例させることで、拡大表示内でのカーソルの移動量を一定に保つようにすることで、小さなアイコンやボタンなどの対象を選択するときは拡大率を上げることで、見かけ上の対象物を大きくし、選択しやすくすることが可能となる。 In step S504 ′ of the subroutine processing of the interface device according to the seventh embodiment, when the cursor movement amount is specified, the cursor movement is proportional to the utterance volume (or its logarithmic value) and inversely proportional to the enlargement ratio. The amount is to be specified. For example, when the enlargement ratio is doubled, for example, the amount of movement of the cursor is set to ½. In this way, by making the enlargement ratio and the actual cursor movement amount inversely proportional to each other, the cursor movement amount in the enlarged display is kept constant. By increasing the rate, it becomes possible to enlarge the apparent object and make it easier to select.
次に、本発明の第8実施形態について説明する。図19は本発明の第8実施の形態に係るインターフェイス装置のサブルーチン処理のフローチャートを示す図であり、図20は本発明の第8実施の形態に係る情報処理装置において発声検出領域R中に定義された仮想
空間例を示す図である。
Next, an eighth embodiment of the present invention will be described. FIG. 19 is a diagram showing a flowchart of the subroutine processing of the interface device according to the eighth embodiment of the present invention, and FIG. 20 is defined in the utterance detection region R in the information processing device according to the eighth embodiment of the present invention. It is a figure which shows the performed virtual space example.
本実施形態は、第3実施形態の変形例であり、図11に示すフローチャートのステップS504がステップS504’ ’に変更されたものである。そこで、このステップを中
心に説明する。
The present embodiment is a modification of the third embodiment, in which step S504 in the flowchart shown in FIG. 11 is changed to step S504 ′ ′. Therefore, this step will be mainly described.
第8実施の形態に係るインターフェイス装置のサブルーチン処理のステップS504’
’においては、カーソル移動量を特定する際には、距離dに比例し、なおかつ、拡大率
に反比例したカーソル移動量が特定されるようになっている。例えば、拡大率が2倍となると、例えば、カーソルの移動量は1/2となるように設定されている。
Step S504 ′ of the subroutine processing of the interface device according to the eighth embodiment
In ', when the cursor movement amount is specified, the cursor movement amount that is proportional to the distance d and inversely proportional to the enlargement ratio is specified. For example, when the enlargement ratio is doubled, for example, the amount of movement of the cursor is set to ½.
この実施形態では、カーソルの移動量は、分割された領域の境界部に存在する所定の線分(O−O’)からの距離dに比例して決定する。すなわち、中心から離れて発声するほど一度に大きくカーソルを移動させることができるように表示制御を行う。 In this embodiment, the amount of movement of the cursor is determined in proportion to the distance d from a predetermined line segment (O-O ') existing at the boundary of the divided area. That is, display control is performed so that the cursor can be moved larger at once as the utterance is further away from the center.
また、拡大率と実際のカーソルの移動量を反比例させることで、拡大表示内でのカーソルの移動量を一定に保つようにすることで、小さなアイコンやボタンなどの対象を選択するときは拡大率を上げることで、見かけ上の対象物を大きくし、選択しやすくすることが可能となる。 In addition, by making the magnification rate and the actual cursor movement amount inversely proportional, the movement amount of the cursor in the enlarged display is kept constant. By raising, it becomes possible to enlarge the apparent object and make it easier to select.
次に、本発明の第9実施形態について説明する。本実施形態は、これまで説明してきた任意の実施形態と組み合わせて用いるものである。図21は本発明の第9実施の形態に係る情報処理装置におけるディスプレイ部での表示例を示す図である。図21において、31はインターフェイス装置100が、発声検出領域R中のどの位置において、ユーザーの
発声位置を認識しているかをグラフィカルに示すウインドウである。
Next, a ninth embodiment of the present invention will be described. This embodiment is used in combination with any embodiment described so far. FIG. 21 is a diagram showing a display example on the display unit in the information processing apparatus according to the ninth embodiment of the present invention. In FIG. 21, 31 is a window that graphically indicates at which position in the utterance detection region R the
本発明の情報処理装置10は、視覚で確認できるマウス等のポインティングデバイスと異なり、発声しているユーザー自身の位置が3次元の発声検出領域R中どの位置に相当す
るのかを把握することは容易ではない。また、発声音量は発声する音「シー」や「シュー」の違いでも変化し、把握しにくい。
Unlike a pointing device such as a mouse that can be visually confirmed, the
そこでディスプレイ部30上に現在の発声位置を表示することで、ユーザーが自らの発声位置を把握しやすくする。表示は擬似的な3次元領域に発声位置を円で表示する。なお、各平面(X−Y、Y−Z、Z−X)に陰を表示することで空間的な位置をとらえやすくするようにしてもよい。また、過去一定時間中の発声音量の変化をグラフにした物を逐次表示させるようにしてもよい。これにより、発声音量とカーソルの速度の関係も理解しやすくなる。
Therefore, by displaying the current utterance position on the
次に、本発明の情報処理装置10を用いた使用感に係る実験について説明する。操作するWindows(登録商標)のディスプレイ部30の前に三軸のマイクロフォンアレイであるインターフェイス装置100を設置して使用する。評価のために5人の被験者に本発明の情報処理装置10を用い、目標までのカーソル操作を行ってもらい、使用感についてインタビューを行った。
Next, an experiment related to a feeling of use using the
目標までのカーソル操作実験は目標をディスプレイ部30上に表示し、その上にカーソルを移動、左クリックを行うまでを1試行とし、開始位置からの到達時間と移動経路を記録した。使用したディスプレイは解像度1600×1200である。目標のサイズは16×16であり、Windows(登録商標)のウインドウの閉じるボタンと同程度の大きさである。また、ズーム機能の有効性を検証するために各被験者には以下の三条件についてそれぞれ3試行行った。
1)ズーム機能無し (第1実施形態)
2)クリック動作によるON/OFF切り替えズーム有り (第2実施形態)
3)発話位置によるON/OFF切り替えズーム有り (第3実施形態)
それぞれの条件について本人が操作可能であると判断するまで練習を行い、実験を行った。
いずれのズーム機能においてもズーム無しの時と比較して目標への到達時間が短縮されている。このことからズームによりカーソルの細かい操作が可能になったといえ、ズーム機能の有効性が示された。また、二つのズーム機能を比較すると、概ね発話位置によるON/OFF切り替えズームが短い時間で目標に到達している。これは、クリックによるON/OFF切り替えでは、一度移動を停止し、クリックを行う必要があったためであると考えられる。しかし、いくつかの試行では位置によるON/OFF切り替えの方が目標到達へ長い時間を要している。これは、Z軸方向の発話位置がユーザの意図しない時に変化したことによる。このときズーム倍率が変化し、カーソルが予期しない速度で移動し制御が困難になる。この傾向は練習時間が短かった被験者ほど現れやすかった。
被験者へのインタビューの結果、システムの使用感に関して以下のことがわかった。
・前後(Z軸)方向の発話位置が制御しにくく、思ったようにズームの倍率を制御できない。
・カーソル位置の微調整が(ズーム機能なしでは)できない。
・短時間発話でクリックではなく微調整ができるようにしてほしい。
In the cursor operation experiment to the target, the target was displayed on the
1) No zoom function (first embodiment)
2) With ON / OFF switching zoom by click operation (Second embodiment)
3) With ON / OFF switching zoom depending on the utterance position (Third embodiment)
We practiced and experimented until it was judged that the user was able to operate for each condition.
In any zoom function, the time to reach the target is shortened as compared with the case without zoom. From this, it can be said that the detailed operation of the cursor became possible by zooming, and the effectiveness of the zoom function was shown. Further, comparing the two zoom functions, the ON / OFF switching zoom based on the utterance position has almost reached the target in a short time. This is considered to be because in the ON / OFF switching by clicking, it is necessary to stop the movement once and click. However, in some trials, ON / OFF switching depending on the position takes a longer time to reach the target. This is because the utterance position in the Z-axis direction has changed when the user does not intend. At this time, the zoom magnification changes, the cursor moves at an unexpected speed, and control becomes difficult. This tendency was more likely to appear in subjects with less practice time.
As a result of interviews with the subjects, the following was found regarding the feeling of use of the system.
-It is difficult to control the utterance position in the front-rear (Z-axis) direction, and the zoom magnification cannot be controlled as expected.
-The cursor position cannot be finely adjusted (without zoom function).
・ I want you to be able to fine-tune instead of clicking with a short utterance.
以上のことからわかるように、多くの被験者はズームの制御をしづらいと感じており、できる限りズーム機能を使用しないで目標にカーソルを移動させようとする傾向にあった。発話位置をZ軸座標、すなわち、ディスプレイ部30に対して垂直方向について絶対的に制御することは容易では無いことが判明した。その原因は、左右へのカーソル移動を行う場合、首を回転させて発話位置を左右に動かすためである。首を回転させた場合、ディ
スプレイからの距離も変化し、ユーザの意図しないZ軸座標の変化が現れる。これにより、拡大率が予期せず変化し、ユーザの混乱を招く。練習時間を長くとった場合、発話位置のZ軸座標制御が可能になるが、多くの被験者はできる限り前後への移動をしない、すなわち、ズーム機能を使用しないように操作を行っていた。また、
・拡大表示内に目標が入っていないと目標を見失う。
・視覚フィードバックを見ながら操作するのは難しい。
・カーソルを見失いやすい
等の視覚的な面での問題点が挙げられた。視覚フィードバックは操作の邪魔にならないようにディスプレイ部30右下に表示されている。操作をしながらその表示を確認することは難しい。また、マウスなどと比較して制御が難しいため、予想以上に大きく移動してしまうことがしばしば発生し、カーソルを見失うことがある。そこで、視覚フィードバックをカーソルに重ねる形で表示する等の方法が考えられる。
As can be seen from the above, many subjects feel that it is difficult to control the zoom, and tend to move the cursor to the target without using the zoom function as much as possible. It has been found that it is not easy to absolutely control the utterance position in the Z-axis coordinates, that is, in the direction perpendicular to the
・ If the target is not in the enlarged display, the target is lost.
・ It is difficult to operate while looking at visual feedback.
-Visual problems such as easy losing cursors were mentioned. The visual feedback is displayed at the lower right of the
次に、インターフェイス装置100の処理における要素技術について説明する。
Next, elemental technologies in the processing of the
インターフェイス装置100では、周囲雑音が存在する環境下でも、3次元的なユーザの発声位置、および雑音を分離したユーザー音声が必要となる。これらの情報を抽出するために必要な3次元音声ポインティングデバイスであるインターフェイス装置100の5
つの処理、1.ユーザ発声位置の推定(近距離音源の推定)、2.周囲雑音の到来方向推定(遠距離にある音源の音波到来方向の推定)、3.ユーザーの発話検出、4.音源分離、
5.音声認識処理(特願2003−320183号)について以下に述べる。
1.ユーザー発声位置の推定(近距離音源の推定)
マイクロフォンアレイから約1m以内の近距離にある音源の位置を、マイクロフォンアレイで推定する方法について以下に説明する。
In the
One process, 1. Estimation of user utterance position (estimation of short range sound source), 2. 2. Direction of arrival estimation of ambient noise (estimation of sound wave arrival direction of a sound source at a long distance), 3. User utterance detection; Sound source separation,
5. The voice recognition process (Japanese Patent Application No. 2003-320183) will be described below.
1. Estimation of user utterance position (estimation of short range sound source)
A method for estimating the position of a sound source at a short distance within about 1 m from the microphone array using the microphone array will be described below.
複数のマイクロフォンは3次元空間中の任意の位置に配置可能である。3次元空間中の
任意の位置
The plurality of microphones can be arranged at arbitrary positions in the three-dimensional space. Arbitrary position in 3D space
とも可能である。
雑音部分空間の基底ベクトルから行列Rn(ω)を次のように定義し、
Define the matrix Rn (ω) from the noise subspace basis vectors as
音源位置の推定処理は連続するN個のフレームを1つのブロックとして処理する。音源位置の推定をより安定に行うためには、フレーム数Nを増やす、そして/また連続するNb個のブロックの全てで式(30)の条件が満たされたら発声があったと判断する。ブロック数は任意に設定する。連続するNフレームの時間内において、近似的に音源が静止していると見られるほどの速さで音源が移動している場合は、前記手法により音源の移動奇跡を捉えることができる。
2.周囲雑音の到来方向推定(遠距離にある音源の音波到来方向の推定)
マイクロフォンアレイから遠距離にある音源の音波が到来する方向を、マイクロフォンアレイで推定する手法について以下に述べる。
複数のマイクロフォンは3次元空間中の任意の位置に配置可能である。遠距離から到来す
る音波は平面波として観測されると考える。
In the sound source position estimation process, consecutive N frames are processed as one block. In order to more stably estimate the sound source position, the number N of frames is increased, and / or it is determined that there is a utterance when the condition of Expression (30) is satisfied in all of the consecutive Nb blocks. The number of blocks is set arbitrarily. When the sound source is moving at such a speed that the sound source can be seen to be approximately stationary within the time period of consecutive N frames, the moving miracle of the sound source can be captured by the above method.
2. Direction of arrival estimation of ambient noise (estimation of sound wave arrival direction of sound source at a long distance)
A method for estimating the direction in which sound waves of a sound source at a long distance from the microphone array arrive will be described below.
The plurality of microphones can be arranged at arbitrary positions in the three-dimensional space. Sound waves coming from a long distance are considered to be observed as plane waves.
図22は本発明のマイクロフォンアレイを用いた受音機能を説明する説明図である。図22は、例として、任意の位置に配置された3個のマイクロフォンm1、m2、m3で、音源から到来した音波を受音する場合を示している。図22で、点cは基準点を示しており、この基準点のまわりで音波の到来方向を推定する。図22で、平面sは、基準点cを含む平面波の断面を示している。平面sの法線ベクトルnは、そのベクトルの向きを音波の伝播方向と逆向きとし、次式のように定義する。 FIG. 22 is an explanatory diagram for explaining a sound receiving function using the microphone array of the present invention. FIG. 22 shows, as an example, a case where three microphones m1, m2, and m3 arranged at arbitrary positions receive sound waves that have arrived from a sound source. In FIG. 22, a point c represents a reference point, and the direction of arrival of the sound wave is estimated around this reference point. In FIG. 22, the plane s indicates a cross section of a plane wave including the reference point c. The normal vector n of the plane s is defined as the following equation, with the direction of the vector opposite to the propagation direction of the sound wave.
,φ)から到来する音波を各マイクロフォンで受音し、そのフーリエ変換を求めることで受音信号を狭帯域信号に分解し、各受音信号の狭帯域信号毎に利得と位相を複素数として表し、それを要素として狭帯域信号毎に全受音信号分だけ並べたベクトルを音源の位置ベクトルと定義する。以下の処理において、方向(θ,φ)から到来する音波は、前述の位置ベクトルとして表現される。位置ベクトルは具体的に以下のように求められる。q番目のマイクロフォンと平面sの間の距離rqを次式により求める。
, Φ) is received by each microphone, and the received signal is decomposed into narrowband signals by obtaining the Fourier transform, and the gain and phase are expressed as complex numbers for each narrowband signal of each received signal. Then, a vector in which all the received sound signals are arranged for each narrowband signal is defined as a sound source position vector. In the following processing, the sound wave coming from the direction (θ, φ) is expressed as the aforementioned position vector. Specifically, the position vector is obtained as follows. A distance rq between the q-th microphone and the plane s is obtained by the following equation.
近距離音源の位置推定結果と遠距離音源の音波到来方向推定結果は、続く発話検出処理や音源分離処理で重要な役割を果たすが、近距離音源と遠距離音源が同時に発生していて、更に、遠距離音源から到来する音波に対して近距離音源のパワーが著しく大きくなるとき、遠距離音源の音波の到来方向推定がうまく行えない場合がある。このような時は、近
距離音源が発生する直前に推定された、遠距離音源の音波の到来方向推定結果を用いるなどして対処する。
3.ユーザーの発話検出
複数の音源が存在している場合、どの音源が認識すべき音声なのかの特定は一般的に難しい。一方、音声を用いたインタフェースを採用するシステムでは、予めシステムのユーザがシステムに対して相対的にどのような位置で発声するかを表すユーザ発声領域を決めておくことができる。この場合、前述の方法でシステムの周囲に音源が複数存在しているとしても、各音源の位置や音波の到来方向を推定できれば、システムが予め想定しているユーザ発声領域に入る音源を選択することで容易にユーザの音声を特定できるようになる。
The short-range sound source position estimation result and the long-distance sound source direction-of-arrival direction estimation result play an important role in the subsequent speech detection process and sound source separation process. When the power of the short-distance sound source is remarkably increased with respect to the sound wave coming from the long-distance sound source, the arrival direction estimation of the sound wave of the long-distance sound source may not be performed well. Such a case is dealt with by using the arrival direction estimation result of the sound wave of the long-distance sound source estimated immediately before the short-distance sound source is generated.
3. User utterance detection When there are multiple sound sources, it is generally difficult to identify which sound source should be recognized. On the other hand, in a system that employs an interface using voice, a user utterance region that represents a position at which a user of the system utters relative to the system can be determined in advance. In this case, even if there are a plurality of sound sources around the system by the above-described method, if the position of each sound source and the arrival direction of the sound waves can be estimated, the sound source that enters the user utterance region that the system assumes in advance is selected. Thus, the user's voice can be easily identified.
式(20)や式(31)の条件が満たされることで音源の存在を検出し、更に音源の位置や音波の到来方向の条件が満たされてユーザの発声が検出される。この検出結果は発話区間情報として、後続音声認識処理において重要な役割を果たす。音声認識を行う場合、入力信号の中から発話区間の開始時点と終了時点を検出する必要がある。しかし、周囲雑音が存在する雑音環境下での発話区間検出は必ずしも容易ではない。一般的に、発話区間の開始時点がずれると音声認識精度が著しく劣化してしまう。一方、複数の音源が存在していても、その音源がある位置や音波の到来方向において、式(18)や式(29)で表される関数は鋭いピークを示す。従って、この情報を用いて発話区間検出を行っている本発明音声認識装置は、複数の周囲雑音が存在しても頑健に発話区間検出が行え、高い音声認識精度を保つことができるという利点を持つ。 The presence of a sound source is detected when the conditions of Expression (20) and Expression (31) are satisfied, and further, the conditions of the position of the sound source and the arrival direction of the sound wave are satisfied, and the user's utterance is detected. This detection result plays an important role in the subsequent speech recognition process as the speech section information. When performing speech recognition, it is necessary to detect the start time and end time of an utterance section from an input signal. However, it is not always easy to detect an utterance section in a noise environment in which ambient noise exists. Generally, when the start time of the utterance section is shifted, the speech recognition accuracy is significantly deteriorated. On the other hand, even if there are a plurality of sound sources, the functions represented by Expression (18) and Expression (29) show a sharp peak at the position where the sound source is and the arrival direction of the sound waves. Therefore, the speech recognition apparatus of the present invention that performs speech segment detection using this information has the advantage that robust speech detection can be performed even when a plurality of ambient noises exist, and high speech recognition accuracy can be maintained. Have.
例えば、図23に示すようなユーザの発声領域を定義することができる。図23は本発明による発話検出処理の機能説明図である。この図では簡単のためにX−Y平面のみで表すが、一般的に3次元空間においても同様に任意のユーザ発声領域を定義することができ
る。図23では、任意の位置に配置された8個のマイクロフォンm1〜m8を用いた処理を仮定し、近距離音源の探索領域および遠距離音源の探索領域のそれぞれで、ユーザ発声領域を定義している。近距離音源の探索空間は、(PxL,PyL)と(PxH,PyH)の2点を結ぶ直線を対角線とする矩形領域で、その領域内で(PTxL1,PTyL1
)と(PTxH1,PTyH1)、(PTxL2,PTyL2)と(PTxH2,PTyH2)のそれぞれの2点を結ぶ直線を対角線とする2つの矩形領域をユーザー発声領域と
定義している。従って、式(20)により発声があったと判断された音源位置のなかで、その座標ベクトルが前記ユーザ発声領域内に入っているものを選択することで、近距離に存在する音源の中でユーザー声を特定できる。
For example, a user's utterance area as shown in FIG. 23 can be defined. FIG. 23 is an explanatory diagram of the function of speech detection processing according to the present invention. In this figure, for the sake of simplicity, only the XY plane is shown, but in general, any user utterance region can be similarly defined in a three-dimensional space. In FIG. 23, assuming a process using eight microphones m1 to m8 arranged at arbitrary positions, a user utterance region is defined in each of a short-distance sound source search region and a long-distance sound source search region. Yes. The short-distance sound source search space is a rectangular area whose diagonal is a straight line connecting two points (PxL, PyL) and (PxH, PyH), and within that area (PTxL1, PTyL1).
) And (PTxH1, PTyH1), (PTxL2, PTyL2), and (PTxH2, PTyH2), two rectangular areas having diagonal lines connecting the two points are defined as user utterance areas. Accordingly, by selecting the position of the sound source determined to have been uttered by the expression (20) whose coordinate vector is within the user utterance area, the user can select among the sound sources existing at a short distance. Can identify voice.
一方、遠距離音源の探索空間は点Cを基準として、角度θLからθHの方向を探索領域とし、その領域内で角度θTL1からθTH1の領域をユーザーの発声領域と定義している。従って、式(31)により発声があったと判断された音波の到来方向のなかで、到来方向が前記ユーザ発声領域内に入っているものを選択することで、遠距離に存在する音源の中でユーザ音声を特定できる。
4.音源分離
発話検出された音源の位置推定結果または音波の到来方向推定結果を用いて、ユーザの音声を強調し周囲雑音を抑圧する音源分離処理について以下に説明する。ユーザ音声の発話位置または到来方向は前記発話検出処理により求められている。また、周囲雑音の音源位置または到来方向も既に推定されている。これらの推定結果と式(8)と式(27)の音源位置ベクトル、そして無指向性雑音の分散を表すσを用いて、行列V(ω)を次式のように定義する。
On the other hand, the search space of the long-distance sound source defines the direction from the angle θL to θH with the point C as a reference, and defines the region from the angles θTL1 to θTH1 as the user's utterance region. Therefore, by selecting the arrival directions of the sound waves determined to have been uttered according to the equation (31) within the user utterance area, the sound sources existing at a long distance can be selected. User voice can be specified.
4). A sound source separation process for enhancing the user's voice and suppressing ambient noise using the sound source position estimation result or the sound wave arrival direction estimation result detected by the sound source separation utterance will be described below. The utterance position or the arrival direction of the user voice is obtained by the utterance detection process. Further, the sound source position or direction of arrival of ambient noise has already been estimated. Using these estimation results, the sound source position vectors of Equations (8) and (27), and σ representing the variance of omnidirectional noise, the matrix V (ω) is defined as follows.
ここで、相関行列V(ω)には近距離音源S個と遠距離音源K個を合わせて(S+K)個の音源が含まれているから、固有値の大きい方から(S+K)の固有値と固有ベクトルを用いて、Z(ω)を次式のように定義する。
Here, since the correlation matrix V (ω) includes (S + K) sound sources including S short-distance sound sources and K long-distance sound sources, the eigenvalues and eigenvectors of (S + K) in descending order of eigenvalues. Is used to define Z (ω) as follows:
一方、遠距離の方向(θ,φ)に居るユーザの音声を強調する場合の分離フィルタM(ω)は次式で与えられる。 On the other hand, the separation filter M (ω) for emphasizing the voice of the user in the long distance direction (θ, φ) is given by the following equation.
5.音声認識処理
前記音源分離処理は、指向性雑音に対しては有効であるが、無指向性雑音に対してはある程度雑音が残留してしまう。また、突発性雑音のように短時間で発生する雑音に対してもあまり雑音抑圧効果を望めない。そこで、前記音源分離処理により強調されたユーザー音声の認識に、例えば、特願2003−320183号「背景雑音歪みの補正処理方法及びそれを用いた音声認識システム」で述べられている特徴補正法を組み込んだ音声認識エンジンを用いることで、残留雑音の影響を軽減する。なお本発明は、音声認識エンジンとして特願2003−320183号に限定するものではなく、この他にも雑音に頑健な様々な手法を実装した音声認識エンジンを使用することが考えられる。
5. Speech recognition processing The sound source separation processing is effective for directional noise, but noise remains to some extent for omnidirectional noise. In addition, a noise suppression effect cannot be expected even for noise that occurs in a short time such as sudden noise. Therefore, the feature correction method described in, for example, Japanese Patent Application No. 2003-320183 “Background Noise Distortion Correction Processing Method and Speech Recognition System Using the Same” is used for the recognition of the user voice emphasized by the sound source separation process. By using a built-in speech recognition engine, the effects of residual noise are reduced. Note that the present invention is not limited to Japanese Patent Application No. 2003-320183 as a speech recognition engine, and it is also possible to use a speech recognition engine in which various methods that are robust against noise are mounted.
特願2003−320183号で述べられている特徴補正法は、音声認識エンジンが予め音声認識のためにテンプレートモデルとして持っているHidden Markov Model(HMM)に基づいて雑音重畳音声の特徴量補正を行う。HMMは雑音のないクリーン音声から求めたMel−Frequency Cepstrum Coefficient(MFCC)に基づいて学習されている。このため、特徴補正のために新たにパラメータを用意する必要がなく、既存の認識エンジンに比較的容易に特徴補正法を組み込むことができるという利点がある。この手法は雑音を定常成分と一時的に変化を示す非定常成分に分けて考え、定常成分に関しては発話直前の数フレームから雑音の定常成分を推定する。 The feature correction method described in Japanese Patent Application No. 2003-320183 performs feature correction of noise superimposed speech based on a Hidden Markov Model (HMM) that a speech recognition engine has as a template model for speech recognition in advance. . The HMM is learned based on Mel-Frequency Cepstrum Coefficient (MFCC) obtained from clean speech with no noise. For this reason, it is not necessary to prepare a new parameter for feature correction, and there is an advantage that the feature correction method can be incorporated into an existing recognition engine relatively easily. In this method, noise is divided into a stationary component and a non-stationary component that shows a temporary change, and the stationary component of the noise is estimated from several frames immediately before the utterance.
HMMが持っている分布のコピーを生成し、推定した雑音の定常成分を加えることで定常雑音重畳音声の特徴量分布を生成する。観測された雑音重畳音声の特徴量の事後確率を、この定常雑音重畳音声の特徴量分布で評価することで、雑音の定常成分による歪を吸収する。しかし、この処理だけでは雑音の非定常成分による歪が考慮されていないので、雑音の非定常成分が存在する場合には、前記手段で求めた事後確率は正確ではなくなる。一方、特徴補正にHMMを用いることで、 特徴量時系列の時間的構造とそれに沿って求め
られる累積出力確率が利用可能となる。この累積出力確率から算出される重みを前述の事後確率に付与することにより、雑音の一時的に変化する非定常成分により劣化した事後確率の信頼度を改善することが出来る。
A copy of the distribution of the HMM is generated, and the estimated noise stationary component is added to generate a feature amount distribution of the stationary noise superimposed speech. The distortion due to the stationary noise component is absorbed by evaluating the posterior probability of the observed characteristic amount of the noise superimposed speech with the feature amount distribution of the stationary noise superimposed speech. However, since distortion due to the unsteady component of noise is not taken into account only by this processing, the posterior probability obtained by the above means is not accurate when the unsteady component of noise exists. On the other hand, by using the HMM for feature correction, the temporal structure of the feature amount time series and the accumulated output probability obtained along with it can be used. By assigning the weight calculated from the accumulated output probability to the above-mentioned posterior probability, the reliability of the posterior probability deteriorated due to the non-stationary component that temporarily changes the noise can be improved.
音声認識を行う場合、入力信号の中から発話区間の開始時点と終了時点を検出する必要がある。しかし、周囲雑音が存在する雑音環境下での発話区間検出は必ずしも容易ではない。特に、前記特徴補正を組み込んだ音声認識エンジンは、発話開始直前の数フレームか
ら周囲雑音の定常的な特徴を推定するので、発話区間の開始時点がずれると認識精度が著しく劣化してしまう。一方、複数の音源が存在していても、その音源がある位置や音波の到来方向において、式(18)や式(29)で表される関数は鋭いピークを示す。従って、この情報を用いて発話区間検出を行っている本発明音声認識装置は、複数の周囲雑音が存在しても頑健に発話区間検出が行え、高い音声認識精度を保つことができる。
When performing speech recognition, it is necessary to detect the start time and end time of an utterance section from an input signal. However, it is not always easy to detect an utterance section in a noise environment in which ambient noise exists. In particular, since the speech recognition engine incorporating the feature correction estimates a steady feature of ambient noise from several frames immediately before the start of speech, the recognition accuracy is significantly deteriorated when the start time of the speech section is shifted. On the other hand, even if there are a plurality of sound sources, the functions represented by Expression (18) and Expression (29) show a sharp peak at the position where the sound source is and the arrival direction of the sound waves. Therefore, the speech recognition apparatus of the present invention that performs speech segment detection using this information can robustly perform speech segment detection even when a plurality of ambient noises exist, and can maintain high speech recognition accuracy.
以上、本発明の情報処理装置によれば、雑音がある環境下でもユーザーの3次元空間内の位置を呼気や音声を用いてディスプレイなどにユーザー操作を表示することが可能となる。 As described above, according to the information processing apparatus of the present invention, it is possible to display a user operation on a display or the like using a breath or voice of the position of the user in a three-dimensional space even under noisy environments.
また、本発明の情報処理装置によれば、小さなアイコンやボタンへのカーソル移動などの細かな入力操作を行うことが可能となる。 In addition, according to the information processing apparatus of the present invention, it is possible to perform fine input operations such as cursor movement to small icons and buttons.
10・・・情報処理装置、20・・・コンピュータ本体部、30・・・ディスプレイ部、31・・・ウインドウ、100・・・インターフェイス装置、200・・・マイクロフォンアレイ、201・・・シリコンマイク、202・・・ウインドスクリーン、210・・・スタンド、211・・・主支柱、212・・・左側支柱、213・・・右側支柱、280・・・マイクアンプ、290・・・AD変換部、300・・・CPU、400・・・記憶部、500・・・接続ポート部
DESCRIPTION OF
Claims (9)
前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の発声位置を3次元的に特定する発声位置特定手段と、
ユーザーに対する表示を行う表示手段と、
前記表示手段を制御する表示制御手段と、
音声のイベントに対応する情報を登録したイベントデータベースと、を有し、
前記表示制御手段は、前記発声位置特定手段によって特定された発声位置に応じ、当該登録イベントの情報に基づいて前記表示手段上に表示されるカーソル位置の変更を行うように制御することを有することを特徴とする情報処理装置。 A microphone array in which a plurality of microphones are provided in a predetermined arrangement;
Utterance position specifying means for specifying three-dimensionally the utterance position of the sound emitted from the user's nasal cavity based on the voice data acquired by the microphone array;
Display means for displaying to the user;
Display control means for controlling the display means;
An event database in which information corresponding to audio events is registered , and
It said display control means comprises said response to the utterance location specified by the utterance position specifying means, controls to make changes the cursor position displayed on prior Symbol display means based on the information of the registered event An information processing apparatus characterized by that.
前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の継続時間を特定する継続時間特定手段と、
前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の発声位置を3次元的に特定する発声位置特定手段と、
前記継続時間特定手段によって特定された継続時間が所定時間より長いか否かを判定する継続時間判定手段と、
ユーザーに対する表示を行う表示手段と、
前記表示手段を制御する表示制御手段と、
音声のイベントに対応する情報を登録したイベントデータベースと、を有し、
前記表示制御手段は、前記継続時間判定手段による判定結果と、前記発声位置特定手段によって特定された発声位置とに応じ、当該登録イベントの情報に基づいて前記表示手段における表示態様を変更するように制御することを特徴とする情報処理装置。 A microphone array in which a plurality of microphones are provided in a predetermined arrangement;
A duration identifying means for identifying a duration of a sound emitted from a user's nasal cavity based on voice data acquired by the microphone array;
Utterance position specifying means for specifying three-dimensionally the utterance position of the sound emitted from the user's nasal cavity based on the voice data acquired by the microphone array;
Duration determining means for determining whether the duration specified by the duration specifying means is longer than a predetermined time;
Display means for displaying to the user;
Display control means for controlling the display means;
An event database in which information corresponding to audio events is registered , and
Wherein the display control unit, a determination result by the duration determining means, depending on the utterance position specified by the utterance position specifying means, to change the display mode before Symbol display means based on information of the registration event An information processing apparatus characterized by being controlled.
前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の継続時間を特定する継続時間特定手段と、
前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の発声位置を3次元的に特定する発声位置特定手段と、
前記継続時間特定手段によって特定された継続時間が所定時間より長いか否かを判定する継続時間判定手段と、
ユーザーに対する表示を行う表示手段と、
前記表示手段を制御する表示制御手段と、
音声のイベントに対応する情報を登録したイベントデータベースと、を有し、
前記表示制御手段は、前記継続時間判定手段による判定結果と、前記発声位置特定手段によって特定された発声位置とに応じ、当該登録イベントの情報に基づいて前記表示手段における拡大表示実行又は拡大表示解除の別を変更するように制御することを特徴とする情報処理装置。 A microphone array in which a plurality of microphones are provided in a predetermined arrangement;
A duration identifying means for identifying a duration of a sound emitted from a user's nasal cavity based on voice data acquired by the microphone array;
Utterance position specifying means for specifying three-dimensionally the utterance position of the sound emitted from the user's nasal cavity based on the voice data acquired by the microphone array;
Duration determining means for determining whether the duration specified by the duration specifying means is longer than a predetermined time;
Display means for displaying to the user;
Display control means for controlling the display means;
An event database in which information corresponding to audio events is registered , and
Wherein the display control unit, a determination result by the duration determining means, the utterance location according to the specified vocalization position by certain means, enlarge execute or enlarge before Symbol display means based on information of the registration event An information processing apparatus that performs control so as to change a release type.
前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の継続時間を特定する継続時間特定手段と、
前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の発声位置を3次元的に特定する発声位置特定手段と、
前記継続時間特定手段によって特定された継続時間が所定時間より長いか否かを判定する継続時間判定手段と、
ユーザーに対する表示を行う表示手段と、
前記表示手段を制御する表示制御手段と、
音声のイベントに対応する情報を登録したイベントデータベースと、を有し、
前記表示制御手段は、前記継続時間判定手段による判定結果と、前記発声位置特定手段によって特定された発声位置とに応じ、当該登録イベントの情報に基づいて前記表示手段における表示の拡大率を変更するように制御することを特徴とする情報処理装置。 A microphone array in which a plurality of microphones are provided in a predetermined arrangement;
A duration identifying means for identifying a duration of a sound emitted from a user's nasal cavity based on voice data acquired by the microphone array;
Utterance position specifying means for specifying three-dimensionally the utterance position of the sound emitted from the user's nasal cavity based on the voice data acquired by the microphone array;
Duration determining means for determining whether the duration specified by the duration specifying means is longer than a predetermined time;
Display means for displaying to the user;
Display control means for controlling the display means;
An event database in which information corresponding to audio events is registered , and
Said display control means changes a determination result by the duration determining means, depending on the utterance position specified by the utterance position specifying means, the magnification of the display before Symbol display means based on information of the registration event An information processing apparatus that is controlled so as to perform.
前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の継続時間を特定する継続時間特定手段と、
前記マイクロフォンアレイにより取得された音声データに基づいてユーザーの鼻口腔から発せられた音の発声位置を3次元的に特定する発声位置特定手段と、
前記継続時間特定手段によって特定された継続時間が所定時間より長いか否かを判定する継続時間判定手段と、
ユーザーに対する表示を行う表示手段と、
前記表示手段を制御する表示制御手段と、
音声のイベントに対応する情報を登録したイベントデータベースと、を有し、
前記表示制御手段は、前記継続時間判定手段による判定結果と、前記発声位置特定手段によって特定された発声位置とに応じ、当該登録イベントの情報に基づいて前記表示手段に表示されるカーソルの移動量の変更を行うように制御することを有することを特徴とする情報処理装置。 A microphone array in which a plurality of microphones are provided in a predetermined arrangement;
A duration identifying means for identifying a duration of a sound emitted from a user's nasal cavity based on voice data acquired by the microphone array;
Utterance position specifying means for specifying three-dimensionally the utterance position of the sound emitted from the user's nasal cavity based on the voice data acquired by the microphone array;
Duration determining means for determining whether the duration specified by the duration specifying means is longer than a predetermined time;
Display means for displaying to the user;
Display control means for controlling the display means;
An event database in which information corresponding to audio events is registered , and
Said display control means moves the determination result by the duration determining means, according to the the utterance location specified by the utterance position specifying means, the cursor displayed before Symbol display means based on information of the registration event An information processing apparatus having control to change the amount.
発せられた音の音量を特定する音量特定手段、を有し、
前記表示制御手段は、前記表示手段に表示されるカーソルの移動量を、前記音量特定手段
によって特定された音量に比例させるように制御することを特徴とする
請求項6に記載の情報処理装置。 Volume specifying means for specifying the volume of sound emitted from the user's nasal cavity based on audio data acquired by the microphone array,
Wherein the display control unit, an information processing apparatus according to claim 6, characterized in that the movement amount of a cursor displayed on the display unit is controlled to be proportional to the volume specified by the volume specific means.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008132552A JP4953095B2 (en) | 2008-05-20 | 2008-05-20 | Information processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008132552A JP4953095B2 (en) | 2008-05-20 | 2008-05-20 | Information processing device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009282645A JP2009282645A (en) | 2009-12-03 |
JP4953095B2 true JP4953095B2 (en) | 2012-06-13 |
Family
ID=41453062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008132552A Expired - Fee Related JP4953095B2 (en) | 2008-05-20 | 2008-05-20 | Information processing device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4953095B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5286315B2 (en) * | 2010-03-24 | 2013-09-11 | 株式会社エヌ・ティ・ティ・ドコモ | Sound interlocking device, sound interlocking system, sound interlocking method, and sound interlocking processing program |
JP5685177B2 (en) | 2011-12-12 | 2015-03-18 | 本田技研工業株式会社 | Information transmission system |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07191800A (en) * | 1993-12-27 | 1995-07-28 | Yamatake Honeywell Co Ltd | Space operation interface |
JP3846868B2 (en) * | 2002-05-30 | 2006-11-15 | インターナショナル・ビジネス・マシーンズ・コーポレーション | Computer device, display control device, pointer position control method, program |
JP2003263308A (en) * | 2002-12-27 | 2003-09-19 | Nec Infrontia Corp | Screen control device and method |
JP4274823B2 (en) * | 2003-03-13 | 2009-06-10 | 義隆 福本 | pointing device |
JP2007066054A (en) * | 2005-08-31 | 2007-03-15 | Toshiba Corp | Information processing apparatus and method for controlling display |
JP4682344B2 (en) * | 2006-02-22 | 2011-05-11 | 独立行政法人産業技術総合研究所 | Utterance position estimation method, utterance position estimation apparatus using the same, and electric wheelchair |
JP3132986U (en) * | 2007-04-10 | 2007-06-28 | アーベル・システムズ株式会社 | Wind pressure detection display device |
-
2008
- 2008-05-20 JP JP2008132552A patent/JP4953095B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009282645A (en) | 2009-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4982807B2 (en) | Operating method, operating device and program therefor | |
US7803050B2 (en) | Tracking device with sound emitter for use in obtaining information for controlling game program execution | |
US8073157B2 (en) | Methods and apparatus for targeted sound detection and characterization | |
JP5572445B2 (en) | Reverberation suppression apparatus and reverberation suppression method | |
JP5724125B2 (en) | Sound source localization device | |
CN102447697B (en) | Method and system of semi-private communication in open environments | |
JP2019008134A (en) | Sound source separation information detection device, robot, sound source separation information detection method and program | |
JP2008064892A (en) | Voice recognition method and voice recognition device using the same | |
CN102197424A (en) | Systems, methods, apparatus, and computer-readable media for coherence detection | |
WO2013154792A1 (en) | Systems, methods, and apparatus for spatially directive filtering | |
JP7259843B2 (en) | Information processing device, information processing method, and program | |
JP4953095B2 (en) | Information processing device | |
JP4682344B2 (en) | Utterance position estimation method, utterance position estimation apparatus using the same, and electric wheelchair | |
JP4822458B2 (en) | Interface device and interface method | |
JP4660740B2 (en) | Voice input device for electric wheelchair | |
Hu et al. | Robust speaker's location detection in a vehicle environment using GMM models | |
Sasou | Acoustic head orientation estimation applied to powered wheelchair control | |
JP2006251023A (en) | Electronic musical instrument using attitude angle detection device, and control method thereof | |
JP4552034B2 (en) | Headset microphone array voice input device | |
JP2008304555A (en) | Sound input apparatus | |
TWI831513B (en) | Beamforming method and microphone system in boomless headset | |
Hioka et al. | Improvement of DOA estimation using virtually generated multichannel data from two-channel microphone array | |
Hashimoto et al. | Development of a 3D pointing voice interface using a three-axis microphone array | |
JP4998761B2 (en) | Electric wheelchair | |
Abass et al. | Speech recognition based Microcontroller for Wheelchair movement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111007 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120228 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120301 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150323 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |