JP2013164468A - 音声解析装置、音声解析システムおよびプログラム - Google Patents

Abstract

【課題】複数の装着者の音声取得手段で取得される音声の音圧の情報から、環境音の影響を抑えて、装着者相互の音声の同調性を把握することができる音声解析装置等を提供する。
【解決手段】装着者の口からの距離が異なる位置に配され音声を取得するための複数のマイクロフォン１１、１２により取得された音声の音声信号に関する情報を受信するデータ受信部２１と、各装着者についての複数のマイクロフォン１１、１２により取得された音声の音声信号の比較結果に基づき識別される、マイクロフォン１１、１２により取得された音声がマイクロフォン１１、１２を備えた装着者の発話音声か装着者以外の他者の発話音声かの識別結果から、いずれかの装着者の発話音声であると識別された音声について、音声の音声信号に関する情報から音声の同調性を判別する同調性判別部と、を備えることを特徴とするホスト装置２０。
【選択図】図１

Description

本発明は、音声解析装置、音声解析システム、プログラムに関する。

特許文献１には、部屋の中の被験者ＡおよびＢが対話するとき、被験者Ａの発話音声および被験者Ｂの発話音声は、２つのマイクによってそれぞれ取り込まれ、ＣＰＵは、取り込まれた発話音声の速度の差分を閾値と比較し、部屋の外のランプを比較結果に応じて点灯／消灯させる同調度検出装置であって、差分が閾値以上であれば、対話が同調していないと判断し、ランプを消灯させ、一方、差分が閾値未満であれば、対話が同調していると判断し、ランプを点灯させるものが開示されている。

特開２００５−２６５９８２号公報

本発明は、複数の装着者の音声取得手段で取得される音声の音圧の情報から、環境音の影響を抑えて、装着者相互の音声の同調性を把握することを目的とする。

請求項１に記載の発明は、装着者の口からの距離が異なる位置に配され音声を取得するための複数の音声取得手段により取得された音声の音声信号に関する情報を受信する音声情報受信部と、各装着者についての複数の前記音声取得手段により取得された音声の音声信号の比較結果に基づき識別される、当該音声取得手段により取得された音声が当該音声取得手段を備えた装着者の発話音声か装着者以外の他者の発話音声かの識別結果から、いずれかの装着者の発話音声であると識別された音声について、当該音声の音声信号に関する情報から音声の同調性を判別する同調性判別部と、を備えることを特徴とする音声解析装置である。

請求項２に記載の発明は、前記音声取得手段を備えた装着者の発話音声か装着者以外の他者の発話音声かの識別結果を求める自他識別部をさらに備えることを特徴とする請求項１に記載の音声解析装置である。
請求項３に記載の発明は、前記同調性判別部により判別された音声の同調性から装着者の組分けを行なう組分け部をさらに備えることを特徴する請求項１または２に記載の音声解析装置である。
請求項４に記載の発明は、前記組分け部は、前記音声取得手段により取得された音が、いずれの装着者の発話音声でもないとされた場合に、当該音を装着者の組分けを行なうのに利用しないことを特徴する請求項３に記載の音声解析装置である。

請求項５に記載の発明は、装着者の口からの距離が異なる位置に配され音声を取得するための複数の音声取得手段と、前記音声取得手段により取得された音声の音声信号の比較結果に基づき、当該音声取得手段により取得された音声が当該音声取得手段を備えた装着者の発話音声か装着者以外の他者の発話音声かを識別する自他識別部と、前記自他識別部により識別された識別結果から、いずれかの装着者の発話音声であると識別された音声について、当該音声の音声信号に関する情報から音声の同調性を判別する同調性判別部と、を備えたことを特徴とする音声解析システムである。

請求項６に記載の発明は、前記音声取得手段により取得された音声の音声信号に関する情報を送信する音声情報送信部と、当該音声情報送信部により送信された音声の音声信号に関する情報を受信する音声情報受信部と、をさらに備えることを特徴とする請求項５に記載の音声解析システムである。

請求項７に記載の発明は、コンピュータに、装着者の口からの距離が異なる位置に配され音声を取得するための複数の音声取得手段により取得された音声の音声信号に関する情報を受信する機能と、各装着者についての複数の前記音声取得手段により取得された音声の音声信号の比較結果に基づき識別される、当該音声取得手段により取得された音声が当該音声取得手段を備えた装着者の発話音声か装着者以外の他者の発話音声かの識別結果から、いずれかの装着者の発話音声であると識別された音声について、当該音声の音声信号に関する情報から音声の同調性を判別する機能と、を実現させるプログラムである。

請求項１の発明によれば、本構成を採用しない場合に比べて、複数の装着者の音声取得手段で取得される音声の音圧の情報から、環境音の影響を抑えて、装着者相互の音声の同調性を把握することができる音声解析装置を提供できる。
請求項２の発明によれば、音声情報受信部で受信する情報に発話音声の主体に関する情報が含まれていない場合にも適用できる。
請求項３の発明によれば、本構成を採用しない場合に比較して、複数の装着者の音声取得手段で取得される音声の音圧の情報から、環境音の影響を抑えて、装着者の組み分けを行うことができる。
請求項４の発明によれば、本構成を採用しない場合に比較して、装着者の組み分けの精度がさらに向上する。
請求項５の発明によれば、本構成を採用しない場合に比べて、複数の装着者の音声取得手段で取得される音声の音圧の情報から、環境音の影響を抑えて、装着者相互の音声の同調性を把握することができる音声解析システムを構築できる。
請求項６の発明によれば、音声取得手段を装着者により容易に装着することができるとともに、音声を解析する処理を一元的に行なうことができる。
請求項７の発明によれば、本構成を採用しない場合に比べて、複数の装着者の音声取得手段で取得される音声の音圧の情報から、環境音の影響を抑えて、装着者相互の音声の同調性を把握することができる機能をコンピュータにより実現できる。

本実施形態による音声解析システムの構成例を示す図である。 本実施形態における端末装置の構成例を示す図である。 装着者および他者の口（発声部位）と、マイクロフォンとの位置の関係を示す図である。 マイクロフォンと音源との間の距離と音圧（入力音量）との関係を示す図である。 本実施形態における端末装置の動作を示すフローチャートである。 本実施形態におけるデータ解析部のブロック図である。 本実施形態におけるホスト装置の動作を示すフローチャートである。 本実施形態の端末装置をそれぞれ装着した複数の装着者が会話している状況を示す図である。 図８の会話状況における各端末装置の発話情報の例を示す図である。 パラメータＡ１、Ａ２、Ｂ１、Ｂ２と装着者Ａ、装着者Ｂの距離関係について説明した表である。 （ａ）〜（ｂ）は、実際に使用される端末装置の具体例を示した図である。

以下、添付図面を参照して、本発明の実施形態について詳細に説明する。
＜システム構成例＞
図１は、本実施形態による音声解析システムの構成例を示す図である。
図１に示すように、本実施形態の音声解析システム１は、端末装置１０と、音声解析装置の一例であるホスト装置２０とを備えて構成される。端末装置１０とホスト装置２０とは、無線通信回線を介して接続されている。無線通信回線の種類としては、Ｗｉ−Ｆｉ（Wireless Fidelity）、Bluetooth（登録商標）、ZigBee、ＵＷＢ（Ultra Wideband）等の既存の方式による回線を用いて良い。また、図示の例では、端末装置１０が１台のみ記載されているが、詳しくは後述するように、端末装置１０は、使用者各人が装着して使用するものであり、実際には使用者数分の端末装置１０が用意される。以下、端末装置１０を装着した使用者を装着者と呼ぶ。

端末装置１０は、音声を取得するための音声取得手段として、複数のマイクロフォン（第１マイクロフォン１１および第２マイクロフォン１２）と、増幅器（第１増幅器１３および第２増幅器１４）とを備える。また、端末装置１０は、取得した音声を解析する音声解析部１５と、解析結果をホスト装置２０に送信するためのデータ送信部１６とを備え、さらに電源部１７とを備える。

第１マイクロフォン１１と第２マイクロフォン１２は、装着者の口（発声部位）からの距離が異なる位置に配される。ここでは、第１マイクロフォン１１は装着者の口（発声部位）から遠い位置（例えば、３５ｃｍ程度）に配置され、第２マイクロフォン１２は装着者の口（発声部位）に近い位置（例えば、１０ｃｍ程度）に配置されるものとする。本実施形態の第１マイクロフォン１１および第２マイクロフォン１２として用いられるマイクロフォンの種類としては、ダイナミック型、コンデンサ型等、既存の種々のものを用いて良い。とくに無指向性のＭＥＭＳ（Micro Electro Mechanical Systems）型マイクロフォンが好ましい。

第１増幅器１３および第２増幅器１４は、それぞれ第１マイクロフォン１１および第２マイクロフォン１２が取得した音声に応じて出力する電気信号（音声信号）を増幅する。本実施形態の第１増幅器１３および第２増幅器１４として用いられる増幅器としては、既存のオペアンプ等を用いて良い。

音声解析部１５は、第１増幅器１３および第２増幅器１４から出力された音声信号を解析する。詳しくは後述するが、音声解析部１５は、第１マイクロフォン１１および第２マイクロフォン１２により取得された音声の音声信号の比較結果に基づき、第１マイクロフォン１１および第２マイクロフォン１２により取得された音声が第１マイクロフォン１１および第２マイクロフォン１２を備えた装着者の発話音声か装着者以外の他者の発話音声かを識別する自他識別部として機能する。

データ送信部１６は、音声解析部１５による解析結果を含む取得データと端末のＩＤを、上記の無線通信回線を介してホスト装置２０へ送信する。ホスト装置２０へ送信する情報としては、ホスト装置２０において行われる処理の内容に応じて、上記の解析結果の他、例えば、第１マイクロフォン１１および第２マイクロフォン１２による音声の取得時刻、取得音声の音圧等の情報を含めて良い。また端末装置１０に音声解析部１５による解析結果を蓄積するデータ蓄積部を設け、一定期間の保存データを一括送信しても良い。なお有線回線で送信しても良い。本実施形態ではデータ送信部１６は、音声の音声信号に関する情報を送信する音声情報送信部として機能する。

電源部１７は、上記の第１マイクロフォン１１、第２マイクロフォン１２、第１増幅器１３、第２増幅器１４、音声解析部１５およびデータ送信部１６に電力を供給する。電源としては、例えば乾電池や充電池等の既存の電源が用いられる。また、電源部１７は、必要に応じて、電圧変換回路および充電制御回路等の周知の回路を含む。

ホスト装置２０は、端末装置１０から送信されたデータを受信するデータ受信部２１と、受信したデータを蓄積するデータ蓄積部２２と、蓄積したデータを解析するデータ解析部２３と、解析結果を出力する出力部２４とを備える。このホスト装置２０は、例えばパーソナルコンピュータ等の情報処理装置により実現される。また、上記のように本実施形態では複数台の端末装置１０が使用され、ホスト装置２０は、その複数台の端末装置１０の各々からデータを受信する。

データ受信部２１は、上記の無線回線に対応しており、各端末装置１０からデータを受信してデータ蓄積部２２へ送る。本実施形態ではデータ受信部２１は、データ送信部１６により送信された音声の音声信号に関する情報を受信する音声情報受信部として機能する。データ蓄積部２２は、データ受信部２１から取得した受信データを発話者別に蓄積する。ここで、発話者の識別は、端末装置１０から送信される端末ＩＤと、あらかじめホスト装置２０に登録されている発話者名と端末ＩＤの照合により行う。また、端末装置１０から端末ＩＤのかわりに装着者状態を送信するようにしてもよい。

データ解析部２３は、例えばパーソナルコンピュータのプログラム制御されたＣＰＵにより実現され、データ蓄積部２２に蓄積されたデータを解析する。具体的な解析内容および解析手法は、本実施形態のシステムの利用目的や利用態様に応じて種々の内容および手法を取り得る。例えば、端末装置１０の装着者どうしの対話頻度や各装着者の対話相手の傾向を分析したり、対話における個々の発話の長さや音圧の情報から対話者の関係を類推したりすることが行われる。

出力部２４は、データ解析部２３による解析結果を出力したり、解析結果に基づく出力を行ったりする。この解析結果等を出力する手段は、システムの利用目的や利用態様、解析結果の内容や形式等に応じて、ディスプレイ表示、プリンタによる印刷出力、音声出力等、種々の手段を取り得る。

＜端末装置の構成例＞
図２は、端末装置１０の構成例を示す図である。
上記のように、端末装置１０は、各使用者に装着されて使用される。使用者が装着可能とするため、本実施形態の端末装置１０は、図２に示すように、装置本体３０と、装置本体３０に接続された提げ紐４０とを備えた構成とする。図示の構成において、使用者は、提げ紐４０に首を通し、装置本体３０を首から提げて装着する。

装置本体３０は、金属や樹脂等で形成された薄い直方体のケース３１に、少なくとも第１増幅器１３、第２増幅器１４、音声解析部１５、データ送信部１６および電源部１７を実現する回路と電源部１７の電源（電池）とを収納して構成される。ケース３１には、装着者の氏名や所属等のＩＤ情報を表示したＩＤカード等を挿入するポケットを設けても良い。また、ケース３１自体の表面にそのようなＩＤ情報等を印刷したり、ＩＤ情報等を記載したシールを貼り付けたりしても良い。

提げ紐４０には、第１マイクロフォン１１および第２マイクロフォン１２が設けられる（以下、第１マイクロフォン１１と第２マイクロフォン１２とを区別しない場合には、マイクロフォン１１、１２と記載）。マイクロフォン１１、１２は、提げ紐４０の内部を通るケーブル（電線等）により、装置本体３０に収納された第１増幅器１３、第２増幅器１４に接続される。提げ紐４０の材質としては、革、合成皮革、木綿その他の天然繊維や樹脂等による合成繊維、金属等、既存の種々の材質を用いて良い。また、シリコン樹脂やフッ素樹脂等を用いたコーティング処理が施されていても良い。

この提げ紐４０は、筒状の構造を有し、提げ紐４０の内部にマイクロフォン１１、１２を収納している。マイクロフォン１１、１２を挙げ紐４０の内部に設けることにより、マイクロフォン１１、１２の損傷や汚れを防ぎ、対話者がマイクロフォン１１、１２の存在を意識することが抑制される。なお、装着者の口（発声部位）から遠い位置に配置される第１マイクロフォン１１は、装置本体３０に設けても良い。本実施形態では、第１マイクロフォン１１が提げ紐４０に設けられる場合を例として説明する。

図２を参照すると、第１マイクロフォン１１は、提げ紐４０の装置本体３０に接続される端部（例えば、接続部位から１０ｃｍ以内の位置）に設けられている。これにより、装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、第１マイクロフォン１１は、装着者の口（発声部位）から約３０ｃｍから４０ｃｍ程度離れた位置に配置される。なお、第１マイクロフォン１１が装置本体３０に設けられた場合も、装着者の口（発声部位）から第１マイクロフォン１１までの距離は同程度である。

第２マイクロフォン１２は、提げ紐４０の装置本体３０に接続される端部から離れた位置（例えば、接続部位から２０ｃｍ〜３０ｃｍ程度の位置）に設けられている。これにより、装着者が提げ紐４０を首に掛けて装置本体３０を下げた状態で、第２マイクロフォン１２は、装着者の首元（例えば鎖骨に当たる位置）に位置し、装着者の口（発声部位）から約１０ｃｍから２０ｃｍ程度離れた位置に配置される。

なお、本実施形態の端末装置１０は、図２に示す構成に限定されるものではない。例えば、マイクロフォン１１、１２は、第１マイクロフォン１１から装着者の口（発声部位）までの音波到達経路の距離が第２マイクロフォン１２から装着者の口（発声部位）までの音波到達経路の距離の数倍程度となるように、第１マイクロフォン１１と第２マイクロフォン１２の位置関係が特定されれば良い。したがって、第１マイクロフォンを首の後ろ側の提げ紐４０に設けても良い。また、マイクロフォン１１、１２は、上記のように提げ紐４０に設ける構成に限らず、種々の方法で装着者に装着して良い。例えば、第１マイクロフォン１１と第２マイクロフォン１２の各々を、個別にピン等を用いて衣服に固定するように構成しても良い。また、第１マイクロフォン１１と第２マイクロフォン１２の位置関係が所望の位置で固定されるようにデザインされた専用の装着具を用意して装着しても良い。

また、装置本体３０は、図２に示したように、提げ紐４０に接続されて装着者の首から提げられる構成に限らず、携帯することが容易な装置として構成されていれば良い。例えば、本実施形態のような提げ紐ではなく、クリップやベルトにより衣服や体に装着するように構成しても良いし、単にポケット等に納めて携帯するような構成としても良い。また、携帯電話その他の既存の携帯型電子情報端末に、マイクロフォン１１、１２からの音声信号を受け付けて増幅し、解析する機能を実現させても良い。

さらにまた、マイクロフォン１１、１２と装置本体３０（あるいは音声解析部１５）を有線で接続するのではなく、無線通信により接続しても良い。第１増幅器１３、第２増幅器１４、音声解析部１５、データ送信部１６および電源部１７は、上記の構成例では単一のケース３１に収納されることとしたが、複数の個体として構成しても良い。例えば、電源部１７をケース３１に収納せず、外部電源に接続して使用する構成としても良い。

＜取得音声の非言語情報に基づく発話者（自他）の識別＞
次に、本実施形態における発話者の識別方法について説明する。
本実施形態のシステムは、端末装置１０に設けられた２つのマイクロフォン１１、１２により取得された音の情報を用いて、端末装置１０の装着者自身の発話音声と他者の発話音声とを識別する。言い換えれば、本実施形態は、取得音の発話者に関して自他の別を識別（自他識別）する。また、本実施形態では、取得音の情報のうち、形態素解析や辞書情報を用いて得られる言語情報ではなく、音圧（マイクロフォン１１、１２への入力音量）等の非言語情報に基づいて発話者を識別する。言い換えれば、言語情報により特定される発話内容ではなく、非言語情報により特定される発話状況から音の発話者を識別する。

図１および図２を参照して説明したように、本実施形態において、端末装置１０の第１マイクロフォン１１は装着者の口（発声部位）から遠い位置に配置され、第２マイクロフォン１２は装着者の口（発声部位）に近い位置に配置される。すなわち、装着者の口（発声部位）を音源とすると、第１マイクロフォン１１と音源との間の距離と、第２マイクロフォン１２と音源との間の距離が大きく異なる。具体的には、第１マイクロフォン１１と音源との間の距離は、第２マイクロフォン１２と音源との間の距離の１．５〜４倍程度である。ここで、マイクロフォン１１、１２における取得音の音圧は、マイクロフォン１１、１２と音源との間の距離が大きくなるにしたがって減衰（距離減衰）する。したがって、装着者の発話音声に関して、第１マイクロフォン１１における取得音の音圧と第２マイクロフォン１２における取得音の音圧とは大きく異なる。

一方、装着者以外の者（他者）の口（発声部位）を音源とした場合を考えると、その他者が装着者から離れているため、第１マイクロフォン１１と音源との間の距離と、第２マイクロフォン１２と音源との間の距離は、大きく変わらない。装着者に対する他者の位置によっては、両距離の差は生じ得るが、装着者の口（発声部位）を音源とした場合のように、第１マイクロフォン１１と音源との間の距離が第２マイクロフォン１２と音源との間の距離の数倍となることはない。したがって、他者の発話音声に関して、第１マイクロフォン１１における取得音声の音圧と第２マイクロフォン１２における取得音声の音圧とは、装着者の発話音声の場合のように大きく異なることはない。

図３は、装着者および他者の口（発声部位）と、マイクロフォン１１、１２との位置の関係を示す図である。
図３に示す関係において、装着者の口（発声部位）である音源ａと第１マイクロフォン１１との間の距離をＬａ１、音源ａと第２マイクロフォン１２との間の距離をＬａ２とする。また、他者の口（発声部位）である音源ｂと第１マイクロフォン１１との間の距離をＬｂ１、音源ｂと第２マイクロフォン１２との間の距離をＬｂ２とする。この場合、次の関係が成り立つ。
Ｌａ１＞Ｌａ２（Ｌａ１≒１．５×Ｌａ２〜４×Ｌａ２）
Ｌｂ１≒Ｌｂ２

図４は、マイクロフォン１１、１２と音源との間の距離と音圧（入力音量）との関係を示す図である。
上述したように、音圧は、マイクロフォン１１、１２と音源との間の距離に応じて距離減衰する。図４において、距離Ｌａ１の場合の音圧βと距離Ｌａ２の場合の音圧αとを比較すると、音圧αは、音圧βの４倍程度となっている。一方、距離Ｌｂ１と距離Ｌｂ２とが近似するため、距離Ｌｂ１の場合の音圧βと距離Ｌｂ２の場合の音圧αとは、ほぼ等しい。そこで、本実施形態では、この音圧差を用いて、取得音声における装着者自身の発話音声と他者の発話音声とを識別する。なお、図４に示した例では、距離Ｌｂ１、Ｌｂ２を６０ｃｍとしたが、ここでは音圧αと音圧βとがほぼ等しくなることに意味があり、距離Ｌｂ１、Ｌｂ２は図示の値に限定されない。

図４を参照して説明したように、装着者自身の発話音声に関して、第２マイクロフォン１２の音圧αは、第１マイクロフォン１１の音圧βの数倍（例えば４倍程度）である。また、他者の発話音声に関して、第２マイクロフォン１２の音圧αは、第１マイクロフォン１１の音圧βとほぼ等しい（１倍程度）。そこで、本実施形態では、第２マイクロフォン１２の音圧αと第１マイクロフォン１１の音圧βとの差（音圧差α−β）に閾値を設定する。そして、音圧差が閾値よりも大きい音声は装着者自身の発話音声と判断し、音圧差が閾値よりも小さい音声は他者の発話音声と判断する。

ところで、マイクロフォン１１、１２により取得される音声には、発話音声の他に、環境音等のいわゆる雑音（ノイズ）が含まれる。この雑音の音源とマイクロフォン１１、１２との間の距離の関係は、他者の発話音声の場合と類似する。すなわち、図４に示した例によれば、雑音の音源ｃと第１マイクロフォン１１との間の距離をＬｃ１とし、雑音の音源ｃと第２マイクロフォン１２との間の距離をＬｃ２とすると、距離Ｌｃ１と距離Ｌｃ２とは近似する。そして、マイクロフォン１１、１２の取得音声における音圧差α−βは、閾値よりも小さくなる。しかし、このような雑音は、バンドパスフィルタやゲインフィルタ等を用いた既存の技術によるフィルタリング処理を行うことにより発話音声から分離され、除去される。

＜端末装置の動作例＞
図５は、本実施形態における端末装置１０の動作を示すフローチャートである。
図５に示すように、端末装置１０のマイクロフォン１１、１２が音声を取得すると、各マイクロフォン１１、１２から取得音声に応じた電気信号（音声信号）が第１増幅器１３および第２増幅器１４へ送られる（ステップ１０１）。第１増幅器１３および第２増幅器１４は、マイクロフォン１１、１２からの音声信号を取得すると、信号を増幅して音声解析部１５へ送る（ステップ１０２）。

音声解析部１５は、第１増幅器１３および第２増幅器１４で増幅された信号に対してフィルタリング処理を行い、信号から環境音等の雑音（ノイズ）の成分を除去する（ステップ１０３）。次に、音声解析部１５は、雑音成分が除かれた信号に対し、一定の時間単位（例えば、数十分の一秒〜数百分の一秒）毎に、各マイクロフォン１１、１２の取得音声における平均音圧を求める（ステップ１０４）。

次に、音声解析部１５は、ステップ１０４で求めた各マイクロフォン１１、１２における平均音圧の利得が有る場合（ステップ１０５でＹｅｓ）、発話音声が有る（発話が行われた）と判断する。一方、ステップ１０４で求めた各マイクロフォン１１、１２における平均音圧の利得が無い場合（ステップ１０５でＮｏ）、音声解析部１５は、発話音声が無い（発話が行われていない）と判断する（ステップ１１０）。
そして、発話音声が有ると判断したときは、音声解析部１５は、第１マイクロフォン１１における平均音圧と第２マイクロフォン１２における平均音圧の差（音圧差）α−βを求める（ステップ１０６）。
そして、ステップ１０６で求めた音圧差α−βが閾値よりも大きい場合（ステップ１０７でＹｅｓ）、発話音声は装着者自身の発話による音声であると判断する。そして音声解析部１５は、その旨のパラメータを設定する。ここでは、便宜上これを「状態１」とする（ステップ１０８）。一方、ステップ１０６で求めた音圧差が閾値よりも小さい場合（ステップ１０７でＮｏ）、音声解析部１５は、発話音声は他者の発話による音声であると判断する。そして音声解析部１５は、その旨のパラメータを設定する。ここでは、便宜上これを「状態２」とする（ステップ１０９）。

なお、ステップ１０５の判断は、ステップ１０３のフィルタリング処理で除去しきれなかった雑音が信号に残っている場合を考慮し、平均音圧の利得の値が一定値以上の場合に、利得があると判断しても良い。

この後、音声解析部１５は、データ送信部１６を介して、ステップ１０４〜ステップ１１０の処理で得られた情報（発話の有無、発話者の情報、自他識別の識別結果（「状態１」か「状態２」かの情報））を解析結果としてホスト装置２０のデータ受信部２１へ送信させる（ステップ１１１）。このとき、発話者毎（装着者自身または他者）の発話時間の長さや平均音圧の利得の値、その他の付加情報を解析結果と共にホスト装置２０のデータ受信部２１へ送信させても良い。

そしてホスト装置２０では、この音声の自他識別の識別結果を含む音声の情報を基にして、音声の同調性を判別する。本実施形態において、複数の装着者の距離関係を導出する機能は、ホスト装置２０のデータ解析部２３が行なう。

＜データ解析部２３の説明＞
図６は、本実施形態におけるデータ解析部２３のブロック図である。
図６に示すようにデータ解析部２３は、データ受信部２１により複数の装着者から取得した音声の音声信号に関する情報から音声の同調性を判別する同調性判別部２３１と、同調性判別部２３１により判別された音声の同調性から装着者の組分けを行なう組分け部２３２とを備える。

＜ホスト装置の動作例＞
また図７は、本実施形態におけるホスト装置２０の動作を示すフローチャートである。
以下、図１、図６、図７を使用して本実施形態のホスト装置２０の動作を説明する。
まずデータ受信部２１が、複数の端末装置１０から音声の情報や自他識別の識別結果の情報を含む種々の情報を受信する（ステップ２０１）。そしてこれらの情報は、いったんデータ蓄積部２２に蓄積される（ステップ２０２）。

次にこの情報は、データ解析部２３に送られ、データ解析部２３において複数の端末装置１０から送られた音声の同調性が判別される（ステップ２０３）。

以下、音声の情報の同調性を判別する方法について説明する。
図８は、本実施形態の端末装置１０をそれぞれ装着した複数の装着者が会話している状況を示す図である。図９は、図８の会話状況における各端末装置１０Ａ、１０Ｂの発話情報の例を示す図である。
図８に示すように、端末装置１０をそれぞれ装着した二人の装着者Ａ、装着者Ｂが会話している場合を考える。このとき、装着者Ａの端末装置１０Ａにおいて装着者の発話として認識される音声は、装着者Ｂの端末装置１０Ｂでは他者の発話として認識される。反対に、端末装置１０Ｂにおいて装着者の発話として認識される音声は、端末装置１０Ａでは他者の発話として認識される。

端末装置１０Ａおよび端末装置１０Ｂからは、それぞれ独立に、発話情報がホスト装置２０に送られる。このとき、端末装置１０Ａから取得した発話情報と、端末装置１０Ｂから取得した発話情報とは、図９に示すように、発話者（装着者と他者）の識別結果は反対になるが、発話時間の長さや発話者が切り替わったタイミング等の発話状況を示す情報は近似する。そこで、本適用例のホスト装置２０は、端末装置１０Ａから取得した情報と端末装置１０Ｂから取得した情報とを比較することにより、これらの情報が同じ発話状況を示していると判断し、装着者Ａと装着者Ｂとが会話していることを認識する。このように装着者Ａの音声と装着者Ｂの音声の同調性を判別することで、装着者Ａと装着者Ｂとが会話していることを判断できる。ここで、発話状況を示す情報としては、少なくとも、上述した発話者ごとの個々の発話における発話時間の長さ、個々の発話の開始時刻と終了時刻、発話者が切り替わった時刻（タイミング）等のように、発話に関する時間情報が用いられる。なお、特定の会話に係る発話状況を判断するために、これらの発話に関する時間情報の一部のみを用いても良いし、他の情報を付加的に用いても良い。

本実施形態では、いずれかの端末装置１０がこの端末装置１０を装着する者（装着者）の音声であると識別した場合に、他の端末装置１０に取得された音声の中で他人のものであると識別した音声との同調性を判別する。これは、同調性判別部２３１は、各装着者についてのマイクロフォン１１、１２により取得された音声の音声信号の比較結果に基づき識別される、マイクロフォン１１、１２により取得された音声がマイクロフォン１１、１２を備えた装着者の発話音声か装着者以外の他者の発話音声かの識別結果から、いずれかの装着者の発話音声であると識別された音について、音声の音声信号に関する情報から音声の同調性を判別すると言い換えても良い。

以下、さらに詳しくこの事項の説明を行なう。
ここでは、上述した「状態１」（自己の発話の場合）と「状態２」（他人の発話の場合）を使用する。この場合、装着者Ａおよび装着者Ｂについて、以下の４つのパラメータが設定できる。

装着者Ａについて
α−β＞（予め定められた閾値）（「状態１」）のとき、パラメータＡ１を設定
α−β＜（予め定められた閾値）（「状態２」）のとき、パラメータＡ２を設定

装着者Ｂについて
α−β＞（予め定められた閾値）（「状態１」）のとき、パラメータＢ１を設定
α−β＜（予め定められた閾値）（「状態２」）のとき、パラメータＢ２を設定

図１０は、パラメータＡ１、Ａ２、Ｂ１、Ｂ２と装着者Ａ、装着者Ｂの距離関係について説明した表である。
ここで図８、図９で説明した例に当てはめると、

（１）ある時間帯において、装着者Ａおよび装着者ＢについてパラメータＡ１およびパラメータＢ２が設定されているときは、装着者Ａの音声と装着者Ｂの音声は同調性があると判別され、装着者Ａと装着者Ｂとは会話関係にあると判断できる。なおこの場合、装着者Ａの発話が聞こえる距離に装着者Ｂがいると言い換えることもできる。

（２）またある時間帯において、パラメータＡ２およびパラメータＢ１が設定されているときは、やはり装着者Ａの音声と装着者Ｂの音声は同調性があると判別され、装着者Ａと装着者Ｂとは会話関係にあると判断できる。なおこの場合は、装着者Ｂの発話が聞こえる距離に装着者Ａがいると言い換えることもできる。

（３）さらにある時間帯において、パラメータＡ１およびパラメータＢ１が設定される場合がある。この場合は、装着者Ａと装着者Ｂとは、非常に近接する位置にいるときである。なおこの場合についても装着者Ａの音声と装着者Ｂの音声は同調性があると判別して、装着者Ａと装着者Ｂとは会話関係にあると判断してもよい。

（４）またある時間帯において、パラメータＡ２およびパラメータＢ２が設定される場合がある。この場合は、同じ音が聞こえる空間に装着者Ａと装着者Ｂがいるが、装着者Ａと装着者Ｂとの距離は比較的離れていると判断できる。そしてこの音は、装着者Ａおよび装着者Ｂの発話した音声ではないと判断できる。より具体的には、この音は、装着者Ａおよび装着者Ｂ以外の装着者の音声である場合や、エアコンの音や工事の音などの環境音であると判断できる。

上述した事項をまとめると、装着者Ａと装着者Ｂとの距離としては、（３）が最も近い。そして次に（１）および（２）の場合が近く、最も遠いのは、（４）の場合となる（（３）＜（（１）および（２））＜（４））。
このようにして自他識別の識別結果を基にして、複数の装着者の近接判断をすることができる。

複数の装着者の何れについても同調性がないと判断した場合（ステップ２０３でＮｏ）、ステップ２０１に戻る。一方、複数の装着者の何れかについて同調性があると判断された場合（ステップ２０３でＹｅｓ）、次に組分け部２３２にて装着者の組分け（グルーピング）を行なう(ステップ２０４)。
これは、複数の装着者のそれぞれの間における音声の同調性から、会話をしている装着者を選択することで行なわれる。例えば、装着者Ａと装着者Ｂの２人のみについて音声の同調性があると判別された場合は、この２人を選択して１つの組（グループ）とする。また装着者Ａと装着者Ｂの他に、他の装着者である装着者Ｃが装着者Ａおよび装着者Ｂの少なくとも一方と音声の同調性があると判別された場合は、この３人を選択して１つの組（グループ）とする。なお音声に同調性のある装着者が４人以上であっても同様の方法で組（グループ）を構成することができる。そして全ての装着者について音声の同調性を判別することで、装着者の組分け（グルーピング）を行なうことができる。

なおこのとき組分け部２３２は、マイクロフォン１１、１２により取得された音が、自他識別の識別結果によりいずれの装着者の発話音声でもないとされる上記（４）の場合には、この音を装着者の組分けを行なうのに利用しない。

以上のようにして端末装置１０を装着する装着者の組分け（グルーピング）を行なうことで、それぞれの装着者におけるコミュニケーションの傾向を分析することができる。
さらに特定の装着者が予め定められた空間内に存在するか否かを判定することができる。この空間が例えば、予め定められた室内とすれば、この特定の装着者が、この室内にいるかいないかの判定を行なうことができる。即ち、本実施形態の音声解析システム１は、装着者についての入退室判定システムとして利用することも可能である。

また上述した例では、音圧差α−βにより音声の自他識別を行なったが、これに限られるものではない。例えば、音圧比α／βを考え、この値が予め定められた閾値より大きい場合を「状態１」、予め定められた閾値より小さい場合を「状態２」と設定してもよい。
さらに上述した例では、音声の自他識別を行なうのを端末装置１０の側で行なっていたが、これに限られるものではなく、ホスト装置２０の側で行なってもよい。この形態における音声解析システム１としては、図１のものに対し、音声解析部１５で行なっていた音声の自他識別を、例えば、ホスト装置２０のデータ解析部２３で行なう。そしてこの場合データ解析部２３は、上述した自他識別部として機能する。

＜端末装置の具体例＞
図１１（ａ）〜（ｂ）は、実際に使用される端末装置１０の具体例を示した図である。
このうち図１１（ａ）は、図２に示した端末装置１０とほぼ同様の構成をとり、第１マイクロフォン１１、第２マイクロフォン１２の２つのマイクロフォンを配したものである。ただし、第１マイクロフォン１１は、装置本体３０に配置されている。そして第１マイクロフォン１１と第２マイクロフォン１２との距離を３５ｃｍとしている。

また図１１（ｂ）は、第１マイクロフォン１１、第２マイクロフォン１２の他に、第３マイクロフォン１８の３つのマイクロフォンを配したものである。そして第１マイクロフォン１１と第２マイクロフォン１２との距離、第３マイクロフォン１８と第１マイクロフォン１１の距離を共に３５ｃｍとしている。そして第２マイクロフォン１２と第３マイクロフォン１８の距離は、１０ｃｍとしている。

図１１（ｂ）のようにマイクロフォンが３箇所以上に配された端末装置１０を使用することで、別々のマイクロフォンの組を使用して、上述した距離関係や対話関係の判断を行なうことができる。図１１（ｂ）で示した端末装置１０では、第１マイクロフォン１１と第２マイクロフォン１２の組、および第３マイクロフォン１８と第１マイクロフォン１１の組が選択できる。このように複数の組のマイクロフォンを使用することで、データ解析部２３での複数の装着者の距離関係や対話関係の判断をより精度良く行なうことができる。

＜プログラムの説明＞
なお図７で説明を行った本実施形態におけるホスト装置２０が行なう処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、ホスト装置２０に設けられた制御用コンピュータ内部の図示しないＣＰＵが、ホスト装置２０の各機能を実現するプログラムを実行し、これらの各機能を実現させる。

よって図７で説明を行ったホスト装置２０が行なう処理は、コンピュータに、装着者の口からの距離が異なる位置に配され音声を取得するための複数のマイクロフォン１１、１２により取得された音声の情報を受信する機能と、各装着者についての複数のマイクロフォン１１、１２により取得された音声の音声信号の比較結果に基づき識別される、マイクロフォン１１、１２により取得された音声がマイクロフォン１１、１２を備えた装着者の発話音声か装着者以外の他者の発話音声かの識別結果から、いずれかの装着者の発話音声であると識別された音声について、音声の音声信号に関する情報から音声の同調性を判別する機能と、を実現させるプログラムとして捉えることもできる。

１…音声解析システム、１０…端末装置、１１…第１マイクロフォン、１２…第２マイクロフォン、１５…音声解析部、１６…データ送信部、１８…第３マイクロフォン、２０…ホスト装置、２１…データ受信部、２３…データ解析部、３０…装置本体、４０…提げ紐、２３１…同調性判別部、２３２…組分け部

Claims (7)

1. 装着者の口からの距離が異なる位置に配され音声を取得するための複数の音声取得手段により取得された音声の音声信号に関する情報を受信する音声情報受信部と、
   各装着者についての複数の前記音声取得手段により取得された音声の音声信号の比較結果に基づき識別される、当該音声取得手段により取得された音声が当該音声取得手段を備えた装着者の発話音声か装着者以外の他者の発話音声かの識別結果から、いずれかの装着者の発話音声であると識別された音声について、当該音声の音声信号に関する情報から音声の同調性を判別する同調性判別部と、
   を備えることを特徴とする音声解析装置。
2. 前記音声取得手段を備えた装着者の発話音声か装着者以外の他者の発話音声かの識別結果を求める自他識別部をさらに備えることを特徴とする請求項１に記載の音声解析装置。
3. 前記同調性判別部により判別された音声の同調性から装着者の組分けを行なう組分け部をさらに備えることを特徴する請求項１または２に記載の音声解析装置。
4. 前記組分け部は、前記音声取得手段により取得された音が、いずれの装着者の発話音声でもないとされた場合に、当該音を装着者の組分けを行なうのに利用しないことを特徴する請求項３に記載の音声解析装置。
5. 装着者の口からの距離が異なる位置に配され音声を取得するための複数の音声取得手段と、
   前記音声取得手段により取得された音声の音声信号の比較結果に基づき、当該音声取得手段により取得された音声が当該音声取得手段を備えた装着者の発話音声か装着者以外の他者の発話音声かを識別する自他識別部と、
   前記自他識別部により識別された識別結果から、いずれかの装着者の発話音声であると識別された音声について、当該音声の音声信号に関する情報から音声の同調性を判別する同調性判別部と、
   を備えたことを特徴とする音声解析システム。
6. 前記音声取得手段により取得された音声の音声信号に関する情報を送信する音声情報送信部と、当該音声情報送信部により送信された音声の音声信号に関する情報を受信する音声情報受信部と、をさらに備えることを特徴とする請求項５に記載の音声解析システム。
7. コンピュータに、
   装着者の口からの距離が異なる位置に配され音声を取得するための複数の音声取得手段により取得された音声の音声信号に関する情報を受信する機能と、
   各装着者についての複数の前記音声取得手段により取得された音声の音声信号の比較結果に基づき識別される、当該音声取得手段により取得された音声が当該音声取得手段を備えた装着者の発話音声か装着者以外の他者の発話音声かの識別結果から、いずれかの装着者の発話音声であると識別された音声について、当該音声の音声信号に関する情報から音声の同調性を判別する機能と、
   を実現させるプログラム。

Images