JP5594152B2 - Nam会話支援システムおよびnam会話支援方法 - Google Patents
Nam会話支援システムおよびnam会話支援方法 Download PDFInfo
- Publication number
- JP5594152B2 JP5594152B2 JP2011003302A JP2011003302A JP5594152B2 JP 5594152 B2 JP5594152 B2 JP 5594152B2 JP 2011003302 A JP2011003302 A JP 2011003302A JP 2011003302 A JP2011003302 A JP 2011003302A JP 5594152 B2 JP5594152 B2 JP 5594152B2
- Authority
- JP
- Japan
- Prior art keywords
- nam
- speaker
- conversation
- fundamental frequency
- assigned
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
NAMを用いた音声では、上述したように声帯を使用しない無声音であるため、有声音において通常用いるフォルトマンを用いて発言者を識別することは難しい。したがって、NAMを用いたコミュニケーションシステムでは、複数人の発言者がいる場合、発言者を視覚以外で識別しにくい。
一方、上記通信システムを利用する場合、発言者、非発言者に関する情報を異なる形式で表示させるディスプレイを設けるので、上記通信システムを複数人のNAM会話参加者がどこでも気軽に利用することは難しい。
各NAM会話参加者の現在の位置を示す位置情報と各NAM会話参加者が現在向いている向きの情報とを取得する計測部と、各NAM会話参加者がNAM会話に用いる音声入出力デバイスと、前記位置情報と前記向きの情報の通信およびNAM会話中の音声信号の通信を行う通信部と、を備える各NAM会話参加者が保持する携帯端末装置と、
前記携帯端末装置から受信した前記位置情報と前記向きの情報を用いて特定される各NAM会話参加者から見たNAM発言者の現在の方位と前記NAM発言者の音声基本周波数とに基いて、各NAM会話参加者に対する前記NAM発言者の割り当て方位と前記NAM発言者の割り当て基本周波数を定め、前記割り当て方位と前記割り当て基本周波数とに基いて前記携帯端末装置から受信したNAMの無声音声信号を処理する信号処理部と、処理した前記無声音声信号を前記携帯端末装置に送信する通信部と、を備える会話管理装置と、を有する。
このとき、前記信号処理部は、前記NAM発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、予め設定された複数の分割方位と予め設定された複数の分割周波数を組とした複数のブロックから、別のNAM発言者と重複したブロックが割り当てられないように前記NAM発言者に1つのブロックを割り当てる。
あるいは、前記信号処理部は、前記NAM発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、前記NAM発言者の前記現在の方位と前記NAM発言者の音声基本周波数を用いて1つのブロックを前記NAM発言者に割り当てる。
あるいは、前記信号処理部は、各NAM会話参加者から見て所定の距離範囲内に位置するNAM発言者に対して、当該NAM発言者の前記現在の方位と前記音声基本周波数を前記割り当て方位および前記割り当て基本周波数として設定する。
各NAM会話参加者の現在の位置を示す位置情報と各NAM会話参加者が現在向いている向きの情報とを各NAM会話参加者が保持する携帯端末装置から受信し、
受信した前記位置情報と前記向きの情報を用いて特定される各NAM会話参加者から見たNAM発言者の現在の方位と前記NAM発言者の音声基本周波数とに基いて、各NAM会話参加者に対する前記NAM発言者の割り当て方位と前記NAM発言者の割り当て基本周波数を定め、
前記割り当て方位と前記割り当て基本周波数とに基いてNAMの無声音声信号を処理し、処理した前記無声音声信号を各NAM会話参加者に送信する。
前記NAM発言者の割り当て方位と前記NAM発言者の割り当て基本周波数を定めるとき、予め設定された複数の分割方位と予め設定された複数の分割周波数を組とした複数のブロックから、別のNAM発言者と重複したブロックが割り当てられないように前記NAM発言者に1つのブロックを割り当てる。あるいは、前記NAM発言者の前記現在の方位と前記NAM発言者の音声基本周波数を用いて1つのブロックを前記NAM発言者に割り当てる。あるいは、各NAM会話参加者から見て所定の距離範囲内に位置するNAM発言者に対して、当該NAM発言者の前記現在の方位と前記音声基本周波数を前記割り当て方位および前記割り当て基本周波数として設定する。
図1は、本実施形態のNAM会話支援システム10の全体概要を説明する図である。
図1に示すNAM会話支援システム10は、NAM会話参加者A〜Eがばらばらの向きを向いてNAM会話をする場合の例を示している。NAM会話参加者A〜Eのいずれも、NAMで発言すればNAM発言者となり得る。
NAM会話参加者A〜Eは、携帯端末装置12a〜12eを携帯する。各携帯端末装置12a〜12eは、音声入出力デバイスとして、マイクおよびヘッドフォンを一体化したヘッドセットを有し、NAM会話参加者A〜Eは上記ヘッドセットを装着する。携帯端末装置12a〜12eは、各NAM会話参加者A〜Eの現在の位置を示す位置情報と各NAM会話参加者A〜Eが現在向いている向きの情報とをセンサにより取得し、NAM会話管理サーバ14に送信する。NAM会話管理サーバ14は、各NAM会話参加者A〜Eから見たNAM発言者の現在の方位を、受信した位置情報と向きの情報を用いて特定し、特定したNAM発言者の現在の方位とNAM発言者の音声基本周波数とに基いて、割り当て方位と割り当て基本周波数を定める。この割り当て方位および割り当て基本周波数を用いて、NAM発言者の無声音声信号を処理して、各NAM会話参加者A〜Eに送信する。携帯端末装置12a〜12eおよびNAM会話管理サーバ14は、音声信号としてステレオ信号等の多チャンネル信号を用いる。
図2は、携帯端末装置12aとNAM管理サーバ14の構成を示す図である。携帯端末装置12a〜12eはいずれも同じ構造を有するので、以降、携帯端末装置12aを携帯端末装置12a〜12eの代表として説明する。また、携帯端末装置12a〜12eを総称して説明するとき、携帯端末装置12と称する。
携帯端末装置12は、音声入出力デバイスであるヘッドセット16と、計測部18と、Lombard検出部20と、通信部22と、を有する。
ヘッドセット16は、スピーカを通してNAM会話を聴くことができるヘッドフォン16aと、NAMの無声音声を収音することができる無声音声用マイクおよび通常の有声音声を収音する有声音声用マイクを含むマイク16bを有する。
無声音声用マイクは、例えば、WO2004/021738 A1に記載されているマイクロフォンが例示される。具体的には、頭蓋骨の耳介の後下方部の乳様突起直下の体表に、聴診器型マイクが無声音声用マイクとして装着される。聴診器型マイクは、体表に粘着する粘着面を有する振動板と、この振動板に吸着盤を介して固定されたコンデンサマイクとを備える。
NAM発言者が声帯の規則振動を用いずにNAMを発するとき、NAMは、舌、***、顎、軟口蓋などの調音器官の発話運動により調音されるとともに肉等の体内軟部組織を伝導する振動音として乳様突起直下の体表に到達する。無声音声用マイクはこの振動音を収音する。
ヘッドフォン16aは、有声音声のほか、略100〜300Hz等の基本周波数を有するささやき音を再生する。
マイク16bで得られた有声音声信号、無声音声信号は、通信部22へ送られる。ヘッドフォン16aは、NAM管理サーバ14から送信されるNAM会話信号を音声化し再生する。
各NAM会話参加者A〜Eの位置情報および向きの情報をNAM管理サーバ14に送信するのは、NAM管理サーバ14において、各NAM会話参加者A〜Eから見たNAM発言者の現在の方位を特定するためである。
NAM会話管理サーバ14は、携帯端末装置12から送信される各種情報および有声音声信号および無声音声信号を処理して、携帯端末装置12に送信する。
NAM会話管理サーバ14は、通信部30と、信号処理部32とを有する。NAM会話管理サーバ14は、図示されないCPU、RAM、ROM、記憶部を有するコンピュータであり、CPU、RAM、ROM、記憶部はバスでお互いに接続されている。
信号処理部32のうち、後述する基本周波数算出部32aと、周波数・方位割り当て部32cと、ささやき声変換部32dと、音声ミキシング部32eは、ROMあるいは記憶部に記憶されているプログラムを読み出して実行することにより生成されるソフトウェアモジュールである。すなわち、図示されないCPUが基本周波数算出部32a、周波数・方位割り当て部32c、ささやき声変換部32d、及び音声ミキシング部32eの各機能を担う。
通信部30は、有声音声受信部30aと、NAM受信部30bと、Lombard受信部30cと、位置・方位受信部30dと、音声信号送信部30eと、を有する。
基本周波数算出部32aは、有声音声受信部30aで生成される有声音声信号を周波数解析することにより、NAM発言者の音声の基本周波数を算出する。有声音声は、基本周波数と、倍音等の基本周波数に調和した周波数とを有する。有声音声の基本周波数は、NAMの無声音声の音声基本周波数とも一致する。すなわち、NAM発言者の有声音声を予め周波数解析をすることによりNAMの基本周波数を取得することができる。このため、基本周波数算出部32は、NAM会話に参加する各NAM会話参加者の音声の基本周波数、すなわち音声基本周波数を事前に算出し、この音声基本周波数をNAM発言時の音声基本周波数として、携帯端末装置12の識別情報と共にデータベース32bに記録する。なお、NAM会話管理サーバ14であるコンピュータの図示されない記憶部の一部がデータベース32bとして利用される。
このとき、NAM発言者に対して、後述する割り当て方位および割り当て基本周波数がすでに設定されており、さらに、割り当て方位および割り当て基本周波数が変更されない場合、以下の処理は行われず、ささやき声変換部32dおよび音声ミキシング部32eにおいて、設定されている割り当て方位および割り当て基本周波数がそのまま用いられる。一方、割り当て方位および割り当て基本周波数が設定されていない場合、あるいは、割り当て方位および割り当て基本周波数が変更される場合、周波数・方位割り当て部32cは、後述する割り当て方位および割り当て基本周波数の設定を行う。割り当て方位および割り当て基本周波数が設定されていない場合とは、NAM会話に参加して初めて発言した場合や、NAM会話に参加しているが、一定期間内の発言が少なく、割り当て方位および割り当て基本周波数が取り消された場合等であり、割り当て方位および割り当て基本周波数が変更される場合とは、NAM発言者あるいはNAM会話参加者がNAM会話中に移動して方位等が変化した場合である。
音声ミキシング部32eは、周波数・方位割り当て部32cで定められたNAM発言者の割り当て方位を用いて、各NAM会話参加者からみて、NAMが視覚に略一致する方向から無声音声が聴こえるように、NAMの無声音声信号のミキシング処理を行う。音声信号は、ステレオ信号等の多チャンネル信号であるので、音声ミキシング部32eでは、各NAM会話参加者から見た割り当て方位に従って音声信号が処理される。さらに、音声ミキシング部32eでは、複数のNAM発言者が同時に発言するとき、複数の音声信号がミキシングされる。音声ミキシング部32eは、ミキシングされた音声信号を音声信号送信部30eに送る。
有声音声モードは、NAM発言者が一定時間、例えば10秒間有声音声が検出されない場合、自動的に無声音声モードに戻る。
本実施形態のNAM会話支援システムは、NAM会話参加者が有声音声を発したとき、自動的に、無声音声モードから有声音声モードに切り替わるが、有声音声モードを有させず、無声音声モードのみで支援を行うものであってもよい。
図3〜5は、上述した周波数・方位割り当て部32cが行う方位と基本周波数の割り当ての一例を説明する図である。
図3に示す例では、周波数・方位割り当て部32cは、360度の方位を8分割し、各NAM会話参加者A〜Eから見て北、北東、東、南東、南等に45度ずつの8つの分割方位を定める。また、周波数・方位割り当て部32cは、割り当て基本周波数として、100〜160Hzの周波数範囲を6分割し、150Hz以上、140〜150Hz、130〜140Hz、・・・、110Hz未満の6つの分割周波数の帯域を定める。図3は、NAM会話参加者が男性の場合の割り当ての例である。図4は、NAM会話参加者が女性の場合の分割方位と分割周波数の割り当ての例である。女性の場合、割り当て基本周波数は、220Hz未満、220〜230Hz、230〜240Hz、・・・、270Hz以上の7分割の分割周波数の帯域に設定されている。各NAM会話参加者に割り当て基本周波数を設定する場合、分割周波数として、各NAM会話参加者の基本周波数に±10Hz、±20Hz、…加算した値を割り当てる。例えば、NAM会話参加者の基本周波数が132Hzであり、割り当てようとする分割周波数は、140〜150Hzの帯域の周波数である場合、142Hzとする。また、150Hz以上や110Hz未満の帯域でも同様に152Hzや102Hzとする。方位においても例えば、NAM会話参加者の方位に±45°、±90°、…といった値を割り当て方位とする。
図5に示す例では、140〜150Hzに1人、130〜140Hzに1人、120〜130Hzに2人、110〜120Hzに、8人割り当てられている状態が示されている。このような割り当ての情報は、NAM発言者にブロックを割り当てようとするとき、優先して調べられる。すなわち、NAM発言者にブロックを割り当てるとき、周波数・方位割り当て部32cは、図6に示すNAM発言者の音声基本周波数に対応する分割周波数の欄の「割り当て数」を調べ、「割り当て数」が8未満である場合、この分割周波数の欄の、NAM発言者の現在の方位に対応するブロックがすでに割り当てられているか否かを調べる。このブロックが割り当てられていなければ、このブロックを上記NAM発言者に割り当てる。一方、上記ブロックが別のNAM発言者にすでに割り当てられている場合、周波数・方位割り当て部32cは、割り当てられていない隣接ブロックを探す。
このようなブロックの割り当ては、ブロックが割り当てられていないNAM発言者に対して行われるだけでなく、NAM発言者が異なる方位に移動する場合にもブロックの割り当てが行われる。この場合、設定されていた割り当て方位が新しい割り当て方位に変更されることになる。
また、周波数・方位割り当て部32cは、各NAM会話参加者から見てNAM発言者が近くに位置する場合、このNAM発言者に対して、このNAM発言者の現在の方位と音声基本周波数を割り当て方位および割り当て基本周波数として設定する、ことが好ましい。近くに位置するとは、各NAM会話参加者から見てNAM発言者が所定の距離範囲内に位置することをいう。この場合、割り当て基本周波数および割り当て方位が他のNAM発言者と重なってもよい。割り当て基本周波数および割り当て方位が他のNAM発言者と重なっても、各NAM会話参加者から見てNAM発言者が近くに位置するので、視覚によりNAM発言者の口の動きや顔の表情を見て、NAM発言者を十分に識別することができる。
例えば、NAM会話参加者PからのNAM発言者Aの距離をxとしたとき、割り当て基本周波数をf(x)および割り当て方位θ(x)は、下記式(1),(2)のように表される。
式(1)中のFは音声基本周波数であり、F’は図3〜図6に示す方法により定められた割り当て基本周波数である。式(2)中のψは現在の方位であり、ψ’は、図3〜図6に示す方法により定められた割り当て方位である。距離L1は例えば100m、距離L2は例えば10mである。
NAM会話支援システム10では、NAM会話開始前のNAM会話参加者A〜Eの音声が収音される。NAM会話管理サーバ14は、有声音声受信部30aを介して得られたNAM会話参加者A〜Eの有声音声を用いて有声音声の基本周波数が基本周波数算出部32で算出され、音声基本周波数としてデータベース32bに記録される。
この後、NAM会話が開始される。NAM会話中、NAM受信部30bは、各NAM会話参加者の現在の位置を示す位置情報と各NAM会話参加者A〜Eが現在向いている向きの情報とを各NAM会話参加者A〜Eが保持する携帯端末装置12a〜12eから継続的に受信する。
周波数・方位割り当て部32cは、受信した位置情報と向きの情報を用いて特定される各NAM会話参加者A〜Eから見た各NAM発言者の現在の方位と、各NAM発言者の記録された音声基本周波数とに基いて、各NAM会話参加者A〜Eに対する各NAM発言者の割り当て方位と各NAM発言者の割り当て基本周波数を定める。図3〜5に示すような割り当て周波数と割り当て方位との設定は、各NAM会話参加者から見て図7に示すような距離L1より遠い範囲に位置するNAM発言者に対して、行われる。NAM発言者に対して、割り当て方位及び割り当て基本周波数の設定がすでに行われ、更に変更もされない場合、周波数・方位割り当て部32cは、割り当てを行わない。各NAM会話参加者から見て図7に示すような距離L2より近い範囲に位置するNAM発言者には、NAM発言者の現在の方位とNAM発言者の音声基本周波数が割り当て方位および割り当て基本周波数として設定される。
ささやき声変換部32dおよび音声ミキシング部32eは、設定した割り当て方位と割り当て基本周波数とに基いてNAMの無声音声信号の信号処理(信号レベルの増大、基本周波数の変換、およびミキシング)をする。音声信号送信部30eは、処理した無声音声信号を各NAM会話参加者A〜Eに向けて送信する。
図9に示す例では、NAM発言者AがNAM会話参加者に対してNAMで発言する。このとき、周波数・方位割り当て部32cは、NAM発言者Aに対して図3〜6に示す割り当て方法により、NAM発言者Aに割り当て基本周波数及び割り当て方位を新規に設定する(ステップS10)。この状態で、NAM発言者Aが異なる方位に移動する場合(ステップS20のYesの場合)、周波数・方位割り当て部32cは、割り当て基本周波数を維持し、割り当て方位を変更する(ステップS30)。具体的に、周波数・方位割り当て部32cは、実際の移動先の方位に近い分割方位を割り当て方位に設定する。NAM発言者Aが異なる方位に移動しない場合(ステップS20のNoの場合)、周波数・方位割り当て部32cは、割り当て基本周波数および割り当て方位を維持する(ステップS40)。こうして、NAM会話は続行される。
一方、NAM発言者Aが一定時間無言でない場合(ステップS50でNoの場合)、NAM発言者Aが一定時間無言になる(ステップS50でYesになる)までステップS10で設定された割り当て基本周波数および割り当て方位が維持される。この後、NAM発言者Aが再び発言するまで割り当て方位が開放された状態が維持される。NAM発言者Aが再び発言する場合(ステップS70のYesの場合)、周波数・方位割り当て部32cは、NAM発言者Aに割り当てようとするブロック、すなわちステップS60で維持された割り当て基本周波数と開放された割り当て方位とを有するブロックが割り当て可能か否かを判定する(ステップS80)。ブロックの割り当てが可能である場合(ステップS80でYesの場合)、周波数・方位割り当て部32cは、割り当て基本周波数を維持し、開放された割り当て方位を再設定する(ステップS90)。ブロックの割り当てが不可能である場合(ステップS80でNoの場合)、周波数・方位割り当て部32cは、割り当て基本周波数および割り当て方位を、近接ブロックの分割周波数および分割方位に変更する(ステップS100)。こうして、NAM会話は続行される。
この状態で、優先順位が高く、ブロックが割り当てられていないNAM発言者BがNAM会話で発言する場合(ステップS110でYesの場合)、周波数・方位割り当て部32cは、NAM発言者Bに割り当てようとするブロックがNAM発言者Aに割り当てているブロックと重複するか否かを判定する(ステップS120)。
一方、ステップS120における判定において、割り当てようとするブロックが重複しない場合(ステップS120のNoの場合)、周波数・方位割り当て部32cは、NAM発言者Bの割り当て基本周波数および割り当て方位を新規に設定する(ステップS140)。ステップS120における判定において、割り当てブロックが重複する場合(ステップS120のYesの場合)、周波数・方位割り当て部32cは、NAM発言者Aの割り当て基本周波数および割り当て方位を近接ブロックの周波数および方位に変更する(ステップS130)。この後、ステップS140に進む。
こうして、NAM会話は続行される。
さらに、周波数・方位割り当て部32cは、各NAM発言者の現在の方位と各NAM発言者の音声基本周波数を用いて、1つのブロックを各NAM発言者に割り当てる。このため、割り当て方位および割り当て基本周波数は、各NAM発言者の現在の方位と各NAM発言者の音声基本周波数に設定され得る。
なお、周波数・方位割り当て部32cは、割り当てようとするブロックがすでに別のNAM発言者に割り当てられているとき、この割り当てようとするブロックの分割周波数または分割方位が隣接する隣接分割周波数または隣接分割方位を有する隣接ブロックを割り当てる。このため、割り当て方位および割り当て基本周波数は、各NAM発言者の現在の方位と各NAM発言者の音声基本周波数に近い方位と周波数に設定され得る。
NAM(Non Audible Murmur)を用いた複数人によるNAM会話を支援するNAM会話支援システムであって、
各NAM会話参加者の現在の位置を示す位置情報と各NAM会話参加者が現在向いている向きの情報とを取得する計測部と、各NAM会話参加者がNAM会話に用いる音声入出力デバイスと、前記位置情報と前記向きの情報の通信およびNAM会話中の音声信号の通信を行う通信部と、を備える各NAM会話参加者が保持する携帯端末装置と、
前記携帯端末装置から受信した前記位置情報と前記向きの情報を用いて特定される各NAM会話参加者から見たNAM発言者の現在の方位と前記NAM発言者の音声基本周波数とに基いて、各NAM会話参加者に対する前記NAM発言者の割り当て方位と前記NAM発言者の割り当て基本周波数を定め、前記割り当て方位と前記割り当て基本周波数とに基いて前記携帯端末装置から受信したNAMの無声音声信号を処理する信号処理部と、処理した前記無声音声信号を前記携帯端末装置に送信する通信部と、を備える会話管理装置と、を有することを特徴とするNAM会話支援システム。
前記信号処理部は、前記NAM発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、予め設定された複数の分割方位と予め設定された複数の分割周波数を組とした複数のブロックから、別のNAM発言者と重複したブロックが割り当てられないように前記NAM発言者に1つのブロックを割り当てる、付記1に記載のNAM会話支援システム。
前記信号処理部は、前記NAM発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、前記NAM発言者の前記現在の方位と前記NAM発言者の音声基本周波数を用いて1つのブロックを前記NAM発言者に割り当てる、付記2に記載のNAM会話支援システム。
前記信号処理部は、割り当てようとするブロックがすでに別のNAM発言者に割り当てられているとき、前記割り当てようとするブロックの分割周波数または分割方位に隣接する隣接分割周波数または隣接分割方位を有する隣接ブロックの1つを割り当てる、付記3に記載のNAM会話支援システム。
前記信号処理部は、前記隣接ブロックのうち、前記割り当てようとするブロックの分割周波数を有する隣接ブロックを、前記割り当てようとするブロックの分割方位を有する隣接ブロックに対して優先的に割り当てる、付記4に記載のNAM会話支援システム。
前記信号処理部は、過去の一定時間に発言した回数又は時間の多いNAM発言者の順に優先順位を定めて、前記割り当て方位および前記割り当て基本周波数を定める、付記1〜5のいずれか1項に記載のNAM会話支援システム。
前記信号処理部は、各NAM会話参加者から見て所定の距離範囲内に位置するNAM発言者に対して、当該NAM発言者の前記現在の方位と前記音声基本周波数を前記割り当て方位および前記割り当て基本周波数として設定する、付記1〜6のいずれか1項に記載のNAM会話支援システム。
前記信号処理部は、前記NAM発言者が一人のNAM会話参加者に近づくとき、前記割り当て方位および前記割り当て基本周波数が、前記一人のNAM会話参加者から見た前記NAM発言者の前記現在の方位および前記音声基本周波数に一致あるいは近づくように、前記一人のNAM会話参加者と前記NA発言者との間の距離に応じて前記割り当て方位および前記割り当て基本周波数の少なくとも一方を修正する、付記1〜7のいずれか1項に記載のNAM会話支援システム。
前記信号処理部は、前記割り当て方位および前記割り当て基本周波数の少なくとも一方を修正するとき、一定の時間をかけて滑らかに変化するように修正をする、付記8に記載のNAM会話支援システム。
前記携帯端末装置の前記音声入出力デバイスが有声音声を収音したとき、前記信号処理部は、前記NAM会話中の無声音声信号を遮断して、有声音声信号を、前記通信部を通して前記携帯端末装置に送信する、付記1〜9のいずれか1項に記載のNAM会話支援システム。
前記信号処理部は、前記NAM発言者の音声を周波数解析することにより前記音声基本周波数を事前に取得する、付記1〜10のいずれか1項に記載のNAM会話支援システム。
NAM(Non Audible Murmur)を用いた複数人によるNAM会話を支援する会話管理装置が行うNAM会話支援方法であって、
各NAM会話参加者の現在の位置を示す位置情報と各NAM会話参加者が現在向いている向きの情報とを各NAM会話参加者が保持する携帯端末装置から受信し、
受信した前記位置情報と前記向きの情報を用いて特定される各NAM会話参加者から見たNAM発言者の現在の方位と前記NAM発言者の音声基本周波数とに基いて、各NAM会話参加者に対する前記NAM発言者の割り当て方位と前記NAM発言者の割り当て基本周波数を定め、
前記割り当て方位と前記割り当て基本周波数とに基いてNAMの無声音声信号を処理し、処理した前記無声音声信号を各NAM会話参加者に送信する、ことを特徴とするNAM会話支援方法。
前記会話管理装置が前記NAM発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、予め設定された複数の分割方位と予め設定された複数の分割周波数を組とした複数のブロックから、別のNAM発言者と重複したブロックが割り当てられないように前記NAM発言者に1つのブロックを割り当てる、付記12に記載のNAM会話支援方法。
前記会話管理装置が前記NAM発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、前記NAM発言者の現在の方位と前記NAM発言者の音声基本周波数を用いて1つのブロックを前記NAM発言者に割り当てる、付記13に記載のNAM会話支援方法。
前記会話管理装置が割り当てようとするブロックがすでに別のNAM発言者に割り当てられているとき、前記割り当てようとするブロックの分割周波数または分割方位に隣接する隣接分割周波数または隣接分割方位を有する隣接ブロックの1つを割り当てる、付記14に記載のNAM会話支援方法。
前記隣接ブロックのうち、前記割り当てようとするブロックの分割周波数を有する隣接ブロックを、前記割り当てようとするブロックの分割方位を有する隣接ブロックに対して優先的に割り当てる、付記15に記載のNAM会話支援方法。
前記会話管理装置は、過去の一定時間に発言した回数又は時間の多いNAM発言者の順に優先順位を定め、前記割り当て方位および前記割り当て基本周波数を定める、付記12〜16のいずれか1項に記載のNAM会話支援方法。
前記会話管理装置は、各NAM会話参加者から見て所定の距離範囲内に位置するNAM発言者に対して、当該NAM発言者の前記現在の方位と前記音声基本周波数を前記割り当て方位および前記割り当て基本周波数として設定する、付記12〜17のいずれか1項に記載のNAM会話支援方法。
前記会話管理装置は、前記NAM発言者が一人のNAM会話参加者に近づくとき、前記割り当て方位および前記割り当て基本周波数が、前記一人のNAM会話参加者から見た前記NAM発言者の前記現在の方位および前記音声基本周波数に一致あるいは近づくように、前記一人のNAM会話参加者と前記NA発言者との間の距離に応じて前記割り当て方位および前記割り当て基本周波数の少なくとも一方を修正する、付記12〜18のいずれか1項に記載のNAM会話支援方法。
前記会話管理装置は、前記割り当て方位および前記割り当て基本周波数の少なくとも一方を修正するとき、一定の時間をかけて滑らかに修正をする、付記19に記載のNAM会話支援方法。
前記携帯端末装置の音声入出力デバイスが有声音声を収音したとき、前記会話管理装置は、前記NAM会話中の無声音声信号を遮断して、有声音声の音声信号を前記携帯端末装置に送信する、付記12〜20のいずれか1項に記載のNAM会話支援方法。
前記会話管理装置は、前記NAM発言者の音声の周波数解析をすることにより前記音声基本周波数を事前に取得する、付記12〜21のいずれか1項に記載のNAM会話支援方法。
12,12a〜12e 携帯端末装置
14 NAM会話管理サーバ
16 ヘッドセット
16a ヘッドフォン
16b マイク
18 計測部
18a GPS位置センサ
18b 方位センサ
20 Lombard検出部
22 通信部
22a 有声音声送信部
22b NAM送信部
22c Lombard送信部
22d 位置・方位送信部
22e 音声信号受信部
30 通信部
30a 有声音声受信部
30b NAM受信部
30c Lombard受信部
30d 位置・方位受信部
30e 音声信号送信部
32 信号処理部
32a 基本周波数算出部
32b データベース
32c 周波数・方位割り当て部
32d ささやき声変換部
32e 音声ミキシング部
Claims (9)
- NAM(Non Audible Murmur)を用いた複数人によるNAM会話を支援するNAM会話支援システムであって、
各NAM会話参加者の現在の位置を示す位置情報と各NAM会話参加者が現在向いている向きの情報とを取得する計測部と、各NAM会話参加者がNAM会話に用いる音声入出力デバイスと、前記位置情報と前記向きの情報の通信およびNAM会話中の音声信号の通信を行う通信部と、を備える各NAM会話参加者が保持する携帯端末装置と、
前記携帯端末装置から受信した前記位置情報と前記向きの情報を用いて特定される各NAM会話参加者から見たNAM発言者の現在の方位と前記NAM発言者の音声基本周波数とに基いて、各NAM会話参加者に対する前記NAM発言者の割り当て方位と前記NAM発言者の割り当て基本周波数を定め、前記割り当て方位と前記割り当て基本周波数とに基いて前記携帯端末装置から受信したNAMの無声音声信号を処理する信号処理部と、処理した前記無声音声信号を前記携帯端末装置に送信する通信部と、を備える会話管理装置と、を有し、
前記信号処理部は、前記NAM発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、予め設定された複数の分割方位と予め設定された複数の分割周波数を組とした複数のブロックから、別のNAM発言者と重複したブロックが割り当てられないように前記NAM発言者に1つのブロックを割り当てる、ことを特徴とするNAM会話支援システム。 - 前記信号処理部は、前記NAM発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、前記NAM発言者の前記現在の方位と前記NAM発言者の音声基本周波数を用いて1つのブロックを前記NAM発言者に割り当てる、請求項1に記載のNAM会話支援システム。
- 前記信号処理部は、割り当てようとするブロックがすでに別のNAM発言者に割り当てられているとき、前記割り当てようとするブロックの分割周波数または分割方位に隣接する隣接分割周波数または隣接分割方位を有する隣接ブロックの1つを割り当てる、請求項2に記載のNAM会話支援システム。
- 前記信号処理部は、前記隣接ブロックのうち、前記割り当てようとするブロックの分割周波数を有する隣接ブロックを、前記割り当てようとするブロックの分割方位を有する隣接ブロックに対して優先的に割り当てる、請求項3に記載のNAM会話支援システム。
- NAM(Non Audible Murmur)を用いた複数人によるNAM会話を支援するNAM会話支援システムであって、
各NAM会話参加者の現在の位置を示す位置情報と各NAM会話参加者が現在向いている向きの情報とを取得する計測部と、各NAM会話参加者がNAM会話に用いる音声入出力デバイスと、前記位置情報と前記向きの情報の通信およびNAM会話中の音声信号の通信を行う通信部と、を備える各NAM会話参加者が保持する携帯端末装置と、
前記携帯端末装置から受信した前記位置情報と前記向きの情報を用いて特定される各NAM会話参加者から見たNAM発言者の現在の方位と前記NAM発言者の音声基本周波数とに基いて、各NAM会話参加者に対する前記NAM発言者の割り当て方位と前記NAM発言者の割り当て基本周波数を定め、前記割り当て方位と前記割り当て基本周波数とに基いて前記携帯端末装置から受信したNAMの無声音声信号を処理する信号処理部と、処理した前記無声音声信号を前記携帯端末装置に送信する通信部と、を備える会話管理装置と、を有し、
前記信号処理部は、過去の一定時間に発言した回数又は時間の多いNAM発言者の順に優先順位を定めて、前記割り当て方位および前記割り当て基本周波数を定める、ことを特徴とするNAM会話支援システム。 - NAM(Non Audible Murmur)を用いた複数人によるNAM会話を支援するNAM会話支援システムであって、
各NAM会話参加者の現在の位置を示す位置情報と各NAM会話参加者が現在向いている向きの情報とを取得する計測部と、各NAM会話参加者がNAM会話に用いる音声入出力デバイスと、前記位置情報と前記向きの情報の通信およびNAM会話中の音声信号の通信を行う通信部と、を備える各NAM会話参加者が保持する携帯端末装置と、
前記携帯端末装置から受信した前記位置情報と前記向きの情報を用いて特定される各NAM会話参加者から見たNAM発言者の現在の方位と前記NAM発言者の音声基本周波数とに基いて、各NAM会話参加者に対する前記NAM発言者の割り当て方位と前記NAM発言者の割り当て基本周波数を定め、前記割り当て方位と前記割り当て基本周波数とに基いて前記携帯端末装置から受信したNAMの無声音声信号を処理する信号処理部と、処理した前記無声音声信号を前記携帯端末装置に送信する通信部と、を備える会話管理装置と、を有し、
前記信号処理部は、各NAM会話参加者から見て所定の距離範囲内に位置するNAM発言者に対して、当該NAM発言者の前記現在の方位と前記音声基本周波数を前記割り当て方位および前記割り当て基本周波数として設定する、ことを特徴とするNAM会話支援システム。 - NAM(Non Audible Murmur)を用いた複数人によるNAM会話を支援する会話管理装置が行うNAM会話支援方法であって、
各NAM会話参加者の現在の位置を示す位置情報と各NAM会話参加者が現在向いている向きの情報とを各NAM会話参加者が保持する携帯端末装置から受信し、
受信した前記位置情報と前記向きの情報を用いて特定される各NAM会話参加者から見たNAM発言者の現在の方位と前記NAM発言者の音声基本周波数とに基いて、各NAM会話参加者に対する前記NAM発言者の割り当て方位と前記NAM発言者の割り当て基本周波数を定め、
前記割り当て方位と前記割り当て基本周波数とに基いてNAMの無声音声信号を処理し、処理した前記無声音声信号を各NAM会話参加者に送信し、
前記NAM発言者に前記割り当て方位および前記割り当て基本周波数を定めるとき、予め設定された複数の分割方位と予め設定された複数の分割周波数を組とした複数のブロックから、別のNAM発言者と重複したブロックが割り当てられないように前記NAM発言者に1つのブロックを割り当てる、ことを特徴とするNAM会話支援方法。 - NAM(Non Audible Murmur)を用いた複数人によるNAM会話を支援する会話管理装置が行うNAM会話支援方法であって、
各NAM会話参加者の現在の位置を示す位置情報と各NAM会話参加者が現在向いている向きの情報とを各NAM会話参加者が保持する携帯端末装置から受信し、
受信した前記位置情報と前記向きの情報を用いて特定される各NAM会話参加者から見たNAM発言者の現在の方位と前記NAM発言者の音声基本周波数とに基いて、各NAM会話参加者に対する前記NAM発言者の割り当て方位と前記NAM発言者の割り当て基本周波数を定め、
前記割り当て方位と前記割り当て基本周波数とに基いてNAMの無声音声信号を処理し、処理した前記無声音声信号を各NAM会話参加者に送信し、
前記NAM発言者の割り当て方位と前記NAM発言者の割り当て基本周波数を定めるとき、過去の一定時間に発言した回数又は時間の多いNAM発言者の順に優先順位を定めて、前記割り当て方位および前記割り当て基本周波数を定める、ことを特徴とするNAM会話支援方法。 - NAM(Non Audible Murmur)を用いた複数人によるNAM会話を支援する会話管理装置が行うNAM会話支援方法であって、
各NAM会話参加者の現在の位置を示す位置情報と各NAM会話参加者が現在向いている向きの情報とを各NAM会話参加者が保持する携帯端末装置から受信し、
受信した前記位置情報と前記向きの情報を用いて特定される各NAM会話参加者から見たNAM発言者の現在の方位と前記NAM発言者の音声基本周波数とに基いて、各NAM会話参加者に対する前記NAM発言者の割り当て方位と前記NAM発言者の割り当て基本周波数を定め、
前記割り当て方位と前記割り当て基本周波数とに基いてNAMの無声音声信号を処理し、処理した前記無声音声信号を各NAM会話参加者に送信し、
前記NAM発言者の割り当て方位と前記NAM発言者の割り当て基本周波数を定めるとき、各NAM会話参加者から見て所定の距離範囲内に位置するNAM発言者に対して、当該NAM発言者の前記現在の方位と前記音声基本周波数を前記割り当て方位および前記割り当て基本周波数として設定する、ことを特徴とするNAM会話支援方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011003302A JP5594152B2 (ja) | 2011-01-11 | 2011-01-11 | Nam会話支援システムおよびnam会話支援方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011003302A JP5594152B2 (ja) | 2011-01-11 | 2011-01-11 | Nam会話支援システムおよびnam会話支援方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012147196A JP2012147196A (ja) | 2012-08-02 |
JP5594152B2 true JP5594152B2 (ja) | 2014-09-24 |
Family
ID=46790325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011003302A Expired - Fee Related JP5594152B2 (ja) | 2011-01-11 | 2011-01-11 | Nam会話支援システムおよびnam会話支援方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5594152B2 (ja) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3027793B2 (ja) * | 1994-08-03 | 2000-04-04 | 日本電信電話株式会社 | 仮想空間共有装置 |
US20050244020A1 (en) * | 2002-08-30 | 2005-11-03 | Asahi Kasei Kabushiki Kaisha | Microphone and communication interface system |
JP2006237864A (ja) * | 2005-02-23 | 2006-09-07 | Yamaha Corp | 複数話者の音声信号を処理する端末装置、サーバ装置およびプログラム |
JP5366043B2 (ja) * | 2008-11-18 | 2013-12-11 | 株式会社国際電気通信基礎技術研究所 | 音声記録再生装置 |
-
2011
- 2011-01-11 JP JP2011003302A patent/JP5594152B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012147196A (ja) | 2012-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11294619B2 (en) | Earphone software and hardware | |
EP3424229B1 (en) | Systems and methods for spatial audio adjustment | |
JP4870953B2 (ja) | モバイル装置における多感覚応用の音声強調のための方法および装置 | |
US20160302012A1 (en) | Hearing Assistance Systems Configured To Detect And Provide Protection To The User From Harmful Conditions | |
US20150319546A1 (en) | Hearing Assistance System | |
WO2015109002A2 (en) | Hearing assistance system | |
WO2019090283A1 (en) | Coordinating translation request metadata between devices | |
CN112995874B (zh) | 将两个听力设备相互耦合的方法以及听力设备 | |
WO2018088319A1 (ja) | 再生端末及び再生方法 | |
WO2016167877A1 (en) | Hearing assistance systems configured to detect and provide protection to the user harmful conditions | |
CN116324969A (zh) | 具有定位反馈的听力增强和可穿戴*** | |
WO2020142679A1 (en) | Audio signal processing for automatic transcription using ear-wearable device | |
US20210183363A1 (en) | Method for operating a hearing system and hearing system | |
JP5594152B2 (ja) | Nam会話支援システムおよびnam会話支援方法 | |
JP2007187748A (ja) | 音選択加工装置 | |
CN112188341B (zh) | 一种耳机唤醒方法、装置、耳机及介质 | |
US10805710B2 (en) | Acoustic device and acoustic processing method | |
CN114830692A (zh) | 包括计算机程序、听力设备和压力评估设备的*** | |
CN111314824A (zh) | 具有位置相关空间源生成的通信设备、通信***及相关方法 | |
US11688387B2 (en) | Hearing apparatus and related methods for evaluation of speech exposure | |
US20240259742A1 (en) | Method of self-fitting of a binaural hearing system | |
Dekens et al. | A Multi-sensor Speech Database with Applications towards Robust Speech Processing in hostile Environments. | |
JP2022110759A (ja) | 会話支援装置および会話支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20131007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140410 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140422 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140708 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140721 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5594152 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |