JP5598552B2 - 音声制御装置、音声制御方法、音声制御プログラム及び携帯端末装置 - Google Patents
音声制御装置、音声制御方法、音声制御プログラム及び携帯端末装置Info
- Publication number
- JP5598552B2 JP5598552B2 JP2012550609A JP2012550609A JP5598552B2 JP 5598552 B2 JP5598552 B2 JP 5598552B2 JP 2012550609 A JP2012550609 A JP 2012550609A JP 2012550609 A JP2012550609 A JP 2012550609A JP 5598552 B2 JP5598552 B2 JP 5598552B2
- Authority
- JP
- Japan
- Prior art keywords
- response time
- voice
- time
- unit
- voice control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 41
- 230000004044 response Effects 0.000 claims description 169
- 238000004364 calculation method Methods 0.000 claims description 98
- 238000012937 correction Methods 0.000 claims description 52
- 238000001228 spectrum Methods 0.000 claims description 43
- 230000005540 biological transmission Effects 0.000 claims description 35
- 238000006243 chemical reaction Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 22
- 238000012935 Averaging Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 33
- 230000008569 process Effects 0.000 description 21
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 19
- 238000009499 grossing Methods 0.000 description 13
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 206010011878 Deafness Diseases 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 230000010370 hearing loss Effects 0.000 description 4
- 231100000888 hearing loss Toxicity 0.000 description 4
- 208000016354 hearing loss disease Diseases 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000009118 appropriate response Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 235000015220 hamburgers Nutrition 0.000 description 1
- 238000012074 hearing test Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/04—Time compression or expansion
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16Z—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS, NOT OTHERWISE PROVIDED FOR
- G16Z99/00—Subject matter not provided for in other main groups of this subclass
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
- A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/12—Audiometering
- A61B5/121—Audiometering evaluating hearing capacity
- A61B5/123—Audiometering evaluating hearing capacity subjective methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
- H04M1/6025—Substation equipment, e.g. for use by subscribers including speech amplifiers implemented as integrated speech networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/74—Details of telephonic subscriber devices with voice recognition means
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Otolaryngology (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Telephone Function (AREA)
- Telephonic Communication Services (AREA)
Description
本発明は、受話音を制御する音声制御装置、音声制御方法、音声制御プログラム及び携帯端末装置に関する。
従来から、受話音声を聞きやすくするための制御を行う携帯端末装置がある。例えば、ユーザに対して複数の単音周波数信号を再生し、ユーザの聴取結果に基づいて最低聴取レベルを算出し、音声を加工する技術がある（特許文献１）。
また、案内音声の出力から所定時間内に案内音声の聞き返しを示す操作信号が出力された場合、案内音声の出力態様を示す設定値を調整して案内音声を再出力する技術がある（特許文献２）。
しかしながら、特許文献１では、ユーザが聴力検査を実施する必要があるため、ユーザに対し煩雑な処理を強いることになり、使い勝手が悪いという問題点がある。また、特許文献２では、聞き返し操作を行わなければ案内音声を調整しないため、ユーザによる聞き返し操作が必要であるという問題点がある。
そこで、開示の技術は、上記問題点に鑑みてなされたものであり、ユーザに負担を強いることなく、ユーザの聴力に応じて音声制御を行うことができる音声制御装置、音声制御方法及び音声制御プログラムを提供することを目的とする。
開示の一態様の音声制御装置は、受話信号の音声と送話信号の音声との時間差を表す応答時間を算出する算出部と、算出された前記応答時間に基づいてユーザの聴力を推定する聴力推定部と、推定された前記聴力に応じた補正量により前記受話信号を制御する音声制御部と、を備える。
開示の技術によれば、ユーザに負担を強いることなく、ユーザの聴力に応じて音声制御を行うことができる。
１０１、１０３ 時間周波数変換部
１０５、２０５ 応答時間算出部
１０７、２０７ 聴力推定部
１０９、４０３ 音声制御部
１１１ 周波数時間変換部
１５１ 第１音声判定部
１５３ 第２音声判定部
１５５、２５１、３０３ 時間差算出部
１７１、２７３ 時間平均部
１７３ バッファ
１７５ 聴力特性推定部
１９１、４３３ スペクトル制御部
１９３ 補正量算出部
２０１、２０３ 時間長算出部
２７１ 係数変更部
３０１ 明瞭度算出部
４０１ 評価部
４１１ バッファ制御部
４１３ バッファ
４１５ 比較部
４１７ 信号生成部
４３１ ゲイン調整部
１０５、２０５ 応答時間算出部
１０７、２０７ 聴力推定部
１０９、４０３ 音声制御部
１１１ 周波数時間変換部
１５１ 第１音声判定部
１５３ 第２音声判定部
１５５、２５１、３０３ 時間差算出部
１７１、２７３ 時間平均部
１７３ バッファ
１７５ 聴力特性推定部
１９１、４３３ スペクトル制御部
１９３ 補正量算出部
２０１、２０３ 時間長算出部
２７１ 係数変更部
３０１ 明瞭度算出部
４０１ 評価部
４１１ バッファ制御部
４１３ バッファ
４１５ 比較部
４１７ 信号生成部
４３１ ゲイン調整部
まず、年齢と聴力との関係について説明する。聴力は、例えば最小可聴域である。図１は、年齢による聴力レベルの変化を示す図である。図１に示す実験によれば、４０歳代と６０歳代とでは平均聴力レベルが異なることが分かる。６０歳代の平均聴力レベルが高域（２ｋＨｚ〜４ｋＨｚ）で顕著に落ち込んでいる。また、年齢による聴力低下については、http://tri-osaka.jp/group/infoele/life/sense/data/katagiri/070622.pdfにも調査結果が報告されている。
図１に示すように、加齢により聴力レベルが落ちることが既に知られている。特に、高周波領域において、年齢を重ねるにつれ、聴力レベルが低下する。
ここで、加齢に伴い、聴力が低下したり脳の情報処理能力が低下したりし、会話における応答時間も遅くなると考えられる。例えばhttp://www.caa.go.jp/seikatsu/keizaijikken/nousan2-1.pdfの第2章を参照されたい。
そこで、以下では、通話中における応答時間に着目し、応答時間からユーザの聴力を推定し、推定した聴力に応じて受話音を制御し、受話音を聞きやすくする実施例について説明する。以下、図面に基づいて各実施例を説明する。
［実施例１］
＜構成＞
実施例１における音声制御装置１の構成について説明する。図２は、実施例１における音声制御装置１の構成の一例を示すブロック図である。図２に示すように、音声制御装置１は、時間周波数変換部１０１、１０３、応答時間算出部１０５、聴力推定部１０７、音声制御部１０９、周波数時間変換部１１１を含む。
＜構成＞
実施例１における音声制御装置１の構成について説明する。図２は、実施例１における音声制御装置１の構成の一例を示すブロック図である。図２に示すように、音声制御装置１は、時間周波数変換部１０１、１０３、応答時間算出部１０５、聴力推定部１０７、音声制御部１０９、周波数時間変換部１１１を含む。
時間周波数変換部１０１は、受話音ｘに対して、次の式（１）により時間周波数変換を行って受話音スペクトルF（j）に変換する。時間周波数変換は、例えば、高速フーリエ変換（FFT）とする。
n：FFT分析長（例えば２５６）
j：周波数bin
k：ナイキスト周波数
時間周波数変換部１０１は、求めた受話音スペクトルを応答時間算出部１０５、音声制御部１０９に出力する。
時間周波数変換部１０３は、マイク１１３から入力された送話音声yに対して、前述した式（１）と同様にして時間周波数変換を行って送話音スペクトルに変換する。時間周波数変換は、例えば、高速フーリエ変換（FFT）とする。
時間周波数変換部１０３は、求めた送話音スペクトルを応答時間算出部１０５に出力する。
応答時間算出部１０５は、受話信号と送話信号との時間差を表す応答時間を算出する。図３は、実施例１における応答時間算出部１０５の構成の一例を示すブロック図である。図３に示す例では、応答時間算出部１０５は、第１音声判定部１５１、第２音声判定部１５３、時間差算出部１５５を含む。
第１音声判定部１５１は、音声と雑音が混ざり合ったフレーム単位の受話信号に対して、音声か非音声かを判定する。第１音声判定部１５１は、公知の技術を用いて音声か非音声かの判定を行なえばよい。
例えば、特許第３８４９１１６号公報では、入力信号のフレーム毎に、電力、零交差率、パワースペクトルのピーク周波数、ピッチ周期等を用いて算出した第１の音声特徴量と、パワースペクトルのピーク周波数の高次成分のみの相違を基に算出した第２の音声特徴量を基に音声か非音声かの判定を行なう。
第１音声判定部１５１は、受話信号に対する音声か非音声かの判定結果を時間差算出部１５５に出力する。
第２音声判定部１５３は、音声と雑音が混ざり合ったフレーム単位の送話信号に対して、音声か非音声かを判定する。第２音声判定部１５３は、音声か非音声かの判定について、第１音声判定部１５１と同様に公知の技術を用いればよい。第２音声判定部１５３は、送話信号に対する音声か非音声かの判定結果を時間差算出部１５５に出力する。
時間差算出部１５５は、受話信号の音声区間の終了時刻と、送話信号の音声区間の開始時刻との時間差を応答時間として算出する。時間差算出部１５５は、算出した応答時間を聴力推定部１０７に出力する。
図４は、応答時間を説明するための図である。図４に示す例では、時間差算出部１５５は、受話信号の音声区間の終了時刻T1と送話信号の音声区間の開始時刻T2とを用いて応答時間RTを次の式（２）により求める。
RT＝T2−T1 ・・・式（２）
図５は、応答時間の例外を説明するための図である。図５に示す例では、時間差算出部１５５は、送話信号の音声区間の開始時刻T2が受話信号の音声区間の終了時刻T1よりも先である（T2＜T1）場合、応答時間を算出しない。これにより、相槌などで受話音声と送話音声とが重なる場合を除去することができる。
RT＝T2−T1 ・・・式（２）
図５は、応答時間の例外を説明するための図である。図５に示す例では、時間差算出部１５５は、送話信号の音声区間の開始時刻T2が受話信号の音声区間の終了時刻T1よりも先である（T2＜T1）場合、応答時間を算出しない。これにより、相槌などで受話音声と送話音声とが重なる場合を除去することができる。
応答時間算出部１０５は、応答時間の求め方は前述した例に限られず、簡易的に送話音量や受話音量を用いて音量が所定の閾値より大きい場合を音声とみなして応答時間を算出するようにしてもよい。応答時間算出部１０５は、受話信号のパラメータと送話信号のパラメータとを用いて、応答時間を算出すればよい。
図２に戻り、聴力推定部１０７は、応答時間算出部１０５から応答時間を取得し、応答時間からユーザの聴力を推定する。聴力推定部１０７は、応答時間と聴力特性（例えば最小可聴値）とを対応付けた情報を保持しておき、取得した応答時間に対応する最小可聴値を特定する。
また、聴力推定部１０７は、応答時間の平均値から最小可聴値を取得するようにしてもよい。図６は、実施例１における、応答時間の平均値から聴力を推定する場合の聴力推定部１０７の構成の一例を示すブロック図である。
図６に示す例では、聴力推定部１０７は、時間平均部１７１、バッファ１７３、聴力特性推定部１７５を含む。時間平均部１７１は、応答時間を時間方向に平均化した平均応答時間を算出する。バッファ１７３は、過去の平均応答時間を記憶しておく。
時間平均部１７１は、例えば、次の式により平均応答時間を算出する。
AVE_RT_PREV：過去の平均応答時間
COEF：平滑化係数（例えば０．９）
時間平均部１７１は、式（３）により求めた平均応答時間を聴力特性推定部１７５に出力し、式（４）により過去の平均応答時間を更新してバッファ１７３に記憶する。これにより、応答時間の局所的なバラつきの影響を軽減することができる。
聴力特性推定部１７５は、取得した平均応答時間から聴力特性（例えば最小可聴値）を推定する。図７は、平均応答時間と聴力特性との関係を示す図である。図７に示すA1の聴力特性は平均応答時間が４秒に対応し、A2の聴力特性は平均応答時間が２秒に対応し、A3の聴力特性は平均応答時間が１秒に対応する。
平均応答時間の４秒は６０代の平均値を表し、平均応答時間の２秒は４０代の平均値を表し、平均応答時間の１秒は２０代の平均値を表す。なお、この４、２、１という数値は、各年代の平均応答時間を実験により求め、適切な値を設定するようにすればよい。
聴力特性推定部１７５は、図７に示すような情報を用いて、時間平均部１７１から取得した平均応答時間に対応する聴力特性を特定する。聴力特性推定部１７５は、特定した聴力特性を音声制御部１０９に出力する。
なお、聴力推定部１０７は、応答時間、又は平均応答時間が所定の閾値以上の場合は、聴力を推定しない。これにより、会話が途切れたり話題が変わったりした際に生じる長い間（ま）の影響を除去することができる。所定の閾値は、例えば、実験した最年長の年代の平均応答時間より長くしておけばよい。
図２に戻り音声制御部１０９は、聴力推定部１０７から取得した聴力特性に応じた補正量を用いて、時間周波数変換部１０１から取得した受話信号（受話音スペクトル）を制御する。例えば、音声制御部１０９は、推定されたユーザの聴力特性（例えば最小可聴値）以上になるように、受話信号を制御する。
図８は、実施例１における音声制御部１０９の構成の一例を示すブロック図である。図８に示す例では、音声制御部１０９は、スペクトル制御部１９１、補正量算出部１９３を含む。
補正量算出部１９３は、聴力推定部１０７から聴力特性を取得し、取得した聴力特性に応じた補正量を算出する。補正量算出部１９３は、算出した補正量をスペクトル制御部１９１に出力する。図９は、補正量の算出を説明するための図である。
図９に示すB1は、聴力低下量を表す。聴力低下量とは、ユーザの推定された最小可聴値から20歳代の最小可聴値を減算した量である。図９に示すB2は、補正量を表す。補正量は、例えば聴力低下量の半分とする。この補正量は、例えば強調ゲインである。
補正量は、補聴器などで用いられる様々なゲイン算出法を適用可能である。ゲイン算出の一例として、前述したハーフゲイン法によるゲイン算出法がある。ゲイン算出法については、http://www.okayama.med.or.jp/ishi/bukai/h18kenshukai/05.pdf（ハーフゲイン法、POGO法、NAL法）、http://www.tokyo-hotyouki.co.jp/siryou.htm（ハーフゲイン法、シャピロ法、クリンバイル法、バーガー法、POGO法）を参照されたい。
図８に戻り、スペクトル制御部１９１は、補正量算出部１９３から取得した補正量を用いて受話信号を制御する。例えば、スペクトル制御部１９１は、受話音スペクトルの各周波数の電力について、補正量（例えば強調ゲイン量）を以下の式（５）により増幅する。
F（j）：受話音スペクトル
gain（j）：補正量
図１０は、スペクトル制御の一例を示す図である。図１０に示すC2は、制御前の受話音スペクトルを表し、C1は制御後の受話音スペクトルを表す。スペクトル制御部１９１は、補正量算出部１９３から取得した補正量により、C2の受話音スペクトルを増幅し、C1の受話音スペクトルに制御する。スペクトル制御部１９３は、制御した受話音スペクトルを周波数時間変換部１１１に出力する。
図２に戻り、周波数時間変換部１１１は、音声制御部１０９から制御された受話音スペクトルを取得し、周波数時間変換を行って、受話信号を時間領域に変換する。周波数時間変換部１１１は、例えば次の式（６）により受話信号を時間領域に変換する。
n：FFTの分析長（例えば２５６）
j：周波数bin
k：ナイキスト周波数
スピーカ１１５は、時間領域に変換された受話信号を出力する。これにより、ユーザは、端末操作を意識することなく端末を通じて会話をするだけで、ユーザの聴力に応じた処理音（受話音）を聞くことができる。
＜動作＞
次に、実施例１における音声制御装置１の動作について説明する。図１１は、実施例１における音声制御の一例を示すフローチャートである。
次に、実施例１における音声制御装置１の動作について説明する。図１１は、実施例１における音声制御の一例を示すフローチャートである。
図１１に示すステップＳ１０１で、音声制御装置１は、受話信号、送話信号を入力する。
ステップＳ１０２で、時間周波数変換部１０１、１０３は、例えば、式（１）により入力信号を時間−周波数変換（FFT）する。
ステップＳ１０３で、応答時間算出部１０５は、受話信号に対する送話信号の応答時間を算出する。例えば、応答時間算出部１０５は、受話信号と送話信号との音声区間を判定し、受話信号の音声区間の終了時刻から送話信号の音声区間の開始時刻までの時間差を算出する。
ステップＳ１０４で、聴力推定部１０７は、応答時間からユーザの聴力を推定する。例えば、聴力推定部１０７は、応答時間又は平均応答時間に対応する聴力特性を保持しておき（例えば図７参照）、算出された応答時間又は平均応答時間に対応する聴力特性を取得する。聴力特性は、例えば最小可聴値とする。
ステップＳ１０５で、音声制御部１０９は、推定された聴力特性に応じた補正量で受話信号を制御し（例えば図９、１０参照）、制御した信号を周波数時間変換部１１１に出力する。
ステップＳ１０６で、周波数時間変換部１１１は、音声制御部１０９から出力された受話信号を周波数−時間変換（IFFT）し、時間領域の受話信号に変換する。
以上、実施例１によれば、ユーザの応答時間からユーザの聴力を推定し、推定したユーザの聴力に応じて音声制御を行うことができる。また、実施例１によれば、平均応答時間を算出し、平均応答時間からユーザの聴力を推定することで、応答時間の局所的なバラつきを除去することができる。
また、実施例１によれば、受話信号と送話信号とが時間的に重なった場合は応答時間を算出しないことで、不適切な応答時間の算出を防止することができる。また、実施例１によれば、応答時間が長すぎる場合には聴力推定を行わないことで、適切な応答時間に基づいて聴力推定を行うことができる。
［実施例２］
次に、実施例２における音声制御装置２について説明する。実施例２では、受話信号の音声区間の時間長や送話信号の音声区間の時間長を算出し、算出した時間長を応答時間の算出に考慮する。
次に、実施例２における音声制御装置２について説明する。実施例２では、受話信号の音声区間の時間長や送話信号の音声区間の時間長を算出し、算出した時間長を応答時間の算出に考慮する。
＜構成＞
図１２は、実施例２における音声制御装置２の構成の一例を示すブロック図である。図１２に示す音声制御装置２は、時間周波数変換部１０１、１０３、時間長算出部２０１、２０３、応答時間算出部２０５、聴力推定部２０７、音声制御部１０９、周波数時間変換部１１１を含む。
図１２は、実施例２における音声制御装置２の構成の一例を示すブロック図である。図１２に示す音声制御装置２は、時間周波数変換部１０１、１０３、時間長算出部２０１、２０３、応答時間算出部２０５、聴力推定部２０７、音声制御部１０９、周波数時間変換部１１１を含む。
図１２に示す構成で、図２に示す構成と同様のものは同じ符号を付し、その説明を省略する。図１２に示す時間長算出部２０１は、受話信号の音声区間の時間長を算出する。時間長算出部２０１は、前述した第１音声判定部１５１と同様にして、受話信号の音声区間を判定し、その音声区間の時間長を算出する。
図１３は、時間長算出を説明するための図である。図１３に示すように、時間長算出部２０１は、受話信号の音声区間の開始時刻T0から終了時刻T1までの時間長L1を算出する。時間長算出部２０１は、算出した受話音声の時間長L1を応答時間算出部２０５、聴力推定部２０７に出力する。
時間長算出部２０３は、送話信号の音声区間の時間長を算出する。時間長算出部２０３は、前述した第２音声判定部１５３と同様にして、送話信号の音声区間を判定し、その音声区間の時間長L2を算出する。時間長算出部２０３は、算出した送話音声の時間長L2を応答時間算出部２０５に出力する。
応答時間算出部２０５は、受話音声の時間長及び／又は送話信号の時間長に基づいて、応答時間を算出するか否かを判断する。図１４は、実施例２における応答時間算出部２０５の構成の一例を示すブロック図である。
図１４に示す応答時間算出部２０５は、第１音声判定部１５１、第２音声判定部１５３、時間差算出部２５１を含む。図１４に示す構成で、図３に示す構成と同様のものは同じ符号を付し、その説明を省略する。
時間差算出部２５１は、時間長算出部２０１から受話音声の時間長L1、時間長算出部２０３から送話音声の時間長L2を取得する。時間差算出部２５１は、第１音声判定部１５１から受話音声の終了時刻T1、第２音声判定部１５３から送話音声の開始時刻T2を取得する。
時間差算出部２５１は、受話音声の時間長L1が所定の閾値よりも短い場合に、受話音声を会話とはみなさず、応答時間を算出しない。所定の閾値は、実験により会話における受話音声の長さを計測し、適切な値が設定されればよい。これにより、受話音声における聞き返しの一言などに基づき応答時間が算出されることを除外することができる。
時間差算出部２５１は、送話音声の時間長L2が所定の閾値よりも短い場合に、送話音声を会話とはみなさず、応答時間を算出しない。所定の閾値は、実験により会話における送話音声の長さを計測し、適切な値が設定されればよい。これにより、送話音声における聞き返しの一言などに基づき応答時間が算出されることを除外することができる。応答時間の算出については、実施例１と同様とする。
なお、時間長算出部２０１、２０３の機能は、時間差算出部２５１に実装されてもよい。時間差算出部２５１は、受話信号の音声区間と、送話信号の音声区間を知ることができるからである。また、時間差算出部２５１は、受話音声の時間長、送話信号の時間長のいずれかのみを用いて、応答時間を算出するか否かを判定するようにしてもよい。
図１２に戻り、聴力推定部２０７は、応答時間算出部２０５により算出された応答時間に基づきユーザの聴力を推定する。なお、聴力推定部２０７は、平均応答時間を求める場合、実施例１とはその処理が異なるので、以下に説明する。
図１５は、実施例２における、応答時間の平均値から聴力を推定する場合の聴力推定部２０７の構成の一例を示すブロック図である。図１５に示す聴力推定部２０７は、係数変更部２７１、時間平均部２７３、バッファ１７３、聴力特性推定部１７５を含む。図１５に示す構成で、図６に示す構成と同様のものは同じ符号を付し、その説明を省略する。
係数変更部２７１は、受話音声の時間長により応答時間の時間平均に用いる平滑化係数を更新（変更）する。係数変更部２７１は、例えば、受話音声の時間長が長い場合、平滑化係数を大きくし、受話音声の時間長が短い場合、平滑化係数を小さくする。
これは、長い受話音声に対する応答時間の寄与度を大きくするためである。年をとると長い音声ほど覚えきれなくなるため、長い音声に対する応答時間の平均値は、各年代による応答時間の変化を示しやすくなると考えられる。
図１６は、受話音声の時間長と平滑化係数の関係を示す図である。係数変更部２７１は、例えば、図１６に示すような情報を保持しておき、受話音声の時間長L1に対応する平滑化係数COEFを取得する。図１６に示すように、時間長L1が大きくなれば平滑化係数COEFも大きくなる。係数変更部２７１は、取得した平滑化係数を時間平均部２７３に出力する。
図１５に戻り、時間平均部２７３は、係数変更部２７１から取得した平滑化係数を用いて応答時間の平均値（平均応答時間）を算出する。平均応答時間は、前述した式（３）により求められる。時間平均部２７３は、求めた平均応答時間を聴力特性推定部１７５に出力し、求めた平均応答時間を過去の平均応答時間としてバッファ１７３に記憶する。なお、受話信号の時間長L1は、平滑化係数を求めるためだけに用いられるようにしてもよい。以降の処理は、実施例１と同様である。
＜動作＞
次に、実施例２における音声制御装置２の動作について説明する。図１７は、実施例２における音声制御処理の一例を示すフローチャートである。図１７に示すフローは、受話音声の時間長に対応する平滑化係数を用いて平均応答時間を算出する処理のフローである。
次に、実施例２における音声制御装置２の動作について説明する。図１７は、実施例２における音声制御処理の一例を示すフローチャートである。図１７に示すフローは、受話音声の時間長に対応する平滑化係数を用いて平均応答時間を算出する処理のフローである。
図１７に示すステップＳ２０１、Ｓ２０２、Ｓ２０６、Ｓ２０７は、図１１に示すステップＳ１０１、Ｓ１０２、Ｓ１０５、Ｓ１０６とそれぞれ同様であるため、その説明を省略する。
ステップＳ２０３で、時間長算出部２０１は、受話信号における音声区間の時間長を算出する。
ステップＳ２０４で、応答時間算出部２０５は、受話信号に対する送話信号の応答時間を算出する。このとき、受話音声の時間長及び／又は送話信号の時間長が閾値より短ければ応答時間を算出しなくてもよい。
ステップＳ２０５で、聴力推定部２０７は、受話音声の時間長に応じた平滑化係数を用いて、平均応答時間を算出する。聴力推定部２０７は、算出した平均応答時間に基づきユーザの聴力特性を推定する。以降の処理は実施例１と同様である。
以上、実施例２によれば、受話信号における音声区間の時間長及び／又は送話信号における音声区間の時間長を算出し、応答時間を算出するか否かを判定することで、適切な会話における応答時間を算出することができる。また、実施例２によれば、受話信号における音声区間の時間長が長いときの応答時間の重みを大きくして平均応答時間を算出することで、各年代による応答時間の差をより顕著にすることができる。
［実施例３］
次に、実施例３における音声制御装置について説明する。実施例３における音声制御装置は、受話信号の明瞭度を算出して、受話信号が明瞭である場合に応答時間を算出する。
次に、実施例３における音声制御装置について説明する。実施例３における音声制御装置は、受話信号の明瞭度を算出して、受話信号が明瞭である場合に応答時間を算出する。
＜構成＞
実施例３における音声制御装置の構成については、図２と同様である。実施例３では、応答時間算出部１０５の構成が実施例１と異なるため、以下に説明する。図１８は、実施例３における応答時間算出部１０５の構成の一例を示すブロック図である。
実施例３における音声制御装置の構成については、図２と同様である。実施例３では、応答時間算出部１０５の構成が実施例１と異なるため、以下に説明する。図１８は、実施例３における応答時間算出部１０５の構成の一例を示すブロック図である。
図１８に示す応答時間算出部１０５は、第１音声判定部１５１、第２音声判定部１５３、明瞭度算出部３０１、時間差算出部３０３を含む。図１８に示す構成で、図３に示す構成と同様のものは同じ符号を付し、その説明を省略する。
明瞭度算出部３０１は、受話信号の明瞭度を算出する。明瞭度算出部３０１は、例えば、受話信号のパワースペクトルの傾きにより音声の明瞭度を判定できる。パワースペクトルの傾きが小さい場合、明瞭度が低く、パワースペクトルの傾きが大きい場合、明瞭度が大きい。
明瞭度算出部３０１は、低域（０−２ｋHz）の平均パワーPW_lと、高域（２−４kＨｚ）の平均パワーＰＷ_hとを算出する。明瞭度算出部３０１は、例えば、以下の式（７）により明瞭度を算出する。
CL＝ＰＷ_h−ＰＷ_l ・・・式（７）
CL：明瞭度
明瞭度算出部３０１は、算出した明瞭度CLを時間差算出部３０３に出力する。
CL＝ＰＷ_h−ＰＷ_l ・・・式（７）
CL：明瞭度
明瞭度算出部３０１は、算出した明瞭度CLを時間差算出部３０３に出力する。
時間差算出部３０３は、取得した明瞭度CLの絶対値が閾値よりも大きい場合に受話信号は明瞭であるとして応答時間を算出する。閾値は、例えば３dＢ（デシベル）とする。時間差算出部３０３は、取得した明瞭度CLが閾値以下の場合には応答時間を算出しない。これは、受話音声の明瞭度が低い場合には聴力に関わらず聞きづらいため、この影響を除去するためである。時間差算出部３０３は、算出した応答時間を聴力推定部１０７に出力する。以降の処理は、実施例１と同様である。
＜動作＞
次に、実施例３における音声制御装置の動作について説明する。図１９は、実施例３における音声制御処理の一例を示すフローチャートである。図１９に示すステップＳ３０１、Ｓ３０２、Ｓ３０５〜Ｓ３０７は、図１１に示すステップＳ１０１、Ｓ１０２、Ｓ１０４〜Ｓ１０６とそれぞれ同様であるため、その説明を省略する。
次に、実施例３における音声制御装置の動作について説明する。図１９は、実施例３における音声制御処理の一例を示すフローチャートである。図１９に示すステップＳ３０１、Ｓ３０２、Ｓ３０５〜Ｓ３０７は、図１１に示すステップＳ１０１、Ｓ１０２、Ｓ１０４〜Ｓ１０６とそれぞれ同様であるため、その説明を省略する。
ステップＳ３０３で、明瞭度算出部３０１は、受話信号の明瞭度を算出する。明瞭度算出部３０１は、例えば、受話信号のパワースペクトルの傾きにより音声の明瞭度を判定する。
ステップＳ３０４で、時間差算出部３０３は、算出された明瞭度が所定の閾値を超える場合に応答時間を算出する。以降の処理は、実施例１と同様である。
以上、実施例３によれば、受話信号の明瞭度を算出し、受話信号が明瞭な場合に応答時間を算出して聴力を推定するので、高精度に聴力を推定することができる。
［実施例４］
次に、実施例４における音声制御装置４について説明する。実施例４では、応答時間による時間変化から音声制御による効果を評価し、音声制御にフィードバックする。
次に、実施例４における音声制御装置４について説明する。実施例４では、応答時間による時間変化から音声制御による効果を評価し、音声制御にフィードバックする。
＜構成＞
図２０は、実施例４における音声制御装置４の構成の一例を示すブロック図である。図２０に示す音声制御装置４は、時間周波数変換部１０１、１０３、応答時間算出部１０５、聴力推定部１０７、周波数時間変換部１１１、評価部４０１、音声制御部４０３を含む。図２０に示す構成で、図２に示す構成と同様のものは同じ符号を付し、その説明を省略する。
図２０は、実施例４における音声制御装置４の構成の一例を示すブロック図である。図２０に示す音声制御装置４は、時間周波数変換部１０１、１０３、応答時間算出部１０５、聴力推定部１０７、周波数時間変換部１１１、評価部４０１、音声制御部４０３を含む。図２０に示す構成で、図２に示す構成と同様のものは同じ符号を付し、その説明を省略する。
評価部４０１は、応答時間算出部１０５から取得する応答時間と、音声制御部４０３から取得する補正量とから、受話信号の補正量を調整するための制御信号を生成する。
図２１は、実施例４における評価部４０１の構成の一例を示すブロック図である。図２１に示す評価部４０１は、バッファ制御部４１１、バッファ４１３、比較部４１５、信号生成部４１７を含む。
バッファ制御部４１１は、応答時間算出部１０５から応答時間を取得し、音声制御部４０３から受話信号の補正量を取得する。バッファ制御部４１１は、音声制御前の応答時間RT_aをバッファ４１３に記憶し、音声制御後の応答時間RT_bを比較部４１５に出力する。
バッファ４１３は、音声制御部４０３により音声制御前の応答時間RT_aを記憶する。
比較部４１５は、バッファ４１３から読み出した制御前の応答時間RT_aと、バッファ制御部４１１から取得した制御後の応答時間RT_bとを比較し、比較結果を信号生成部４１７に出力する。
信号生成部４１７は、比較部４１５から取得した比較結果に基づいて、受話信号を制御するための制御信号を生成する。信号生成部４１７は、生成した制御信号を音声制御部４０３に出力する。
信号生成部４１７は、例えば、次の制御信号S0〜S2を生成する。
S0：変更前のゲインに戻すための制御信号
S1：ゲインを強めるための制御信号
S2：ゲインを弱めるための制御信号
信号生成部４１７は、応答時間が低減した場合、さらにゲイン強調を行うよう制御信号S1を生成する。応答時間が低減する場合、ゲイン変更の効果があると考えられるからである。信号生成部４１７は、応答時間が低減しなくなるまで、ゲイン強調を行うための制御信号を生成する。
S0：変更前のゲインに戻すための制御信号
S1：ゲインを強めるための制御信号
S2：ゲインを弱めるための制御信号
信号生成部４１７は、応答時間が低減した場合、さらにゲイン強調を行うよう制御信号S1を生成する。応答時間が低減する場合、ゲイン変更の効果があると考えられるからである。信号生成部４１７は、応答時間が低減しなくなるまで、ゲイン強調を行うための制御信号を生成する。
信号生成部４１７は、応答時間が低減しない場合、変更前のゲインに戻してゲインを弱めるよう制御信号S0、S２を生成する。応答時間が低減しない場合、ゲイン変更の効果がないと考えられるからである。信号生成部４１７は、ゲインを変更前に戻した後、応答時間が低減しなくなるまで、ゲインを弱める。ユーザにとって、そもそものゲインが強調されすぎて聞こえづらくなっている場合もあるからである。
図２０に戻り、音声制御部４０３は、評価部４０１から取得した制御信号に基づいて補正量を調整し、調整された補正量を用いて受話信号の制御を行う。補正量は、例えばゲインである。
図２２は、実施例４における音声制御部４０３の構成の一例を示すブロック図である。図２２に示す音声制御部４０３は、補正量算出部１９３、ゲイン調整部４３１、スペクトル制御部４３３を含む。図２２に示す構成において、図８に示す構成と同様であるものは同じ符号を付し、その説明を省略する。
ゲイン調整部４３１は、聴力特性（例えば最小可聴値）から算出した補正量に対して、制御信号に基づき補正量を調整する。ゲイン調整部４３１は、以下の式（８）により補正量（ゲイン）を調整する。
gain'（j）＝gain（j）＋D ・・・式（８）
gain（j）：補正量（強調ゲイン）
j：周波数bin（j＝１〜２５６）
D：ゲイン調整量
gain'（j）：調整後の補正量
ゲイン調整部４３１は、調整量Dを制御信号により変更する。ゲイン調整部４３１は、制御信号S0を取得した場合、調整量Dを前回補正した量だけ減算されるように設定する。これにより、ゲインを制御前に戻すことができる。
gain'（j）＝gain（j）＋D ・・・式（８）
gain（j）：補正量（強調ゲイン）
j：周波数bin（j＝１〜２５６）
D：ゲイン調整量
gain'（j）：調整後の補正量
ゲイン調整部４３１は、調整量Dを制御信号により変更する。ゲイン調整部４３１は、制御信号S0を取得した場合、調整量Dを前回補正した量だけ減算されるように設定する。これにより、ゲインを制御前に戻すことができる。
ゲイン調整部４３１は、制御信号S1を取得した場合、調整量Dに所定の値を設定し、さらにゲインが強調されるようにする。
ゲイン調整部４３１は、制御信号S2を取得した場合、調整量Dに所定のマイナスの値を設定し、ゲインを弱めるようにする。
ゲイン調整部４３１は、調整した補正量gain'（j）をスペクトル制御部４３３に出力する。
スペクトル制御部４３３は、ゲイン調整部４３１から取得した補正量を用いて、受話音スペクトルを制御する。制御の仕方は実施例１と同様である。
＜動作＞
次に、実施例４における音声制御装置４の動作について説明する。図２３は、実施例４における音声制御処理の一例を示すフローチャートである。図２３に示すステップＳ４０１〜Ｓ４０４、Ｓ４０９は、図１１に示すステップＳ１０１〜Ｓ１０４、Ｓ１０６とそれぞれ同様であるため、その説明を省略する。
次に、実施例４における音声制御装置４の動作について説明する。図２３は、実施例４における音声制御処理の一例を示すフローチャートである。図２３に示すステップＳ４０１〜Ｓ４０４、Ｓ４０９は、図１１に示すステップＳ１０１〜Ｓ１０４、Ｓ１０６とそれぞれ同様であるため、その説明を省略する。
ステップＳ４０５で、補正量算出部１９３は、推定された聴力特性に応じて補正量を算出する。聴力特性は、例えば最小可聴値であり、補正量は、例えばゲインである。
ステップＳ４０６で、信号生成部４１７は、応答時間の時間変化に基づき、補正量を調整するための制御信号を生成する。
ステップＳ４０７で、ゲイン調整部４３１は、前述したように、制御信号に応じて補正量を調整する。
ステップＳ４０８で、スペクトル制御部４３３は、調整した補正量に応じて受話信号（受話音スペクトル）を制御し、制御した受話信号を周波数時間変換部１１１に出力する。以降の処理は、実施例１と同様である。
次に、実施例４における制御信号生成処理について説明する。図２４は、制御信号生成処理の一例を示すフローチャートである。図２４に示すステップＳ５０１で、比較部４１５は、制御前の応答時間RT_aが制御後の応答時間ＲＴ_bより大きいかを判定する。RT_a＞RT_bであれば（ステップＳ５０１−ＹＥＳ）ステップＳ５０２に進み、RT_a＞RT_bでなければ（ステップＳ５０１−ＮＯ）ステップＳ５０５に進む。
ステップＳ５０２で、信号生成部４１７は、制御信号S1を音声制御部４０３に出力する。
ステップＳ５０３で、比較部４１５は、更新されたRT_aが更新されたRT_bより大きいかを判定する。更新されたRT_aは、ステップＳ５０２の処理前のRT_bであり、更新されたRT_bは、ステップＳ５０２の処理後に算出された応答時間である。
RT_a＞RT_bであれば（ステップＳ５０３−ＹＥＳ）ステップＳ５０２に戻ってゲインの強調を行い、RT_a＞RT_bでなければ（ステップＳ５０３−ＮＯ）ステップＳ５０４に進む。
ステップＳ５０４で、信号生成部４１７は、制御信号S0を音声制御部４０３に出力する。これにより、補正量が最適な値に設定される。
ステップＳ５０５で、信号生成部４１７は、制御信号S0を音声制御部４０３に出力する。ステップＳ５０５は、ゲイン強調の効果がなかったため、制御前のゲインに戻す処理である。
ステップＳ５０６で、信号生成部４１７は、制御信号S2を音声制御部４０３に出力する。これにより、補正量を弱めることができる。
ステップＳ５０７で、比較部４１５は、更新されたRT_aが、更新されたRT_bより大きいかを判定する。更新されたRT_aは、ステップＳ５０６の処理前のRT_bであり、更新されたRT_bは、ステップＳ５０６の処理後に算出された応答時間である。
RT_a＞RT_bであれば（ステップＳ５０７−ＹＥＳ）ステップＳ５０６に戻ってゲインの低減を行い、RT_a＞RT_bでなければ（ステップＳ５０７−ＮＯ）ステップＳ５０８に進む。
ステップＳ５０８で、信号生成部４１７は、制御信号S0を音声制御部４０３に出力する。これにより、補正量が最適な値に設定される。
以上、実施例４によれば、応答時間による時間変化から音声制御による効果を評価し、音声制御にフィードバックすることができる。
［変形例］
次に、変形例における携帯端末装置について説明する。変形例では、各実施例の音声制御装置を携帯端末装置に実装した例について説明する。
次に、変形例における携帯端末装置について説明する。変形例では、各実施例の音声制御装置を携帯端末装置に実装した例について説明する。
図２５は、変形例における携帯端末装置を説明するための図である。図２５に示す携帯端末装置６０９は、基地局６０７に対して符号化された送話信号の送信を行い、基地局６０７から符号化された受話信号の受信を行う。
携帯端末装置６０１は、相手側の装置であり、携帯端末装置６０１で符号化された音声信号が、基地局６０３、ネットワーク６０５、基地局６０７を介して、受話信号として携帯端末装置６０９に受信される。
図２５に示す携帯端末装置６０９は、受信部６１１、復号部６１３、ＦＦＴ部６１５、応答時間算出部６１７、聴力推定部６１９、音声制御部６２１、ＩＦＦＴ部６２３、音声出力部６２５を含む。
また、携帯端末装置６０９は、音声入力部６２７、ＦＦＴ部６２９、符号化部６３１、送信部６３３を含む。
音声入力部６２７は、マイク１１３やＡ／Ｄ変換器により実現され、マイク１１３により出力された送話音をアナログデジタル変換する。変換後の信号（送話信号）はＦＦＴ部６２９に出力される。
ＦＦＴ部６２９は、送話信号に対して時間周波数変換を行い、送話音スペクトルを生成し、応答時間算出部６１７に出力する。
符号化部６３１は、携帯端末装置による一般的な音声符号化技術を用いて符号化信号を生成する。送信部６３３は、符号化部６３１により符号化された符号化信号を基地局６０７に送信する。
受信部６１１は、基地局６０７から符号化信号を受信する。復号部６１３は、符号化信号を復号し、音声信号（受話信号）に変換する。
ＦＦＴ部６１５は、受話信号に対して時間周波数変換を行い、受話音スペクトルを生成し、応答時間算出部６１７、音声制御部６２１に出力する。
応答時間算出部６１７、聴力推定部６１９、音声制御部６２１は、各実施例で説明した機能のいずれかを有していればよい。
ＩＦＦＴ部６２３は、音声制御部６２１から取得した受話信号に対し、周波数時間変換を行って時間領域の受話信号に変換する。
音声出力部６２５は、Ｄ／Ａ変換器、スピーカ１１５により実現され、ＩＦＦＴ部６２３から取得した受話信号をデジタルアナログ変換する。アナログ信号に変換された受話信号は、スピーカ１１５により受話音として出力される。
変形例では、音声制御装置を携帯端末装置に実装した例について説明したが、実装する機器は携帯端末装置だけに限られない。例えば、前述した各音声制御装置、又は前述した各音声制御処理は、テレビ電話会議装置や電話機能を有する情報処理装置にも適用可能である。
図２６は、変形例における携帯端末装置６０９のハードウェアの一例を示すブロック図である。携帯端末装置６０９は、アンテナ７０１、無線部７０３、ベースバンド処理部７０５、制御部７０７、端末インタフェース部７０９、マイク７１１、スピーカ７１３、主記憶部７１５、補助記憶部７１７を有する。
アンテナ７０１は、送信アンプで増幅された無線信号を送信し、また、基地局から無線信号を受信する。無線部７０３は、ベースバンド処理部７０５で拡散された送信信号をＤ／Ａ変換し、直交変調により高周波信号に変換し、その信号を電力増幅器により増幅する。無線部７０３は、受信した無線信号を増幅し、その信号をＡ／Ｄ変換してベースバンド処理部７０５に伝送する。
ベースバンド部７０５は、送信データの誤り訂正符号の追加、データ変調、拡散変調、受信信号の逆拡散、受信環境の判定、各チャネル信号の閾値判定、誤り訂正復号などのベースバンド処理などを行う。
制御部７０７は、制御信号の送受信などの無線制御を行う。また、制御部７０７は、補助記憶部７１７などに記憶されている音声制御プログラムを実行し、各実施例における音声制御処理を行う。
主記憶部７１５は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部７０７が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
補助記憶部７１７は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。例えば、図７、１６に示すような情報は、補助記憶部７１７に記憶される。
端末インタフェース部７０９は、データ用アダプタ処理、ハンドセットおよび外部データ端末とのインタフェース処理を行う。
これにより、携帯端末装置６０９において、通話中に、自動でユーザの聴力に応じた音声を提供することができる。また、各実施例における音声制御装置を１つ又は複数の半導体集積化回路として、携帯端末装置６０９に実装することも可能である。また、開示の技術は、携帯端末装置６０９に限らず、固定電話などにも実装することができる。
また、前述した各実施例で説明した音声制御処理を実現するためのプログラムを記録媒体に記録することで、各実施例での音声制御処理をコンピュータに実施させることができる。
また、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯端末装置に読み取らせて、前述した音声制御処理を実現させることも可能である。なお、記録媒体は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。
以上、実施例について詳述したが、特定の実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。
Claims (10)
- 受話信号の音声と送話信号の音声との時間差を表す応答時間を算出する算出部と、
算出された前記応答時間に基づいてユーザの聴力を推定する聴力推定部と、
推定された前記聴力に応じた補正量により前記受話信号を制御する音声制御部と、
を備える音声制御装置。 - 前記受話信号の音声の時間長を算出する受話音時間算出部をさらに備え、
前記算出部は、
算出された受話音の音声の時間長が第１閾値以上の場合に、前記応答時間を算出する請求項１記載の音声制御装置。 - 前記送話信号の音声の時間長を算出する送話音時間算出部をさらに備え、
前記算出部は、
算出された送話信号の音声の時間長が第２閾値より大きい場合に、前記応答時間を算出する請求項１又は２記載の音声制御装置。 - 前記受話信号の音声の明瞭度を算出する明瞭度算出部をさらに備え、
前記算出部は、
算出された前記明瞭度が第３閾値より大きい場合に、前記応答時間を算出する請求項１乃至３いずれか一項に記載の音声制御装置。 - 前記音声制御部は、
前記応答時間の時間的な変化に応じて前記補正量を調整し、調整された補正量を用いて前記受話信号を制御する請求項１乃至４いずれか一項に記載の音声制御装置。 - 前記音声制御部は、
制御後の応答時間が制御前の応答時間よりも短い場合、前記受話信号を強調する制御を行い、制御後の応答時間が制御前の応答時間よりも長い場合、前記受話信号を減衰する制御を行う請求項５記載の音声制御装置。 - 前記算出部は、
算出した複数の応答時間を平均した平均応答時間を算出し、
前記聴力推定部は、
前記平均応答時間に基づいて前記聴力を推定する請求項１乃至４いずれか一項に記載の音声制御装置。 - 音声制御装置における音声制御方法であって、
受話信号の音声と送話信号の音声との時間差を表す応答時間を算出し、
算出された前記応答時間に基づいてユーザの聴力を推定し、
推定された前記聴力に応じた補正量により前記受話信号を制御する音声制御方法。 - 受話信号の音声と送話信号の音声との時間差を表す応答時間を算出し、
算出された前記応答時間に基づいてユーザの聴力を推定し、
推定された前記聴力に応じた補正量により前記受話信号を制御する、
処理をコンピュータに実行させるための音声制御プログラム。 - 受話信号を第１スペクトルに変換する第１時間周波数変換部と、
送話信号を第２スペクトルに変換する第２時間周波数変換部と、
前記第１スペクトルと前記第２スペクトルとの時間差を表す応答時間を算出する算出部と、
算出された前記応答時間に基づいてユーザの聴力を推定する聴力推定部と、
推定された前記聴力に応じた補正量により前記第１スペクトルを制御する音声制御部と、
制御された第１スペクトルを受話信号に変換する周波数時間変換部と、
を備える携帯端末装置。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2010/073609 WO2012090282A1 (ja) | 2010-12-27 | 2010-12-27 | 音声制御装置、音声制御方法、音声制御プログラム及び携帯端末装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2012090282A1 JPWO2012090282A1 (ja) | 2014-06-05 |
| JP5598552B2 true JP5598552B2 (ja) | 2014-10-01 |
Family
ID=46382432
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012550609A Expired - Fee Related JP5598552B2 (ja) | 2010-12-27 | 2010-12-27 | 音声制御装置、音声制御方法、音声制御プログラム及び携帯端末装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US9330678B2 (ja) |
| EP (1) | EP2661053A4 (ja) |
| JP (1) | JP5598552B2 (ja) |
| CN (1) | CN103270740B (ja) |
| WO (1) | WO2012090282A1 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2662855A4 (en) * | 2011-01-04 | 2015-12-16 | Fujitsu Ltd | VOICE CONTROL DEVICE, VOICE CONTROL METHOD, AND VOICE CONTROL PROGRAM |
| US9748914B2 (en) | 2012-08-15 | 2017-08-29 | Warner Bros. Entertainment Inc. | Transforming audio content for subjective fidelity |
| US8744645B1 (en) * | 2013-02-26 | 2014-06-03 | Honda Motor Co., Ltd. | System and method for incorporating gesture and voice recognition into a single system |
| JP6122130B2 (ja) * | 2013-09-11 | 2017-04-26 | 日立マクセル株式会社 | 脳機能障害評価方法、脳機能障害評価装置およびそのプログラム |
| JP6394103B2 (ja) * | 2014-06-20 | 2018-09-26 | 富士通株式会社 | 音声処理装置、音声処理方法および音声処理プログラム |
| US9407989B1 (en) | 2015-06-30 | 2016-08-02 | Arthur Woodrow | Closed audio circuit |
| JP6565500B2 (ja) * | 2015-08-31 | 2019-08-28 | 富士通株式会社 | 発話状態判定装置、発話状態判定方法、及び判定プログラム |
| US11663535B2 (en) | 2016-10-03 | 2023-05-30 | Google Llc | Multi computational agent performance of tasks |
| US10311856B2 (en) * | 2016-10-03 | 2019-06-04 | Google Llc | Synthesized voice selection for computational agents |
| US10853747B2 (en) | 2016-10-03 | 2020-12-01 | Google Llc | Selection of computational agent for task performance |
| US10564928B2 (en) | 2017-06-02 | 2020-02-18 | Rovi Guides, Inc. | Systems and methods for generating a volume- based response for multiple voice-operated user devices |
| JP6420514B1 (ja) * | 2018-04-04 | 2018-11-07 | 一般社団法人Ｉｔ＆診断支援センター・北九州 | 会話ロボット |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09135194A (ja) * | 1995-10-05 | 1997-05-20 | Nokia Mobile Phones Ltd | 電話装置及び該電話装置により再生される音の品質と明瞭度とを改善する方法 |
| JP2000165483A (ja) * | 1998-10-13 | 2000-06-16 | Denso Corp | デジタル電話のオ―ディオ出力を調整する方法およびユ―ザ―の個別聴力スペクトルに合わせてオ―ディオ出力を調整するデジタル電話 |
| JP2006345025A (ja) * | 2005-06-07 | 2006-12-21 | Matsushita Electric Ind Co Ltd | 電話装置およびその音声処理方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4377158A (en) * | 1979-05-02 | 1983-03-22 | Ernest H. Friedman | Method and monitor for voice fluency |
| JP3266678B2 (ja) | 1993-01-18 | 2002-03-18 | 株式会社日立製作所 | 聴覚特性補償用音声処理装置 |
| JP3302119B2 (ja) | 1993-08-23 | 2002-07-15 | 株式会社東芝 | 無線通信装置 |
| GB2292500A (en) * | 1994-08-19 | 1996-02-21 | Ibm | Voice response system |
| JP3234784B2 (ja) * | 1996-10-18 | 2001-12-04 | 松下電器産業株式会社 | 送話音声回路 |
| KR20000042498A (ko) * | 1998-12-22 | 2000-07-15 | 노윤성 | 컴퓨터에 의하여 운용되는자동음성응답시스템을 이용한 청력테스트 방법 및 프로그램과 소음차단구 |
| US6522988B1 (en) * | 2000-01-24 | 2003-02-18 | Audia Technology, Inc. | Method and system for on-line hearing examination using calibrated local machine |
| TW549754U (en) * | 2001-12-31 | 2003-08-21 | Ching-Chung Lee | Hand-free switch device of wireless intercom |
| US7198605B2 (en) * | 2003-09-29 | 2007-04-03 | Ethicon Endo-Surgery, Inc. | Response testing for conscious sedation utilizing a non-ear-canal-contacting speaker |
| KR101062344B1 (ko) * | 2004-04-19 | 2011-09-05 | 엘지전자 주식회사 | 오디오출력 자동조절장치 및 그 방법 |
| JP2006038705A (ja) | 2004-07-28 | 2006-02-09 | Denso Corp | 音声出力装置 |
| JP4222564B2 (ja) | 2004-12-03 | 2009-02-12 | Ｋｄｄｉ株式会社 | 聴覚補償方式個人適応システム |
| US7509253B2 (en) * | 2006-07-26 | 2009-03-24 | Luckett Joseph C | Device for determining latency between stimulus and response |
| JP4983417B2 (ja) * | 2007-06-12 | 2012-07-25 | 日本電気株式会社 | 会話速度変換機能を備えた電話装置及び会話速度変換方法 |
| CN101373959A (zh) * | 2007-08-21 | 2009-02-25 | 微星科技股份有限公司 | 依据环境调整提示音的装置与方法 |
| CN101378423A (zh) * | 2007-08-28 | 2009-03-04 | 希姆通信息技术（上海）有限公司 | 手机通话接收端音量自动调节装置 |
| US20090060287A1 (en) * | 2007-09-05 | 2009-03-05 | Hyde Roderick A | Physiological condition measuring device |
| CN101721214A (zh) * | 2008-10-28 | 2010-06-09 | 乐金电子(中国)研究开发中心有限公司 | 一种基于移动终端的听力检测方法及装置 |
-
2010
- 2010-12-27 EP EP10861238.3A patent/EP2661053A4/en not_active Withdrawn
- 2010-12-27 WO PCT/JP2010/073609 patent/WO2012090282A1/ja active Application Filing
- 2010-12-27 JP JP2012550609A patent/JP5598552B2/ja not_active Expired - Fee Related
- 2010-12-27 CN CN201080070956.9A patent/CN103270740B/zh not_active Expired - Fee Related
-
2013
- 2013-06-21 US US13/923,674 patent/US9330678B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09135194A (ja) * | 1995-10-05 | 1997-05-20 | Nokia Mobile Phones Ltd | 電話装置及び該電話装置により再生される音の品質と明瞭度とを改善する方法 |
| JP2000165483A (ja) * | 1998-10-13 | 2000-06-16 | Denso Corp | デジタル電話のオ―ディオ出力を調整する方法およびユ―ザ―の個別聴力スペクトルに合わせてオ―ディオ出力を調整するデジタル電話 |
| JP2006345025A (ja) * | 2005-06-07 | 2006-12-21 | Matsushita Electric Ind Co Ltd | 電話装置およびその音声処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20130290002A1 (en) | 2013-10-31 |
| WO2012090282A1 (ja) | 2012-07-05 |
| CN103270740B (zh) | 2016-09-14 |
| JPWO2012090282A1 (ja) | 2014-06-05 |
| CN103270740A (zh) | 2013-08-28 |
| EP2661053A1 (en) | 2013-11-06 |
| US9330678B2 (en) | 2016-05-03 |
| EP2661053A4 (en) | 2015-04-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5598552B2 (ja) | 音声制御装置、音声制御方法、音声制御プログラム及び携帯端末装置 | |
| JP6147744B2 (ja) | 適応音声了解度処理システムおよび方法 | |
| KR100750440B1 (ko) | 잔향 추정 및 억제 시스템 | |
| US9420370B2 (en) | Audio processing device and audio processing method | |
| JP4423300B2 (ja) | 雑音抑圧装置 | |
| US9271089B2 (en) | Voice control device and voice control method | |
| JP5834948B2 (ja) | 残響抑制装置、残響抑制方法及び残響抑制用コンピュータプログラム | |
| US11164592B1 (en) | Responsive automatic gain control | |
| US20140365212A1 (en) | Receiver Intelligibility Enhancement System | |
| JP6182895B2 (ja) | 処理装置、処理方法、プログラム及び処理システム | |
| CN105869656B (zh) | 一种语音信号清晰度的确定方法及装置 | |
| JP2008309955A (ja) | ノイズサプレス装置 | |
| JPWO2009150894A1 (ja) | 音声認識システム、音声認識方法および音声認識用プログラム | |
| JP2009296298A (ja) | 音声信号処理装置および方法 | |
| US8868418B2 (en) | Receiver intelligibility enhancement system | |
| JP5815435B2 (ja) | 音源位置判定装置、音源位置判定方法、プログラム | |
| JP5821584B2 (ja) | 音声処理装置、音声処理方法及び音声処理プログラム | |
| KR20120061862A (ko) | 음성 재생 장치 및 음성 재생 방법 | |
| KR20090082700A (ko) | 노이지 음성 신호의 처리 장치 및 그 장치를 포함하는 음성기반 어플리케이션 장치 | |
| KR100388454B1 (ko) | 배경잡음 예측을 통한 음성 출력 이득 조정 방법 | |
| JP2016025471A (ja) | エコー抑圧装置、エコー抑圧プログラム、エコー抑圧方法及び通信端末 | |
| KR101258057B1 (ko) | 청각인지 마스킹 특성을 이용하여 주변잡음에 적응적인 전화기 벨소리 음량조정 장치 및 방법 | |
| JP2010124207A (ja) | 音量調整装置、その方法、そのプログラム、その記録媒体 | |
| KR20090082699A (ko) | 노이지 음성 신호의 처리 방법 및 이를 위한 컴퓨터 판독가능한 기록매체 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140422 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140623 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140715 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140728 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5598552 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |