JP5836400B2 - 音声通信システム、音声通信方法、音声通信用プログラム、音声送信端末、及び音声送信端末用プログラム - Google Patents

音声通信システム、音声通信方法、音声通信用プログラム、音声送信端末、及び音声送信端末用プログラム Download PDF

Info

Publication number
JP5836400B2
JP5836400B2 JP2013551823A JP2013551823A JP5836400B2 JP 5836400 B2 JP5836400 B2 JP 5836400B2 JP 2013551823 A JP2013551823 A JP 2013551823A JP 2013551823 A JP2013551823 A JP 2013551823A JP 5836400 B2 JP5836400 B2 JP 5836400B2
Authority
JP
Japan
Prior art keywords
voice
unit
sound
input
retransmission
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013551823A
Other languages
English (en)
Other versions
JPWO2014178122A1 (ja
Inventor
久範 山原
久範 山原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Application granted granted Critical
Publication of JP5836400B2 publication Critical patent/JP5836400B2/ja
Publication of JPWO2014178122A1 publication Critical patent/JPWO2014178122A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0356Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude for synchronising with other signals, e.g. video signals
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0316Speech enhancement, e.g. noise reduction or echo cancellation by changing the amplitude
    • G10L21/0324Details of processing therefor
    • G10L21/034Automatic adjustment
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/60Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for measuring the quality of voice signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M19/00Current supply arrangements for telephone systems
    • H04M19/02Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone
    • H04M19/04Current supply arrangements for telephone systems providing ringing current or supervisory tones, e.g. dialling tone or busy tone the ringing-current being generated at the substations

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Description

本発明の一側面は、音声通信システム、音声通信方法、音声通信用プログラム、音声送信端末、及び音声送信端末用プログラムに関する。
従来から、通信回線を介して送信端末から受信端末へ音声信号を送信する音声通信システムが提供されている。しかし、通信状況によっては、送信端末と受信端末との間の通信経路において音声信号の一部又は全体が欠損し、受信端末において送信端末からの音声が途切れる場合がある。
このような送信端末と受信端末との間の通信の不具合をユーザに通知するためのシステムとして、例えば特許文献1に記載のシステムが知られている。特許文献1には、周囲の電界強度及びバッテリー残量を測定して、測定された電界強度及びバッテリー残量を基地局へ送信する携帯通信端末と、通信が突然に切断された際に、測定結果を参照して電界強度の悪化又は携帯通信端末のバッテリー残量の低下に起因して通信が切断されたものであるか否かを判定し、この判定結果を携帯通信端末に告知する基地局とを含む移動通信システムが記載されている。この移動通信システムでは、通信切断が生じた際に、その不具合の原因が電界強度、バッテリー残量、及びその他の異常の何れかであるかを示すメッセージを端末に送信することにより、携帯通信端末のユーザに通信切断の理由を認識させることを可能としている。
特開2009−118200号公報
しかしながら、特許文献1に記載の移動通信システムにおいては、携帯通信端末のユーザに通信切断の原因を告知するために、周囲の電界強度及びバッテリー残量を測定し測定結果を基地局に送信する機能を携帯通信端末に追加する必要があり、携帯通信端末の改変を要する。また、特許文献1に記載の移動通信システムでは、受信端末において送信端末からの音声が途切れた場合に、それが送信端末のユーザが音声を発していないことに起因するものであるか、音声信号の欠損に起因するものであるかを判断することが困難な場合がある。
そこで、通信切断の原因を告知するための改変を受信端末に加えることなく、受信端末において音声信号の欠損を認識することが可能な音声通信システム、音声通信方法、音声通信用プログラム、音声送信端末、及び音声送信端末用プログラムが要請されている。
本発明の一側面に係る音声送信端末は、音声取得部により順次取得された入力音声に、一定の音量レベルを有する付加音を重畳して合成音を生成する生成部と、生成部により生成された合成音の信号を音声受信端末に順次送信する送信部と、を備える。
本音声通信システムにおいては、入力音声に、音声取得部により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音が生成される。そして、この合成音の信号が受信端末に送信される。これにより、例えば受信端末のユーザは、例えば合成音の付加音が途切れた場合に入力音声の信号に欠損が生じたと判断することができる。また、この付加音は入力音声に重畳して受信端末に送信されるので、受信端末において入力信号の欠損を検出するために新たな機能が必要とされない。従って、本音声通信システムによれば、受信端末に改変を加えることなく、受信端末において入力音声の信号である音声信号の欠損を検出することができる。更に、付加音の音量レベルは、音声取得部により取得された音声に基づいて定められるので、例えば付加音の音量レベルをユーザの会話の邪魔にならないものとすることができる。
一形態では、音声受信端末との間の通信品質を検出する通信品質検出部を更に備え、生成部は、通信品質検出部により検出された通信品質が基準値を下回った場合には、付加音の音量レベルを変化させてもよい。
一形態では、入力音声の音量レベルに基づいて付加音の音量レベルを変化させてもよい。
一形態では付加音に基づいて検出された入力音声の欠損部分の再送要求を音声受信端末から取得する再送要求取得部と、再送要求に応じて、欠損部分に相当する入力音声の信号を音声受信端末に再送する再送部と、再送部から欠損部分に相当する入力音声の信号が送信される時間帯である再送時間帯においては、送信部から合成音の信号が送信されないように該送信部を制御する制御部と、を更に備えていてもよい。
一形態では、制御部は、再送時間帯において音声取得部により取得された入力音声を検出し、検出された該入力音声を含む合成音の信号の送信タイミングを再送時間帯の終了時にしてもよい。
一形態では、再送部は、欠損部分に基づいて入力音声に欠損部分を含む所定の区間を設定し、所定の区間内の入力音声を音声受信端末に再送してもよい。
一形態では、再送部は、入力音声の音量又は音程に基づいて、所定の区間を設定してもよい。
一形態では、再送部は、音声受信端末に応じて、欠損部分に相当する入力音声の信号を音声受信端末に再送するか否かを決定してもよい。
一形態では、再送部は、欠損部分に相当する入力音声が早送りされた音声の信号を音声受信端末に再送してもよい。
一形態では、再送部は、欠損部分の無音部分を除去した音声の信号を音声受信端末に再送してもよい。
本発明の一側面に係る音声通信方法は、音声取得部により順次取得された入力音声に、一定の音量レベルを有する付加音を重畳して合成音を生成する生成ステップと、生成ステップにおいて生成された合成音の信号を音声受信端末に順次送信する送信ステップと、を含む。
本発明の一側面に係る音声通信用プログラムは、コンピュータを、音声取得部により順次取得された入力音声に、一定の音量レベルを有する付加音を重畳して合成音を生成する生成部と、生成部により生成された合成音の信号を音声受信端末に順次送信する送信部と、として機能させる。
本発明の一側面に係る音声送信端末は、音声送信端末の音声取得部により取得された入力音声に、音声取得部により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音を生成する生成部と、生成部により生成された合成音の信号を受信端末に送信する送信部と、を備える。
本発明の一側面に係る音声送信端末用プログラムは、音声送信端末を、音声送信端末の音声取得部により取得された入力音声に、音声取得部により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音を生成する生成部と、生成部により生成された合成音の信号を受信端末に送信する送信部と、として機能させる。
本発明の一側面によれば、上述のように受信端末に改変を加えることなく、受信端末において入力音声の信号である音声信号の欠損を検出することができる。
本発明の一側面によれば、通信切断の原因を告知するための改変を受信端末に加えることなく、受信端末において音声信号の欠損を認識することができる。
実施形態に係る音声通信システムの機能構成を示す図である。 実施形態に係る端末のハードウェア構成を示す図である。 受信端末から出力される付加音の経時的変化の一例を示す図である。 受信端末から出力される付加音の経時的変化の別の一例を示す図である。 実施形態に係る音声通信システムの動作を示すシーケンス図である。 実施形態に係る音声通信用プログラムの構成を示す図である。
以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
音声通信システム1は、通信回線を介して送信端末から受信端末に音声信号を送信するためのコンピュータシステムである。例えば、この音声通信システム1は、通信回線を介した音声通話に用いることができる。
図1は、一実施形態に係る音声通信システムの機能的構成を示す図である。音声通信システム1は、送信端末(音声送信端末)10aと受信端末10bがネットワークNを介して互いに接続されて構成されている。ネットワークNは、例えば有線または無線の汎用回線または専用回線等である。
送信端末10aは、ユーザにより発せられた音声(以下、入力音声ともいう)を音声信号として受信端末10bに送信する通信端末である。図1に示すように、送信端末10a及び受信端末10bは、同一の機能的構成を備えている。以下では、送信端末10aと受信端末10bを区別する必要がない場合には、送信端末10aと受信端末10bをまとめて端末10という。なお、端末10は、受信端末及び送信端末のいずれとしても機能し得る。端末10は、例えば携帯型又は据置型のパーソナルコンピュータや各種の携帯端末等であるが、通信端末の種類は何ら限定されない。以下では、送信端末10aを音声信号を送信する送信端末とし、受信端末10bを音声信号を受信する受信端末として説明する。
この端末10は、図2に示すように、オペレーティングシステムやアプリケーションプログラムなどを実行するCPU101、ROM及びRAMで構成される主記憶部102、メモリなどで構成される補助記憶部103、ネットワークNを介してデータ通信を行う通信制御部104、文字・数字入力や実行指示を行うためのキーで構成される操作部105及び液晶表示装置などで構成されるモニタ106で構成される。端末10の各機能は、CPU101及び主記憶部102の上に所定のソフトウェアを読み込ませ、CPU101の制御の下で通信制御部104を動作させるとともに、主記憶部102や補助記憶部103におけるデータの読み出し及び書き込みを行うことで実現される。
図1を参照して、一実施形態に係る端末10の構成について説明しつつ、一実施形態に係る音声通信システム1の構成について説明する。なお、上述の通り、送信端末10a及び受信端末10bは、同一の機能的構成を備えているので、端末10の各機能構成は、送信端末10a又は受信端末10bの何れか一方のものを用いて説明する。
図1に示すように、端末10は、音声入力部(音声取得部)12、付加音生成部14、送信部16、記憶部18、受信部(再送要求取得部)20、音声出力部23を備えている。
音声入力部12は、送信端末10aのユーザの入力音声を取得する機能要素である。音声入力部12は、例えばマイクであり、送信端末10aのユーザの音声を集音し、その音声を音声信号に変換する。音声入力部12は、音声信号を送信部16に出力する。
付加音生成部14は、入力音声とは異なる音である付加音を生成する機能要素である。付加音は、入力音声と区別可能な任意の音であり、例えば音楽やパターン音が挙げられる。また、付加音は、人間の可聴帯域の全ての周波数帯域において経時的に変化する強度(即ち、音量)を有する音や一定の強度を有する音であってもよい。付加音生成部14は、生成した付加音を送信部16に出力する。
送信部16は、音声入力部12から出力された入力音声に付加音生成部14から出力された付加音を重畳した合成音を生成し、この合成音の信号である合成信号をネットワークNを介して送信端末10aから受信端末10bに送信する機能要素である。送信部16は、音声入力部12により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音を生成する。例えば、送信部16は、音声入力部12により取得された入力音声の音量レベルよりも付加音の音量レベルが小さくなるように、付加音の音量レベルを調整して合成音を生成し得る。一例としては、例えば、付加音は、一般的な入力音声よりも音量レベルが小さくなるように工場出荷時の段階において音量レベルが決定されていてもよい。また、付加音は、前回の音声通信における送信端末10aのユーザの入力音声の音量レベルの平均値を算出し、その平均値よりも小さくなるように音量レベルを決定してもよい。更に、付加音は、リアルタイムで音声入力部12に入力された入力音声の音量レベルを取得し、それを下回る音量レベルになるようにリアルタイムで調整されてもよい。なお、送信部16は、特許請求の範囲における生成部及び送信部を構成する。
また、一実施形態においては、端末10は、通信品質検出部22を更に備え得る。通信品質検出部22は、送信端末10aと受信端末10bとの間の通信品質を検出する機能要素である。通信品質検出部22は、例えば合成信号の送信時刻及び受信時刻との差を監視することにより通信品質を検出し得る。また、通信品質検出部22は、送信端末10a及び受信端末10bの電波強度や送信端末10aと受信端末10bとの間におけるデータ送受信のパケットエラーレート等に基づいて通信品質を検出してもよい。なお、音声通信システム1が、通信品質が悪化した際に、入力音声の認識に影響が小さい、高い帯域と低い帯域を除去して入力音声を送信する機能を導入している場合には、通信品質検出部22は、広い周波数帯域において所定の強度を有する付加音のうちの除去された周波数帯域に基づいて通信品質を検出してもよい。通信品質検出部22は、検出した送信端末10aと受信端末10bとの間の通信品質を示す情報を送信部16に出力する。
送信部16は、通信品質検出部から出力された通信品質を示す情報を受け付け、通信品質が基準値を下回っているか否かを判定する。通信品質が基準値を下回っていると判定される場合、即ち、通信品質が基準値よりも悪化している場合には、送信部16は、付加音の音量レベルを変化させた合成音を生成し、この生成された合成音の信号を送信端末10aから受信端末10bに送信することができる。具体的には、送信端末10aと受信端末10bとの間の通信品質が悪化するほど、音量レベルの大きな付加音を入力音声に重畳させて合成音を生成してもよい。なお、送信部16は、送信端末10aと受信端末10bとの間の通信品質が基準値を下回っていると判定された場合に、付加音の音程を変化させた合成音を生成してもよい。
送信部16は、上述のように生成した合成信号を受信端末10bに送信すると共に、受信端末10bに送信した合成信号を記憶部18に格納する。記憶部18は、送信部16が受信端末に送信した合成信号を記憶する機能要素である。記憶部18は、送信先の送信端末を識別する情報及び送信開始時刻を合成信号に関連付けて記憶してもよい。
受信部20は、送信端末10aから送信された合成信号を受信するための機能要素である。受信部20は、送信端末10aから合成信号を受信すると、合成信号から合成音を取得して、この合成音を音声出力部23に出力する。音声出力部23は、合成音を出力するための機能要素である。音声出力部23は、例えばスピーカーであり、入力音声に付加音が重畳された合成音を受信端末10bのユーザに向けて出力する。
図3は受信端末10bの音声出力部23から受信端末10bのユーザに出力される付加音の経時的変化の一例を示している。図3の横軸は時間を表し、縦軸は付加音の音量を表している。この例では、付加音は経時的に一定の音量を有する音である。図3に示すように、この例では、時間帯T1、T3において一定の音量を有する付加音が受信端末10bのユーザに出力されている。これに対し、時間帯T1、T3の間の時間帯T2においては、付加音が無音となっている。受信端末10bのユーザは、図3に示すような付加音を含む合成音を受け取ることにより、時間帯T2において音声信号が欠損し、入力音声の途切れが生じたことを認識することができる。
また、図4は受信端末10bの音声出力部23から受信端末10bのユーザに出力される付加音の経時的変化の別の一例を示している。図4の横軸は時間を表し、縦軸は付加音の音量を表している。図4に示す付加音は、時間帯T1において通信品質が徐々に悪化することに伴い、付加音の音量レベルが徐々に増加し、且つ、時間帯T3において通信品質が徐々に改善することに伴い、付加音の音量レベルが徐々に減少している。図4に示すように、この例では、時間帯T1、T3において経時的に音量レベルが変化する付加音が受信端末10bのユーザに出力されている。これに対し、時間帯T1、T3の間の時間帯T2においては、付加音が無音となっている。受信端末10bのユーザは、図4に示すような付加音を含む合成音を受け取ることにより、時間帯T2に相当する音声信号が欠損し、入力音声が途切れたことを認識することができる。
また、受信端末10bのユーザは、時間帯T1において音量レベルが徐々に増加する付加音を受け取ることにより、時間帯T1において通信品質が悪化しており、入力音声の途切れが発生する可能性があることを認識することができる。更に、受信端末10bのユーザは、時間帯T3において音量レベルが徐々に減少する付加音を受け取ることにより、時間帯T3において通信品質が改善してきていることを認識することができる。
再び図1を参照して音声通信システム1について説明する。一実施形態においては、端末10は、欠損検出部24、再送要求部(再送要求取得部)26、再送部28、及び制御部30を更に備え得る。
欠損検出部24は、送信端末10aから受信端末10bに送信された合成音のうちの入力音声の欠損部分を検出する機能要素である。欠損検出部24は、送信端末10aから送信された合成信号を受信部20を介して取得する。そして、合成信号の合成音から付加音を抽出し、この付加音に基づいて入力音声の欠損部分を検出する。具体的には、付加音が基準値以下、例えば無音となっている時間帯に相当する入力音声を入力音声の欠損部分として検出する。欠損検出部24は、入力音声の欠損部分を示す情報として、例えば欠損部分の開始時刻及び終了時刻を示す情報を再送要求部26に出力する。
再送要求部26は、入力音声の欠損部分の再送要求を受信端末10bから送信端末10aに送信する機能要素である。再送要求部26は、入力音声の欠損部分を示す情報を含む再送要求を送信端末10aに送信する。
再送部28は、再送要求部26から送信された再送要求に応じて、入力音声の欠損部分を再送信号として送信端末10aから受信端末10bに再送する機能要素である。再送部28は、受信端末10bの再送要求部26から再送要求を受信部20を介して受信すると、再送要求に含まれる入力音声の欠損部分を示す情報に基づいて、欠損部分に相当する入力音声を記憶部18から抽出する。例えば、再送部28は、欠損部分に相当する入力音声を欠損部分の開始時刻及び終了時刻、及び再送要求元の受信端末を識別する情報を用いて記憶部18から抽出する。そして、再送部28は、抽出した入力音声を再送信号として送信端末10aから受信端末10bに送信する。なお、再送部28は、欠損部分に相当する入力音声に付加音を重畳した再送信号を送信端末10aから受信端末10bに送信してもよい。また、再送部28は、送信端末10aのユーザからの発話を制限するために、再送信号を受信端末10bに送信中であることを示す情報を送信端末10aのユーザに提示してもよい。
受信部20は、送信端末10aの再送部28から再送信号を受信し、再送信号から欠損部分に相当する入力音声を取得して、この入力音声を音声出力部23から出力する。このように、入力音声の欠損部分を送信端末10aから受信端末10bに再送することにより、送信端末10aのユーザが途切れた入力音声の一部を再度話す(入力する)という作業を省略することが可能となり、送信端末10aのユーザの煩雑さを解消することができ、また、送信端末10aのユーザと受信端末10bのユーザ間の音声通信を円滑にすることができる。
なお、再送要求部26は、受信端末10bのユーザの要求に応じて送信端末10aに再送要求を送信してもよい。例えば、受信端末10bの欠損検出部24において入力音声の欠損部分が検出された場合には、欠損検出部24は受信端末10bの表示部32に再送ボタンを表示する。そして、受信端末10bのユーザの操作により、表示部32の再送ボタンが押下された場合に、受信端末10bの再送要求部26が入力音声の欠損部分の再送要求を送信端末10aに送信するようにしてもよい。また、再送ボタンを表示させずに、受信端末10bのユーザが「再送」という音声を発した際に、再送要求部26が入力音声の欠損部分の再送要求を送信端末10aに送信するようにしてもよい。
また、制御部30は、送信端末10aの送信部16から送信される合成信号の送信タイミングを制御する機能要素である。制御部30は、送信端末10aの再送部28から再送信号が送信される時間帯である再送時間帯に、送信部16から合成信号が受信端末10bに送信されないように送信端末10aの送信部16を制御する。例えば制御部30は、再送時間帯において送信端末10aのユーザから音声入力部12に入力音声が入力されたことを検出した場合には、送信端末10aの再送部28からの再送信号の送信が完了した後に、検出した入力信号を含む合成信号を送信部16から送信するように送信部16を制御してもよい。つまり、制御部30は、再送時間帯に入力された入力信号を含む合成信号の送信タイミングを再送時間帯よりも後のタイミング、例えば、再送時間帯の終了時にすることができる。
このように、再送時間帯に入力された入力信号を含む合成信号を再送時間帯の終了時に受信端末10bに送信することにより、受信端末10bの音声出力部23から、合成信号に含まれる入力音声と再送信号に含まれる入力音声とが混在して出力されることを防止することができる。
なお、一実施形態おいては、再送部28による再送の態様を以下のように変更することができる。
例えば、再送部28は、受信端末10bから送信された入力音声の欠損部分を示す情報に基づいて、入力音声に欠損部分を含む所定の区間を設定し、この所定の区間内の入力音声を送信端末10aから受信端末10bに再送してもよい。例えば、再送部28は、記憶部18から欠損部分を含む入力音声を抽出し、抽出した入力音声を音声認識処理により文字列に変換し、且つ、構文解析処理によりこの文字列を文節又は文章単位に分割する。そして、欠損部分を含む文節又は文章を所定の区間として設定し、この所定の区間に含まれる入力音声を再送信号として送信端末10aから受信端末10bに送信してもよい。
具体的な一例として、送信端末10aから送信された入力音声が「次回の会議は3月8日です。場所はA会議室です。」であり、このうち「8日です。」及び「場所はA」という部分が欠損部分として受信端末10bから送信端末10aに再送要求が送信された場合には、再送部28は、「次回の会議は3月8日です。場所はA会議室です。」という文章全体を所定の区間として設定し、この区間の入力音声を再送することができる。この例のように、再送部28が文節又は文章単位で入力音声を再送することにより、欠損部分のみを再送する場合と比較して、受信端末10bのユーザにとって理解しやすいように欠損部分の音声の内容を再送することができる。
別の態様として、再送部28は、欠損部分に相当する入力音声の音量又は音程に基づいて、入力音声に欠損部分を含む所定の区間を設定し、この所定の区間に含まれる入力音声を再送信号として送信端末10aから受信端末10bに送信してもよい。例えば、再送部28は、欠損部分に相当する入力音声の音量又は音程が基準値よりも大きい領域を入力音声を再送する区間として設定してもよい。入力音声のうちの音量又は音程が大きい部分は、重要性の高い内容が含まれている可能性が高いためである。
また、再送部28は、再送先となる受信端末に応じて再送するか否かを決定してもよい。例えば、再送部28は、重要性の高い端末のリストを所定の記憶部に記憶しており、再送先の端末である受信端末10bが所定の記憶部のリストに含まれている場合に、入力音声の欠損部分を受信端末10bに送信し、再送先の端末である受信端末10bが所定の記憶部のリストに含まれていない場合に、入力音声の欠損部分を受信端末10bに送信しないようにしてもよい。
更に、再送部28は、欠損部分に相当する入力音声を早送りされた音声に変換し、この早送りされた音声の信号を送信端末10aから受信端末に再送してもよい。このように、再送部28が早送りされた音声の信号を送信することにより、送信部16から合成信号を送信することができない時間を短縮することができる。また、再送部28は、早送りされた音声の信号のうちの無音部分を検出して除去し、無音部分が存在していた時間帯に無音部分以降の有音部分を経時的に前にシフトした音声に加工してもよい。そして、再送部28は、この加工した音声を再送してもよい。これにより、送信部16から合成信号を送信することができない時間を更に短縮することができる。
次に、図5を用いて、図1に示す音声通信システム1の動作を説明すると共に、一実施形態に係る音声通信方法について説明する。図5は音声通信システム1の動作を示すシーケンス図である。
まず、送信端末10aの音声入力部12は、送信端末10aのユーザの入力音声を取得する(ステップS1)。そして、送信端末10aの送信部16は、入力音声に付加音生成部14により生成された付加音を重畳された合成音を生成する(ステップS2、生成ステップ)。その後、送信端末10aの送信部16は、ステップS2において生成された合成音を記憶部18に格納した上で(ステップS3)、合成信号を受信端末10bに送信する(ステップS4、送信ステップ)。この際、送信端末10aの送信部16は、送信端末10aと受信端末10bとの間の通信品質が基準値を下回った場合には、付加音の音量レベルを変化させた合成音の信号を受信端末10bに送信してもよい。
受信端末10bの受信部20は、合成信号を送信端末10aから受信し、合成信号の合成音を音声出力部23から受信端末10bのユーザに対して出力する(ステップS5、音声出力ステップ)。このようにして、入力音声に付加音が重畳された合成音が受信端末10bのユーザに出力される。
一実施形態の音声通信方法においては、受信端末10bの欠損検出部24が入力音声の欠損部分を検出し得る(ステップS6)。そして、欠損検出部24において入力音声の欠損部分が検出された場合には、受信端末10bの再送要求部26が、受信端末10bのユーザの要求に応じて欠損部分の再送要求を送信端末10aに送信する(ステップS7)。
続いて、送信端末10aの再送部28は、送信端末10aからの再送要求に応じて、欠損部分に相当する入力音声を記憶部18から抽出し(ステップS8)、欠損部分に相当する入力音声を再送信号として受信端末10bに再送する(ステップS9)。そして、受信端末10bの受信部20は、再送された入力音声を受信端末10bの音声出力部23から出力する(ステップS10)。このようにして、一実施形態に係る音声通信方法における一連の工程を終了する。
次に、図6を用いて、上述した一連の処理をコンピュータ(例えば端末)に実行させるための音声通信用プログラムを説明する。図6は、実施形態に係る音声通信用プログラムの構成を示す図である。なお、このプログラムを端末に適用することにより端末を上記機能を有する送信端末10a及び受信端末10bとして動作させる音声送信端末用プログラムとすることができる。
音声通信用プログラムP1は、メインモジュールP2、音声入力モジュールP3、付加音生成モジュールP4、送信モジュールP5、記憶モジュールP6、受信モジュールP7、音声出力モジュールP8、欠損検出モジュールP9、再送要求モジュールP10、再送モジュールP11、制御モジュールP12、及び表示モジュールP13を備えている。
メインモジュールP2は、通信を統括的に制御する部分である。音声入力モジュールP3、付加音生成モジュールP4、送信モジュールP5、記憶モジュールP6、受信モジュールP7、音声出力モジュールP8、欠損検出モジュールP9、再送要求モジュールP10、再送モジュールP11、制御モジュールP12、及び表示モジュールP13を実行することにより実現される機能はそれぞれ、上記の音声入力部12、付加音生成部14、送信部16、記憶部18、受信部20、音声出力部23、欠損検出部24、再送要求部26、再送部28、制御部30、及び表示部32の機能と同様である。
音声通信用プログラムP1は、例えば、CD−ROMやDVD−ROM、半導体メモリ等の有形の記録媒体に記録された上で提供される。また、音声通信用プログラムP1は、搬送波に重畳されたデータ信号としてネットワークNを介して提供されてもよい。
以上説明したように、音声通信システム1においては、入力音声に付加音が重畳された合成音の合成信号が送信端末10aから受信端末10bに送信される。そして、この合成音が受信端末10bから出力される。これにより、受信端末10bのユーザは、例えば合成音の付加音が途切れた場合に音声信号に欠損が生じたと判断することができる。この付加音は入力音声に重畳して受信端末10bに送信されるので、音声受信に関しては受信端末10bにおいて新たな機能が必要とされない。従って、音声通信システム1によれば、受信端末10bに改変を加えることなく、受信端末10bにおいて音声信号の欠損を検出することができる。
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
例えば、上述の通り、端末10は、音声入力部12、付加音生成部14、送信部16、記憶部18、受信部20、音声出力部23、欠損検出部24、再送要求部26、再送部28、及び制御部30を備えているが、これらの各機能要素の一部は、端末10とは別に設けられたサーバが備えていてもよい。
また、上記実施形態では、音声通信システム1は2台の端末10の間で音声通信を行っているが、3以上の端末間で音声通信を行ってもよい。また、送信端末10aは、合成信号と共に映像信号を受信端末10bに送信してもよい。
また、送信端末10aから受信端末10bに再送信号を再送する際には、一旦入力音声の送信を停止する旨を表示部32に表示し、再送信号の再送が終了した後に音声入力音声の送信を再開してもよい。なお、主に上記実施形態では、送信端末10aから受信端末10bに入力音声を送信する一方向通信について説明したが、送信端末10aと受信端末10b間において入力音声を送受信しあう双方向通信にも適用することが可能である。
また、再送要求部26は、複数の端末10間における通話が終了した後に受信端末10bから送信端末10aに対して再送要求を送信してもよい。この場合には、受信端末10bのユーザが音声通話の終了後に欠損部分の入力音声を聴くことができる。更に、再送部28は、再送要求に対応する時間帯に対応する入力音声が存在しない場合(例えば、再送要求に対応する時間帯に送信端末10aのユーザが音声を入力していない場合)には、再送要求に対応する入力音声が存在しないことを示す情報を受信端末10bに送信してもよい。
また、送信端末10aの再送部28は、受信端末10bの再送要求部28から再送要求を受信した時刻から所定の時刻(例えば、3秒)だけ前の時刻からの入力音声を受信端末10bに送信してもよい。
また、上記実施形態では、再送時間帯において送信端末10aから受信端末10bに合成信号を送信しないようにしているが、再送時間帯において合成信号をも送信してもよい。この場合であっても、入力音声が受信端末10bに受信されない事態を防ぎ、受信端末10bのユーザが入力音声を聞き漏らすことを防止することができる。
1…音声通信システム、10a…送信端末、10b…受信端末、12…音声入力部、14…付加音生成部、16…送信部、18…記憶部、20…受信部、22…通信品質検出部、23…音声出力部、24…欠損検出部、26…再送要求部、28…再送部、30…制御部、32…表示部、N…ネットワーク、T1,T2,T3…時間帯。

Claims (8)

  1. 音声取得部により順次取得された入力音声に、一定の音量レベルを有する付加音を重畳して合成音を生成する生成部と、
    前記生成部により生成された前記合成音の信号を音声受信端末に順次送信する送信部と、
    前記付加音に基づいて検出された前記入力音声の欠損部分の再送要求を前記音声受信端末から取得する再送要求取得部と、
    前記再送要求に応じて、前記欠損部分に相当する前記入力音声の信号を前記音声受信端末に再送する再送部と、
    前記再送部から前記欠損部分に相当する前記入力音声の信号が送信される時間帯である再送時間帯においては、前記送信部から前記合成音の信号が送信されないように該送信部を制御する制御部と、
    を備える音声送信端末。
  2. 前記制御部は、前記再送時間帯において前記音声取得部により取得された入力音声を検出し、検出された該入力音声を含む合成音の信号の送信タイミングを前記再送時間帯の終了時にする、
    請求項1に記載の音声送信端末。
  3. 前記再送部は、前記欠損部分に基づいて前記入力音声に前記欠損部分を含む所定の区間を設定し、前記所定の区間内の前記入力音声を前記音声受信端末に再送する、
    請求項1又は2に記載の音声送信端末。
  4. 前記再送部は、前記入力音声の音量又は音程に基づいて、前記所定の区間を設定する、
    請求項3に記載の音声送信端末。
  5. 前記再送部は、前記音声受信端末に応じて、前記欠損部分に相当する前記入力音声の信号を前記音声受信端末に再送するか否かを決定する、
    請求項1〜4の何れか一項に記載の音声送信端末。
  6. 前記再送部は、前記欠損部分に相当する前記入力音声が早送りされた音声の信号を前記音声受信端末に再送する、
    請求項1〜5の何れか一項に記載の音声送信端末。
  7. 前記再送部は、前記欠損部分の無音部分を除去した音声の信号を前記音声受信端末に再送する、
    請求項1〜6の何れか一項に記載の音声送信端末。
  8. 音声取得部により順次取得された入力音声に、該入力音声の欠損部分を検出するための一定の音量レベルを有する付加音を重畳して合成音を生成する生成部と、
    前記生成部により生成された前記合成音の信号を音声受信端末に順次送信する送信部と、
    前記音声受信端末との間の通信品質を検出する通信品質検出部と、
    を備え、
    前記生成部は、前記通信品質検出部により検出された前記通信品質が基準値を下回った場合には、前記付加音の音量レベルを一定にすることに代えて、検出された前記通信品質に基づいて前記付加音の音量レベルを変化させる、
    音声送信端末。
JP2013551823A 2013-04-30 2013-04-30 音声通信システム、音声通信方法、音声通信用プログラム、音声送信端末、及び音声送信端末用プログラム Active JP5836400B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/062647 WO2014178122A1 (ja) 2013-04-30 2013-04-30 音声通信システム、音声通信方法、音声通信用プログラム、音声送信端末、及び音声送信端末用プログラム

Publications (2)

Publication Number Publication Date
JP5836400B2 true JP5836400B2 (ja) 2015-12-24
JPWO2014178122A1 JPWO2014178122A1 (ja) 2017-02-23

Family

ID=51843274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013551823A Active JP5836400B2 (ja) 2013-04-30 2013-04-30 音声通信システム、音声通信方法、音声通信用プログラム、音声送信端末、及び音声送信端末用プログラム

Country Status (3)

Country Link
US (1) US9564147B2 (ja)
JP (1) JP5836400B2 (ja)
WO (1) WO2014178122A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10026417B2 (en) * 2016-04-22 2018-07-17 Opentv, Inc. Audio driven accelerated binge watch

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0832508A (ja) * 1994-07-19 1996-02-02 Kokusai Electric Co Ltd ディジタル移動無線機、ディジタル移動無線受信方法、ディジタル移動無線送受信方法
JPH0998122A (ja) * 1995-09-29 1997-04-08 Sony Corp デジタル無線電話装置及び通信方法
JP2001175300A (ja) * 1999-12-17 2001-06-29 Yamaha Corp 電話端末装置の音声合成装置
JP2004343443A (ja) * 2003-05-15 2004-12-02 Ntt Docomo Inc 携帯通信装置、通信方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5175875A (en) * 1989-04-02 1992-12-29 Sony Corporation Radio communication apparatus with programmable signal modulation
US7298701B2 (en) * 2002-10-31 2007-11-20 Nokia Corporation Apparatus, and associated method, for requesting data retransmission in a packet radio communication system
JPH0566795A (ja) * 1991-09-06 1993-03-19 Gijutsu Kenkyu Kumiai Iryo Fukushi Kiki Kenkyusho 雑音抑圧装置とその調整装置
US6415253B1 (en) * 1998-02-20 2002-07-02 Meta-C Corporation Method and apparatus for enhancing noise-corrupted speech
US7089181B2 (en) * 2001-05-30 2006-08-08 Intel Corporation Enhancing the intelligibility of received speech in a noisy environment
US7310596B2 (en) * 2002-02-04 2007-12-18 Fujitsu Limited Method and system for embedding and extracting data from encoded voice code
JP2004343566A (ja) * 2003-05-16 2004-12-02 Ntt Docomo Inc 移動電話端末及びプログラム
DE602004004950T2 (de) * 2003-07-09 2007-10-31 Samsung Electronics Co., Ltd., Suwon Vorrichtung und Verfahren zum bitraten-skalierbaren Sprachkodieren und -dekodieren
US7555117B2 (en) * 2005-07-12 2009-06-30 Acoustic Technologies, Inc. Path change detector for echo cancellation
US7957960B2 (en) * 2005-10-20 2011-06-07 Broadcom Corporation Audio time scale modification using decimation-based synchronized overlap-add algorithm
DE102006032543A1 (de) * 2006-07-13 2008-01-17 Nokia Siemens Networks Gmbh & Co.Kg Verfahren und System zur Reduzierung des Empfangs unerwünschter Nachrichten
JP4399672B2 (ja) * 2006-08-30 2010-01-20 京セラ株式会社 通信装置及び制御方法
JP2008311918A (ja) * 2007-06-14 2008-12-25 Nec Corp 通信システム、通信端末およびプログラム
US8639214B1 (en) * 2007-10-26 2014-01-28 Iwao Fujisaki Communication device
JP2009118200A (ja) 2007-11-07 2009-05-28 Nec Corp 移動通信システム及び通信断理由告知方法、それに用いる携帯通信端末及び基地局
WO2013098885A1 (ja) * 2011-12-27 2013-07-04 三菱電機株式会社 音声信号復元装置および音声信号復元方法
EP2800508B1 (en) * 2012-01-06 2018-09-12 Draeger Medical Systems, Inc. System and method for improving signal to noise ratio for high frequency signal component

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0832508A (ja) * 1994-07-19 1996-02-02 Kokusai Electric Co Ltd ディジタル移動無線機、ディジタル移動無線受信方法、ディジタル移動無線送受信方法
JPH0998122A (ja) * 1995-09-29 1997-04-08 Sony Corp デジタル無線電話装置及び通信方法
JP2001175300A (ja) * 1999-12-17 2001-06-29 Yamaha Corp 電話端末装置の音声合成装置
JP2004343443A (ja) * 2003-05-15 2004-12-02 Ntt Docomo Inc 携帯通信装置、通信方法

Also Published As

Publication number Publication date
US9564147B2 (en) 2017-02-07
US20160093314A1 (en) 2016-03-31
JPWO2014178122A1 (ja) 2017-02-23
WO2014178122A1 (ja) 2014-11-06

Similar Documents

Publication Publication Date Title
US10121492B2 (en) Voice converting apparatus and method for converting user voice thereof
CN108347529B (zh) 一种音频播放方法及移动终端
US20090034750A1 (en) System and method to evaluate an audio configuration
CN109982228B (zh) 一种麦克风故障检测方法及移动终端
US20200293270A1 (en) Smart speaker
CN109195090B (zh) 用于产品内麦克风电声参数的测试方法及***
TWI558154B (zh) 音訊檢測方法及裝置
CN101442699A (zh) 声音播放装置参数调整方法
US9826086B2 (en) Communication system and communication method
US8793128B2 (en) Speech signal processing system, speech signal processing method and speech signal processing method program using noise environment and volume of an input speech signal at a time point
CN107911777B (zh) 一种耳返功能的处理方法、装置及移动终端
TW201517650A (zh) 資訊傳輸方法及相關設備、系統
JP5836400B2 (ja) 音声通信システム、音声通信方法、音声通信用プログラム、音声送信端末、及び音声送信端末用プログラム
JP2006033817A (ja) 携帯端末機のデータ伝送および出力装置、並びにその方法
US20170148469A1 (en) Terminal device and communication method for communication of speech signals
JP5508605B1 (ja) 通信制御システム、通信制御方法、通信制御プログラム、端末、及び端末用プログラム
JP2010199741A (ja) 携帯電話端末装置
CN104869611A (zh) 一种wlan接入方法及装置
US20140324418A1 (en) Voice input/output device, method and programme for preventing howling
JP6249874B2 (ja) 無線通信装置
US10536778B2 (en) Information processing apparatus, information processing method and audio system
KR101690716B1 (ko) 스마트폰과 호흡변환장치를 활용한 호흡 운동 방법
JP6610195B2 (ja) 端末装置、通信方法
JP2002300259A (ja) 音声通話装置の評価試験方法及びシステム
US8526578B2 (en) Voice communication apparatus

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140708

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150924

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151102

R150 Certificate of patent or registration of utility model

Ref document number: 5836400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250