JP6690200B2 - 端末装置、通信方法 - Google Patents
端末装置、通信方法 Download PDFInfo
- Publication number
- JP6690200B2 JP6690200B2 JP2015227481A JP2015227481A JP6690200B2 JP 6690200 B2 JP6690200 B2 JP 6690200B2 JP 2015227481 A JP2015227481 A JP 2015227481A JP 2015227481 A JP2015227481 A JP 2015227481A JP 6690200 B2 JP6690200 B2 JP 6690200B2
- Authority
- JP
- Japan
- Prior art keywords
- terminal device
- unit
- voice
- voice recognition
- audio signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Telephone Function (AREA)
Description
本発明を具体的に説明する前に、まず概要を述べる。本発明の実施例1は、PTT(Push to Talk)による音声通信を実行する端末装置に関する。当該端末装置は、ボタンを備えており、ユーザが当該ボタンを押し下げることによって送話が開始され、当該ボタンを解放することによって送話が終了する。一方、当該ボタンを押していない場合、ユーザはメッセージを聞くのみである。このようなPTTにおいて、送話者は、話して送信するという行動だけで完結しており、それがどう伝わったのかは、受話者の反応を頼りにするしかない。送信者は話した内容が受話者に正しく伝わっていると思い込んでいても、通信状況が悪く雑音が多かったり、早口すぎたりなどにより、自身の意図通りに音声が受話者に伝わっていないおそれがある。
ここでは、送信側の端末装置10での処理を説明する。ボタン20は、PTTボタンに相当し、PTTによって音声を送信する場合に、ユーザによって押し下げられる。また、音声を送信している間にわたって、ボタン20は押し下げ続けられる。ボタン20が押し下げられることは、音声信号を送信するための指示を受けつけることに相当する。ボタン20は、押し下げられている間にわたって、指示を送話部36に出力し続ける。マイク22は、端末装置10の周囲の音声を集音する。マイク22は、集音した音声を電気信号(以下、「音声信号」という)に変換し、音声信号を送話部36に出力する。
ここでは、(1)につづく、受信側の端末装置10での処理を説明する。受信部42は、送信側の端末装置10からの音声信号を受信する。受信部42は、増幅、周波数変換、復調、復号等を実行する。受信部42は、処理の結果(以下、これもまた「音声信号」という)を再生部32に出力する。再生部32は、受信部42からの音声信号を入力し、音声信号を再生する。音声信号の再生には公知の技術が使用されればよいので、ここでは説明を省略する。再生部32は、再生した音声信号をスピーカ34と処理部28に出力する。スピーカ34は、電気信号である音声信号を音声に変換し、音声を出力する。
ここでは、(2)につづく、送信側の端末装置10での処理を説明する。受信部42は、受信側の端末装置10からのテキストデータを受信する。受信部42は、テキストデータを処理部28に出力する。処理部28は、受信部42からのテキストデータを入力し、テキストデータを表示部26に表示する。送話者は、表示部26に表示されたテキストデータを確認することによって、受話者がどのように聞き取っているかを認識する。図3(a)−(b)は、表示部26に表示される画面を示す。図3(a)は、送話者が「アンゼン」と話し、受話者も「アンゼン」と聞き取っている場合を示す。この場合、送話者が話した内容と、受話者が聞いた内容とが一致する。一方、図3(b)は、送話者が「アンゼン」と話し、受話者が「カンゼン」と聞き取っている場合を示す。この場合、送話者が話した内容と、受話者が聞いた内容とが相違する。
次に、実施例2を説明する。本発明の実施例2も、実施例1と同様に、PTTによる音声通信を実行する端末装置であって、かつ受話者の音声認識モデルを使用して音声信号をテキスト化する端末装置に関する。実施例1における音声認識モデルは、受話者によって認識される音声信号の波形に対して構成される。一方、実施例2における音声認識モデルは、受話者が認識可能な音声速度、受話者が認識可能な音量レベルに対して構成される。実施例2に係る通信システム、端末装置は、図1、図2と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
次に、実施例3を説明する。本発明の実施例3も、これまでと同様に、PTTによる音声通信を実行する端末装置であって、かつ受話者の音声認識モデルを使用して音声信号をテキスト化する端末装置に関する。実施例3では、音声信号をテキスト化するだけではなく、受話者が音声を聞いている状況を推測可能な情報を送信側の端末装置に通知する。実施例3に係る通信システムは、図1と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
次に、実施例4を説明する。本発明の実施例4も、これまでと同様に、PTTによる音声通信を実行する端末装置であって、かつ受信した音声信号をテキスト化する端末装置に関する。受信側の端末装置において、イコライザのオン/オフ、スピーカから出力される際の音量レベル、話速変換のオン/オフの設定がなされる場合がある。その際、そのような設定に応じて処理された音声がスピーカから出力される。つまり、このような処理によって、実際にスピーカから出力される音声と、テキストデータの内容とが異なるおそれがある。
処理部28は、音声認識処理において認識不可能な音素が存在するかを判定する。例えば、入力した音声信号の1音素の波形と、当該1音素の波形に最も近い波形との相関値が予め定められた値よりも小さい場合に、当該1音素が認識不可能な音素と判定される。処理部28は、テキスト化したデータにおいて、認識不可能な音素を伏せ字に変換する。なお、伏せ字ではなく、別の予め定められた文字に変換されてもよく、「認識不可能な音素あり」とのメッセージが、テキスト化したデータに追加されてもよい。つまり、処理部28は、本端末装置10の設定を反映させながら、再生部32において再生した音声信号に対して実行された音声認識処理において認識不可能な音素が存在するかを判定することによって、音声信号におけるエラーの理由を特定する。
処理部28は、実施例2と同様に、テキスト化したデータの文字数を数えることによって、一定期間における音声信号の音声速度の値を導出する。処理部28は、導出した音声速度の値と、予め記憶したしきい値とを比較することによって、音声信号での音声速度がしきい値より大きいかの判定処理を実行する。処理部28は、音声速度の値がしきい値よりも大きければ、テキスト化したデータのうち、しきい値よりも大きい部分の文字を伏せ字に変換する。さらに、処理部28は、テキスト化したデータに、音声速度が速すぎることを示すためのメッセージを追加してもよい。なお、処理部28は、音声速度の値がしきい値以下であれば、テキスト化したデータに対する変換を実行しない。
処理部28は、実施例2と同様に、一定期間における音声信号の音量レベルの値を導出する。処理部28は、導出した音量レベルの値と、しきい値とを比較することによって、音声信号での音量レベルがしきい値より小さいかの判定処理を実行する。処理部28は、音量レベルの値がしきい値よりも小さければ、テキスト化したデータの各文字を伏せ字に変換する。さらに、処理部28は、テキスト化したデータに、音量レベルが小さすぎることを示すためのメッセージを追加してもよい。なお、処理部28は、音量レベルの値がしきい値以上であれば、テキスト化したデータに対する変換を実行しない。
次に、実施例5を説明する。実施例5は、実施例4と実施例3との組合せに相当する。実施例5に係る通信システム、端末装置は、図1、図7と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
次に、実施例6を説明する。実施例6は、実施例4において音声認識処理を実行する際に、マイクにおいて集音した音の情報も利用することに関する。実施例6に係る通信システム、端末装置は、図1、図2と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
次に、実施例7を説明する。実施例7は、実施例6と実施例5との組合せに相当する。実施例7に係る通信システム、端末装置は、図1、図7と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
次に、実施例8を説明する。実施例8は、実施例6において、音声認識処理を実行する際に、受信側の端末装置になされた設定を反映させない場合に相当する。受信側の端末装置になされた設定とは、イコライザのオン/オフ、スピーカから出力される際の音量レベル、話速変換のオン/オフの設定である。一方、実施例8でも、実施例6と同様に、音声認識処理を実行する際に、マイクにおいて集音した音の情報は利用される。実施例8に係る通信システム、端末装置は、図1、図2と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
次に、実施例9を説明する。実施例9は、実施例8と実施例7との組合せに相当する。実施例9に係る通信システム、端末装置は、図1、図7と同様のタイプである。ここでは、これまでとの差異を中心に説明する。
Claims (9)
- 端末装置であって、
他の端末装置からの音声信号を受信する受信部と、
前記受信部において受信した音声信号を再生する際に使用すべき設定値を設定する設定部と、
前記設定部において設定した設定値をもとに、前記受信部において受信した音声信号を再生する再生部と、
前記再生部において再生した音声信号に対して音声認識処理を実行する処理部と、
前記処理部における音声認識処理の結果を前記他の端末装置に送信する送信部と、
を備えることを特徴とする端末装置。 - 前記再生部は、前記設定部において設定した設定値を未使用のまま、前記受信部において受信した音声信号を再生し、
前記処理部は、(1)設定値を未使用のまま再生した音声信号に対しても、音声認識処理を実行するとともに、(2)設定値を未使用のまま再生した音声信号に対する音声認識処理の結果と、設定値をもとに再生した音声信号に対する音声認識処理の結果とを比較し、
前記送信部は、音声認識処理の結果として、前記処理部における比較結果を前記他の端末装置に送信することを特徴とする請求項1に記載の端末装置。 - 端末装置であって、
他の端末装置からの音声信号を受信する受信部と、
前記受信部において受信した音声信号を再生する際に使用すべき設定値を設定する設定部と、
前記設定部において設定した設定値をもとに、前記受信部において受信した音声信号を再生する再生部と、
本端末装置の周囲の音を集音するマイクと、
前記マイクにおいて集音した音の情報を反映させながら、前記再生部において再生した音声信号に対して音声認識処理を実行する処理部と、
前記処理部における音声認識処理の結果を前記他の端末装置に送信する送信部と、
を備えることを特徴とする端末装置。 - 前記再生部は、前記設定部において設定した設定値を未使用のまま、前記受信部において受信した音声信号を再生し、
前記処理部は、(1)設定値を未使用のまま再生した音声信号に対しても、音の情報を未使用のまま音声認識処理を実行するとともに、(2)設定値を未使用のまま再生した音声信号に対する音の情報を未使用のままの音声認識処理の結果と、設定値をもとに再生した音声信号に対する音の情報を反映させた音声認識処理の結果とを比較し、
前記送信部は、音声認識処理の結果として、前記処理部における比較結果を前記他の端末装置に送信することを特徴とする請求項3に記載の端末装置。 - 前記設定値は、音量レベルに関する設定値、音声速度に関する設定値、周波数特性に関する設定値のうちの少なくとも1つを含むことを特徴とする請求項1から4のいずれかに記載の端末装置。
- 端末装置であって、
他の端末装置からの音声信号を受信する受信部と、
前記受信部において受信した音声信号を再生する再生部と、
本端末装置の周囲の音を集音するマイクと、
前記マイクにおいて集音した音の情報を反映させながら、前記再生部において再生した音声信号に対して音声認識処理を実行する処理部と、
前記処理部における音声認識処理の結果を前記他の端末装置に送信する送信部と、
を備えることを特徴とする端末装置。 - 前記処理部は、(1)音の情報を未使用のまま音声認識処理を実行するとともに、(2)音の情報を未使用のままの音声認識処理の結果と、音の情報を反映させた音声認識処理の結果とを比較し、
前記送信部は、音声認識処理の結果として、前記処理部における比較結果を前記他の端末装置に送信することを特徴とする請求項6に記載の端末装置。 - 端末装置での通信方法であって、
他の端末装置からの音声信号を受信するステップと、
受信した音声信号を再生する際に使用すべき設定値を設定するステップと、
設定した設定値をもとに、受信した音声信号を再生するステップと、
再生した音声信号に対して音声認識処理を実行するステップと、
音声認識処理の結果を前記他の端末装置に送信するステップと、
を備えることを特徴とする通信方法。 - 端末装置での通信方法であって、
他の端末装置からの音声信号を受信するステップと、
受信した音声信号を再生するステップと、
本端末装置の周囲の音を集音するステップと、
集音した音の情報を反映させながら、再生した音声信号に対して音声認識処理を実行するステップと、
音声認識処理の結果を前記他の端末装置に送信するステップと、
を備えることを特徴とする通信方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015227481A JP6690200B2 (ja) | 2015-11-20 | 2015-11-20 | 端末装置、通信方法 |
US15/352,641 US9972342B2 (en) | 2015-11-20 | 2016-11-16 | Terminal device and communication method for communication of speech signals |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015227481A JP6690200B2 (ja) | 2015-11-20 | 2015-11-20 | 端末装置、通信方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017097093A JP2017097093A (ja) | 2017-06-01 |
JP6690200B2 true JP6690200B2 (ja) | 2020-04-28 |
Family
ID=58804936
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015227481A Active JP6690200B2 (ja) | 2015-11-20 | 2015-11-20 | 端末装置、通信方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6690200B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7026004B2 (ja) | 2018-06-13 | 2022-02-25 | 日本電信電話株式会社 | 会話補助装置、会話補助方法及びプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09325798A (ja) * | 1996-06-06 | 1997-12-16 | Matsushita Electric Ind Co Ltd | 音声認識装置 |
US7457750B2 (en) * | 2000-10-13 | 2008-11-25 | At&T Corp. | Systems and methods for dynamic re-configurable speech recognition |
JP2002300259A (ja) * | 2001-04-03 | 2002-10-11 | Fujitsu I-Network Systems Ltd | 音声通話装置の評価試験方法及びシステム |
JP2002372985A (ja) * | 2001-06-14 | 2002-12-26 | Mitsubishi Electric Corp | 音声認識装置 |
JP2003209600A (ja) * | 2002-01-11 | 2003-07-25 | Canon Inc | 通話システム、通話端末、方法、プログラム、及びコンピュータ読み取り可能な記憶媒体 |
JP4731174B2 (ja) * | 2005-02-04 | 2011-07-20 | Kddi株式会社 | 音声認識装置、音声認識システム及びコンピュータプログラム |
JP2008028532A (ja) * | 2006-07-19 | 2008-02-07 | Canon Inc | 音声処理装置および音声処理方法 |
JP2010226377A (ja) * | 2009-03-23 | 2010-10-07 | Toshiba Corp | 遠隔会議支援装置、及び方法 |
JP2011087196A (ja) * | 2009-10-16 | 2011-04-28 | Nec Saitama Ltd | 電話機、及び電話機の話速変換方法 |
JP5014449B2 (ja) * | 2010-02-26 | 2012-08-29 | シャープ株式会社 | 会議システム、情報処理装置、会議支援方法、情報処理方法、及びコンピュータプログラム |
JP5717574B2 (ja) * | 2011-07-27 | 2015-05-13 | 京セラ株式会社 | 携帯電子機器 |
JP6148163B2 (ja) * | 2013-11-29 | 2017-06-14 | 本田技研工業株式会社 | 会話支援装置、会話支援装置の制御方法、及び会話支援装置のプログラム |
-
2015
- 2015-11-20 JP JP2015227481A patent/JP6690200B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017097093A (ja) | 2017-06-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107995360B (zh) | 通话处理方法及相关产品 | |
KR101626438B1 (ko) | 오디오 데이터 프로세싱을 위한 방법, 디바이스, 및 시스템 | |
CN106302997B (zh) | 一种输出控制方法、电子设备及*** | |
US10510361B2 (en) | Audio processing apparatus that outputs, among sounds surrounding user, sound to be provided to user | |
US10276191B2 (en) | Speech section detection device, voice processing system, speech section detection method, and computer program product | |
CN110996238B (zh) | 双耳同步信号处理助听***及方法 | |
US9972342B2 (en) | Terminal device and communication method for communication of speech signals | |
JP6690200B2 (ja) | 端末装置、通信方法 | |
JP6610195B2 (ja) | 端末装置、通信方法 | |
JP6822540B2 (ja) | 端末装置、通信方法及び通信プログラム | |
JP7284570B2 (ja) | 音声再生システムおよびプログラム | |
JP2018148329A (ja) | 決定装置、決定方法 | |
EP3913809A1 (en) | Decoding device, decoding method, and program | |
US10074378B2 (en) | Data encoding detection | |
WO2015097818A1 (ja) | テレビシステムとサーバ装置及びテレビ装置 | |
JP5812932B2 (ja) | 音声聴取装置とその方法とプログラム | |
US11949817B2 (en) | Multipoint control method, apparatus and program | |
CN110648686B (zh) | 调整语音频率的方法及其声音播放装置 | |
JP6657769B2 (ja) | 送信装置、送信方法 | |
US20220377468A1 (en) | Systems and methods for hearing assistance | |
US20220124201A1 (en) | Multipoint control method, apparatus and program | |
CN116939565A (zh) | 一种语音质量评估方法及*** | |
WO2020128552A1 (ja) | 音声認識装置、音声認識装置の制御方法、コンテンツ再生装置、及びコンテンツ送受信システム | |
CN116778954A (zh) | 一种广播***静音检测方法、音频输出设备及存储介质 | |
JP2021043350A (ja) | 音声処理装置、音声処理方法、プログラム及び音声処理システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180927 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190809 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200310 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200323 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6690200 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |