JP6073649B2 - 音声自動認識・音声変換システム - Google Patents
音声自動認識・音声変換システム Download PDFInfo
- Publication number
- JP6073649B2 JP6073649B2 JP2012245779A JP2012245779A JP6073649B2 JP 6073649 B2 JP6073649 B2 JP 6073649B2 JP 2012245779 A JP2012245779 A JP 2012245779A JP 2012245779 A JP2012245779 A JP 2012245779A JP 6073649 B2 JP6073649 B2 JP 6073649B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- recognition
- charge
- person
- customer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000006243 chemical reaction Methods 0.000 title claims description 54
- 230000008451 emotion Effects 0.000 claims description 36
- 238000004891 communication Methods 0.000 claims description 23
- 230000008859 change Effects 0.000 claims description 19
- 230000008909 emotion recognition Effects 0.000 claims description 19
- 230000004044 response Effects 0.000 description 14
- 230000002996 emotional effect Effects 0.000 description 8
- 239000000284 extract Substances 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Telephonic Communication Services (AREA)
Description
前記音声自動認識・音声変換システムは、
前記通話相手の入力音声の声紋を認識する機能を有する声紋認識手段と、
前記入力音声から前記通話相手の感情を認識する機能を有する感情認識手段と、
前記通話相手の声紋、年齢、性別を示す顧客情報を蓄積する顧客DBと、
前記通話相手に対応する担当者の音声パラメータを蓄積する担当者DBと、
年齢、性別、感情に対応する音声パラメータを蓄積する音声DBと、
前記声紋認識手段の声紋認識及び前記感情認識手段の感情認識の分析結果を受け、前記担当者DBの音声パラメータと前記音声DBのパラメータの差分を算出し、当該差分を出力する音声分析手段と、
前記音声分析手段により抽出された前記差分を受け、当該差分に基に前記担当者の音声を変換し、前記通信手段に出力する音声変換手段と、
を有し、
前記通話相手と前記担当者間の通話状態において、前記感情認識手段が、前記通話相手の感情変化を検知し、前記音声分析手段が、前記音声DBの音声パラメータと前記担当者の音声パラメータとの差分を算出したとき、前記音声変換手段は、当該差分に基づき前記担当者の音声をリアルタイムで変換する
ことを特徴とする音声自動認識・音声変換システム。
前記サービス提供システムがコールセンタからなり、当該コールセンタは、前記音声分析手段の分析結果を表示する表示手段を有する
ことを特徴とする音声自動認識・音声変換システム。
前記音声自動認識・音声変換システムは、
更に、前記通話相手の入力音声から聞き直しに関連するキーワードを認識するキーワード認識手段を有し、
前記キーワード認識手段が前記キーワードを認識し、前記音声分析手段が、前記キーワードを検知したとき、前記音声変換手段は、前記キーワードに応じた各属性のパラメータ値を変更し、当該パラメータに従い、前記担当者の音声の音量、及び/又は速度を変換する
ことを特徴とする音声自動認識・音声変換システム。
コンタクトセンタ又はコールセンタ受付システム(以下、コールセンタと言う)、電話対応の良し悪しが、対象の製品、サービス、会社自体の印象に大きく左右する。従って、お客様(以下、顧客と言う)に分かり易く、かつストレスを与えることがないような音声対応が要求される。
しかし、電話対応は、担当者により、ばらつきがあるのが現状である。電話対応が悪いだけで、製品、サービス、会社自体の印象も悪くなり、大きな損失を抱えるリスクある。
この声紋認識は、例えば、顧客DB1306に登録された声紋と照合して行う。顧客DB1306に登録されていない場合には、声紋認識手段1301において、入力音声の声紋から年齢、性別等を判定し、その結果を顧客DB1306に登録する。
そして、当該音声DBから、顧客(相手)の聞き取り易い音声情報(音量、音声速度、音程、音質等の音声パラメータ)を抽出する。
換言すれば、音声分析手段からの属性のパラメータ値に従い、顧客20の状態に応じた音声のチューニングを行う。この変換音声は、通信手段110を介して顧客側の通信手段200に送信する。
まず、ステップS13001において、事前に音声変換元の担当者の音声パラメータを担当者DB1307に登録する。
声紋認識手段1301は、ステップS13003において、顧客20の音声31から、声紋、声色の情報を取得する。
また、ステップS13016において、顧客20の年齢、性別、感情、注意点(履歴がある場合)などの情報を表示手段120に表示する。
例えば、担当者10の声が小さい場合には、音量を上げる(+10)。また、早口である場合には、音声速度を下げる(−15)等のチューニングを行う。
電話対応が終了した場合(Yes)には、ステップS13033において、電話対応を終了、つまり電話を切る。次いで、ステップS13034において、顧客DB1306を更新し、履歴追加を行う。
お客様から電話により、製品に関する問合せがあったとき、音声自動認識・音声変換システム130は、このときのお客様の音声、例えば「もしもし〜」等の音声の声紋が顧客DB1306に登録されている場合には、その情報を参照して認識する。またお客様の音声から感情認識も行う。
以上のような両者の会話において、お客様の音声から感情の変化、例えば「平常」から「怒り」が感じられた場合には、当該お客様の感情状態「怒り」に応じて、音声DB1308から、「音量:55、音声速度:35、音程:40:音質:+10」のパラメータを抽出し、担当者Aのパラメータとの差分「音量:+5、音声速度:−35、音程:+20:音質:+50」を計算する。そして、この差分を基に担当者Aの音声を、音声変換の再構築(チューニング)を行う。本例によれば、きめ細かな音声変換のチューニングも可能である。
なお、感情認識の判定方法としては、単純な判定方式を採用してもよい。
お客様が「聞き取れなかったので、もう1度お願いします。少しお声が小さいのですが。」等の音声の場合には、キーワード認識機能により、つまり「声が小さい」の音声を検出し、担当者Aの音量を、例えば「音量:+10」とする。
(1)
お客様(顧客)の年齢、性別、感情に応じた最適な音声(音量、音声速度、音程、音質)で会話することができ、電話対応の印象を向上させることができる(製品、サービス、会社自体の印象向上が期待できる)。また、ストレスのない電話対応により、電話対応のトラブル(クレーム)を低減させることができる。
(2)
全ての担当者が上記の対応が可能となり、担当者の対応ばらつきを是正することができる。
(3)
人の耳では判別できないようなお客様の感情変化を適確に検知することができ、音声変換のチューニングを施すと共に担当者への慎重な対応意識を上げることができる。
(4)
年配者ハンディキャップを有するお客様に対しても、担当者の音声を最適な音声に変換して聞かせることができるため、お客様にストレスを与えないサービスを提供することができる。
(5)
また、付随的効果として、声紋で個人を特定することが可能なため、当該個人に関する情報をモニターすることにより、例えばサポートサービスにおいて、契約確認が容易になると共にお客様側に契約確認の手間が軽減できる。例えば、担当者は、「○○社の××さんですね。いつもありがとうございます。△△製品のお問合せでしょうか?」等の応答ができ、お客様から「よく分かったね〜。契約確認が楽で助かるよ」等の返答が期待できる。
(6)
また、付随効果として、声紋で個人を特定することが可能なため、契約情報を不正に取得してサービスを利用する、所謂「なりすまし」を防止することができる。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。
また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
110 通信手段(コールセンタ側)
120 表示手段
130 音声自動認識・音声変換システム
1301 声紋認識手段
1302 感情認識手段
1303 キーワード認識手段
1304 音声分析手段
1305 音声変換手段
1306 顧客DB
1307 担当者DB
1308 音声DB
200 通信手段(顧客側)
Claims (3)
- 音声通信手段を介して通話相手と音声による会話を行うサービス提供システムに用いられる音声自動認識・音声変換システムであって、
前記音声自動認識・音声変換システムは、
前記通話相手の入力音声の声紋を認識する機能を有する声紋認識手段と、
前記入力音声から前記通話相手の感情を認識する機能を有する感情認識手段と、
前記通話相手の声紋、年齢、性別を示す顧客情報を蓄積する顧客DBと、
前記通話相手に対応する担当者の音声パラメータを蓄積する担当者DBと、
年齢、性別、感情に対応する音声パラメータを蓄積する音声DBと、
前記声紋認識手段の声紋認識及び前記感情認識手段の感情認識の分析結果を受け、前記担当者DBの音声パラメータと前記音声DBのパラメータの差分を算出し、当該差分を出力する音声分析手段と、
前記音声分析手段により抽出された前記差分を受け、当該差分に基に前記担当者の音声を変換し、前記通信手段に出力する音声変換手段と、
を有し、
前記通話相手と前記担当者間の通話状態において、前記感情認識手段が、前記通話相手の感情変化を検知し、前記音声分析手段が、前記音声DBの音声パラメータと前記担当者の音声パラメータとの差分を算出したとき、前記音声変換手段は、当該差分に基づき前記担当者の音声をリアルタイムで変換する
ことを特徴とする音声自動認識・音声変換システム。 - 請求項1に記載の音声自動認識・音声変換システムであって、
前記サービス提供システムがコールセンタからなり、当該コールセンタは、前記音声分析手段の分析結果を表示する表示手段を有する
ことを特徴とする音声自動認識・音声変換システム。 - 請求項1又は請求項2に記載の音声自動認識・音声変換システムであって、
前記音声自動認識・音声変換システムは、
更に、前記通話相手の入力音声から聞き直しに関連するキーワードを認識するキーワード認識手段を有し、
前記キーワード認識手段が前記キーワードを認識し、前記音声分析手段が、前記キーワードを検知したとき、前記音声変換手段は、前記キーワードに応じた各属性のパラメータ値を変更し、当該パラメータに従い、前記担当者の音声の音量、及び/又は速度を変換する
ことを特徴とする音声自動認識・音声変換システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012245779A JP6073649B2 (ja) | 2012-11-07 | 2012-11-07 | 音声自動認識・音声変換システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012245779A JP6073649B2 (ja) | 2012-11-07 | 2012-11-07 | 音声自動認識・音声変換システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014095753A JP2014095753A (ja) | 2014-05-22 |
JP6073649B2 true JP6073649B2 (ja) | 2017-02-01 |
Family
ID=50938874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012245779A Active JP6073649B2 (ja) | 2012-11-07 | 2012-11-07 | 音声自動認識・音声変換システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6073649B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11170763B2 (en) | 2018-05-31 | 2021-11-09 | Toyota Jidosha Kabushiki Kaisha | Voice interaction system, its processing method, and program therefor |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015184563A (ja) * | 2014-03-25 | 2015-10-22 | シャープ株式会社 | 対話型家電システム、サーバ装置、対話型家電機器、家電システムが対話を行なうための方法、当該方法をコンピュータに実現させるためのプログラム |
JP6149230B2 (ja) * | 2014-03-28 | 2017-06-21 | 学校法人塚本学院 | 脳機能障害者生活支援装置 |
CN104102627B (zh) * | 2014-07-11 | 2016-10-26 | 合肥工业大学 | 一种多模态的非接触情感分析记录*** |
JP2016189158A (ja) | 2015-03-30 | 2016-11-04 | 富士フイルム株式会社 | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
JP6798484B2 (ja) * | 2015-05-07 | 2020-12-09 | ソニー株式会社 | 情報処理システム、制御方法、およびプログラム |
JP7151181B2 (ja) | 2018-05-31 | 2022-10-12 | トヨタ自動車株式会社 | 音声対話システム、その処理方法及びプログラム |
WO2020204948A1 (en) * | 2019-04-05 | 2020-10-08 | Futurewei Technologies, Inc. | Methods and systems that provide emotion modifications during video chats |
JPWO2022208711A1 (ja) * | 2021-03-31 | 2022-10-06 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3936351B2 (ja) * | 1995-01-11 | 2007-06-27 | 富士通株式会社 | 音声応答サービス装置 |
JP2004252085A (ja) * | 2003-02-19 | 2004-09-09 | Fujitsu Ltd | 音声変換システム及び音声変換プログラム |
JP2004280158A (ja) * | 2003-03-12 | 2004-10-07 | Fujitsu Ltd | オペレータ支援方法 |
JP4559335B2 (ja) * | 2005-09-30 | 2010-10-06 | 株式会社みずほ銀行 | 音声ガイドシステム及び音声ガイド方法 |
JP5189354B2 (ja) * | 2007-12-28 | 2013-04-24 | 株式会社富士通エフサス | オペレータ受付監視・切替システム |
JP4438014B1 (ja) * | 2008-11-06 | 2010-03-24 | 株式会社ネイクス | 有害顧客検知システム、その方法及び有害顧客検知プログラム |
JP5169918B2 (ja) * | 2009-03-06 | 2013-03-27 | 富士通モバイルコミュニケーションズ株式会社 | 話速変換装置 |
JP5326711B2 (ja) * | 2009-03-19 | 2013-10-30 | 富士通株式会社 | 督促支援システム、その方法、及びプログラム |
JP2011009902A (ja) * | 2009-06-24 | 2011-01-13 | Seiko Epson Corp | 顧客対応装置 |
-
2012
- 2012-11-07 JP JP2012245779A patent/JP6073649B2/ja active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11170763B2 (en) | 2018-05-31 | 2021-11-09 | Toyota Jidosha Kabushiki Kaisha | Voice interaction system, its processing method, and program therefor |
Also Published As
Publication number | Publication date |
---|---|
JP2014095753A (ja) | 2014-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6073649B2 (ja) | 音声自動認識・音声変換システム | |
US7665024B1 (en) | Methods and apparatus for controlling a user interface based on the emotional state of a user | |
US8326624B2 (en) | Detecting and communicating biometrics of recorded voice during transcription process | |
JP5532598B2 (ja) | オペレータ管理システム、その方法、及びプログラム | |
JP6341092B2 (ja) | 表現分類装置、表現分類方法、不満検出装置及び不満検出方法 | |
CN107818798A (zh) | 客服服务质量评价方法、装置、设备及存储介质 | |
CN107454536B (zh) | 用于自动化地确定助听设备的参数值的方法 | |
US20150149169A1 (en) | Method and apparatus for providing mobile multimodal speech hearing aid | |
US11115539B2 (en) | Smart voice system, method of adjusting output voice and computer readable memory medium | |
JP5864285B2 (ja) | 電話応対業務支援システムおよびその方法 | |
US6738457B1 (en) | Voice processing system | |
US10789954B2 (en) | Transcription presentation | |
TWI624183B (zh) | 電話語音處理之方法及其電腦程式 | |
JPWO2015083741A1 (ja) | 中継装置、表示装置および通信システム | |
CN111212189A (zh) | 一种基于手机端的智能外呼*** | |
US11783837B2 (en) | Transcription generation technique selection | |
JP6842227B1 (ja) | グループ通話システム、グループ通話方法及びプログラム | |
CN115118820A (zh) | 一种通话处理方法、装置、计算机设备及存储介质 | |
US20190372824A1 (en) | Changing a communication session | |
CN111179943A (zh) | 一种对话辅助设备及获取信息的方法 | |
JP2013207508A (ja) | 自動音声応答装置 | |
WO2014019952A1 (en) | Self awareness assistant | |
JP7334467B2 (ja) | 対応支援装置および対応支援方法 | |
US11445056B1 (en) | Telephone system for the hearing impaired | |
US20220172231A1 (en) | Speech analysis models as a service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20151007 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161206 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170105 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6073649 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |