JP2017508188A - 適応型音声対話のための方法 - Google Patents
適応型音声対話のための方法 Download PDFInfo
- Publication number
- JP2017508188A JP2017508188A JP2016566875A JP2016566875A JP2017508188A JP 2017508188 A JP2017508188 A JP 2017508188A JP 2016566875 A JP2016566875 A JP 2016566875A JP 2016566875 A JP2016566875 A JP 2016566875A JP 2017508188 A JP2017508188 A JP 2017508188A
- Authority
- JP
- Japan
- Prior art keywords
- features
- voice communication
- time intervals
- mfcc
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 10
- 238000004891 communication Methods 0.000 claims abstract description 95
- 230000008451 emotion Effects 0.000 claims abstract description 27
- 238000012544 monitoring process Methods 0.000 claims abstract description 27
- 230000004044 response Effects 0.000 claims description 31
- 230000002996 emotional effect Effects 0.000 claims description 16
- 238000013515 script Methods 0.000 claims description 9
- 230000007613 environmental effect Effects 0.000 claims description 4
- 238000005259 measurement Methods 0.000 claims 3
- 230000003993 interaction Effects 0.000 abstract description 9
- 238000012545 processing Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
- H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
- H04M3/5166—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing in combination with interactive voice response systems or voice portals, e.g. as front-ends
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
- H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
- H04M3/4936—Speech interaction details
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/50—Centralised arrangements for answering calls; Centralised arrangements for recording messages for absent or busy subscribers ; Centralised arrangements for recording messages
- H04M3/51—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing
- H04M3/523—Centralised call answering arrangements requiring operator intervention, e.g. call or contact centers for telemarketing with call distribution or queueing
- H04M3/5232—Call distribution algorithms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/22—Arrangements for supervision, monitoring or testing
- H04M3/2218—Call detail recording
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Marketing (AREA)
- Business, Economics & Management (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Psychiatry (AREA)
- Hospice & Palliative Care (AREA)
- General Health & Medical Sciences (AREA)
- Child & Adolescent Psychology (AREA)
- Telephonic Communication Services (AREA)
Abstract
適応型音声対話のための方法は、サービスの受け手とサービス担当者の間の音声通信をモニタするステップと、音声通信に基づいて特徴のセットを測定するステップと、特徴のセットを分析して感情メトリック値を生成するステップと、を含む。【選択図】図1
Description
関連出願の相互参照
本出願は、2014年1月28日出願の米国仮特許出願第61/932,696号の利益を主張するものであり、当該出願はその全てが参照により援用されている。
本出願は、2014年1月28日出願の米国仮特許出願第61/932,696号の利益を主張するものであり、当該出願はその全てが参照により援用されている。
本発明は概して、言語処理の分野に関するものであり、より具体的には、言語処理の分野における適応型音声対話のための新規かつ有用な方法に関するものである。
言語処理の分野は急成長している分野であって、多くの産業にわたって使用されている。現在の適応型音声対話法は多くの場合、相当な訓練と膨大な量の計算資源を必要とし、しばしば精度に問題を来している。このような課題に対処しうる言語処理の分野に係る新たな解決策を提供することは、適応型音声対話の適用例の多くを著しく改善すると共に、新たな用途をも可能にしうる。したがって、言語処理の分野において、適応型音声対話のための新規かつ有用な方法を作り出す必要がある。本発明は、このような方法を提供するものである。
本発明の好適な実施形態に係る以下の記載は、本発明をこのような好適な実施形態に限定することを意図するものではなく、むしろ、当該分野における当業者が本発明を行い、使用することができるようにすることを意図するものである。
図1に示すように、適応型音声対話のための方法100は、音声通信をモニタするステップS110と、音声通信に基づいて応答を生成するステップS120と、を含んでいる。この方法100は更に、事前の音声サンプルを受け取るステップS130、事前の音声サンプルの特徴を検出するステップS140、これらの特徴に応じてアクションを実行するステップS150、および/または音声通信データを収集するステップS160、を含みうる。
方法100は、音声通信をモニタすることができるコンピュータシステムまたは電子デバイスによって実行されることが好ましい。例えば、この方法100は、通話をルーティングしてモニタするコールセンターのサーバによって、スマートフォンの仮想アシスタントアプリによって、電話会議サービス用のクラウドのサーバによって、または音声通信を活用する他のインプリメンテーションによって実行することができる。コールセンターでは、方法100を使用して、顧客(または、その他のサービスの受け手)とサービス担当者(SR)とを組み合わせる、メニューを通じて顧客のルーティングを支援する、または顧客とSRの双方に選択肢を与えてサービスの質を高めることができる。サービス担当者の例は、顧客サービス担当者、販売担当者、およびコールセンターの利用によってサービス業を行う、または支援するその他の人員である。さらに、この方法をコールセンターで使用してSRの査定および訓練に役立てて、サービスの品質と効率を高めることができる。スマートフォンの仮想アシスタントアプリでは、方法100を使用して、ユーザが話した言葉だけでなく、検出された感情、学習パターン、音声サブテキスト、または他の特徴あるいは内容にも基づいてフィードバックを提供し、決定をすることができる。仮想アシスタントは、任意のコンピュータ対話型音声応答(IVR)システムを含むことが好ましい。
音声通信をモニタするステップを含むステップS110は、音声通信の特徴および/または内容を追跡して分析する役割を果たす。この音声通信は、電話線による音声通信であることが好ましいが、代替的には、インターネット上、インターコムシステム上、ネイティブアプリケーションあるいはオペレーティングシステム内の音声通信、またはマイクロフォンあるいは他の手段を利用して音声通信をモニタできるその他の適切な種類の音声通信とすることができる。音声通信は、人間と自動コンピュータシステムとの間の通信であることが好ましいが、代替的には、人間、動物、およびコンピュータシステムの間の幾つかの組み合わせ間の通信とすることができる。音声通信のモニタリングは、リアルタイム(音声通信が発生しているとき)に行われることが好ましいが、代替的には、他のいかなるときにも行うことができる。例えば、顧客とサービス担当者(SR)の会話は、その会話がリアルタイムで起きている時にモニタすることができる。代替的な例として、記録された二人の間の会話は、会話を記録した後のいかなる時にもモニタすることができる。モニタリングは、全ての利用可能な音声通信データについて行われることが好ましいが、代替的には、一部の利用可能な音声通信データについてのみ行うこともできる。利用可能な音声通信は、方法100を実行するシステムが分析またはモニタリングのために利用可能な任意の音声通信であることが好ましい。例えば、顧客とSRの会話では、モニタリングは、顧客とSRによる双方の会話について行われることが好ましいが、代替的には、二人の当事者のうちの一人による会話についてのみ行うことができる。同様に、モニタリングは、電話会議の最中のように、三人以上について実行することもできる。モニタリングはさらに、音声通信が利用可能となる間は常に行われることが好ましいが、代替的には、音声通信がアクティブとなる時のみ行うこともできる。例えば、会話のモニタリングは、会話の全てに関して、またはその会話の一部のみに関して行うことができる。
モニタするステップは、音声通信の特徴を追跡するステップを含むことが好ましい。音声通信の特徴は、平均最小基本周波数、平均振幅、強度、テンポ、およびその他の適切な統計的特徴といった、統計的特徴を含むことが好ましい。音声通信の特徴はさらに、メル周波数ケプストラム係数(MFCC)を含むことが好ましい。音声通信の特徴は、代替的には、相対スペクトル変換(RASTA)特徴、知覚的線形予測(PLP)特徴、RASTA−PLP特徴、または音声通信を表すその他の特徴を含みうる。特徴は、音声通信からリアルタイムで抽出されることが好ましい。リアルタイムでのMFCC特徴の抽出は、好適には米国特許出願公開第2011/0295607号に記載の方法によって可能であり、当該公報は参照によりその全てが援用される。特徴は、音声通信の時間にわたって繰り返し抽出されることが好ましい(例えば、最小基本周波数の特徴は、通信の100ms毎に抽出される)。抽出された特徴は、抽出タイミングにリンクさせることが好ましい(例えば、特定の特徴が、会話の開始後600ミリ秒と会話の開始後700ミリ秒の間に発生したことが分かる)が、代替的には、抽出タイミングにリンクさせなくともよい。
モニタするステップは、代替的あるいは付加的に、音声通信の内容を追跡するステップを含むことができる。音声通信の内容は、未加工の内容(例えば、記録された音声通信の音声)と、派生的内容(例えば、音声通信の際に話された単語または音声通信の書き起し)を含むことが好ましい。派生的内容は、未加工の内容から生成したものであることが好ましいが、代替的には、音声通信の特徴あるいはその他の適切なソースから生成した内容とすることができる。派生的内容は、自動的に生成したものであることが好ましいが、代替的には、(人が音声の記録を書き起こした場合など)手動で生成することもできる。
モニタするステップは、モニタした全ての音声通信を保存するステップを含むことが好ましいが、代替的には、モニタした音声通信の一部のみを保存するステップ、あるいは全く保存しないステップを含むこともできる。保存するステップは、音声通信のデジタル記録をコンピュータ記憶装置に保存するステップを含むことが好ましいが、代替的には、他の保存方法を含むことができる。
モニタするステップは、音声通信の特徴を分析するステップを含むことが好ましい。特徴を分析するステップは、特徴と基準とを比較するステップと、この比較から結論を求めるステップと、を含むことが好ましい。代替的には、特徴を分析するステップは、複数の特徴と付加的な関連する情報の組み合わせから結論を求める任意の方法を含むことができる。モニタするステップはさらに、音声通信の内容を分析するステップを含むことが好ましい。内容を分析するステップは、内容と基準とを比較するステップと、この比較から結論を求めるステップと、を含むことが好ましい。代替的には、内容を分析するステップは、内容と付加的な関連する情報の組み合わせから結論を求める任意の方法を含むことができる。
基準は基準データベースに保存されることが好ましいが、代替的には、その他のいかなる方法でも保存することができる。基準は、比較される特徴または内容に関連するデータを含むことが好ましい。例えば、MFCC特徴に関する基準は、他のMFCC特徴とすることができる。他の例としては、基本周波数に関する基準は基本周波数の範囲とすることができる。
基準は、他のデータとリンクさせることが好ましい。例えば、基準は、人口学的データあるいは識別データ(年齢、性別、文化等)、感情データ、行動に関連付けられたデータ、または他の適切なデータにリンクさせることができる。例えば、基本周波数の基準は、特定の感情にリンクされた周波数の範囲を含むことができる。第2の例として、内容の基準は、80歳の話し手のサウンドクリップを含むことができる(すなわち、サウンドクリップを年齢にリンクさせる)。第3の例として、MFCCの基準は、発信者が電話を切るであろう高い可能性にリンクさせることができる。基準は、複数の種類のデータにリンクさせることが好ましい。例えば、80歳の話し手のサウンドクリップは、話し手の年齢だけでなく、話し手の性別や文化にもリンクさせることができる。基準は、一種類の基準であることが好ましい(例えば、1つの特徴または1つの内容のクリップ)が、代替的には、複数の種類の基準とすることができる。例えば、怒りにリンクされた基準は、MFCC特徴と統計的特徴の双方を含むことができる。特徴または内容と基準との比較は、幾つかの異なる方法で行うことができる。このような比較から結論を求めるステップもまた、幾つかの異なる方法で行うことができる。第1の例として、1つの特徴を単に1つの基準と比較してもよい。この比較から、この特徴がその基準とどの程度一致しているかを求めることができる(例えば、測定した特徴とその基準とが、算出すると86%の類似性を有している)。ここから、この特徴がその基準にリンクされたデータに対応している程度といった、更なる結論を求めることができる(例えば、20−30歳の話し手の予想年齢範囲にリンクされた基準との類似性が86%ということは、話し手がこの年齢範囲内であるということが98%の可能性であることを示唆している)。第2の例として、1つの特徴を複数の基準と比較してもよい。第3の例として、複数の特徴を1つまたは複数の基準と比較してもよい。特徴および基準はタイミングにリンクさせることが好ましいが、代替的には、タイミングにリンクさせなくともよい。結論は、一連のルールを使用してこのような比較から得られることが好ましいが、代替的には、マシン学習アルゴリズム、ニューラルネットワーク、またはその他の適した方法を使用して得ることができる。一連のルールを使用して比較から結論を求める一例としては、特徴を様々な感情に関連付けた一連の基準と比較し、次いでその特徴に最も類似している基準にリンクされた感情を選択することによって、ある特徴を特定の感情と関連付けることができる。結論は特徴または内容から直接求められることが好ましいが、代替的には、間接的に求めることもできる。例えば、結論は、既に得られた情報のパターンまたは組み合わせから求めることができ、顧客の会話が男性であると特定され、その顧客の会話が最初は悲しみがあって、次に怒りがあると識別されると、その顧客は、電話を切る高い可能性にリンクさせることができる。電話を切るリスクに加えて、顧客をアトリション(attrition)リスクまたはアップセル成功率といった、その他の重要なメトリクスにリンクさせることができる。結論は、特徴、内容、得られた情報、および外部情報の組み合わせから求めることもできる。外部情報は、方法100を作動するシステムに既知の情報であって、音声通信の一部ではない。例えば、外部情報は、いくつのボタンを顧客が押したか;どの程度の時間、顧客が待っているか;何度、顧客が過去に電話してきたか;または年齢あるいは住所といった顧客に関する既知の情報を含みうる。モニタリングの一部として求めた結論は、コンピュータシステムのメモリに保存されることが好ましいが、代替的には、他の方法で保存しても、または保存しなくともよい。
ステップS110によって求めた結論を利用して、音声通信に関与した人間の感情状態を評価することができる。一実施形態では、ステップS110は、音声通信に関与した人間(例えば、顧客、SR、仮想アシスタントのユーザ等)に関する感情メトリック値を生成するステップを含む。このような感情メトリック値は、人が経験しうる特定の感情の程度を表す。例えば、SRは、図2に示すように、悲しみ、喜び、および怒りなどの感情に関する感情メトリック値を時間に対してプロットしたパネルにアクセスすることができる。
感情メトリック値は、複合的な比較から求められることが好ましい。例えば、ステップS110は、2Hzの速度で感情メトリック値を生成するが、10Hzの速度で特徴の比較を行うステップを含みうる(例えば、生成されるそれぞれの感情の数値は、5つの特徴の比較に基づいている)。付加的あるいは代替的に、感情メトリック値は、1つの比較から求めることもできる(すなわち、感情メトリック値の生成速度と、特徴の比較速度は等しい)。
ステップS110によって求めた結論を利用して、より一般的な感情状態あるいは感情状態の点数を生成することもできる。例えば、人が主に怒りを経験している場合、その人の感情状態は、怒りとして表すことができる。他の例としては、図2に示すように、SRを有用性にリンクされた感情状態の点数で概括的に評価することができ、これはSRが共感を示した程度に基づいて算出することができる。
音声通信に基づいて応答を生成するするステップを含むステップS120は、音声通信をモニタしている間に得られた情報に応答する役割を果たす。応答の生成は、方法100を実行するコンピュータシステムによってなされることが好ましいが、代替的には、任意の適したシステムまたは手段によってすることができる。応答は、特定のイベント(例えば、トリガされるルールまたは特定時間の経過)に応じて生成されることが好ましいが、代替的には、手動で(例えば、SRによって)生成することもできる。応答は一連のルールに応じて生成されることが好ましいが、代替的には、マシン学習アルゴリズム、ニューラルネットワーク、手動入力、またはその他の適切な方法に応じて生成することができる。応答は音声通信のモニタリングから求めた結論に基づいて生成されることが好ましいが、代替的には、他の入力に基づいて生成することができる。例えば、応答は、(音声通信から得られるような)発信者の感情、または音声通信からは生じない既知の人口学的情報(例えば、電話番号が人口学的情報にリンクされている場合)に基づいて生成することができる。応答は、音声通信に直接的に影響を与える活動であることが好ましいが、代替的には、任意の種類の応答とすることができる。例えば、コールセンターシステムによる顧客とSRの間の音声通信のモニタリングから、顧客は60歳以上で、怒っている可能性が高いことを示す情報が得られた場合には、SRは、この状況に対処するための助言に関連する、またはこの状況に対処するためのスクリプトを提示するポップアップウィンドウをコンピュータ上に受け取ることができる。第1の代替的な例として、SRは、この顧客を高齢の顧客に対応するように特に訓練された別のSRに交換するという選択肢を受け取ることができる。第2の代替的な例として、コールセンターシステムは、自動的にこの顧客を別のSRへと転送することができる。他の例として、モニタリングから顧客が太い声を好むことを示す情報が得られた場合には、SRの声を太く聞こえるように変化させることができる。方法100をコールセンターで実行する場合には、応答は、SRまたはその他のコールセンターの従業員に情報を表示するステップを含むことが好ましい。SRが使用するグラフィカルユーザインターフェースは、使用されるアプリケーションまたはウェブサイトに情報を表示して、SRの通信および/または対話を制御することが好ましい。情報を表示することを含む応答によって、その応答との対話が可能となることが好ましい。例えば、応答がSRへの情報の表示を含む場合、このSRはこの情報にコメントをする、または評価することができる。より具体的には、コールシステムが「顧客は怒っているようです。同意しますか?[y/n]」といったメッセージを表示した場合、SRは、後の応答の生成、あるいは訓練の目的の何れかに利用することができる意見を提供することができる。他の例として、応答がSRへの情報の表示を含む場合、このSRは、その応答の後に手動で行動を起こすことができる。より具体的には、コールシステムは「顧客は怒っているようです。この通話をマネージャに転送しますか?[y/n]」といったメッセージを表示して、SRがその電話を転送できるようにすることができる。同様に、この応答はメタデータを通話のセッション識別子に付随させることができ、これを利用して後の通話処理に影響を与えることができる。例えば、発信者が混乱していることを確認する応答がSRに提供されると、この電話セッションには、後の通話処理におけるより上級のSRに向けた基本設定を記録することができる。応答は音声通信の最中に行われることが好ましいが、他のいかなる時にも行うことができる。例えば、応答は、電話を切った発信者にテキストメッセージを送信することを含みうる。応答は、音声通話が発生したときに音声通話を修正する、影響を与える、あるいは通知するために使用されることが好ましいが、代替的に、他の目的に利用することができる。例えば、SRには特に感情的な顧客を処理した後に休憩を与えることができる、または正の感情が常に検出されている堅実な通話の処理に対して、業績ポイントを累積させることができる。
事前の音声サンプルを受け取るステップを含むステップS130は、初期の音声サンプルをキャプチャする役割を果たす。事前の音声サンプルを受け取るステップは、音声通信の冒頭で行われることが好ましい。この受け取るステップは、他のタスクに組み込まれることが好ましい。例えば、コールセンターシステムは、発信者にそのアカウント番号を言うように要求することができる。この例では、初期の音声サンプルは、特徴(例えば、感情)および内容(例えば、実際のアカウント番号)の両方に関して後に処理される。代替的には、受け取るステップは、他のタスクとは分離することができる。コールセンターシステムは単に、内容を後で構文分析することなく、発信者に名前を言うように要求することができる。この例では、名前は実際には音声サンプルからは特定されず、この音声サンプルは単に特徴のために処理される。受け取るステップは初期の音声サンプルを録音するステップを含むことが好ましいが、代替的には、受け取った音声サンプルは記録されなくともよく、その代わりにリアルタイムで処理することもできる。
事前の音声サンプルの特徴を検出するステップを含むステップS140は、事前の音声サンプルの特徴を検出して、分析を行う役割を果たす。ステップS140の第1の任意のサブステップは、事前の音声サンプルの内容を検出するステップを含む。特徴を検出するステップは、統計的特徴、MFCC、またはその他の適した特徴といった特徴を検出するステップを含むことが好ましい。内容を検出するステップは、未加工の内容、ならびに派生的内容を検出するステップを含むことが好ましい。特徴および内容は、ステップS110と実質的に同様の方法で検出されることが好ましいが、代替的には、他の適切な方法で検出することができる。検出するステップは、検出された内容または特徴から情報を分析して抽出するステップを含むことが好ましい。情報を分析して抽出するステップは、ステップS110に記載された分析して抽出するステップと実質的に同様のステップであることが好ましい。
特徴に応じてアクションを実行するステップを含むステップS150は、任意の検出した特徴または内容に応答する役割を果たす。アクションを実行するステップは、ステップS120と実質的に同様であることが好ましい。ステップS150は音声通信を調整するために使用されることが好ましいが、代替的には、他の適切な目的のために使用することができる。例えば、検出した特徴を利用して、発信者を特殊な方法で通話システムを通してルーティングさせることができる。より具体的な例として、発信者から英語を話すコールセンターへの初期の音声サンプルが、発信者がネイティブスピーカーではないことを示すことがある。これに応じて、発信者をバイリンガルのSRと組み合わせることができる。
音声通信データを収集するステップを含むステップS160は、後に使用する音声通信上のデータを収集して分析する役割を果たす。音声通信データは、ステップS110において得られた情報を含むことが好ましい。音声通信データはさらに、音声通信に関連する任意のその他のデータを含むことが好ましい。例えば、音声通信データは、電話が終了した後の顧客の電話に関する評価を含みうる。音声通信データはさらに、好適にはSRまたは他の発信者によって記録されるような、その通話または顧客を描写する定性的な情報を含みうる。音声通信データは、音声通信の内容(未加工および派生的内容の双方)、音声通信の特徴、および音声通信の行動(例えば、通話中に顧客が幾つのボタンを押したか)を含むことが好ましい。音声通信データはステップS110によってモニタされたデータを含むことが好ましいが、付加的にまたは代替的に、ステップS110によってモニタされたデータを含まなくともよい。音声通信データは、後で収集される、および/または応答の生成にリンクされるデータを含むことが好ましい。例えば、発信者が異なるメニューの選択肢にルーティングされる場合、その時点から後に収集されたデータを利用して、そのルーティングオプションの成果を判断することができる。仮にルーティングオプションによって発信者の満足度が高くなる、あるいは通話時間が短くなる場合には、そのオプションをより頻繁に利用することができる。音声通信データを収集するステップは、音声通信データを保存するステップを含むことが好ましい。収集された音声通信データは、短期的データと長期的データの双方を含むことが好ましい。短期的データは分析され、分析後に廃棄されることが好ましい。分析の結果は、好ましくは保存される。例えば、短期的データは、分析された後に廃棄される全会話の未加工音声を含みうる。短期的データは保存した後の一定時間、またはデータの分析が終了した後の一定時間の何れかで廃棄されることが好ましいが、代替的には、如何なる理由によっていつでも廃棄することができる。長期的データは、もはや使用されなくなった時にのみ廃棄されることが好ましいが、代替的には、如何なる理由によっていつでも廃棄することができる。音声通信データは、ステップS110およびステップS120に使用されるデータベースに保存されることが好ましい。音声通信データは、データとリンクさせて、データベース中に基準として保存されることが好ましい。音声通信データはさらに、音声通信をモニタするステップ(ステップS110)および応答を生成するステップ(ステップS120)への入力として使用されることが好ましい。この入力はマシン学習アルゴリズムあるいは他のアルゴリズムへの入力の形態をしていることが好ましいが、代替的には、比較のための基準の形態をした入力あるいはその他の適切な入力とすることができる。音声通信データは、ステップS110およびS120に使用されるアルゴリズムまたはルールを修正するために使用されることが好ましい。音声通信データは、得られた情報を用いて自動的にデータにリンクされることが好ましいが、代替的には、手動でデータにリンクさせることができる。例えば、通話の後、SRは発信者が怒っていた会話の部分をタグ付けすることができる。このようにして、データベースを訓練することができる。データのリンク付けは、通話の最中または通話後の一定時間で、あるいは特定のイベント後に、タグを促すタグ付けアルゴリズムに組み込むことができる。音声通信データを収集するステップは、データを特定の発信機とリンクさせるステップを含むことが好ましい。例えば、コールセンターでは、ある音声通信データを特定のSRにリンクさせたデータベースを利用して、各SRに関するプロフィールを生成することができる。次いで、顧客が発信してきたとき、その顧客を、顧客とSRの間の予想した適合性によって特定のSRに組み合わせることができる。このデータベースを利用して、SRの業務または他の特徴を評価することもできる。
好適な実施形態のバリエーションでは、ステップS160は、音声通信データを処理して、成功率メトリクスといったメトリクスを求めるステップを含みうる。例えば、SRに顧客をアップセルさせることを意図した特定のスクリプトが提示された場合、ステップS160は、このアップセルが成功したか否かを保存するステップを含むことが好ましい。このデータは、所与の戦略(例えば、所与のスクリプトをSRに提示すること、感情の点数に基づいて顧客をSRと組み合わせること)の全体的な成功率の算出を補助するために(個々に、または統合して)利用することができ、今度はこれを利用して、ステップS120によってどのように応答を生成するかを修正することができる。
図3に示すように、方法100の第1の例示的な実施は、コールセンターに適用することができる。この例では、顧客がコールセンターに電話をすると、顧客には最初に音声作動メニューが提示される。顧客が声を用いてメニューを通じて指示を出すと、その声がモニタされる。このモニタリングは、メニューを通じた顧客のルーティングを通知する。顧客が補助を必要とする選択肢に達すると、顧客の名前が要求される。名前による音声データが分析され、顧客をSRと組み合わせるために使用されると共に、そのSRには、顧客に関する情報が提供される。SRと接続された後、このSRには、発信者の会話から得られたリアルタイムの情報と、その情報に返答するための選択肢が提供される(例えば、図2に示す)。SRにはSR自身の会話に関する情報も提供され、顧客と通信するための助言が与えられる。通話が終了した後、SRは、通話の最中に収集された特定のデータにタグ付けするか質問され、顧客は調査を終了するように求められる。これらの双方の行動によるデータは保存され、後のモニタリングおよび応答の生成に利用される。時間の経過につれて、このデータはさらに、SRの業務を評価したり、SRがどのように上達したかの見通しを提供するために使用される。
図4に示すように、方法100の第2の例示的な実施は、計算装置の仮想アシスタントに適用することができる。この仮想アシスタントはアプリケーションまたは動作システムのユーザ対話インタフェースであることが好ましく、ユーザは音声指示を発する、または仮想アシスタントとの対話を実行して、装置を制御する、または装置から情報を得ることができる。仮想アシスタントがユーザを装置の主要ユーザとして識別し、そのユーザに関して個別化された情報のデータベースを利用する(ユーザが主要ユーザではない場合、異なるデータベース、アルゴリズム、あるいは一連のルールを使用する)。仮想アシスタントは、ユーザの会話、ならびにそのユーザのために保存されたデータベース(または、他の汎用データベース)に基づいて、コンピュータの音声を選択する。仮にユーザが怒っている場合には、仮想アシスタントはユーザに簡易化した選択肢のセットを提示する。仮に仮想アシスタントが、ユーザが薬品またはアルコールの使用によって弱っている可能性があることを検知した場合、アシスタントは代わりの選択肢のセットを提供することができる。例えば、アシスタントは、「正常ではない不明瞭な発音が会話から検出されました。調子が悪いかもしれません。タクシーを呼んでもよいですか?」と言うことができる。仮想アシスタントは、ユーザの会話に基づいて、その会話の音量とテンポを適応させる。例えば、ユーザが静かに話している場合には、仮想アシスタントの音量も下げることができる。仮想アシスタントはさらに環境騒音にも適応する。例えば、仮想アシスタントが騒々しい環境にある場合には、通信をテキストとして電話の画面上に表示することができるが、仮想アシスタントが静かな環境にある場合には、ユーザの会話に反応して単に話しをすることができる。付加的にまたは代替的に、環境騒音を分析の実行に利用することができる。例えば、背景音を感情メトリック値に対して分析することができ、このような数値は、ユーザの感情メトリック値の算出においてコンテクスト情報として利用することができる。仮想アシスタントは標準的な使用から学習するが、ユーザによる入力に対しても学習する。例えば、アシスタントはユーザに「あなたの母国語はロシア語ですか?」と質問し、更に使用するために、それに対する返答をデータベースに保存することができる。
好適な実施形態、およびそのバリエーションに係る方法は、コンピュータ可読指示を保存するコンピュータ可読媒体を受け取るように構成されたマシンの少なくとも一部において具現化する、および/または実行することができる。このような指示は、コンピュータシステムに好適に組み込まれたコンピュータ実行可能な要素によって実行されることが好ましい。コンピュータ可読媒体は、RAM、ROM、フラッシュメモリ、EEPROM、光学デバイス(CDまたはDVD)、ハードドライブ、フロッピードライブ、または任意の適切なデバイスといった、適切なコンピュータ可読媒体に保存することができる。コンピュータ実行可能な要素は、汎用プロセッサまたはアプリケーション固有のプロセッサであることが好ましいが、適切な専用のハードウェアまたはハードウェア/ファームウェアを組み合わせたデバイスが代替的または付加的に指示を実行することができる。
前述した詳細な説明ならびに図面および特許請求の範囲から当該分野における当業者が認識するように、以下の特許請求の範囲に規定した本発明の範囲から逸脱することなく、本発明の好適な実施形態に修正および変更を加えることができる。
Claims (20)
- 適応型音声対話のための方法であって:
サービスの受け手から事前の音声サンプルを受け取るステップと;
前記事前の音声サンプルの第1の特徴のセットを検出するステップと;
前記第1の特徴のセットの分析に基づいて、サービス担当者を選択するステップと;
前記サービスの受け手とサービス担当者の間の音声通信をモニタするステップであって、前記音声通信の際に第2の特徴のセットを周期的に測定して分析するステップを含む、ステップと;
前記第2の特徴のセットの分析から得られた結論を、リアルタイムで前記サービス担当者に表示するステップと;
を含むことを特徴とする方法。 - 請求項1に記載の方法において、前記結論を表示するステップが、前記サービスの受け手の感情状態に関する結論を表示するステップを含むことを特徴とする方法。
- 請求項1に記載の方法において、前記結論を表示するステップが、前記サービスの受け手が前記サービス担当者との音声通信を終了するであろう可能性を表示するステップを含むことを特徴とする方法。
- 請求項3に記載の方法がさらに、通信プロンプトを前記サービス担当者に表示するステップを含んでおり、前記通信プロンプトは前記第2の特徴のセットの分析に基づいて選択されることを特徴とする方法。
- 請求項4に記載の方法において、前記第2の特徴のセットはMFCCの特徴を含んでおり、前記第2の特徴のセットを分析するステップは:
前記MFCCの特徴をMFCCの小区分に分割するステップと;
前記MFCCの小区分を分類するステップと;
前記MFCCの小区分と選択した基準サンプルのセットとの比較から、感情状態の点数を算出するステップと;
前記感情状態の点数から推定される感情状態を求めるステップと;
を含むことを特徴とする方法。 - 適応型音声対話のための方法において:
サービスの受け手とサービス担当者の間の第1の音声通信をモニタするステップであって、前記第1の音声通信の際に第1の時間間隔のセットのそれぞれにおいて第1の特徴のセットを測定するステップを含む、ステップと;
前記第1の特徴のセットを分析するステップであって、前記第1の特徴のセットの測定結果に基づいて第2の時間間隔のセットのそれぞれについて感情メトリック値を生成するステップを含む、ステップと;
を含み、
前記第2の時間間隔のセットのそれぞれは、前記第1の時間間隔のセットの時間間隔の整数に対応することを特徴とする方法。 - 請求項6に記載の方法において、前記感情メトリック値が、予想アトリションリスクおよび予想アップセル成功の少なくとも一方を含むことを特徴とする方法。
- 請求項7に記載の方法において、感情メトリック値を生成するステップが、前記第1の特徴のセットの測定結果と特徴基準とを比較するステップを含むことを特徴とする方法。
- 請求項8に記載の方法において、前記第1の特徴のセットがMFCCの特徴を含んでおり、前記特徴基準は感情データにリンクしたMFCCの特徴のデータを含むことを特徴とする方法。
- 請求項6に記載の方法がさらに、スクリプトを前記サービス担当者に表示するステップを含んでおり、前記スクリプトは前記感情メトリック値に基づいてスクリプトのセットから選択されることを特徴とする方法。
- 請求項6に記載の方法がさらに、通信イベントに対応するイベントデータを記録するステップと、前記イベントデータを感情メトリック値にリンクさせるステップと、を含むことを特徴とする方法。
- 請求項11に記載の方法がさらに、前記イベントデータに対する成功評価を求めるステップと、前記サービス担当者にリンクされたプロフィールを更新するために前記成功評価を利用するステップと、を含むことを特徴とする方法。
- 請求項11に記載の方法がさらに、前記イベントデータに対する成功評価を求めるステップと、将来的な通信イベントに対する成功率を予想するために前記成功評価を利用するステップと、を含むことを特徴とする方法。
- 請求項13に記載の方法がさらに、スクリプトを前記サービス担当者に表示するステップを含んでおり、前記スクリプトは予想した成功率に基づいてスクリプトのセットから選択されることを特徴とする方法。
- 仮想アシスタントを用いる適応型音声対話のための方法において:
ユーザが電子デバイスで動作する仮想アシスタントに対して話した第1の音声通信をモニタするステップであって、前記第1の音声通信の際に第1の時間間隔のセットのそれぞれにおいて第1の特徴のセットを測定するステップを含む、ステップと;
前記第1の特徴のセットを分析するステップであって、前記第1の特徴のセットの測定結果に基づいて、第2の時間間隔のセットのそれぞれについて感情メトリック値を生成するステップを含む、ステップと;
を含み、
前記第2の時間間隔のセットのそれぞれは、前記第1の時間間隔のセットの時間間隔の整数に対応することを特徴とする方法。 - 請求項15に記載の方法がさらに、前記感情メトリック値に基づいて前記ユーザに応答するステップを含むことを特徴とする方法。
- 請求項16に記載の方法がさらに、環境騒音を検出するステップを含んでおり、前記環境騒音に基づいて前記ユーザに応答するステップをさらに含むことを特徴とする方法。
- 請求項16に記載の方法がさらに、前記ユーザに応答するステップが、前記感情メトリック値に基づいて前記ユーザにユーザ応答のセットを提示するステップを含むことを特徴とする方法。
- 請求項18に記載の方法がさらに、前記感情メトリック値に基づいて前記電子デバイスへのアクセスを制限するステップを含むことを特徴とする方法。
- 請求項16に記載の方法において、前記第1の特徴のセットがMFCCの特徴を含んでおり、特徴基準は感情データにリンクされたMFCCの特徴のデータを含むことを特徴とする方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461932696P | 2014-01-28 | 2014-01-28 | |
US61/932,696 | 2014-01-28 | ||
PCT/US2015/013285 WO2015116678A1 (en) | 2014-01-28 | 2015-01-28 | Methods for adaptive voice interaction |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017508188A true JP2017508188A (ja) | 2017-03-23 |
Family
ID=53679593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016566875A Pending JP2017508188A (ja) | 2014-01-28 | 2015-01-28 | 適応型音声対話のための方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9549068B2 (ja) |
JP (1) | JP2017508188A (ja) |
WO (1) | WO2015116678A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020187309A (ja) * | 2019-05-17 | 2020-11-19 | 富士電機株式会社 | 対応支援装置および対応支援方法 |
Families Citing this family (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10298740B2 (en) * | 2014-01-10 | 2019-05-21 | Onepin, Inc. | Automated messaging |
US10264113B2 (en) | 2014-01-10 | 2019-04-16 | Onepin, Inc. | Automated messaging |
DE102014203586A1 (de) * | 2014-02-27 | 2015-08-27 | Siemens Aktiengesellschaft | Verfahren zur Unterstützung eingeschränkter oder behinderter Personen und Vorrichtungen zu dessen Durchführung |
US10469662B2 (en) * | 2014-06-09 | 2019-11-05 | Avaya Inc. | System and method for managing customer interactions in an enterprise |
EP3160334B1 (en) | 2014-08-22 | 2021-12-01 | SRI International | Speech-based assessment of a patient's state-of-mind |
US20160286047A1 (en) * | 2015-03-27 | 2016-09-29 | Avaya Inc. | Pre-login agent monitoring |
US10446142B2 (en) * | 2015-05-20 | 2019-10-15 | Microsoft Technology Licensing, Llc | Crafting feedback dialogue with a digital assistant |
US10706873B2 (en) * | 2015-09-18 | 2020-07-07 | Sri International | Real-time speaker state analytics platform |
CN106562792B (zh) * | 2015-10-08 | 2021-08-06 | 松下电器(美国)知识产权公司 | 信息提示装置的控制方法和信息提示装置 |
US9538007B1 (en) * | 2015-11-03 | 2017-01-03 | Xerox Corporation | Customer relationship management system based on electronic conversations |
US10547728B2 (en) * | 2016-01-21 | 2020-01-28 | Avaya Inc. | Dynamic agent greeting based on prior call analysis |
US10289900B2 (en) * | 2016-09-16 | 2019-05-14 | Interactive Intelligence Group, Inc. | System and method for body language analysis |
US11798015B1 (en) * | 2016-10-26 | 2023-10-24 | Intuit, Inc. | Adjusting product surveys based on paralinguistic information |
US10158758B2 (en) | 2016-11-02 | 2018-12-18 | International Business Machines Corporation | System and method for monitoring and visualizing emotions in call center dialogs at call centers |
US10135979B2 (en) | 2016-11-02 | 2018-11-20 | International Business Machines Corporation | System and method for monitoring and visualizing emotions in call center dialogs by call center supervisors |
US10359993B2 (en) * | 2017-01-20 | 2019-07-23 | Essential Products, Inc. | Contextual user interface based on environment |
US10166465B2 (en) | 2017-01-20 | 2019-01-01 | Essential Products, Inc. | Contextual user interface based on video game playback |
CN106782544A (zh) * | 2017-03-29 | 2017-05-31 | 联想(北京)有限公司 | 语音交互设备及其输出方法 |
US11178280B2 (en) * | 2017-06-20 | 2021-11-16 | Lenovo (Singapore) Pte. Ltd. | Input during conversational session |
US10832251B1 (en) | 2017-10-04 | 2020-11-10 | Wells Fargo Bank, N.A | Behavioral analysis for smart agents |
US10817316B1 (en) | 2017-10-30 | 2020-10-27 | Wells Fargo Bank, N.A. | Virtual assistant mood tracking and adaptive responses |
CN108259686A (zh) * | 2017-12-28 | 2018-07-06 | 合肥凯捷技术有限公司 | 一种基于语音分析的客服*** |
US11343377B1 (en) | 2018-01-18 | 2022-05-24 | United Services Automobile Association (Usaa) | Virtual assistant interface for call routing |
WO2019246239A1 (en) | 2018-06-19 | 2019-12-26 | Ellipsis Health, Inc. | Systems and methods for mental health assessment |
US20190385711A1 (en) | 2018-06-19 | 2019-12-19 | Ellipsis Health, Inc. | Systems and methods for mental health assessment |
US11132681B2 (en) | 2018-07-06 | 2021-09-28 | At&T Intellectual Property I, L.P. | Services for entity trust conveyances |
US10826864B2 (en) | 2018-07-27 | 2020-11-03 | At&T Intellectual Property I, L.P. | Artificially intelligent messaging |
US11037557B2 (en) * | 2018-08-24 | 2021-06-15 | International Business Machines Corporation | Cognitive contextual conversation side topics |
US10802872B2 (en) | 2018-09-12 | 2020-10-13 | At&T Intellectual Property I, L.P. | Task delegation and cooperation for automated assistants |
US11349989B2 (en) * | 2018-09-19 | 2022-05-31 | Genpact Luxembourg S.à r.l. II | Systems and methods for sensing emotion in voice signals and dynamically changing suggestions in a call center |
US11023687B2 (en) * | 2018-10-08 | 2021-06-01 | Verint Americas Inc. | System and method for sentiment analysis of chat ghost typing |
US11481186B2 (en) * | 2018-10-25 | 2022-10-25 | At&T Intellectual Property I, L.P. | Automated assistant context and protocol |
US11037576B2 (en) | 2018-11-15 | 2021-06-15 | International Business Machines Corporation | Distributed machine-learned emphatic communication for machine-to-human and machine-to-machine interactions |
US10631257B1 (en) * | 2018-11-27 | 2020-04-21 | Avaya Inc. | System and method for providing enhanced routing in a contact center |
US10681214B1 (en) | 2018-12-27 | 2020-06-09 | Avaya Inc. | Enhanced real-time routing |
US11157232B2 (en) | 2019-03-27 | 2021-10-26 | International Business Machines Corporation | Interaction context-based control of output volume level |
US10812657B1 (en) * | 2019-06-26 | 2020-10-20 | ASD Inc., a Pennsylvania Corporation | System and method for cadence matching at answering service or the like |
US10999434B1 (en) * | 2020-06-02 | 2021-05-04 | Bank Of America Corporation | Artificial intelligence (“AI”) integration with live chat |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1065821A (ja) * | 1996-06-14 | 1998-03-06 | Fujitsu Ltd | 電話接続制御システム及びそのシステムでの処理をコンピュータに行なわせるためのプログラムを格納した記録媒体 |
JP2004280158A (ja) * | 2003-03-12 | 2004-10-07 | Fujitsu Ltd | オペレータ支援方法 |
US20050286705A1 (en) * | 2004-06-16 | 2005-12-29 | Matsushita Electric Industrial Co., Ltd. | Intelligent call routing and call supervision method for call centers |
JP2009294647A (ja) * | 2008-05-09 | 2009-12-17 | Agi:Kk | 行動分析装置及びコールセンターシステム |
US20110178803A1 (en) * | 1999-08-31 | 2011-07-21 | Accenture Global Services Limited | Detecting emotion in voice signals in a call center |
US20110206198A1 (en) * | 2004-07-14 | 2011-08-25 | Nice Systems Ltd. | Method, apparatus and system for capturing and analyzing interaction based content |
US20110295607A1 (en) * | 2010-05-31 | 2011-12-01 | Akash Krishnan | System and Method for Recognizing Emotional State from a Speech Signal |
Family Cites Families (46)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5583961A (en) | 1993-03-25 | 1996-12-10 | British Telecommunications Public Limited Company | Speaker recognition using spectral coefficients normalized with respect to unequal frequency bands |
US5749073A (en) | 1996-03-15 | 1998-05-05 | Interval Research Corporation | System for automatically morphing audio information |
US6173260B1 (en) | 1997-10-29 | 2001-01-09 | Interval Research Corporation | System and method for automatic classification of speech based upon affective content |
US6226328B1 (en) | 1998-05-01 | 2001-05-01 | Boom Corporation | Transcoding apparatus for digital video networking |
US7590538B2 (en) | 1999-08-31 | 2009-09-15 | Accenture Llp | Voice recognition system for navigating on the internet |
US7222075B2 (en) | 1999-08-31 | 2007-05-22 | Accenture Llp | Detecting emotions using voice signal analysis |
US6598020B1 (en) * | 1999-09-10 | 2003-07-22 | International Business Machines Corporation | Adaptive emotion and initiative generator for conversational systems |
GB2355834A (en) | 1999-10-29 | 2001-05-02 | Nokia Mobile Phones Ltd | Speech recognition |
US6725190B1 (en) | 1999-11-02 | 2004-04-20 | International Business Machines Corporation | Method and system for speech reconstruction from speech recognition features, pitch and voicing with resampled basis functions providing reconstruction of the spectral envelope |
US6529866B1 (en) | 1999-11-24 | 2003-03-04 | The United States Of America As Represented By The Secretary Of The Navy | Speech recognition system and associated methods |
US7058570B1 (en) | 2000-02-10 | 2006-06-06 | Matsushita Electric Industrial Co., Ltd. | Computer-implemented method and apparatus for audio data hiding |
WO2001091109A1 (en) * | 2000-05-24 | 2001-11-29 | Stars 1-To-1 | Interactive voice communication method and system for information and entertainment |
US6910035B2 (en) | 2000-07-06 | 2005-06-21 | Microsoft Corporation | System and methods for providing automatic classification of media entities according to consonance properties |
TWI221574B (en) | 2000-09-13 | 2004-10-01 | Agi Inc | Sentiment sensing method, perception generation method and device thereof and software |
US6845359B2 (en) | 2001-03-22 | 2005-01-18 | Motorola, Inc. | FFT based sine wave synthesis method for parametric vocoders |
US7058889B2 (en) | 2001-03-23 | 2006-06-06 | Koninklijke Philips Electronics N.V. | Synchronizing text/visual information with audio playback |
EP1256937B1 (en) | 2001-05-11 | 2006-11-02 | Sony France S.A. | Emotion recognition method and device |
WO2003034402A1 (de) | 2001-10-11 | 2003-04-24 | Siemens Aktiengesellschaft | Verfahren zur erzeugung von sprachbausteine beschreibenden referenzsegmenten und verfahren zur modellierung von spracheinheiten eines gesprochenen testmusters |
US7165028B2 (en) | 2001-12-12 | 2007-01-16 | Texas Instruments Incorporated | Method of speech recognition resistant to convolutive distortion and additive distortion |
US7035797B2 (en) | 2001-12-14 | 2006-04-25 | Nokia Corporation | Data-driven filtering of cepstral time trajectories for robust speech recognition |
DE60213195T8 (de) * | 2002-02-13 | 2007-10-04 | Sony Deutschland Gmbh | Verfahren, System und Computerprogramm zur Sprach-/Sprechererkennung unter Verwendung einer Emotionszustandsänderung für die unüberwachte Anpassung des Erkennungsverfahrens |
AU2003218320A1 (en) | 2002-03-21 | 2003-10-08 | U.S. Army Medical Research And Materiel Command | Methods and systems for detecting, measuring, and monitoring stress in speech |
US7027979B2 (en) | 2003-01-14 | 2006-04-11 | Motorola, Inc. | Method and apparatus for speech reconstruction within a distributed speech recognition system |
US7617104B2 (en) | 2003-01-21 | 2009-11-10 | Microsoft Corporation | Method of speech recognition using hidden trajectory Hidden Markov Models |
US8412526B2 (en) | 2003-04-01 | 2013-04-02 | Nuance Communications, Inc. | Restoration of high-order Mel frequency cepstral coefficients |
JP3953024B2 (ja) * | 2003-11-20 | 2007-08-01 | ソニー株式会社 | 感情算出装置及び感情算出方法、並びに携帯型通信装置 |
US8938390B2 (en) | 2007-01-23 | 2015-01-20 | Lena Foundation | System and method for expressive language and developmental disorder assessment |
US9240188B2 (en) * | 2004-09-16 | 2016-01-19 | Lena Foundation | System and method for expressive language, developmental disorder, and emotion assessment |
US8214214B2 (en) | 2004-12-03 | 2012-07-03 | Phoenix Solutions, Inc. | Emotion detection device and method for use in distributed systems |
US20060122834A1 (en) * | 2004-12-03 | 2006-06-08 | Bennett Ian M | Emotion detection device & method for use in distributed systems |
KR100682909B1 (ko) | 2004-12-23 | 2007-02-15 | 삼성전자주식회사 | 음성 인식 방법 및 장치 |
US20070025540A1 (en) * | 2005-07-07 | 2007-02-01 | Roger Travis | Call center routing based on talkativeness |
US8620644B2 (en) | 2005-10-26 | 2013-12-31 | Qualcomm Incorporated | Encoder-assisted frame loss concealment techniques for audio coding |
WO2007148493A1 (ja) | 2006-06-23 | 2007-12-27 | Panasonic Corporation | 感情認識装置 |
EP2122610B1 (en) | 2007-01-31 | 2018-12-26 | Telecom Italia S.p.A. | Customizable method and system for emotional recognition |
KR20080090034A (ko) | 2007-04-03 | 2008-10-08 | 삼성전자주식회사 | 음성 화자 인식 방법 및 시스템 |
US20080288255A1 (en) | 2007-05-16 | 2008-11-20 | Lawrence Carin | System and method for quantifying, representing, and identifying similarities in data streams |
US8130935B1 (en) | 2007-09-18 | 2012-03-06 | Avaya Inc. | Routing of calls based on agents emotional state |
JP5334178B2 (ja) | 2009-01-21 | 2013-11-06 | クラリオン株式会社 | 音声認識装置およびデータ更新方法 |
KR101014321B1 (ko) | 2009-02-24 | 2011-02-14 | 한국전자통신연구원 | 최소 분류 오차 기법을 이용한 감정 인식 방법 |
JP5457706B2 (ja) | 2009-03-30 | 2014-04-02 | 株式会社東芝 | 音声モデル生成装置、音声合成装置、音声モデル生成プログラム、音声合成プログラム、音声モデル生成方法および音声合成方法 |
US8054964B2 (en) * | 2009-04-30 | 2011-11-08 | Avaya Inc. | System and method for detecting emotions at different steps in a communication |
US8948894B2 (en) | 2011-07-20 | 2015-02-03 | Google Technology Holdings LLC | Method of selectively inserting an audio clip into a primary audio stream |
KR20130055429A (ko) * | 2011-11-18 | 2013-05-28 | 삼성전자주식회사 | 감정 세그먼트 기반의 감정 인식 장치 및 방법 |
US9521258B2 (en) | 2012-11-21 | 2016-12-13 | Castel Communications, LLC | Real-time call center call monitoring and analysis |
US9047871B2 (en) * | 2012-12-12 | 2015-06-02 | At&T Intellectual Property I, L.P. | Real—time emotion tracking system |
-
2015
- 2015-01-28 JP JP2016566875A patent/JP2017508188A/ja active Pending
- 2015-01-28 WO PCT/US2015/013285 patent/WO2015116678A1/en active Application Filing
- 2015-01-28 US US14/607,649 patent/US9549068B2/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1065821A (ja) * | 1996-06-14 | 1998-03-06 | Fujitsu Ltd | 電話接続制御システム及びそのシステムでの処理をコンピュータに行なわせるためのプログラムを格納した記録媒体 |
US20110178803A1 (en) * | 1999-08-31 | 2011-07-21 | Accenture Global Services Limited | Detecting emotion in voice signals in a call center |
JP2004280158A (ja) * | 2003-03-12 | 2004-10-07 | Fujitsu Ltd | オペレータ支援方法 |
US20050286705A1 (en) * | 2004-06-16 | 2005-12-29 | Matsushita Electric Industrial Co., Ltd. | Intelligent call routing and call supervision method for call centers |
US20110206198A1 (en) * | 2004-07-14 | 2011-08-25 | Nice Systems Ltd. | Method, apparatus and system for capturing and analyzing interaction based content |
JP2009294647A (ja) * | 2008-05-09 | 2009-12-17 | Agi:Kk | 行動分析装置及びコールセンターシステム |
US20110295607A1 (en) * | 2010-05-31 | 2011-12-01 | Akash Krishnan | System and Method for Recognizing Emotional State from a Speech Signal |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020187309A (ja) * | 2019-05-17 | 2020-11-19 | 富士電機株式会社 | 対応支援装置および対応支援方法 |
JP7334467B2 (ja) | 2019-05-17 | 2023-08-29 | 富士電機株式会社 | 対応支援装置および対応支援方法 |
Also Published As
Publication number | Publication date |
---|---|
US20150213800A1 (en) | 2015-07-30 |
US9549068B2 (en) | 2017-01-17 |
WO2015116678A1 (en) | 2015-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9549068B2 (en) | Methods for adaptive voice interaction | |
US10896428B1 (en) | Dynamic speech to text analysis and contact processing using agent and customer sentiments | |
US10044864B2 (en) | Computer-implemented system and method for assigning call agents to callers | |
US10623573B2 (en) | Personalized support routing based on paralinguistic information | |
US10592611B2 (en) | System for automatic extraction of structure from spoken conversation using lexical and acoustic features | |
WO2014069076A1 (ja) | 会話分析装置及び会話分析方法 | |
JPWO2014069122A1 (ja) | 表現分類装置、表現分類方法、不満検出装置及び不満検出方法 | |
CN114664328A (zh) | 语音指导***及其操作方法 | |
US11790887B2 (en) | System with post-conversation representation, electronic device, and related methods | |
JP6327252B2 (ja) | 分析対象決定装置及び分析対象決定方法 | |
JP6365304B2 (ja) | 会話分析装置及び会話分析方法 | |
JP7040593B2 (ja) | 接客支援装置、接客支援方法、及び、接客支援プログラム | |
JPWO2014069443A1 (ja) | 不満通話判定装置及び不満通話判定方法 | |
US20220172711A1 (en) | System with speaker representation, electronic device and related methods | |
EP2546790A1 (en) | Computer-implemented system and method for assessing and utilizing user traits in an automated call center environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170821 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170926 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180417 |