JP6438674B2 - Response system, response method, and computer program - Google Patents
Response system, response method, and computer programInfo
- Publication number
- JP6438674B2 JP6438674B2 JP2014093147A JP2014093147A JP6438674B2 JP 6438674 B2 JP6438674 B2 JP 6438674B2 JP 2014093147 A JP2014093147 A JP 2014093147A JP 2014093147 A JP2014093147 A JP 2014093147A JP 6438674 B2 JP6438674 B2 JP 6438674B2
- Authority
- JP
- Japan
- Prior art keywords
- response
- user
- information
- voice
- emotion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Telephonic Communication Services (AREA)
Description
本発明は、音声を自動認識し応答する技術に関する。 The present invention relates to a technique for automatically recognizing and responding to voice.
従来、コールセンタでは、利用者が音声ガイダンスに従ってプッシュダイヤルすることによって、希望するサービスメニューを選択している。
一方で、音声データを解析することによって話者の感情を認識する技術や、音声データをテキストデータに変換する技術などの音声認識技術が実用化されている(例えば、特許文献1及び2参照。)。
近年では、音声認識技術を用いて通話中の利用者の感情をモニタリングすることによって、感情が怒りの状態にある利用者にはベテランのオペレータをアサインする技術が提案されている。また、音声認識技術を用いて通話内容をテキストデータに変換することによって、通話内容に関連する情報をオペレータに即座に提供する技術が提案されている。
Conventionally, in a call center, a user selects a desired service menu by performing push dialing according to voice guidance.
On the other hand, and a technique for recognizing emotion of the speaker by analyzing the audio data, voice recognition techniques, such as converting the audio data into text data has been put into practical use (for example, see
In recent years, there has been proposed a technique for assigning a veteran operator to a user whose emotion is angry by monitoring the emotion of the user during a call using voice recognition technology. In addition, a technique has been proposed in which information related to a call content is immediately provided to an operator by converting the call content into text data using a voice recognition technology.
しかしながら、従来のコールセンタでは、上記のような音声認識技術を用いて利用者の感情を認識したとしても、利用者の感情を考慮して応対するのはオペレータであり、そのような応対が可能な人的リソースを確保しなければいけないという問題があった。 However, in the conventional call center, even if the user's emotion is recognized by using the voice recognition technology as described above, it is an operator that takes into account the user's emotion, and such response is possible. There was a problem that human resources had to be secured.
上記事情に鑑み、本発明は、コールセンタサービスの提供において、利用者の感情に応じた対応を、より少ない人的リソースで行うことができる技術を提供することを目的としている。 In view of the above circumstances, an object of the present invention is to provide a technique that can perform a response according to a user's emotion with less human resources in providing a call center service.
本発明の一態様は、コールセンタの利用者の通話装置から送信される音声データに基づいて、前記利用者の感情を表す利用者感情情報を取得する感情認識部と、前記音声データをテキストデータに変換する音声変換部と、前記テキストデータと前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する応答部と、を備える応答システムである。 One aspect of the present invention is an emotion recognition unit that acquires user emotion information representing a user's emotion based on voice data transmitted from a call device of a call center user, and the voice data is converted into text data. A response system comprising: a voice conversion unit for conversion; and a response unit that selects a message to be responded to a user from message candidates based on the text data and the user emotion information.
本発明の一態様は、上記の応答システムであって、前記応答部は、利用者への応答の種別を表す応答種別情報とテキストデータとを対応づけて記憶する記憶部から、前記テキストデータに基づいて前記応答種別情報を取得し、取得した前記応答種別情報と、前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する。 One aspect of the present invention is the above-described response system, in which the response unit stores the response type information indicating the type of response to the user and text data in association with the text data. Based on the acquired response type information and the user emotion information, a message that responds to the user is selected from message candidates.
本発明の一態様は、上記の応答システムであって、前記応答部は、利用者への応答において実行すべき処理の内容を表す応答内容情報と応答種別情報とを対応づけて記憶する前記記憶部から、前記応答種別情報に基づいて前記応答内容情報を取得し、取得した前記応答内容情報と、前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する。 One aspect of the present invention is the above-described response system, in which the response unit stores response content information representing the content of processing to be executed in response to a user and response type information in association with each other. The response content information is acquired based on the response type information, and a message that responds to the user is selected from message candidates based on the acquired response content information and the user emotion information. .
本発明の一態様は、上記の応答システムであって、コールセンタのオペレータが過去に利用者に対して応答したメッセージのうち、利用者の感情を変化させたメッセージを、前記メッセージ候補に追加又は前記メッセージ候補から削除する追加部をさらに備える。 One aspect of the present invention is the above-described response system, in which a message in which a call center operator responds to a user in the past is a message in which a user's emotion is changed is added to the message candidate or the message candidate An additional unit for deleting from the message candidates is further provided.
本発明の一態様は、上記の応答システムであって、前記追加部は、コールセンタのオペレータが過去に利用者に対して応答したメッセージのうち、利用者の感情をより良い感情に変えることができたメッセージを前記メッセージ候補に追加する。 One aspect of the present invention is the response system described above, wherein the additional unit can change a user's emotion into a better emotion among messages that the call center operator has responded to the user in the past. Added to the message candidates.
本発明の一態様は、上記の応答システムであって、前記応答部は、前記利用者感情情報をコールセンタのオペレータに提供する。 One aspect of the present invention is the response system described above, wherein the response unit provides the user emotion information to an operator of a call center.
本発明の一態様は、コールセンタの利用者の通話装置から送信される音声データに基づいて、前記利用者の感情を表す利用者感情情報を取得する感情認識ステップと、前記音声データをテキストデータに変換する音声変換ステップと、前記テキストデータと前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する応答ステップと、を有する応答方法である。 One aspect of the present invention is an emotion recognition step of acquiring user emotion information representing the user's emotion based on voice data transmitted from a call device of a call center user, and the voice data is converted into text data. A response method comprising: a voice conversion step for conversion; and a response step for selecting a message to be responded to a user from among message candidates based on the text data and the user emotion information.
本発明の一態様は、コールセンタの利用者の通話装置から送信される音声データに基づいて、前記利用者の感情を表す利用者感情情報を取得する感情認識ステップと、前記音声データをテキストデータに変換する音声変換ステップと、前記テキストデータと前記利用者感情情報とに基づいて、利用者に応答するメッセージをメッセージ候補の中から選択する応答ステップと、をコンピュータに実行させるためのコンピュータプログラムである。 One aspect of the present invention is an emotion recognition step of acquiring user emotion information representing the user's emotion based on voice data transmitted from a call device of a call center user, and the voice data is converted into text data. A computer program for causing a computer to execute a voice conversion step for conversion, and a response step for selecting a message to respond to a user from message candidates based on the text data and the user emotion information. .
本発明により、コールセンタサービスの提供において、利用者の感情に応じた対応を、より少ない人的リソースで行うことが可能となる。 According to the present invention, in providing a call center service, it is possible to perform a response corresponding to a user's emotion with fewer human resources.
[第1実施形態]
図1は、第1実施形態の音声自動応答システム1のシステム構成を示すシステム構成図である。
電話機2−1〜2−3は、利用者がコールセンタ3−1〜3−3に発信するために使用する電話機である。電話機2−1〜2−3は、携帯電話やスマートフォンなどの無線通信によって通話発信する電話機であってもよいし、固定電話などの有線通信によって通話発信する電話機であってもよい。電話機2−1〜2−3はネットワーク4に接続され、ネットワーク4を介して音声自動応答システム1と通信する。以下の説明では、説明を簡単にするために、特に区別しない限り電話機2−1〜2−3を電話機2と記載する。なお、電話機2の数は、図1と異なる数であってもよい。
[First Embodiment]
FIG. 1 is a system configuration diagram showing a system configuration of an automatic
The telephones 2-1 to 2-3 are telephones used by the user to make calls to the call centers 3-1 to 3-3. The telephones 2-1 to 2-3 may be telephones that make a call by wireless communication such as a mobile phone or a smartphone, or may be telephones that make a call by wired communication such as a fixed telephone. The telephones 2-1 to 2-3 are connected to the network 4 and communicate with the automatic
コールセンタ3−1〜3−3は、事業者が顧客への電話対応業務を専門に行うために設けられた事業所や施設である。コールセンタ3−1〜3−3は、同一の事業者が複数拠点に持つコールセンタであってもよいし、異なる事業者が運営するコールセンタであってもよい。以下の説明では、説明を簡単にするために、特に区別しない限りコールセンタ3−1〜3−3をコールセンタ3と記載する。コールセンタ3には、オペレータが配置される。オペレータとは、利用者に電話応対する人員である。なお、コールセンタ3の数は、図1と異なる数であってもよい。 The call centers 3-1 to 3-3 are offices and facilities provided for the business operators to specialize in the business of handling calls to customers. The call centers 3-1 to 3-3 may be call centers that the same business operator has at a plurality of locations, or may be call centers that are operated by different business operators. In the following description, in order to simplify the description, the call centers 3-1 to 3-3 are described as the call center 3 unless otherwise distinguished. An operator is arranged in the call center 3. The operator is a person who answers the user by telephone. Note that the number of call centers 3 may be different from that in FIG.
ネットワーク4は、電話機2が音声自動応答システム1に接続するためのネットワークである。ネットワーク4は、電話機2の通信方式によって複数種類のネットワークで構成されてもよい。例えば、ネットワーク4は携帯電話網であってもよいし、固定電話回線網であってもよいし、VoIP(Voice over Internet Protocol)網であってもよい。
The network 4 is a network for connecting the telephone 2 to the automatic
コールセンタ管理装置5−1〜5−3は、それぞれコールセンタ3−1〜3−3を管理及び制御する装置である。例えば、コールセンタ管理装置5−1〜5−3は、顧客管理システムなどの外部システムに接続され、コールセンタ3のオペレータに情報提供を行う。また、例えば、コールセンタ管理装置5−1〜5−3は、音声自動応答システム1の要求に応じて音声通信をコールセンタ3のオペレータに中継する。以下の説明では、説明を簡単にするために、特に区別しない限りコールセンタ管理装置5−1〜5−3をコールセンタ管理装置5と記載する。なお、コールセンタ管理装置5の数は、コールセンタ3の数に応じて、図1と異なる数であってもよい。また、コールセンタ管理装置5は、複数のコールセンタ3を管理及び制御してもよい。
The call center management devices 5-1 to 5-3 are devices that manage and control the call centers 3-1 to 3-3, respectively. For example, the call center management devices 5-1 to 5-3 are connected to an external system such as a customer management system and provide information to an operator of the call center 3. Further, for example, the call center management devices 5-1 to 5-3 relay voice communication to an operator of the call center 3 in response to a request from the voice
音声自動応答システム1は、各コールセンタ3と利用者の各電話機2との間にあって、利用者の通話発信に対して一次応答する。すなわち、音声自動応答システム1は、利用者の通話に対して音声による自動応答を行う機能をコールセンタ3に提供するシステムである。音声自動応答システム1は、利用者の通話を必要に応じてコールセンタ3に転送する。
The automatic
音声自動応答システム1は、中継装置100、感情認識装置200、音声DB300、音声変換装置400、テキストDB500、自動応答装置600及び応答DB700を備える。
中継装置100は、電話機2から送信された音声信号を受信する。中継装置100は、受信した音声信号に含まれる利用者の音声とオペレータの音声とを分離する。中継装置100は、音声信号を分離することによって取得された音声データを感情認識装置200に中継する。また、中継装置100は、自動応答装置600の要求に応じて、利用者の通話をオペレータに転送する。中継装置100は、オペレータの音声や、音声自動応答システム1の自動応答機能によって生成された音声データを電話機2に中継する。
The automatic
The
感情認識装置200は、中継装置100によって中継された音声データを受信する。感情認識装置200は、受信した音声データを発話ごとに分割する。1つの発話は、ある人が発言を開始し、他者が発言を開始するまでに行った発言を表す。感情認識装置200は、分割した音声データごとに、その音声データに含まれる音声を発したときの利用者の感情を認識する。音声データから話者の感情を認識する手法には、既存のどのような技術が用いられてもよい。感情認識装置200は、音声データと、その音声データから認識された利用者の感情を表す情報(以下、「利用者感情情報」という。)とを対応づけて音声DB300に登録する。
The
音声DB300は、音声データを蓄積するデータベースである。音声DB300は、音声データを記憶するための音声情報テーブル310を保持する。音声DB300は、音声データと利用者感情情報とを対応づけて記憶する。音声DB300は、感情認識装置200及び音声変換装置400に接続される。音声情報テーブル310は感情認識装置200によって登録される。
The
図2は、音声情報テーブル310の具体例を示す図である。
音声情報テーブル310は、音声IDごとに音声情報レコードを有する。音声情報レコードは、音声ID、通話ID、通話区分、音声情報及び感情情報の各値を有する。音声IDは、音声情報テーブル310に記憶される音声データの識別情報である。通話IDは、音声IDが示す通話の識別情報である。通話区分は、音声IDが示す音声データの音声を発した主体を表す識別情報である。具体的には、通話区分は、利用者による通話か、オペレータによる通話か、音声自動応答システム1による自動応答かを示す情報である。音声情報は、音声IDが示す音声データの実データである。感情情報は、音声IDが示す音声データに基づいて認識された利用者感情情報である。音声情報レコードは、感情認識装置200によって音声情報テーブル310に登録される。
FIG. 2 is a diagram showing a specific example of the audio information table 310.
The voice information table 310 has a voice information record for each voice ID. The voice information record has values of voice ID, call ID, call classification, voice information, and emotion information. The voice ID is identification information of voice data stored in the voice information table 310. The call ID is call identification information indicated by the voice ID. The call category is identification information that represents the subject that has produced the voice of the voice data indicated by the voice ID. Specifically, the call classification is information indicating whether the call is a call by a user, a call by an operator, or an automatic response by the voice
図1の説明に戻る。
音声変換装置400は、音声DB300の音声情報テーブル310を参照し、音声データを取得する。音声変換装置400は、取得した音声データに含まれる音声をテキストデータに変換する。音声データをテキストデータに変換する手法には、既存のどのような技術が用いられてもよい。
Returning to the description of FIG.
The
音声変換装置400は、取得したテキストデータからコールセンタ3が提供するサービスに関連するキーワードを抽出する。テキストデータからキーワードを抽出する手法には、既存のどのような技術が用いられてもよい。例えば、音声変換装置400は、コールセンタ3を運用する事業者の事業や業種に関する情報などを辞書情報として予め保持し、辞書情報との関連性が強い語をキーワードとして抽出してもよい。また、例えば、音声変換装置400は、蓄積されたテキストデータに統計処理を行うことによって、辞書情報を自ら学習するように構成されてもよい。音声変換装置400は、音声データの識別情報と、音声データから取得したキーワードとを対応づけてテキストDB500に登録する。
The
テキストDB500は、音声データから取得されたテキストデータを蓄積するデータベースである。テキストDB500は、音声データごとのテキストデータを記憶するためのテキスト情報テーブル510を保持する。テキストDB500は、音声データと、音声データから取得されたテキストデータとを対応づけてテキスト情報テーブル510に記憶する。テキストDB500は、音声変換装置400及び自動応答装置600に接続される。テキスト情報テーブル510は音声変換装置400によって登録される。
The
図3は、テキスト情報テーブル510の第1の具体例を示す図である。
テキスト情報テーブル510は、音声IDごとにテキスト情報レコードを有する。テキスト情報レコードは、音声ID、通話ID、通話区分、テキスト情報、キーワード及び感情情報の各値を有する。音声ID、通話ID、通話区分及び感情情報は、音声情報テーブル310の音声情報レコードが有する音声IDと同様である。テキスト情報は、音声IDが示す音声データが変換されたテキストデータである。キーワードは、テキスト情報が示すテキストデータから、音声変換装置400によって抽出されたキーワードを表す。テキスト情報レコードは、音声変換装置400によってテキスト情報テーブル510に登録される。
FIG. 3 is a diagram showing a first specific example of the text information table 510.
The text information table 510 has a text information record for each voice ID. The text information record has each value of voice ID, call ID, call classification, text information, keyword, and emotion information. The voice ID, the call ID, the call classification, and the emotion information are the same as the voice ID included in the voice information record of the voice information table 310. The text information is text data obtained by converting the voice data indicated by the voice ID. The keyword represents a keyword extracted by the
図1の説明に戻る。
自動応答装置600は、音声データから取得されたキーワード及び利用者感情情報に基づいて、利用者に応答するメッセージを選択する。具体的には、自動応答装置600は、キーワード及び利用者感情情報に基づいて、応答DB700が記憶する応答メッセージのテンプレートの中から、利用者に応答するメッセージを取得する。自動応答装置600は、取得した応答メッセージを音声データに変換する。自動応答装置600は、応答メッセージの変換によって生成された音声データを利用者の電話機2に送信する。なお、自動応答装置600は、応答メッセージを示すテキストデータを取得する代わりに、予めに変換された音声データを取得するように構成されてもよい。
なお、自動応答装置600は、利用者への応答に用いるメッセージを示すテキストデータが取得できない場合は、利用者の通話を発信先のコールセンタ3のオペレータに転送するように中継装置100に要求する。
Returning to the description of FIG.
The
Note that the
応答DB700は、自動応答装置600が自動応答するために必要となる情報を保持するデータベースである。例えば、応答DB700は、フロー管理テーブル710、アクション管理テーブル720及び応答管理テーブル730を保持する。応答DB700は、自動応答装置600に接続される。応答管理テーブル730は自動応答装置600によって更新される。
The
図4は、フロー管理テーブル710の具体例を示す図である。
フロー管理テーブル710は、音声自動応答システム1によって利用者に提供されるサービスが定義されたテーブルである。フロー管理テーブル710は、フローIDごとにフロー管理レコードを有する。フロー管理レコードは、フローID、関連情報及びサービス情報の各値を有する。フローIDは、サービスの識別情報であり、音声自動応答システム1が利用者に提供するサービスに対応する。関連情報は、フローIDが示すサービスに関連するテキストデータを値に持つ。サービス情報は、フローIDが示すサービスの内容を表す。フロー管理レコードは、音声自動応答システム1の管理者によって予めフロー管理テーブル710に登録される。
FIG. 4 is a diagram illustrating a specific example of the flow management table 710.
The flow management table 710 is a table in which services provided to the user by the automatic
図5は、アクション管理テーブル720の具体例を示す図である。
アクション管理テーブル720は、利用者に提供されるサービスごとに、自動応答装置600が行うべき応答の流れが定義されたテーブルである。以下では、サービスごとに定義された個々の応答をアクションと呼ぶ。アクション管理テーブル720は、アクションIDごとにアクション管理レコードを有する。アクション管理レコードは、フローID、アクションID、アクション情報及び実行フラグの各値を有する。フローIDは、フロー管理テーブル710のフロー管理レコードが有するフローIDと同様である。アクションIDは、自動応答装置600が選択されたサービスにおいて実行するアクションの識別情報である。アクション情報は、アクションIDが示すアクションの内容を表す。実行フラグは、選択されたサービスにおいて、自動応答装置600が次に実行するアクションを示す情報である。
FIG. 5 is a diagram illustrating a specific example of the action management table 720.
The action management table 720 is a table in which a response flow to be performed by the
なお、アクション管理レコードは、音声自動応答システム1の管理者によって予めマスタとなるアクション管理テーブル720に登録される。そして、アクション管理テーブル720は、利用者に提供されるサービスごとに実行フラグの値が初期化された状態で生成される。例えば、図5の例は、図4におけるフローIDの値“F001”が示すサービスに対して生成されたアクション管理テーブル720を表す。
The action management record is registered in advance in the action management table 720 as a master by the administrator of the automatic
図6は、応答管理テーブル730の具体例を示す図である。
応答管理テーブル730は、アクション管理テーブル720に登録されたアクションIDごとに応答するメッセージのテンプレート(メッセージ候補の一例)を記憶するテーブルである。応答管理テーブル730は、応答IDごとに応答履歴レコードを有する。応答履歴レコードは、応答ID、アクションID、アクション情報、応答情報及び感情情報の各値を有する。応答IDは、応答履歴レコードの識別情報である。アクションIDは、アクション管理テーブル720のアクション管理レコードが有するアクションIDと同様である。アクション情報は、アクション管理テーブル720のアクション管理レコードが有するアクション情報と同様である。応答情報は、応答IDが示す応答メッセージを表す。すなわち、応答情報は、アクションIDが示すアクションに用いられる音声データを生成するためのテンプレートとなるテキストデータである。感情情報は、音声情報テーブル310の音声情報レコード及びテキスト情報テーブル510のテキスト情報レコードが有する感情情報と同様である。応答履歴レコードは、音声自動応答システム1の管理者によって予め応答管理テーブル730に登録される。
FIG. 6 is a diagram illustrating a specific example of the response management table 730.
The response management table 730 stores a message template (an example of a message candidate) that responds for each action ID registered in the action management table 720. The response management table 730 has a response history record for each response ID. The response history record has each value of response ID, action ID, action information, response information, and emotion information. The response ID is identification information of a response history record. The action ID is the same as the action ID that the action management record of the action management table 720 has. The action information is the same as the action information included in the action management record of the action management table 720. The response information represents a response message indicated by the response ID. That is, the response information is text data serving as a template for generating voice data used for the action indicated by the action ID. The emotion information is the same as the emotion information that the voice information record of the voice information table 310 and the text information record of the text information table 510 have. The response history record is registered in advance in the response management table 730 by the administrator of the automatic
図7は、自動応答装置600の機能構成を示す機能ブロック図である。
自動応答装置600は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、自動応答プログラムを実行する。自動応答装置600は、自動応答プログラムの実行によって通信部610、応答判断部620及び応答生成部630(応答部の一例)を備える装置として機能する。
なお、自動応答装置600の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されてもよい。自動応答プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。自動応答プログラムは、電気通信回線を介して送信されてもよい。
FIG. 7 is a functional block diagram showing a functional configuration of the
The
All or some of the functions of the
通信部610は、LAN(Local Area Network)等の通信インターフェースを用いて構成される。通信部610は、中継装置100、感情認識装置200、音声変換装置400及びコールセンタ管理装置5との間で通信する。
The
応答判断部620は、音声データから取得されたキーワードに基づいて、利用者に応答すべき応答の種別を判断する。例えば、応答判断部620は、利用者が希望するサービスを判断する。応答判断部620は、キーワードに基づいて判断された応答の種別を表す情報(以下、「応答種別情報」という。)を応答生成部630に出力する。
The
応答生成部630は、応答判断部620から出力された応答種別情報に基づいて、応答するアクションを表す情報(以下、「応答内容情報」という。)を取得する。応答生成部630は、応答内容情報と、利用者感情情報とに基づいて、利用者への応答に用いる応答メッセージを応答DB700から取得する。例えば、応答生成部630は、応答判断部620から出力された応答種別情報に基づいて、アクション管理テーブル720から応答するアクションを選択する。応答判断部620は、選択したアクションの識別情報を応答内容情報として取得する。応答生成部630は、応答内容情報と、利用者感情情報とに基づいて、応答管理テーブル730から利用者に応答するメッセージのテキストデータを取得する。応答生成部630は、取得したテキストデータを音声データに変換する。応答生成部630は、音声データを利用者の電話機2に送信する。
Based on the response type information output from the
図8は、音声自動応答システム1における音声自動応答の処理の流れを示すフローチャートである。
まず、利用者が電話機2を操作してコールセンタ3に発信する。中継装置100は、電話機2の発信を着信する。中継装置100は着信した通話から音声データを取得する。中継装置100は、音声データを感情認識装置200に中継する。感情認識装置200は、中継された音声データを取得する(ステップS101)。感情認識装置200は、音声データの識別情報となる音声IDを生成する。また、感情認識装置200は、中継された音声データの通話の識別情報となる通話IDを生成する。
FIG. 8 is a flowchart showing the flow of automatic voice response processing in the automatic
First, a user operates the telephone 2 to make a call to the call center 3.
例えば、通話IDは、発信元の電話機2の電話番号や時刻などの情報に基づいて生成されてもよい。感情認識装置200は、音声データから音声データに含まれる音声を発したときの利用者の感情を認識する(ステップS102)。感情認識装置200は、音声IDと、通話IDと、音声データと、利用者感情情報とを音声DB300に出力する。音声DB300は、感情認識装置200から出力された情報を値に持つ音声情報レコードを生成する。音声DB300は生成した音声情報レコードを音声情報テーブル310に登録する。感情認識装置200は、新規の音声情報レコードを登録したことを音声変換装置400に通知する。
For example, the call ID may be generated based on information such as the telephone number and time of the caller telephone 2. The
音声変換装置400は、感情認識装置200によって新規の音声情報レコードが登録されたことの通知を受けると、音声情報テーブル310を参照し、新規登録された音声情報レコードの各値を取得する。音声変換装置400は、取得した音声データに含まれる音声をテキストデータに変換する。音声変換装置400は、取得したテキストデータからキーワードを抽出する。そして、音声変換装置400は、音声情報レコードから取得した音声IDの値と、音声情報レコードから取得した感情情報の値と、音声データから取得したテキストデータ及びキーワードをテキストDB500に出力する。テキストDB500は、音声変換装置400から出力された情報を値に持つテキスト情報レコードを生成する。テキストDB500は、生成したテキスト情報レコードをテキスト情報テーブル510に登録する。音声変換装置400は、新規のテキスト情報レコードを登録したことを自動応答装置600に通知する。
When receiving the notification that a new voice information record is registered by the
自動応答装置600の応答判断部620は、音声変換装置400によって新規のテキスト情報レコードが登録されたことの通知を受けると、テキスト情報テーブル510を参照し、新規登録されたテキスト情報レコードの各値を取得する。応答判断部620は、フロー管理テーブル710を参照し、取得したテキスト情報の値と関連性が強いテキストデータを関連情報の値に持つフロー管理レコードを選択する。応答判断部620は、選択したフロー管理レコードからフローIDの値を取得する。応答判断部620は、取得したフローIDの値を応答種別情報として応答生成部630に出力する。このように、応答判断部620は、音声データから取得したキーワードに基づいて、利用者が希望するサービスを判断する(ステップS103)。
When receiving a notification that a new text information record has been registered by the
次に、応答生成部630は、応答判断部620から出力された応答種別情報が示すサービスに対応するアクション管理テーブル720を選択する。応答生成部630は、選択したアクション管理テーブル720から実行フラグの値を取得する。応答生成部630は、実行フラグの値に基づいて、選択されたサービスにおいて次に実行すべきアクションを判断する(ステップS104)。
Next, the
次に、応答生成部630は、応答管理テーブル730を参照し、ステップS104において判断されたアクションを示す応答内容情報をアクションIDの値に持つ応答管理レコードを選択する。さらに、応答生成部630は、選択した応答管理レコードの中から、ステップS102において判断された利用者感情情報を感情情報の値に持つ応答管理レコードを選択する。応答生成部630は、選択した応答管理レコードから応答情報の値を取得する。応答生成部630は、取得した応答情報の値を音声データに変換する。応答生成部630は、音声データを発信元の利用者の電話機2に送信する。このように、応答生成部630は、利用者の感情に基づいて選択された応答メッセージを利用者に応答する(ステップS105)。
Next, the
次に、応答生成部630は、選択されたサービスにおけるアクションのフローにおいて、全てのアクションが行われたか否かを判定する(ステップS106)。実行していないアクションが存在する場合(ステップS106−NO)、応答判断部620はステップS101に処理を移し、利用者との通話を継続する。一方、全ての応答が行われた場合(ステップS106−YES)、応答判断部620は、利用者との通話を終了する。
Next, the
図9は、音声自動応答システム1と利用者との通話の具体例を示す図である。
図9において、通話1、3、5、7及び通話9に示された通話は、音声自動応答システム1に対して利用者が行った通話を表す。また、通話2、4、6及び通話8に示された通話は、利用者に対する音声自動応答システム1の応答を表す。図9に示された通話は、通話1から通話9の順に、利用者と音声自動応答システム1との間でやり取りされる。なお、利用者の通話における()内の記載は、その通話を行ったときの利用者の感情を表す。
FIG. 9 is a diagram illustrating a specific example of a call between the automatic
In FIG. 9, the calls shown in the
利用者の通話が図9の例に示された内容である場合、例えば、図2に示された内容が感情認識装置200によって音声情報テーブル310に登録される。音声変換装置400は、音声情報レコードの音声情報として保持された音声データをテキストデータに変換する。音声変換装置400は、音声データが変換されたテキストデータからキーワードを抽出する。その結果、例えば、図3に示された内容が音声変換装置400によってテキスト情報テーブル510に登録される。
When the user's call has the contents shown in the example of FIG. 9, for example, the contents shown in FIG. 2 are registered in the voice information table 310 by the
フロー管理テーブル710が図4に示された内容で登録されている場合、自動応答装置600の応答判断部620は、例えば、“V001”を音声IDの値に持つ音声データに基づいて、利用者が“クレジットカードの利用再開“を希望していることを認識する。また、自動応答装置600は、テキスト情報テーブル510を参照し、“V001”を音声IDの値に持つテキスト情報レコードが持つ感情情報の値に基づいて、その通話における利用者の感情が“怒り”であることを認識する。そして、アクション管理テーブル720が図5に示された内容で登録されている場合、自動応答装置600は、“A001”をアクションIDの値に持つアクション管理レコードが持つアクション情報の値“顧客情報の確認”が選択されたサービスに対して実行すべきアクションであることを認識する。
When the flow management table 710 is registered with the contents shown in FIG. 4, the
そして、応答管理テーブル730が図6に示された内容で登録されている場合、自動応答装置600は、“A001”をアクションIDの値に持ち、“怒り”を感情情報の値に持つ応答履歴レコード、すなわち“R001”を応答IDの値に持つ応答履歴レコードの応答情報の値が、利用者に応答するメッセージであることを認識する。このとき、利用者の感情が“平常”であったと仮定すると、“R002”を応答IDの値に持つ応答履歴レコードの応答情報の値が利用者に応答するメッセージとして選択される。すなわち、同じ内容のメッセージであっても、そのときの利用者の感情に適したメッセージが選択される。このように、自動応答装置600は、利用者の感情に応じて、利用者に応答するメッセージを選択する。
When the response management table 730 is registered with the contents shown in FIG. 6, the
このように構成された第1実施形態の音声自動応答システム1では、自動応答装置600は、音声データから取得された利用者の感情を表す情報に基づいて、利用者に応答するメッセージを選択する。自動応答装置600を備える音声自動応答システム1は、例えば、“怒り”の感情を持つ利用者にはより丁寧な言葉づかいで応答し、“焦り”の感情を持つ利用者にはより短い言葉で応答することが可能となる。
そのため、実施形態の音声自動応答システム1によって、コールセンタ3の事業者は、コールセンタサービスの提供において、利用者の感情に応じた対応をより少ない人的リソースで行うことが可能となる。
In the automatic
Therefore, the voice
また、第1実施形態の自動応答装置600は、音声データから抽出されたキーワードに基づいて、利用者が希望するサービスを認識し、サービスに応じた応答メッセージを生成する。そのため、自動応答装置600を備える音声自動応答システム1は、情報伝達のための利用者の入力操作の負担を軽減し、利用者との情報のやり取りを円滑に行うことが可能となる。
In addition, the
第1実施形態の音声自動応答システム1が上記の自動応答装置600を備えることによって、コールセンタ3の事業者は、夜間などのオペレータがいない状況であっても、利用者にコールセンタのサービスを提供することが可能となる。また、夜間対応が可能なコールセンタであっても、夜間に配置されるオペレータの人員は昼間よりも少ない場合がある。その結果、コールセンタの夜間の利用において、利用者がサービスを受けるまでの待ち時間が長くなる可能性があった。また、日中の利用であってもコールセンタが混雑している状況においては、利用者は時間をおいて電話をかけ直し、混雑が解消されるまで待つ必要があった。第1実施形態の音声自動応答システム1が上記の自動応答装置600を備えることによって、コールセンタ3の事業者は、より短い待ち時間で利用者にサービスを提供することが可能となる。
By providing the
また、第1実施形態の音声自動応答システム1は、コールセンタが混雑している状況において実施形態による自動応答を行うことによって、オペレータによる応対が可能となるまでの待ち時間を活用し利用者から情報収集を行うように構成されてもよい。このように収集された情報が応対可能となったオペレータに引き継がれることによって、第1実施形態の音声自動応答システム1では、オペレータの応対時間を短縮することが可能となる。
Further, the automatic
<変形例>
音声データの実データが音声情報テーブル310以外に保持される場合、音声情報テーブル310に登録される音声情報の値は、音声データの実データの格納場所を示す情報であってもよい。
自動応答装置600において、応答判断部620及び応答生成部630は、両方の機能を持つ1つの機能部として構成されてもよい。
<Modification>
When the actual data of the audio data is stored other than the audio information table 310, the value of the audio information registered in the audio information table 310 may be information indicating the storage location of the actual data of the audio data.
In the
応答判断部620が出力する応答種別情報は、利用者への応答における次のアクション(応答内容情報)を取得する以外の用途に用いられてもよい。本実施形態では、応答種別情報は、利用者に提供されるサービスの種別を表す。そのため、例えば、自動応答装置600は、カウンタ機能を備えることによって、サービスごとの利用回数を取得するように構成されてもよい。自動応答装置600がこのように構成されることによって、コールセンタ3の事業者は、サービスの利用回数の統計を分析してサービス改善の活動につなげることができる。また、上記の自動応答装置600は、さらに通話IDを用いることによって、利用者ごとにサービスの利用回数を取得するように構成されてもよい。自動応答装置600がこのように構成されることによって、コールセンタ3の事業者は、利用者ごとのサービスの利用回数の統計を分析して、例えば不正利用の監視などを行うことができる。
The response type information output by the
自動応答装置600は、ステップS105において、利用者への応答に用いる応答メッセージが取得できなかった場合、過去にオペレータが他の利用者に応答した音声を含む音声データを送信することによって、利用者への応答を行ってもよい。例えば、この場合、自動応答装置600は、新規登録されたテキスト情報レコードのキーワードの値と関連性が強いテキスト情報の値を持つテキスト情報レコードを選択してもよい。自動応答装置600は、選択されたテキスト情報レコードからテキスト情報の値を取得する。自動応答装置600は、取得したテキスト情報の値を音声データに変換する。自動応答装置600は、変換された音声データを利用者の電話機2に送信する。
In step S105, when the response message used for the response to the user cannot be acquired, the
なお、過去にオペレータが他の利用者に応答した音声を含む音声データに、名前や住所、クレジットカード番号などの個人情報が含まれる場合、自動応答装置600は、これらの個人情報を除外するか、応答の対象となる利用者の個人情報に置き換えて音声データを送信するように構成されてもよい。また、過去にオペレータが他の利用者に応答した音声を含む音声データに個人情報が含まれる場合、自動応答装置600は自動応答を行わず、利用者の通話をコールセンタ3のオペレータに転送することを中継装置100に要求するように構成されてもよい。
When personal data such as name, address, and credit card number is included in voice data including voices that the operator has responded to other users in the past, the
自動応答装置600は、通話開始時の利用者の感情が“怒り”の状態にある場合や、自動応答によって利用者の感情が悪化した場合には、自動応答を行わず利用者の通話をコールセンタ3のオペレータに転送することを中継装置100に要求するように構成されてもよい。
When the user's emotion at the start of the call is in an “anger” state or when the user's emotion deteriorates due to the automatic response, the
自動応答装置600は、利用者の通話をオペレータに転送する際、通話開始から転送までの間に利用者とやり取りされた情報をオペレータに提供してもよい。この機能によって、例えば、オペレータは、利用者から聞き出した情報を再度利用者に質問する必要がなくなり、サービスの効率を向上させることができるとともに、利用者の感情が悪化するのを抑制することができる。
The
音声自動応答システム1は、自動応答装置600によって選択された応答メッセージを自動応答以外の用途に用いてもよい。例えば、自動応答装置600は、選択した応答メッセージを応答の例としてオペレータに提供するように構成されてもよい。自動応答装置600がこのように構成されることによって、例えば、経験の浅いオペレータでもより適切な応答を行うことが可能となる。さらに、自動応答装置600は、応答メッセージの選択に用いた利用者感情情報をオペレータに提供してもよい。例えば、利用者感情情報が提供されることによって、オペレータは、把握することが難しい他国の利用者の感情を知ることが可能となる。
The automatic
音声自動応答システム1は、音声データに基づいて利用者の言語種別を判断し、利用者の言語に応じた応答メッセージを選択するように構成されてもよい。この場合、例えば、感情認識装置200は、利用者の言語種別を判断する。音声DB300及びテキストDB500は、音声データの識別情報と言語種別とを対応づけて記憶する。応答DB700は、応答メッセージの識別情報と言語種別とを対応づけて記憶する。自動応答装置600は、応答内容情報、感情情報及び言語種別に基づいて、応答DB700から応答メッセージを取得する。
The automatic
なお、利用者の言語種別に応じて取得された応答メッセージは、利用者への自動応答に用いられてもよいし、上述したように、応答の例としてオペレータに提供されてもよい。言語種別に応じた応答メッセージがオペレータに提供されることによって、母国語以外の言語で対応するオペレータの応対の品質を向上させることができる。 Note that the response message acquired in accordance with the language type of the user may be used for an automatic response to the user, or may be provided to the operator as an example of the response as described above. By providing the operator with a response message corresponding to the language type, it is possible to improve the quality of response of the operator who corresponds in a language other than the native language.
音声自動応答システム1は、利用者の通話をオペレータの母国語に翻訳する機能を備えてもよい。この場合、例えば、音声変換装置400は、テキストデータに変換した利用者の通話をオペレータの母国語に翻訳する。テキストDB500は、音声データの識別情報と翻訳されたテキストデータとを対応づけて記憶する。自動応答装置600は、母国語に翻訳された利用者の通話をオペレータに提供する。利用者の通話が母国語に翻訳されてオペレータに提供されることによって、母国語以外の言語で対応するオペレータが利用者の通話の内容をより正確に理解することが可能となる。
The automatic
[第2実施形態]
図10は、第2実施形態の音声自動応答システム1aのシステム構成を示すシステム構成図である。
音声自動応答システム1aは、自動応答装置600に代えて自動応答装置600aを備える点、応答DB700に代えて応答DB700aを備える点で第1実施形態の音声自動応答システム1と異なる。音声自動応答システム1aのその他の構成は、音声自動応答システム1と同様である。図10では、音声自動応答システム1と同様の構成要素には、図1と同様の符号を付すことによって説明を省略する。
[Second Embodiment]
FIG. 10 is a system configuration diagram showing a system configuration of the automatic
The automatic
図11は、自動応答装置600aの機能構成を示す機能ブロック図である。
自動応答装置600aは、応答生成部630に代えて応答生成部630aを備える点、テンプレート生成部640をさらに備える点で第1実施形態の自動応答装置600と異なる。自動応答装置600aのその他の構成は、自動応答装置600と同様である。図11では、自動応答装置600と同様の機能を有する機能部には、図7と同様の符号を付すことによって説明を省略する。
FIG. 11 is a functional block diagram showing a functional configuration of the
The
応答生成部630aは、応答生成部630の機能に加えて、利用者への応答の履歴を応答DB700aに登録する機能を有する。この機能により応答生成部630aは、オペレータの音声データの識別情報と、オペレータが実行したアクションを示す応答内容情報とを対応づけて応答DB700aに登録する。
In addition to the function of the
テンプレート生成部640は、オペレータによる過去の応答の履歴を参照し、品質の高い応答を自動応答に用いられる応答メッセージのテンプレートに追加する。例えば、テンプレート生成部640は、利用者の感情をより良い感情に変化させることができた応答を品質の高い応答として抽出する。例えば、テンプレート生成部640は、通話開始時に“怒り”の状態にあった利用者の感情を、通話終了時に“喜び”に変えることができた応答を抽出してもよい。テンプレート生成部640は、抽出した応答を新規テンプレートとして、応答管理テーブル730に追加する。
The
応答DB700aは、応答履歴テーブル740をさらに備える点で第1実施形態の応答DB700と異なる。
図12は、応答履歴テーブル740の具体例を示す図である。
応答履歴テーブル740は、利用者への応答において実行されたアクションの履歴を保持するテーブルである。応答履歴テーブル740は、通話IDごとに応答履歴レコードを有する。応答履歴レコードは、通話ID、音声ID及びアクションIDの各値を有する。通話ID及び音声IDは、音声情報レコード及びテキスト情報レコードが有する通話ID及び音声IDと同様である。アクションIDは、アクション管理レコードが有するアクションIDと同様である。応答履歴レコードは、利用者への応答のアクションが実行されると応答生成部630aによって応答履歴テーブル740に登録される。
The
FIG. 12 is a diagram illustrating a specific example of the response history table 740.
The response history table 740 is a table that holds a history of actions executed in response to a user. The response history table 740 has a response history record for each call ID. The response history record has each value of call ID, voice ID, and action ID. The call ID and the voice ID are the same as the call ID and the voice ID included in the voice information record and the text information record. The action ID is the same as the action ID included in the action management record. The response history record is registered in the response history table 740 by the
図13は、第2実施形態の音声自動応答システム1aにおけるテンプレート生成の処理の流れを示すフローチャートである。
まず、利用者がオペレータとの間で通話を行うと、感情認識装置200は、ステップS102と同様の処理を行い、音声データから利用者の感情を認識する。また、音声変換装置400は、ステップS103と同様の処理を行い、音声データをテキストデータに変換する。自動応答装置600の応答判断部620は、ステップS103と同様の処理を行い、利用者が希望するサービスを判断する。応答判断部620は、利用者が希望するサービスとして判断されたサービスの識別情報を応答種別情報として応答生成部630aに出力する。応答生成部630aは、応答種別情報に対応するアクション管理テーブル720を参照し、オペレータの応答に対応するアクションを判断する。応答生成部630aは、対象の通話の識別情報、音声データの識別情報及び応答のアクションを示す応答内容情報を値に持つ応答履歴レコードを生成する。応答生成部630aは、生成した応答履歴レコードを応答履歴テーブル740に登録する。
FIG. 13 is a flowchart showing a flow of template generation processing in the automatic
First, when the user makes a call with the operator, the
テンプレート生成部640は、テキスト情報テーブル510を参照し、過去の通話において通話終了時の感情情報が通話開始時の感情情報よりもより良い感情に変化した通話IDに対応する応答履歴テーブル740を選択する(ステップS201)。
テンプレート生成部640は、選択した応答履歴テーブル740に登録されている応答履歴レコードの音声IDの値を取得する。テンプレート生成部640は、テキスト情報テーブル510を参照し、応答履歴レコードから取得した音声IDの値を音声IDの値に持つテキスト情報レコードを選択する。テンプレート生成部640は、選択したテキスト情報レコードからテキスト情報の値と、感情情報の値とを取得する。このように、テンプレート生成部640は、オペレータの応答履歴に基づいて、オペレータが応答したメッセージを取得する(ステップS202)。
The
The
テンプレート生成部640は、テキスト情報レコードから取得したテキスト情報及び感情情報の値を応答DB700aに出力する。応答DB700aは、テンプレート生成部640から出力された値を持つ応答管理レコードを生成する。応答DB700aは、生成した応答管理レコードを応答管理テーブル730に登録する(ステップS203)。
The
図14は、テキスト情報テーブル510の第2の具体例を示す図である。
図14では、利用者とオペレータとの間で図3の例のテキスト情報テーブル510が示す通話が行われたことを表している。
例えば、テンプレート生成部640は、過去の通話における応答履歴テーブル740のうち、通話終了時の感情情報が、通話開始時の感情情報よりもより良い感情となったテーブルとして、図12の例に示す内容の応答履歴テーブル740を選択する。テンプレート生成部640は、選択した応答履歴テーブル740から、応答履歴レコードの各値を取得する。
FIG. 14 is a diagram showing a second specific example of the text information table 510.
FIG. 14 shows that a call indicated by the text information table 510 in the example of FIG. 3 is performed between the user and the operator.
For example, the
テンプレート生成部640は、テキスト情報テーブル510を参照し、応答履歴レコードから取得した音声ID及び通話IDの値を音声ID及び通話IDの値にもつテキスト情報レコードを選択する。テンプレート生成部640は、選択したテキスト情報レコードからテキスト情報の値と、感情情報の値とを取得する。テンプレート生成部640は、テキスト情報レコードから取得したテキスト情報及びテキスト情報レコードから取得した感情情報の値を応答DB700aに出力する。応答DB700aは、テンプレート生成部640から出力された応答情報及び感情情報の値に持つ応答管理レコードを生成する。応答DB700aは、生成した応答管理レコードを応答管理テーブル730に登録する。
The
上記の処理によって、図14の例において“V002”、“V004”、“V006”及び“V008”を音声IDの値に持つテキスト情報レコードのテキスト情報の値が応答管理テーブル730に追加されるメッセージとして選択される。 The message in which the text information value of the text information record having “V002”, “V004”, “V006”, and “V008” as the voice ID values is added to the response management table 730 in the example of FIG. Selected as.
このように構成された第2実施形態の音声自動応答システム1aでは、自動応答装置600aは、過去のオペレータの応答において利用者の感情をより良い感情にすることができた応答を、自動応答装置600aが選択する応答メッセージのテンプレートに追加する。そのため、音声自動応答システム1aは、自動応答機能の精度を自律的に向上させることが可能となる。
In the voice
<変形例>
自動応答装置600aは、ステップS201において、過去の通話における感情の変化の度合いに基づいて、応答履歴テーブル740を選択するように構成されてもよい。また、自動応答装置600aは、選択された応答履歴テーブル740に含まれる応答メッセージに所定の重み付けを行い、重みに応じて応答メッセージをテンプレートに追加するように構成されてもよい。例えば、選択された応答メッセージが複数の応答履歴テーブル740に存在する場合、自動応答装置600aは、その応答メッセージによって利用者の感情が変化した回数で重み付けを行ってもよい。
<Modification>
In step S201, the
自動応答装置600aは、過去のオペレータの応答において、利用者の感情をより悪い感情にしてしまった応答メッセージを、応答管理テーブル730から削除するように構成されてもよい。また、自動応答装置600aが、そのような応答をNG集として保持しオペレータに提供すれば、オペレータの応答品質を向上させることも可能となる。自動応答装置600aによるテンプレートの応答メッセージの追加において、同一のアクションID及び感情情報に対応するテンプレートが複数登録された場合、自動応答装置600aは、選択された複数のテンプレートから最新のテンプレートを用いて応答するように構成されてもよい。
The
自動応答装置600は、ステップS202において取得されたメッセージに名前や住所、クレジットカード番号などの個人情報が含まれる場合、自動応答装置600は、これらの個人情報を除外するか、応答の対象となる利用者の個人情報に置き換えたメッセージを生成してもよい。
When the message acquired in step S202 includes personal information such as a name, an address, and a credit card number, the
上述した実施形態における自動応答装置600及び600aをコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、FPGA等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
The
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
1、1a…音声自動応答システム, 2、2−1〜2−3…電話機, 3、3−1〜3−3…コールセンタ, 4…ネットワーク, 5、5−1〜5−3…コールセンタ管理装置, 100…中継装置, 200…感情認識装置, 300…音声DB, 310…音声情報テーブル, 400…音声変換装置, 500…テキストDB, 510…テキスト情報テーブル, 600、600a…自動応答装置, 610…通信部, 620…応答判断部, 630、630a…応答生成部, 640…テンプレート生成部, 700、700a…応答DB, 710…フロー管理テーブル, 720…アクション管理テーブル, 730…応答管理テーブル, 740…応答履歴テーブル
DESCRIPTION OF
Claims (8)
前記音声データをテキストデータに変換する音声変換部と、
前記テキストデータと前記利用者感情情報とに基づいて、利用者に対する応答メッセージをメッセージ候補の中から選択し、選択した前記応答メッセージを音声データに変換して前記通話装置に送信する応答部と、
前記コールセンタのオペレータが過去の利用者に対して応答した応答メッセージのうち、前記過去の利用者の感情を変化させた応答メッセージを前記メッセージ候補に対して追加又は削除する追加部と、
を備え、
前記追加部は、前記過去の利用者の感情を変化させた応答メッセージに、過去の応答に用いられた回数に応じた重み付けを行い、前記重みに応じて前記メッセージ候補に対する前記応答メッセージの追加又は削除を行う、
応答システム。 An emotion recognition unit that acquires user emotion information representing the user's emotion based on voice data transmitted from a call device of a call center user;
A voice conversion unit that converts the voice data into text data;
Based on the text data and the user emotion information, a response message for the user is selected from message candidates, a response unit that converts the selected response message into voice data and transmits it to the call device;
Among the response messages that the call center operator responded to past users, an addition unit that adds or deletes response messages that change the past user's emotions to the message candidates;
With
The adding unit weights the response message that has changed the emotion of the past user according to the number of times used in the past response, and adds the response message to the message candidate according to the weight or Delete,
Response system.
請求項1に記載の応答システム。 The response unit is a case in which the voice data transmitted to the call device is second voice data that the call center operator responds to a past user, and the second voice data is personal. When voice indicating information is included, voice data obtained by excluding voice indicating the personal information from the second voice data, or voice data obtained by replacing the voice indicating the personal information with personal information of the current user Send to call device,
The response system according to claim 1.
請求項1又は2に記載の応答システム。 The addition unit adds a message that can change the emotion of the user to a better emotion among the messages that the call center operator has responded to the user in the past, to the message candidate.
The response system according to claim 1 or 2 .
請求項1から3のいずれか一項に記載の応答システム。 The response unit acquires the response type information based on the text data from a storage unit that stores response type information indicating the type of response to the user and text data in association with each other, and acquires the acquired response type Based on the information and the user emotion information, a message that responds to the user is selected from message candidates.
The response system according to any one of claims 1 to 3 .
請求項1から4のいずれか一項に記載の応答システム。 The response unit stores the response content information based on the response type information from the storage unit that stores the response content information indicating the content of the process to be executed in response to the user and the response type information in association with each other. Acquiring and selecting a message to respond to the user from among the message candidates based on the acquired response content information and the user emotion information;
The response system according to any one of claims 1 to 4 .
請求項1から5のいずれか一項に記載の応答システム。 The response unit provides the user emotion information to a call center operator.
The response system according to any one of claims 1 to 5 .
前記音声データをテキストデータに変換する音声変換ステップと、
前記テキストデータと前記利用者感情情報とに基づいて、利用者に対する応答メッセージをメッセージ候補の中から選択し、選択した前記応答メッセージを音声データに変換して前記通話装置に送信する応答ステップと、
前記コールセンタのオペレータが過去の利用者に対して応答した応答メッセージのうち、前記過去の利用者の感情を変化させた応答メッセージを前記メッセージ候補に対して追加又は削除する追加ステップと、
を有し、
前記追加ステップにおいて、前記過去の利用者の感情を変化させた応答メッセージに、過去の応答に用いられた回数に応じた重み付けを行い、前記重みに応じて前記メッセージ候補に対する前記応答メッセージの追加又は削除を行う、
応答方法。 An emotion recognition step of acquiring user emotion information representing the user's emotion based on voice data transmitted from a call device of a call center user;
A voice conversion step of converting the voice data into text data;
A response step of selecting a response message for the user from message candidates based on the text data and the user emotion information, converting the selected response message into voice data and transmitting it to the call device;
An addition step of adding or deleting a response message that has changed the emotion of the past user among response messages that the call center operator responded to the past user;
Have
In the adding step, the response message in which the past user's emotion is changed is weighted according to the number of times used in the past response, and the response message is added to the message candidate according to the weight or Delete,
Response method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014093147A JP6438674B2 (en) | 2014-04-28 | 2014-04-28 | Response system, response method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014093147A JP6438674B2 (en) | 2014-04-28 | 2014-04-28 | Response system, response method, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015211403A JP2015211403A (en) | 2015-11-24 |
JP6438674B2 true JP6438674B2 (en) | 2018-12-19 |
Family
ID=54613289
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014093147A Active JP6438674B2 (en) | 2014-04-28 | 2014-04-28 | Response system, response method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6438674B2 (en) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106663127A (en) * | 2016-07-07 | 2017-05-10 | 深圳狗尾草智能科技有限公司 | An interaction method and system for virtual robots and a robot |
JP7140358B2 (en) * | 2017-03-21 | 2022-09-21 | 日本電気株式会社 | Reception work support system, reception work support method, and program |
US11055481B2 (en) | 2017-06-29 | 2021-07-06 | Spalo Co., Ltd. | Information input method, information input apparatus, and information input system |
EP3648032A1 (en) * | 2017-06-29 | 2020-05-06 | Bizocean Co., Ltd. | Information inputting method, information inputting device, and information inputting system |
JP6767322B2 (en) * | 2017-08-18 | 2020-10-14 | ヤフー株式会社 | Output control device, output control method and output control program |
CN108833722B (en) * | 2018-05-29 | 2021-05-11 | 平安科技(深圳)有限公司 | Speech recognition method, speech recognition device, computer equipment and storage medium |
WO2019239490A1 (en) * | 2018-06-12 | 2019-12-19 | 株式会社ロボケン | Information processing device, information processing device control method, and program |
SG11202104268YA (en) | 2018-11-16 | 2021-05-28 | Liveperson Inc | Automatic bot creation based on scripts |
JP7227020B2 (en) | 2019-01-31 | 2023-02-21 | 住友重機械工業株式会社 | Injection molding machine |
JP2019125385A (en) * | 2019-03-08 | 2019-07-25 | 日本電気株式会社 | Answering business support system, answering business support method, and program |
CN112151034B (en) * | 2020-10-14 | 2022-09-16 | 珠海格力电器股份有限公司 | Voice control method and device of equipment, electronic equipment and storage medium |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002140328A (en) * | 2000-10-30 | 2002-05-17 | Nippon Telegr & Teleph Corp <Ntt> | Information answering device |
JP4747573B2 (en) * | 2004-12-22 | 2011-08-17 | 日本電気株式会社 | Audio information processing system, audio information processing method, and audio information processing program |
JP2007004001A (en) * | 2005-06-27 | 2007-01-11 | Tokyo Electric Power Co Inc:The | Operator answering ability diagnosing device, operator answering ability diagnosing program, and program storage medium |
JP4914295B2 (en) * | 2007-06-21 | 2012-04-11 | パナソニック株式会社 | Force voice detector |
JP2011217018A (en) * | 2010-03-31 | 2011-10-27 | Oki Networks Co Ltd | Voice response apparatus, and program |
JP2013054490A (en) * | 2011-09-02 | 2013-03-21 | Hitachi Ltd | Information retrieval device and information retrieval program |
-
2014
- 2014-04-28 JP JP2014093147A patent/JP6438674B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015211403A (en) | 2015-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6438674B2 (en) | Response system, response method, and computer program | |
US10194029B2 (en) | System and methods for analyzing online forum language | |
CN110891124B (en) | System for artificial intelligence pick-up call | |
KR102085796B1 (en) | Language purificationserver and method of customercounseling service using the same | |
US20170064084A1 (en) | Method and Apparatus for Implementing Voice Mailbox | |
WO2016022737A1 (en) | Phone call context setting | |
WO2015083741A1 (en) | Relay device, display device, and communication system | |
US9042523B2 (en) | Modifying voice messages stored in a voicemail system | |
CN111212189B (en) | Intelligent outbound system based on mobile phone terminal | |
JP7237381B1 (en) | Program, information processing system and information processing method | |
JP2019152816A (en) | Telephone call voice processing system and telephone call voice processing method | |
WO2023090379A1 (en) | Program, information processing system and information processing method | |
US8565400B2 (en) | Call management system for a mobile telephone | |
JP2017163198A (en) | Voice recognition system, connection device, and voice recognition method | |
JP6055804B2 (en) | CONTENT EXTRACTION DEVICE, CONTENT EXTRACTION METHOD, AND COMPUTER PROGRAM | |
JP6632144B2 (en) | Information processing apparatus, information processing system, information processing method, and information processing program | |
JP2023105607A (en) | Program, information processing device, and information processing method | |
KR20220121171A (en) | Method and system for providing chatbot service available in multiple messengers | |
WO2019176010A1 (en) | Information providing device | |
TWM620256U (en) | Customer service system | |
KR20200017202A (en) | Apparatus for providing address book based service capable of telephone service using message and method therreof | |
JP2020087262A (en) | Information presentation system, information presentation device, information presentation method and computer program | |
JP6013991B2 (en) | Call control apparatus and method for identifying outside line number | |
KR100657634B1 (en) | Method, Device and Record Medium saved the method for provide voice communication service by using receiver information formed characters | |
JP2018085053A (en) | Agent dialog system, agent device, server device, agent dialog method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170213 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180515 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6438674 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |