JP6345729B2 - Reception data collection system, customer reception system and program - Google Patents
Reception data collection system, customer reception system and program Download PDFInfo
- Publication number
- JP6345729B2 JP6345729B2 JP2016086134A JP2016086134A JP6345729B2 JP 6345729 B2 JP6345729 B2 JP 6345729B2 JP 2016086134 A JP2016086134 A JP 2016086134A JP 2016086134 A JP2016086134 A JP 2016086134A JP 6345729 B2 JP6345729 B2 JP 6345729B2
- Authority
- JP
- Japan
- Prior art keywords
- customer
- information
- operator
- reception
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013480 data collection Methods 0.000 title claims description 19
- 230000004044 response Effects 0.000 claims description 102
- 230000008451 emotion Effects 0.000 claims description 57
- 230000007704 transition Effects 0.000 claims description 9
- 230000003993 interaction Effects 0.000 claims 1
- 238000004891 communication Methods 0.000 description 30
- 239000000463 material Substances 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 230000010365 information processing Effects 0.000 description 17
- 208000035285 Allergic Seasonal Rhinitis Diseases 0.000 description 15
- 230000009118 appropriate response Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 230000008921 facial expression Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000002537 cosmetic Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000010195 expression analysis Methods 0.000 description 1
- 239000003889 eye drop Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
- G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
- G06Q30/016—After-sales
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L13/00—Speech synthesis; Text to speech systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/26—Speech to text systems
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/28—Constructional details of speech recognition systems
- G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Business, Economics & Management (AREA)
- Finance (AREA)
- General Physics & Mathematics (AREA)
- Economics (AREA)
- Accounting & Taxation (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Development Economics (AREA)
- Theoretical Computer Science (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Manipulator (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、応対データ収集システム、顧客応対システム及びプログラムに関する。 The present invention relates to a reception data collection system, a customer reception system, and a program.
ユーザと通話相手との会話を学習してユーザの問いかけに対する通話相手の返答を返答テーブルに蓄積する端末が知られている(例えば、特許文献1参照)。
[先行技術文献]
[特許文献]
[特許文献1]特開2011−253389号公報
There is known a terminal that learns a conversation between a user and a call partner and accumulates a response of the call partner in response to the user's inquiry in a response table (see, for example, Patent Document 1).
[Prior art documents]
[Patent Literature]
[Patent Document 1] Japanese Patent Application Laid-Open No. 2011-253389
機器がユーザに応対するシステムにおいては、ユーザに対し適切な応対ができない場合がある。例えば、機器が応対内容を決定する際に、どの入力情報が優先的に用いられるべきかを適切に決定できない場合がある。また、機器が応対内容を決定するための学習用データを効率的に収集できないという課題がある。 In a system in which a device responds to a user, an appropriate response to the user may not be possible. For example, when the device determines the response content, it may not be possible to appropriately determine which input information should be preferentially used. In addition, there is a problem that the device cannot efficiently collect learning data for determining the response content.
本発明の第1の態様においては、顧客応対装置が応対可能な顧客の情報である顧客情報を取得する顧客情報取得部と、顧客情報をオペレータへ提示させる提示制御部と、オペレータによって決定された、顧客に対して顧客応対装置が応対するべき応対内容を示す応対情報を取得する応対情報取得部と、オペレータが応対内容を決定するために用いた情報を示す決定情報を取得する応対決定情報取得部と、応対情報と決定情報とを対応づけて記録させる記録制御部とを備える応対データ収集システムが提供される。 In the first aspect of the present invention, a customer information acquisition unit that acquires customer information, which is customer information that can be handled by the customer reception device, a presentation control unit that presents customer information to the operator, and an operator determined , A service information acquisition unit that acquires service information indicating the response content that the customer service device should respond to the customer, and a service determination information acquisition that acquires information used by the operator to determine the service content A reception data collecting system is provided that includes a recording control unit that records the reception information and the determination information in association with each other.
応対情報取得部が取得した応対情報に基づいて顧客に応対するよう顧客応対装置に指示する応対制御部をさらに備えてよい。 You may further provide the reception control part which instruct | indicates to a customer reception apparatus to respond to a customer based on the reception information which the reception information acquisition part acquired.
応対情報は、オペレータの発話内容を示すテキストデータを含み、応対制御部は、テキストデータを顧客応対装置に送信して、顧客応対装置に発話させてよい。 The reception information may include text data indicating the utterance content of the operator, and the reception control unit may transmit the text data to the customer reception apparatus so that the customer reception apparatus speaks.
応対決定情報取得部は、オペレータに提示された複数の顧客情報のうち、オペレータが応対内容を決定するために用いた顧客情報の種別を示す情報を取得してよい。 The response determination information acquisition unit may acquire information indicating the type of customer information used by the operator to determine the response content among the plurality of customer information presented to the operator.
顧客情報は、顧客応対装置が取得した顧客の画像、顧客応対装置が取得した顧客の発話内容、顧客が過去に購入した商品の購入履歴、顧客応対装置が顧客に応対する場所、顧客応対装置が顧客に応対する日に関する情報のうちの少なくともいずれか一つを含んでよい。 Customer information includes customer images acquired by the customer service device, customer utterances acquired by the customer service device, purchase histories of products purchased by the customer in the past, places where the customer service device responds to customers, and customer service devices It may include at least one of the information related to the date of serving the customer.
顧客応対装置は、顧客に対し自律的に応対する第1状態と、応対情報に基づいて顧客に応対する第2状態とを有し、顧客応対装置が第2状態にある場合に、応対情報取得部が応対情報を取得し、応対決定情報取得部が決定情報を取得し、記録制御部が応対情報と決定情報とを対応づけて記録させてよい。 The customer reception device has a first state that autonomously responds to the customer and a second state that responds to the customer based on the reception information, and when the customer reception device is in the second state, the reception information is acquired. The response information may be recorded by the recording control unit in association with the determination information.
顧客応対装置は、第1状態において、記録された決定情報と応対情報とに基づいて顧客に対し自律的に応対してよい。 In the first state, the customer reception device may autonomously respond to the customer based on the recorded determination information and reception information.
顧客応対装置が第1状態から第2状態に遷移した場合に、顧客応対装置が第1状態において顧客に自律的に応対した内容を示す応対履歴情報を、オペレータに通知する応対履歴通知部をさらに備えてよい。 A response history notifying unit for notifying an operator of response history information indicating the content of the customer response device autonomously responding to the customer in the first state when the customer response device transitions from the first state to the second state; You may be prepared.
複数の顧客応対装置がそれぞれ応対可能な複数の顧客のうちオペレータが応対すべき顧客を特定する顧客特定部と、顧客特定部が特定した顧客に応対するオペレータを、複数のオペレータの中から選択するオペレータ選択部と、オペレータ選択部が選択したオペレータに、顧客特定部が特定した顧客への応対を開始すべき旨を通知する応対通知部とをさらに備えてよい。 The customer identification unit that identifies the customer to be handled by the operator among the plurality of customers that can be handled by each of the plurality of customer response devices, and the operator that corresponds to the customer identified by the customer identification unit are selected from the plurality of operators. You may further provide an operator selection part and the response notification part which notifies the operator which the operator selection part selected should start the response to the customer which the customer specific part specified.
顧客応対装置が検出した顧客の状態に基づいて、顧客応対装置がそれぞれ応対している顧客の感情の種別及び強さを特定する顧客感情特定部をさらに備え、顧客特定部は、顧客感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された顧客を、オペレータが応対すべき顧客として特定してよい。 The customer response device further includes a customer emotion identification unit that identifies the type and strength of the customer's emotion that each customer response device is responding to based on the customer status detected by the customer response device. A customer whose strength exceeding a predetermined value for a predetermined type of emotion may be specified as a customer to be handled by the operator.
感情特定部は、複数の顧客応対装置がそれぞれ応対している顧客の怒りの強さを特定し、顧客特定部は、感情特定部によって予め定められた値を超える怒りの強さが特定された顧客を、オペレータが応対すべき顧客として特定してよい。 The emotion identification unit specifies the strength of the customer's anger handled by each of the plurality of customer response devices, and the customer identification unit specifies the anger strength exceeding the value predetermined by the emotion identification unit. A customer may be identified as a customer to be handled by the operator.
応対情報と応対決定情報とを対応づけて格納する格納部をさらに備えてよい。 A storage unit that stores the service information and the service determination information in association with each other may be further provided.
本発明の第2の態様においては、上記の応対データ収集システムと、上記の顧客応対装置とを備える顧客応対システムが提供される。 In a second aspect of the present invention, there is provided a customer reception system comprising the above reception data collection system and the above customer reception device.
本発明の第3の態様においては、コンピュータを、上記の応対データ収集システムとして機能させるためのプログラムが提供される。 In a third aspect of the present invention, there is provided a program for causing a computer to function as the above reception data collection system.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 It should be noted that the above summary of the invention does not enumerate all the necessary features of the present invention. In addition, a sub-combination of these feature groups can also be an invention.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. In addition, not all the combinations of features described in the embodiments are essential for the solving means of the invention.
図1は、本実施形態に係る顧客応対システム10の利用場面の一例を概略的に示す。顧客応対システム10は、サーバ60と、ロボット40a、ロボット40b及びロボット40cと、オペレータ端末70a及びオペレータ端末70bとを備える。オペレータ端末70a及びオペレータ端末70b並びにサーバ60を備える構成部分は、応対データ収集システムとしても機能する。
FIG. 1 schematically shows an example of a usage scene of a
ロボット40a、ロボット40b及びロボット40cは、オペレータ端末70a及びオペレータ端末70bとは遠隔に設けられる。また、ロボット40a、ロボット40b及びロボット40cは、サーバ60とも遠隔に設けられる。オペレータ80aは、オペレータ端末70aを用いて、ロボット40a、ロボット40b及びロボット40cのいずれかを、サーバ60及び通信ネットワーク90を通じて操作することができる。同様に、オペレータ80bは、オペレータ端末70bを用いて、ロボット40a、ロボット40b及びロボット40cのいずれかを、サーバ60及び通信ネットワーク90を通じて操作することができる。
The
ロボット40a、ロボット40b及びロボット40cは、例えば店舗や事務所の受付等に配置されて、来訪した顧客に対して自律的に応対することができる。図1に示す状況において、顧客50aに対しては、ロボット40aが自律的に応対中である。顧客50bに対しては、ロボット40bが自律的に応対中である。一方、顧客50cに対しては、オペレータ80cが、オペレータ端末70c、サーバ60及びロボット40cを通じて応対中である。
The
この状況において、顧客50aに対してロボット40aが適切に応対できない場合を取り上げて、顧客応対システム10における動作を概略的に説明する。ロボット40aは、カメラ機能及びマイク機能を有しており、撮影した顧客50aの画像を、通信ネットワーク90を通じてサーバ60に送信する。サーバ60は、ロボット40aから受信した顧客50aの画像、音声等の情報に基づいて、ロボット40aの応対内容を適切に決定できないと判断すると、顧客応対中でないオペレータ80aに、顧客50aに対する応対を依頼する。オペレータ80aは、オペレータ端末70a及びサーバ60を通じてロボット40aを操作して、顧客50aに応対する。
In this situation, the operation in the
ここで、オペレータ端末70aによる顧客50aに対する応対時の動作を概略的に説明する。オペレータ端末70aは、コンピュータ72a及びヘッドセット74aを有する。コンピュータ72aは、ロボット40aにより取得された顧客50aの画像及び音声をサーバ60から受信する。コンピュータ72aが受信した画像は、コンピュータ72aの画面を通じてオペレータ80aに提供される。また、コンピュータ72aが受信した音声は、ヘッドセット74aを通じてオペレータ80aに提供される。また、サーバ60は、ロボット40aと顧客50aとの間の対応履歴、顧客顧客50aの現在の感情、顧客50aの商品の購入履歴等、様々な種別の顧客情報を、コンピュータ72aに提供する。
Here, the operation at the time of reception for the
オペレータ端末70において、オペレータ80aが発した音声は、ヘッドセット74aで取得されて音声データとしてコンピュータ72aに供給される。コンピュータ72aは、音声データをテキストデータに変換して、サーバ60及び通信ネットワーク90を通じてロボット40aに送信する。ロボット40aは、受信したテキストデータに従って発話する。これにより、オペレータ80aは、ロボット40aを通じて顧客50aに応対することができる。
In the
ここで、オペレータ80aは、サーバ60から取得してコンピュータ72aに表示された顧客の顔画像や過去の対応履歴等から、顧客50aに対する適切な発話内容を判断して発話する。例えば、オペレータ80aは、マスクをした顧客50aに対しては、例えば「花粉症ですか?」という問いかけを行うことができる。これにより、ロボット40が適切な会話を自律的にできない場面が生じても、顧客50に対して適切に会話を進めることができる。
Here, the
オペレータ端末70において、オペレータ80aは、発話内容を決定した際に考慮した情報を登録する。例えば、オペレータ80aは、顧客50aの顔画像を見て、顧客50aがマスクをしていることから「花粉症ですか?」と発話した場合、ロボット40aのカメラ画像から発話内容を決定した旨を、コンピュータ72aに入力する。この情報はサーバ60に送信され、サーバ60が「顧客画像」の情報と「花粉症ですか?」という発話内容とを対応づけて記録する。これにより、サーバ60は、発話内容と、その発話をした際にオペレータ80が考慮した情報との組み合わせを収集する。サーバ60で収集された情報は、ロボット40が発話内容を判定するための学習用の教師データとして用いられる。これにより、ロボット40が自律的に応対している場合において、マスクをした顧客の画像が取得されたときに、ロボット40が「花粉症ですか?」という発話行動が選択される可能性が高まる。
In the
このように、顧客応対システム10によれば、ロボット40の応対内容を決定するための学習用データとして、オペレータ80が判断に用いた情報を効率的に収集できる。また、ロボット40aによる応対内容を判定する場合に、オペレータ80が判断に用いた情報をより大きい重みで考慮することができる。
Thus, according to the
なお、ロボット40b及びロボット40cは、ロボット40aと略同一の機能を有する。顧客応対システム10の説明において、ロボット40a、ロボット40b及びロボット40cを、ロボット40と総称する場合がある。また、オペレータ端末70bは、コンピュータ72b及びヘッドセット74bを有し、オペレータ端末70aと略同一の機能を有する。顧客応対システム10の説明において、オペレータ端末70a及びオペレータ端末70bを、オペレータ端末70と総称する場合がある。
The
なお、顧客応対システム10の説明において、特にロボット40aとオペレータ端末70aとの組み合わせの動作を取り上げる場合がある。しかし、ロボット40とオペレータ端末70との組み合わせはこの組み合わせのみに限られず、任意の組み合わせにおいて同様の動作を実現できる。
In the description of the
図2は、ロボット40及びサーバ60の機能ブロック構成を概略的に示す。まず、ロボット40の機能ブロック構成について説明する。ロボット40は、センサ部120と、情報処理部130と、制御対象160と、通信部102とを有する。情報処理部130は、MPU等のプロセッサであってよい。通信部102は、サーバ60との通信を担う。通信部102は、ネットワークIF等の通信デバイスであってよい。
FIG. 2 schematically shows functional block configurations of the
制御対象160は、スピーカを含む。制御対象160はまた、ロボット40の肢部や頭部等の可動部を駆動するモータ等を含む。
The
センサ部120は、マイク、ジャイロセンサ、モータセンサ、カメラ等の各種のセンサを有する。センサ部120のマイクは、周囲の音声を取得する。例えば、センサ部120のマイクは、顧客50の音声を取得する。センサ部120のカメラは、可視光によって撮影して画像情報を生成する。センサ部120のジャイロセンサは、ロボット40全体及びロボット40の各部の角速度を検出する。センサ部120のモータセンサは、ロボット40の可動部を駆動するモータの駆動軸の回転角度を検出する。
The
センサ部120は、マイクで取得された音声データ、カメラで撮影された画像、ジャイロセンサで検出された角速度、モータセンサで検出された回転角度等の各種のセンサデータを、情報処理部130に出力する。情報処理部130は、取得したセンサ信号を通信部102に供給して、サーバ60へ送信させる。また、情報処理部130は、センサ部120で検出された各種のセンサデータに基づいて、ロボット40の行動を決定する。情報処理部130は、決定した行動に基づいて制御対象160を制御する。
The
例えば、情報処理部130は、各種のセンサデータやサーバ60から取得した情報に基づいて、ロボット40の発話内容や、ロボット40の肢部の動き等を決定する。具体的には、情報処理部130は、センサ部120のマイクで取得された音声データを解析して顧客50の発話内容を特定する。また、情報処理部130は、センサ部120のカメラで生成された画像情報に基づいて、顧客50の表情を特定する。情報処理部130は、顧客50の発話内容、顧客50の表情等に基づいて、ロボット40の発話内容や、ロボット40の肢部の動きを決定し、制御対象160のスピーカ及びモータを制御して、ロボット40に発話させ、肢部等を動作させる。これにより、ロボット40は、顧客50の発話内容等を理解して、顧客50と会話したり、顧客50を案内したりすることができる。このように、ロボット40は、顧客50に対し自律的に応対することができる。
For example, the
なお、ロボット40は、センサ部120で取得した情報等をサーバ60に送信し、サーバ60がロボット40の発話内容や肢部の動き等を決定してもよい。ロボット40は、サーバ60で決定された発話内容や肢部の動き等の指示情報を受信して、当該指示情報に基づいて発話や肢部を動作させてよい。このようにサーバ60がロボット40の行動を決定する場合も、ロボット40の行動に人間の指示が実質的に関与していないため、ロボット40が自律的に応対しているとみなすことができる。
The
なお、ロボット40が発話する内容は、サーバ60において決定されて、ロボット40に送信されてもよい。この場合、サーバ60における発話内容を機能部分とロボット40とを備えるブロックが、顧客応対装置として機能し得る。
The content uttered by the
次に、サーバ60の機能ブロック構成について説明する。サーバ60は、情報処理部230と、通信部202と、通信部204と、格納部280とを有する。情報処理部230は、応対制御部240と、顧客感情特定部250と、顧客特定部210と、オペレータ選択部220と、提示制御部208と、記録制御部282とを有する。情報処理部230の機能は、MPU等のプロセッサによって実装されてよい。例えば、顧客特定部210、オペレータ選択部220、応対制御部240、顧客感情特定部250、提示制御部208及び記録制御部282の機能は、プロセッサが記録媒体290に格納されたプログラムを読み込むことで実装されてよい。
Next, the functional block configuration of the
通信部202は、ロボット40との通信を担う。通信部202は、顧客情報取得部200を有する。通信部204は、オペレータ端末70との通信を担う。通信部204は、通知部270と、応対関連情報取得部260とを有する。通信部202及び通信部204は、ネットワークIF等の通信デバイスであってよい。格納部280は、ハードディスク装置、フラッシュメモリ等の記憶媒体を有する。また、格納部280は、RAM等の揮発性記憶装置を有する。格納部280は、応対制御部240が実行時に読み出すプログラムコードや各種の一時データの他、情報処理部230の処理の実行に必要なデータ等を格納する。
The communication unit 202 is responsible for communication with the
顧客情報取得部200は、ロボット40が応対可能な顧客の情報である顧客情報を取得する。例えば、顧客情報取得部200は、ロボット40が取得した顧客の情報を、通信ネットワーク90を通じて受信する。なお、顧客情報は、ロボット40が取得した顧客画像、ロボット40が取得した顧客の発話内容、顧客が過去に購入した商品の購入履歴、ロボット40が顧客に応対する場所、及び、ロボット40が顧客に応対する日に関する情報のうちの少なくともいずれか一つを含んでよい。
The customer
提示制御部208は、顧客情報取得部200が取得した顧客情報をオペレータ80へ提示させる。具体的には、提示制御部208は、顧客情報を通信部204からオペレータ端末70に送信させて、オペレータ端末70のコンピュータ72に顧客情報を表示させる。
The
応対関連情報取得部260は、オペレータ80によって決定された、顧客に対してロボット40が応対するべき応対内容を示す応対情報を取得する。また、応対関連情報取得部260は、オペレータ80が応対内容を決定するために用いた情報を示す決定情報を取得する。例えば、応対関連情報取得部260は、上述した「花粉症ですか?」というオペレータ80の発話内容と、オペレータ80がオペレータ端末70のコンピュータ72に入力した「顧客画像」を示す情報とを、オペレータ端末70から取得する。なお、応対関連情報取得部260は、提示制御部208が顧客へ提示させた複数の顧客情報のうち、オペレータ80が応対内容を決定するために用いた顧客情報の種別を示す情報を取得してよい。
The reception related
記録制御部282は、応対情報と決定情報とを対応づけて記録させる。具体的には、記録制御部282は、応対情報と応対決定情報とを対応づけて格納部280に格納させる。
The
なお、応対制御部240は、応対関連情報取得部260が取得した応対情報に基づいて顧客に応対するようロボット40に指示する。例えば、応対情報は、オペレータ80の発話内容を示すテキストデータを含む。応対制御部240は、テキストデータをロボット40に送信して、ロボット40に発話させる。このように、サーバ60は、オペレータ80がロボット40を通じて顧客に実際に応対した内容と、オペレータ80が応対内容を決定する際に考慮した情報との組み合わせを、蓄積することができる。
The
なお、ロボット40は、顧客に対し自律的に応対する自律動作状態と、オペレータ80が決定した応対情報に基づいて顧客に応対するオペレータ応対状態とを有する。応対データ収集システムにおいては、ロボット40がオペレータ応対状態にある場合に、応対関連情報取得部260が応対情報を取得し、応対関連情報取得部260が決定情報を取得し、記録制御部282が応対情報と決定情報とを対応づけて記録させる。そして、ロボット40は、自律動作状態において、格納部280に記録された決定情報と応対情報とに基づいて顧客に対し自律的に応対する。これにより、例えば上述したように「花粉症ですか?」という発話内容と「顧客画像」を示す情報とが格納部280に対応づけられて格納されている場合において、応対制御部240は、自律動作状態のロボット40から受信した顧客の顔画像にマスクが含まれると判断した場合に、「花粉症ですか?」という発話が選択され易くなる。
The
なお、通知部270は、ロボット40が自律動作状態からオペレータ応対状態に遷移した場合に、ロボット40が自律動作状態において顧客に自律的に応対した内容を示す応対履歴情報を、オペレータ80に通知する。これにより、オペレータ80は、ロボット40がどのような応対をしたかを確認して、応対内容を決定することができる。
The notification unit 270 notifies the operator 80 of response history information indicating the content of the
なお、顧客特定部210は、複数のロボット40がそれぞれ応対可能な複数の顧客のうち、オペレータ80が応対すべき顧客を、顧客情報に基づいて特定する。例えば、顧客特定部210は、自律応対状態のロボット40によって感情が悪化した顧客を、オペレータ80が応対すべき顧客として特定してよい。オペレータ選択部220は、顧客特定部210が特定した顧客に応対するオペレータ80を、複数のオペレータ80の中から選択する。通知部270は、オペレータ選択部220が選択したオペレータ80に、顧客特定部210が特定した顧客への応対を開始すべき旨を通知する。これにより、例えば、ロボット40の自律応対中に顧客の感情が悪化した場合に、その顧客にオペレータが応対するようにすることができる。一方で、ロボット40の自律応対中に顧客の感情が悪化しなかった場合には、オペレータに応対させずに済む。
The
なお、顧客感情特定部250は、複数のロボット40がそれぞれ応対している顧客の怒りの強さを特定する。そして、具体的には、顧客特定部210は、顧客感情特定部250によって予め定められた値を超える怒りの強さが特定された顧客を、オペレータ80が応対すべき顧客として特定してよい。このように、顧客特定部210は、顧客感情特定部250により予め定められた種別の感情について予め定められた値を超える強さが特定された顧客を、オペレータ80が応対すべき顧客として特定してよい。
The customer
なお、顧客特定部210は、怒り以外の感情の強さを特定してよい。例えば、顧客特定部210は、喜怒哀楽等の感情の種別毎に、感情の強さを特定してよい。顧客特定部210は、ロボット40から取得した顧客の顔画像に基づいて表情解析することによって、顧客の感情の強さを特定してよい。また、顧客特定部210は、ロボット40から取得した顧客の音声に基づいて、発話解析や音声強度の解析をすることによって、顧客の感情の強さを特定してよい。そして、顧客特定部210は、例えば哀しみの強さが予め定められた値を超えた顧客を、オペレータ80が応対すべき顧客として特定してよい。
The
なお、通知部270は、顧客感情特定部250が特定した顧客の感情の種別を示す情報を、オペレータ選択部220が選択したオペレータに通知してよい。これにより、オペレータ80は、顧客の感情を考慮して適切な応対内容を決定することができる。
Note that the notification unit 270 may notify the operator selected by the
また、顧客情報取得部200は、複数のロボット40がそれぞれ応対可能な顧客が過去に購入した商品の購入履歴を、顧客情報として取得してよい。顧客特定部210は、取得した購入履歴が予め定められた条件を満たす顧客を、オペレータ80が応対すべき顧客として特定してよい。一例として、顧客特定部210は、予め定められた商品を購入したことがある顧客を、オペレータ80が応対すべき顧客として特定してよい。また、顧客特定部210は、予め定められた価格以上の商品を予め定められた回数以上購入したことがある顧客を、オペレータ80が応対すべき顧客として特定してよい。これにより、特別な応対が必要な顧客に対してはオペレータ80がロボット40を通じて応対し、特別な応対が必要でない顧客に対してはロボット40に自律的に応対させるようにすることができる。
In addition, the customer
図3は、自律動作状態のロボット40aが顧客50aに応対している場合のシーケンスを概略的に説明する図である。ロボット40aは、センサ部120で検出した音声、画像等のセンサ情報を、サーバ60に送信する。
FIG. 3 is a diagram schematically illustrating a sequence in a case where the
ここで、サーバ60の格納部280には、顧客50aの顔画像と、顧客50aの名前「A子さん」とが既に格納されているとする。例えば、応対制御部240が、過去にロボット40aと顧客50aとの間で交わされた会話等から顧客50aの名前を学習しており、格納部280には、顧客50aの顔画像と名前「A子さん」とが対応づけて格納されている。
Here, it is assumed that the face image of the
この場合において、応対制御部240は、ロボット40aから受信した顔画像と格納部280に格納されている顔画像とを照合して、来客したのがA子さんであり、過去に来客したことがある人であると判断する。これにより、「A子さんが来た。」という情報を生成する。
In this case, the
また、顧客感情特定部250は、ロボット40aから受信した音声、画像等の情報に基づいて、顧客50aの感情の強さを、複数の感情の種別毎に特定する。例えば、顧客感情特定部250は、「喜」「怒」「哀」「楽」のそれぞれの強さを特定する。一例として、顧客感情特定部250は、画像から特定した顔の表情や、音声から特定した声の状態等に基づいて、感情の種別と、その感情の強さを特定する。ここで、声の状態としては、怒気を含むか否か、楽しそうであるか否か等の声の状態を例示できる。なお、顧客感情特定部250は、音声から基本周波数等の音声特徴量を抽出して、抽出した音声特徴量に基づいて、声の状態を特定してよい。顧客感情特定部250は、最も強い感情を、顧客50aの現在の感情として特定してよい。
Further, the customer
ここで、顧客50aの感情として、「喜怒哀楽」のうち「楽」の感情が特定されると、応対制御部240は、「A子さんは楽しそう。」という情報を生成する。応対制御部240は、この状況における適切な応対内容として「また来てくれましたね」と発話することを決定して、ロボット40aに発話内容のテキストデータを送信して、ロボット40aに発話させる。また、応対制御部240は、発話後に顧客50aから肯定的な言葉と「また後でね」という返事が返ってきたことに応じて、この状況における適切な応対内容として「ありがとう!また後でね!」と発話することを決定して、ロボット40aに発話させる。
Here, when the emotion of “easy” is identified as the emotion of the
応対制御部240は、これらの状況において適正度の高い応対内容を決定できており、顧客感情特定部250により顧客50aの感情が悪化していないと判断されていることから、オペレータ80に対応を依頼せず、ロボット40aの自律動作状態を維持する。なお、通信部202は、ロボット40aの発話内容や動作内容等を示す応対履歴をロボット40aから受信し続けており、記録制御部282は応対履歴を時刻に対応づけて格納部280に格納する。
The
図4は、顧客50aへの応対をオペレータ80aに依頼するまでのシーケンスを概略的に説明する図である。サーバ60において、応対制御部240は、顧客50aが「A子さん」であると認識し、「A子さんが来た。」という情報を生成する。また、応対制御部240は、格納部280に格納されているA子さんの購入履歴から、商品を頻繁に買ってくれる顧客であると認識し、「A子さんは商品をよく買ってくれます。」という情報を生成する。応対制御部240は、この状況における適切な応対内容として「今日は何を買いに来たのですか?」と発話することを決定して、ロボット40aに発話させる。
FIG. 4 is a diagram schematically illustrating a sequence until the
次に、応対制御部240は、顧客50aからの「今日はちょっとね・・・」という返事と、顧客50aの画像から、「喜怒哀楽」の感情のうち「哀」の強さが予め定められた閾値を超えたことを検出する。これにより、応対制御部240は、「A子さんは哀しそう。」という情報を生成する。応対制御部240は、この状況において、「今日はちょっとね・・・」という返事に対して適切な応答を決定できないと判断して、オペレータ80に応対を依頼する旨を決定する。
Next, the
この場合、顧客特定部210は、オペレータ80の中から、顧客50aに応対するべきオペレータ80を選択する。例えば、顧客特定部210は、現在他の顧客50に応対中のオペレータ以外のオペレータを、顧客50aに応対するべきオペレータ80として選択する。なお、顧客特定部210は、顧客50aの感情の強さが強いほど、応対能力がより高いオペレータ80を選択してよい。オペレータ80の応対能力を示す情報は、オペレータ80を識別する情報に対応づけて格納部280に格納されており、顧客特定部210は格納部280に格納されている情報を参照して、顧客50aに応対するべきオペレータ80を選択してよい。
In this case, the
ここで、顧客特定部210が、顧客50aへ応対させるべきオペレータとしてオペレータ80aを選択すると、通知部270は、オペレータ80aが操作するオペレータ端末70aに、応対通知を送信する。この場合、通知部270は、応対通知と共に、顧客50aの感情を示す情報、ロボット40aと顧客50aとの間の応対履歴を示す情報、顧客50aの画像、及び顧客50aの過去の購入履歴を示す情報を、オペレータ端末70aに送信する。
Here, when the
図5は、オペレータ端末70aによる応対通知の表示内容を概略的に示す。オペレータ端末70aにおいて、コンピュータ72aは、サーバ60から応答通知を受信すると、応対が依頼されたことを示すオブジェクト410を、コンピュータ72aの画面に表示する。なお、コンピュータ72aは、オペレータ80aが着用しているヘッドセット74aに通知音を出力することにより、オペレータ80aに通知する。コンピュータ72aは、オブジェクト410が押されたことを検出すると、応対モードに遷移する。
FIG. 5 schematically shows display contents of a response notification by the
図6は、ロボット40aがオペレータ応対状態の場合におけるコンピュータ72aの表示内容を概略的に示す。オペレータ端末70aにおいて、コンピュータ72aは、サーバ60から受信した顧客50aの感情を示す情報を、オブジェクト510に表示する。また、コンピュータ72aは、サーバ60から受信した顧客50aの顔画像を、オブジェクト520に表示する。また、コンピュータ72aは、サーバ60から受信した、ロボット40aと顧客50aとの間の応対履歴を示す情報を、オブジェクト530に表示する。また、コンピュータ72aは、サーバ60から受信した、顧客50aの購入履歴を示す情報を、オブジェクト560に表示する。
FIG. 6 schematically shows the display contents of the
また、コンピュータ72aは、手動ボタン561及び自動ボタン562を画面に表示する。自動ボタン562は、ロボット40aに自律応対状態に遷移することを指示するためのボタンである。手動ボタン561は、ロボット40aにオペレータ応対状態に遷移することを指示するためのボタンである。図6においては、ロボット40aがオペレータ応対状態に遷移した状態であるので、手動ボタン561は既に選択された状態にあり、自動ボタン562が選択可能な状態にある。
In addition, the
なお、コンピュータ72aは、応対学習用データを登録するための判断材料ボタン570a〜判断材料ボタン570fと、学習ボタン580とを、画面に表示する。また、コンピュータ72aは、AI提案ボックス540及び発話ボタン550を、画面に表示する。判断材料ボタン570、学習ボタン580、AI提案ボックス540及び発話ボタン550については後述する。
Note that the
コンピュータ72aは、ロボット40aにより取得された音声をサーバ60から取得して、ヘッドセット74aに出力して、オペレータ80aに音声を提供する。ここで、コンピュータ72aは、ヘッドセット74aのマイク部が収集した音声のデータを取得して、オペレータ80aの音声情報を生成し、サーバ60に送信する。具体的には、コンピュータ72aは、音声データから言語を抽出してテキスト化して、得られたテキストデータを、サーバ60に送信する。サーバ60に送信されたテキストデータは、ロボット40aから発話させるべきテキストのデータとして処理される。なお、コンピュータ72aは、音声波形を表す音声データそのものを、音声情報としてサーバ60に送信してもよい。この場合、サーバ60においてテキスト化されてよい。
The
図7は、オペレータ80aの動作に基づいてロボット40aが顧客50aに応対している場合のシーケンスを概略的に示す。
FIG. 7 schematically shows a sequence when the
オペレータ80aは、図6のオブジェクト520内の画像から、顧客50aがマスクをしていることと判断して、「花粉症ですか?」と発話すると、コンピュータ72aにおいて、「花粉症ですか?」という音声がテキスト化されて、サーバ60に送信される。サーバ60において、通信部204が発話内容を示すテキストデータを受信すると、応対制御部240は、受信したテキストデータをロボット40aへ送信して、ロボット40aに発話させる。
When the
ロボット40aは、テキストデータに基づいて発話した後、センサ部120で検出したセンサ情報をサーバ60に送信する。サーバ60において、顧客感情特定部250により顧客50aの感情として「嬉」の感情が最も強くなったことが検出され、顧客50aからの「よく分かるのね」という発話内容から、応対制御部240は、「A子さんは嬉しそう。」という情報及び「A子さんに褒められた。」という情報を生成する。応対制御部240は、この状況における適切な発話内容として、「なんとなく分かったんだ。」という内容を決定する。ここで、ロボット40aは現在オペレータ応対状態にあるため、その発話内容をAI提案としてオペレータ端末70aに送信する。オペレータ端末70aは、受信した情報に基づいて表示内容を更新する。
The
図8は、オペレータ端末70aにおける更新された表示内容を概略的に示す。オペレータ端末70aにおいて、コンピュータ72aは、サーバ60から受信した情報に基づいて、オブジェクト510、オブジェクト520、オブジェクト530、AI提案ボックス540の表示を更新する。
FIG. 8 schematically shows updated display contents on the
オブジェクト530において、オペレータ80aが応対した「花粉症ですか。」の文字は、例えばオブジェクト880に示されるように強調表示されて、オペレータ80aの発話内容であることが分かるように表示される。AI提案ボックス540には、サーバ60から受信したAI提案のテキスト「なんとなく分かったんだ。」が表示される。ここで、オペレータ80aが、発話ボタン550を押すと、コンピュータ72aは、AI提案どおりに発話を指示する旨の情報をサーバ60に送信する。
In the
図9は、オペレータ80aからAI提案の発話が指示された場合のシーケンスを概略的に示す。サーバ60において、応対関連情報取得部260がAI提案の発話を指示する旨の情報を受信すると、応対制御部240は、「なんとなく分かったんだ。」というテキストデータをロボット40aに送信して、ロボット40aに発話させる。
FIG. 9 schematically shows a sequence when an utterance of an AI proposal is instructed from the
ロボット40aがテキストデータに基づいて発話した後、ロボット40a、サーバ60及びオペレータ端末70は、図6から図8等に関連して説明した動作と同様の動作を行い、顧客50aに対してオペレータ応対状態で応対する。オペレータ80aは、顧客50aの感情やAI提案等の情報を考慮して、ロボット40aが自律応対できると判断すると、コンピュータ72aの画面上の自動ボタン562を押して、ロボット40aを自律動作状態に遷移させる旨の指示をサーバ60に送信する。
After the
図10は、ロボット40aが自律動作状態に復帰するまでのシーケンスを概略的に示す。サーバ60において、応対関連情報取得部260が、自律動作状態に遷移させる旨の指示を受信すると、応対制御部240は、自律動作状態への遷移指示をロボット40aに送信する。ロボット40aにおいて、通信部102が自律応対状態への遷移指示を受信すると、情報処理部130及び応対制御部240は、センサ部120aのセンサ情報に基づく自律応対処理を再開する。このように、顧客応対システム10によれば、オペレータ80による応対とロボット40の自律応対をシームレスに切り替えることができる。
FIG. 10 schematically shows a sequence until the
図11は、オペレータ端末70aで応対学習用情報を登録する場合の表示内容を概略的に示す。図11は、オペレータ80aが応対している場合に、オペレータ80aが「花粉症ですか。」と発話し、ロボット40aがその発話に基づいて発話した後の場面を示す。
FIG. 11 schematically shows display contents when registering information for reception learning on the
ここで、オペレータ80aは、「花粉症ですか。」という発話内容を何の情報に基づいて決定したかを、判断材料ボタン570a〜判断材料ボタン570fを押すことによって選択する。オペレータ80aは、マスクをしている顧客50aの画像に基づいて決定したことから、判断材料ボタン570bを押して、顧客50aの画像に基づいて決定したことを選択する。その後、学習ボタン580を押すと、コンピュータ72aは、顧客の画像に基づいて発話内容を決定した旨の決定情報と、「花粉症ですか。」の応対内容を示す情報とを、サーバ60に送信する。サーバ60は、受信した情報に基づいて学習用情報を格納部280に格納する。
Here, the
なお、判断材料ボタン570aは、顧客50の発話内容に基づいて発話内容を決定したことを選択するためのボタンである。また、判断材料ボタン570cは、顧客50の性別及び/又は年齢に基づいて発話内容を決定したことを選択するためのボタンである。また、判断材料ボタン570dは、顧客50による商品の購入履歴に基づいて発話内容を決定したことを選択するためのボタンである。また、判断材料ボタン570eは、ロボット40が顧客50に応対する場所に基づいて発話内容を決定したことを選択するためのボタンである。また、判断材料ボタン570fは、ロボット40が顧客50に応対した日付、すなわち現在の日付に基づいて発話内容を決定したことを選択するためのボタンである。なお、これらの判断材料ボタン570が示す情報は、顧客情報の一例である。決定情報として選択可能な顧客情報は、判断材料ボタン570が示す情報に限られない。
The
なお、複数の判断材料ボタン570を押すことにより、複数種類の情報を選択することができる。例えば、オペレータ80aが、顧客50aがマスクをしている画像だけでなく、目薬の購入履歴も参考にして発話内容を判断した場合は、判断材料ボタン570d及び判断材料ボタン570dを押して、顧客の画像及び購入履歴に基づいて決定したことを選択してよい。
A plurality of types of information can be selected by pressing a plurality of
図12は、格納部280に格納される学習用情報を概略的に示す。サーバ60において、応対関連情報取得部260が上述した決定情報及び応対内容情報をコンピュータ72aから受信すると、記録制御部282は、決定情報としての顧客の画像データと、応対内容としての「花粉症ですか。」のテキストデータとを対応づけて、格納部280に格納させる。
FIG. 12 schematically shows learning information stored in the
なお、記録制御部282は、顧客の画像データそのものではなく、顧客の画像から抽出されたデータを決定情報として格納部280に格納させてよい。例えば、記録制御部282は、画像から抽出した「マスクをしている。」という文字データを、決定情報として格納部280に格納させてよい。また、記録制御部282は、具体的なデータではなく、「顧客の画像に基づいて決定した」旨の情報を、決定情報として格納部280に格納させてもよい。
Note that the
応対制御部240は、格納部280に格納された学習用情報を用いて顧客50に対する応対内容を学習する。例えば、応対制御部240は、格納部280に格納された学習用情報を教師データとして用いて機械学習を行って、応対内容を決定するための判定ルールを進化させる。
The
なお、記録制御部282は、決定情報及び応対内容に対応づけて、更に他の情報を格納部280に格納させてもよい。例えば、記録制御部282は、「花粉症ですか。」という発話をする前の顧客50の感情を、決定情報及び応対内容に対応づけて格納部280に格納してもよい。これにより、顧客50の感情及び決定情報の組み合わせと応対内容とを学習することができる。そのため、応対制御部240は、顧客50の感情も考慮して、応対内容をより適切に決定できる場合がある。
The
以上に説明したように、顧客応対システム10によれば、ロボット40の応対内容を決定する場合にオペレータが判断材料として用いた情報を蓄積できる。また、ロボット40の応対内容を決定するための学習用データを効率的に収集できる。また、オペレータ80による応対が必要になった場合にのみロボット40にオペレータ80を適切に割り当てることができるので、より多くのロボット40を少数のオペレータ80で運用することができる。
As described above, according to the
なお、図4における説明では主として、ロボット40が自律動作状態において顧客50に適切な対応ができないと判断された場合にオペレータ応対状態に切り替える場合について説明した。その他にも、顧客50の感情が悪化した場合にオペレータ応対状態に切り替えてもよい。また、予め定められた性別の顧客50が来訪した場合に、オペレータ応対状態に切り替えてもよい。例えば、女性が来訪した場合に、オペレータ応対状態に切り替えて良い。例えば、化粧品等の女性用のグッズ売り場においては、男性にはロボット40が自律的に応対し、女性にはオペレータ80が応対するようにしてよい。また、予め定められた特定の顧客50が来訪した場合に、オペレータ応対状態に切り替えてもよい。例えば、高価な商品を頻繁に購入する顧客50に対しては、オペレータ80が応対するようにしてよい。また、過去にロボット40による応対によって感情が悪化した顧客50に対しては、オペレータ80が応対するようにしてよい。また、単に顧客が来訪した場合に、オペレータ80が応対するようにしてよい。例えば、人が近く存在しない場合には、ロボット40は自律動作状態で勧誘行動を行い、人が近づいてきた場合に、オペレータ応対状態に遷移してよい。
In the description in FIG. 4, the case where the
なお、サーバ60の機能は、1以上のコンピュータによって実装されてよい。サーバ60の少なくとも一部の機能は、仮想マシンによって実装されてよい。また、サーバ60の機能の少なくとも一部は、クラウドで実装されてよい。また、上記の説明では、ロボット40aの発話内容を決定する機能をサーバ60が担うとしたが、サーバ60の機能のうち、ロボット40aの制御に関する機能の少なくとも一部は、ロボット40aに実装されてよい。また、サーバ60の機能のうち、オペレータ端末70の制御に関する機能の少なくとも一部の機能は、オペレータ端末70に実装されてもよい。なお、ロボット40は、顧客応対装置の一例である。顧客応対装置として、ロボット以外の様々な形態を採用し得る。
Note that the function of the
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 As mentioned above, although this invention was demonstrated using embodiment, the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiment. It is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operations, procedures, steps, and stages in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before” or “prior to”. It should be noted that it can be realized in any order unless the output of the previous process is used in the subsequent process. Regarding the operation flow in the claims, the description, and the drawings, even if it is described using “first,” “next,” etc. for convenience, it means that it is essential to carry out in this order. It is not a thing.
10 顧客応対システム
40 ロボット
50 顧客
60 サーバ
90 通信ネットワーク
70 オペレータ端末、72 コンピュータ、74 ヘッドセット
80 オペレータ
102 通信部
120 センサ部
130 情報処理部
160 制御対象
200 顧客情報取得部
202 通信部
204 通信部
208 提示制御部
210 顧客特定部
220 オペレータ選択部
230 情報処理部
240 応対制御部
250 顧客感情特定部
260 応対関連情報取得部
270 通知部
282 記録制御部
280 格納部
290 記録媒体
410、510 オブジェクト
520、530、560 オブジェクト
540 AI提案ボックス、550 発話ボタン
561 手動ボタン、562 自動ボタン、570 判断材料ボタン、580 学習ボタン、880 オブジェクト
10
Claims (14)
前記顧客情報をオペレータへ提示させる提示制御部と、
前記オペレータによって決定された、前記顧客に対して前記顧客応対装置が応対するべき応対内容を示す応対情報を取得する応対情報取得部と、
前記オペレータに提示された複数の前記顧客情報のうち、前記オペレータが前記応対内容を決定するために考慮した、前記オペレータにより選択された一部の顧客情報を示す決定情報を取得する応対決定情報取得部と、
前記応対情報と前記決定情報とを対応づけて記録させる記録制御部と
を備え、
前記オペレータが前記応対内容を決定するために考慮した顧客情報を選択するためのボタンが、オペレータ端末を通じて前記オペレータに提示され、
前記応対決定情報取得部は、前記複数の顧客情報のうち、前記オペレータ端末を通じて前記オペレータにより選択された一部の顧客情報を示す情報を、前記決定情報として取得する
応対データ収集システム。 A customer information acquisition unit that acquires customer information that is customer information that can be handled by the customer service device;
A presentation control unit for presenting the customer information to an operator;
A reception information acquisition unit that acquires reception information that is determined by the operator and that should be received by the customer reception device with respect to the customer;
Acquisition decision information acquisition for acquiring determination information indicating a part of customer information selected by the operator, which the operator considers for determining the contents of the response among the plurality of customer information presented to the operator And
A recording control unit that records the reception information and the determination information in association with each other ;
A button for selecting customer information considered by the operator to determine the response content is presented to the operator through an operator terminal,
The reception determination information acquisition unit acquires, as the determination information, information indicating a part of customer information selected by the operator through the operator terminal among the plurality of customer information. .
をさらに備える請求項1に記載の応対データ収集システム。 The reception data collection system according to claim 1, further comprising a reception control unit that instructs the customer reception device to respond to the customer based on the reception information acquired by the reception information acquisition unit.
前記応対制御部は、前記テキストデータを前記顧客応対装置に送信して、前記顧客応対装置に発話させる
請求項2に記載の応対データ収集システム。 The reception information includes text data indicating the utterance content of the operator,
The reception data collection system according to claim 2, wherein the reception control unit transmits the text data to the customer reception device and causes the customer reception device to speak.
前記応対決定情報取得部は、前記複数の顧客情報のうち、前記オペレータ端末を通じて前記オペレータにより選択された一部の顧客情報の種別を示す情報を、前記決定情報として取得する
請求項1から3のいずれか一項に記載の応対データ収集システム。 A button for selecting the type of customer information considered by the operator to determine the response content is presented to the operator through the operator terminal,
The said reception determination information acquisition part acquires the information which shows the classification of the one part customer information selected by the said operator through the said operator terminal among these customer information as said determination information. The reception data collection system as described in any one of Claims.
請求項1から4のいずれか一項に記載の応対データ収集システム。 The customer information includes the image of the customer acquired by the customer response device, the utterance content of the customer acquired by the customer response device, the purchase history of products previously purchased by the customer, and the customer response device to the customer. answering place to, answering data collection system according to any one of claims 1 to 4 comprising at least one of information about the date of the customer interactions device to wait on the customers.
前記顧客応対装置が前記第2状態にある場合に、前記応対情報取得部が前記応対情報を取得し、前記応対決定情報取得部が前記決定情報を取得し、前記記録制御部が前記応対情報と前記決定情報とを対応づけて記録させる
請求項1から5のいずれか一項に記載の応対データ収集システム。 The customer service device has a first state of responding autonomously to a customer and a second state of responding to the customer based on the service information,
When the customer reception device is in the second state, the reception information acquisition unit acquires the reception information, the reception determination information acquisition unit acquires the determination information, and the recording control unit acquires the reception information and The reception data collection system according to any one of claims 1 to 5 , wherein the decision information is recorded in association with each other.
請求項6に記載の応対データ収集システム。 The reception data collection system according to claim 6 , wherein the customer reception device autonomously responds to a customer based on the recorded determination information and the reception information in the first state.
をさらに備える請求項6又は7に記載の応対データ収集システム。 When the customer response device transitions from the first state to the second state, the customer response device notifies the operator of response history information indicating the content that the customer response device autonomously responds to the customer in the first state. The reception data collection system according to claim 6 or 7 , further comprising a reception history notification unit.
前記顧客特定部が特定した顧客に応対するオペレータを、複数のオペレータの中から選択するオペレータ選択部と、
前記オペレータ選択部が選択したオペレータに、前記顧客特定部が特定した顧客への応対を開始すべき旨を通知する応対通知部と
をさらに備える請求項1から8のいずれか一項に記載の応対データ収集システム。 A customer specifying unit for specifying a customer to be handled by an operator among a plurality of customers that can be handled by each of the plurality of customer reception devices;
An operator selecting unit that selects an operator who corresponds to the customer specified by the customer specifying unit from a plurality of operators;
The response according to any one of claims 1 to 8 , further comprising: a response notification unit that notifies the operator selected by the operator selection unit that the response to the customer specified by the customer specification unit is to be started. Data collection system.
をさらに備え
前記顧客特定部は、前記顧客感情特定部により予め定められた種別の感情について予め定められた値を超える強さが特定された顧客を、前記オペレータが応対すべき顧客として特定する
請求項9に記載の応対データ収集システム。 Based on the state of the customer detected by the customer response device, the customer response device further includes a customer emotion specification unit that specifies the type and strength of the customer's emotion that the customer response device is responding to. 10. The reception data collection system according to claim 9 , wherein a customer whose strength exceeding a predetermined value is specified as a customer to be handled by the operator is specified for a predetermined type of emotion by a customer emotion specifying unit.
前記顧客特定部は、前記顧客感情特定部によって予め定められた値を超える怒りの強さが特定された顧客を、前記オペレータが応対すべき顧客として特定する
請求項10に記載の応対データ収集システム。 The customer emotion specifying unit specifies the strength of the customer's anger that each of the plurality of customer response devices is responding to,
11. The reception data collection system according to claim 10 , wherein the customer specifying unit specifies, as a customer to be handled by the operator, a customer whose anger strength exceeds a value predetermined by the customer emotion specifying unit. .
をさらに備える請求項1から11のいずれか一項に記載の応対データ収集システム。 The reception data collection system according to any one of claims 1 to 11 , further comprising a storage unit that stores the reception information and the determination information in association with each other.
前記顧客応対装置と
を備える顧客応対システム。 The reception data collection system according to any one of claims 1 to 12 ,
A customer service system comprising the customer service device.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016086134A JP6345729B2 (en) | 2016-04-22 | 2016-04-22 | Reception data collection system, customer reception system and program |
CN201780024456.3A CN109074590A (en) | 2016-04-22 | 2017-04-11 | Cope with data gathering system, customer copes with system and program |
PCT/JP2017/014874 WO2017183524A1 (en) | 2016-04-22 | 2017-04-11 | Response data collection system, customer response system and program |
EP17785863.6A EP3435313A4 (en) | 2016-04-22 | 2017-04-11 | Response data collection system, customer response system and program |
US16/166,143 US20190057699A1 (en) | 2016-04-22 | 2018-10-21 | Serving data collecting system, customer serving system and computer-readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016086134A JP6345729B2 (en) | 2016-04-22 | 2016-04-22 | Reception data collection system, customer reception system and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017194910A JP2017194910A (en) | 2017-10-26 |
JP6345729B2 true JP6345729B2 (en) | 2018-06-20 |
Family
ID=60115982
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016086134A Active JP6345729B2 (en) | 2016-04-22 | 2016-04-22 | Reception data collection system, customer reception system and program |
Country Status (5)
Country | Link |
---|---|
US (1) | US20190057699A1 (en) |
EP (1) | EP3435313A4 (en) |
JP (1) | JP6345729B2 (en) |
CN (1) | CN109074590A (en) |
WO (1) | WO2017183524A1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019175432A (en) | 2018-03-26 | 2019-10-10 | カシオ計算機株式会社 | Dialogue control device, dialogue system, dialogue control method, and program |
CN115550862B (en) * | 2022-11-29 | 2023-03-28 | 国网瑞嘉(天津)智能机器人有限公司 | Data transmission method and system of electric power working robot and electronic equipment |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002140518A (en) * | 2000-11-02 | 2002-05-17 | Ntt Comware Corp | Method and device for presenting answer procedure and program recording medium with recorded answer procedure presenting program |
US8738370B2 (en) * | 2005-06-09 | 2014-05-27 | Agi Inc. | Speech analyzer detecting pitch frequency, speech analyzing method, and speech analyzing program |
JP2007011539A (en) * | 2005-06-29 | 2007-01-18 | News Line:Kk | Service support system |
JP5217109B2 (en) * | 2006-04-17 | 2013-06-19 | 富士通株式会社 | Operator education support program, operator education support method, and operator education support apparatus |
JP2007286376A (en) * | 2006-04-18 | 2007-11-01 | Toyota Motor Corp | Voice guide system |
JP2011009902A (en) * | 2009-06-24 | 2011-01-13 | Seiko Epson Corp | Customer service devices |
JP2011087005A (en) * | 2009-10-13 | 2011-04-28 | Neikusu:Kk | Telephone call voice summary generation system, method therefor, and telephone call voice summary generation program |
US20160203499A1 (en) * | 2013-09-06 | 2016-07-14 | Nec Corporation | Customer behavior analysis system, customer behavior analysis method, non-transitory computer readable medium, and shelf system |
JP2015141428A (en) * | 2014-01-27 | 2015-08-03 | 株式会社日立システムズ | Server device, feeling notification system, feeling notification method, and program |
US10332122B1 (en) * | 2015-07-27 | 2019-06-25 | Intuit Inc. | Obtaining and analyzing user physiological data to determine whether a user would benefit from user support |
CN105182811A (en) * | 2015-07-31 | 2015-12-23 | 广东美的制冷设备有限公司 | User intelligent service method and system based on operation of electrical equipment |
-
2016
- 2016-04-22 JP JP2016086134A patent/JP6345729B2/en active Active
-
2017
- 2017-04-11 CN CN201780024456.3A patent/CN109074590A/en not_active Withdrawn
- 2017-04-11 EP EP17785863.6A patent/EP3435313A4/en not_active Withdrawn
- 2017-04-11 WO PCT/JP2017/014874 patent/WO2017183524A1/en active Application Filing
-
2018
- 2018-10-21 US US16/166,143 patent/US20190057699A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP3435313A4 (en) | 2019-04-17 |
EP3435313A1 (en) | 2019-01-30 |
JP2017194910A (en) | 2017-10-26 |
CN109074590A (en) | 2018-12-21 |
WO2017183524A1 (en) | 2017-10-26 |
US20190057699A1 (en) | 2019-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6219448B1 (en) | Customer service control system, customer service system and program | |
CN109194568B (en) | Robot customer service and intelligent customer service system | |
CN109245995B (en) | Robot customer service and customer service system | |
US10486312B2 (en) | Robot, robot control method, and robot system | |
CN107097234B (en) | Robot control system | |
US20200236070A1 (en) | Information processing system and information processing method | |
CN106737760B (en) | Human-type intelligent robot and human-computer communication system | |
EP3459607A1 (en) | Robot | |
KR102222911B1 (en) | System for Providing User-Robot Interaction and Computer Program Therefore | |
WO2012063561A1 (en) | Information notification system, information notification method, information processing device and control method for same, and control program | |
JP6345729B2 (en) | Reception data collection system, customer reception system and program | |
JP6267846B2 (en) | Customer service control system, customer service system and program | |
JPWO2019155735A1 (en) | Information processing equipment, information processing methods and programs | |
CN111045510A (en) | Man-machine interaction method and system based on augmented reality | |
US20210166685A1 (en) | Speech processing apparatus and speech processing method | |
JP2018041230A (en) | Reception support program, reception support method, reception support system and information processor | |
JP7146373B2 (en) | Customer service system | |
US20220288791A1 (en) | Information processing device, information processing method, and program | |
WO2017179262A1 (en) | Information processing device, information processing method, and program | |
JP2017208052A (en) | Electricity contract business support device using wearable terminal | |
JP7371770B2 (en) | Avatar control program, avatar control method, and information processing device | |
JP6929960B2 (en) | Information processing device and information processing method | |
CN113806499A (en) | Telephone work training method and device, electronic equipment and storage medium | |
Jibawi et al. | Smartphone-based Home Robotics | |
US20230186036A1 (en) | Method and apparatus for providing interpretation situation information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170815 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20180109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180406 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20180416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180523 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6345729 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |