JP7033353B1 - A device for evaluating services provided by a service provider, a method performed on the device, and a program. - Google Patents
A device for evaluating services provided by a service provider, a method performed on the device, and a program. Download PDFInfo
- Publication number
- JP7033353B1 JP7033353B1 JP2021124681A JP2021124681A JP7033353B1 JP 7033353 B1 JP7033353 B1 JP 7033353B1 JP 2021124681 A JP2021124681 A JP 2021124681A JP 2021124681 A JP2021124681 A JP 2021124681A JP 7033353 B1 JP7033353 B1 JP 7033353B1
- Authority
- JP
- Japan
- Prior art keywords
- service
- service provider
- data
- recipient
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims abstract description 152
- 230000000007 visual effect Effects 0.000 claims abstract description 38
- 238000012015 optical character recognition Methods 0.000 claims description 4
- 230000003287 optical effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 10
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
【課題】サービス提供者が提供するサービスを評価するための装置、方法及びプログラムを提供する。【解決手段】サービス評価方法を実現するサーバ装置において、実行する処理は、サービスに関連する視覚データを受信するステップと、サービスに関連する音声データを受信するステップと、視覚データと音声データとに基づいてサービスの評価を実施するステップと、サービスの評価の結果をサービス被提供者に提示するための処理を実行するステップと、を備える。【選択図】図4PROBLEM TO BE SOLVED: To provide an apparatus, a method and a program for evaluating a service provided by a service provider. SOLUTION: In a server device that realizes a service evaluation method, the processing to be executed includes a step of receiving visual data related to the service, a step of receiving voice data related to the service, and visual data and voice data. It includes a step of performing an evaluation of the service based on the above, and a step of executing a process for presenting the result of the evaluation of the service to the service recipient. [Selection diagram] FIG. 4
Description
本発明は、サービス提供者が提供するサービスを評価するための装置、その装置において実行される方法、プログラムに関する。 The present invention relates to a device for evaluating a service provided by a service provider, a method executed in the device, and a program.
従来から、商品を購入する前におよび/または商品の購入に関する契約を締結する前に、店員が客に対してその商品の詳細を説明するサービスが知られている。 Traditionally, there has been known a service in which a clerk explains the details of a product to a customer before purchasing the product and / or concluding a contract regarding the purchase of the product.
しかしながら、商品を購入する前におよび/または商品の購入に関する契約を締結する前に、店員のサービスの良し悪し(例えば、商品の説明が十分であるのか、商品の購入に関連する契約の説明が正しいのか)を客が知る術はなかった。 However, before purchasing the goods and / or before concluding the contract regarding the purchase of the goods, the quality of the service of the clerk (for example, whether the description of the goods is sufficient or the explanation of the contract related to the purchase of the goods is explained. There was no way for the customer to know (is it correct?).
本発明は、上述した課題に鑑みてなされたものであり、サービス提供者が提供するサービスを評価するための装置、その装置において実行される方法、プログラムを提供することを目的とする。 The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to provide a device for evaluating a service provided by a service provider, a method executed in the device, and a program.
本発明の1つの局面において、本発明の装置は、サービス提供者が提供するサービスを評価するための装置であり、前記装置は、前記サービスに関連する視覚データを受信する手段と、前記サービスに関連する音声データを受信する手段と、前記視覚データと前記音声データとに基づいて前記サービスの評価を実施する手段とを備える。 In one aspect of the invention, the device of the invention is a device for evaluating a service provided by a service provider, wherein the device is a means for receiving visual data related to the service and the service. A means for receiving the related voice data and a means for performing an evaluation of the service based on the visual data and the voice data are provided.
本発明の1つの実施形態では、前記音声データは、サービス被提供者に対して発話した前記サービス提供者の発話データと、前記サービス提供者に対して発話した前記サービス被提供者の発話データとを含み、前記視覚データは、前記サービス提供者が前記サービス被提供者に対して発話しているときの前記サービス提供者の顔を示す第1の画像データと、前記サービス被提供者が前記サービス提供者に対して発話しているときの前記サービス提供者の顔を示す第2の画像データとを含み、前記視覚データと前記音声データとに基づいて前記サービスの評価を実施する手段は、前記サービス提供者の発話データと前記サービス被提供者の発話データと前記第1の画像データと前記第2の画像データとに基づいて前記サービスの評価を実施する手段を含んでいてもよい。 In one embodiment of the present invention, the voice data includes the utterance data of the service provider spoken to the service provider and the utterance data of the service provider spoken to the service provider. The visual data includes first image data showing the face of the service provider when the service provider is speaking to the service recipient, and the service recipient is the service. The means for evaluating the service based on the visual data and the audio data, including the second image data showing the face of the service provider when speaking to the provider, is described above. It may include means for evaluating the service based on the utterance data of the service provider, the utterance data of the service recipient, the first image data, and the second image data.
本発明の1つの実施形態では、前記装置は、前記サービス提供者の発話データと前記第1の画像データとに基づいて、前記サービス提供者が発話している間の前記サービスの第1の評価値を算出する手段と、前記サービス被提供者の発話データと前記第2の画像データとに基づいて、前記サービス被提供者が発話している間の前記サービスの第2の評価値を算出する手段とをさらに備え、前記視覚データと前記音声データとに基づいて前記サービスの評価を実施する手段は、前記第1の評価値と前記第2の評価値とに基づいて前記サービスの評価を実施する手段を含んでいてもよい。 In one embodiment of the invention, the device is based on the spoken data of the service provider and the first image data, and the first evaluation of the service while the service provider is speaking. Based on the means for calculating the value, the spoken data of the service recipient, and the second image data, the second evaluation value of the service while the service recipient is speaking is calculated. The means for further comprising means and evaluating the service based on the visual data and the audio data evaluates the service based on the first evaluation value and the second evaluation value. It may include means to do so.
本発明の1つの実施形態では、前記第1の画像データおよび前記第2の画像データは、前記サービス提供者の顔の1つ以上のパーツに関連する顔パラメータを含み、前記第1の評価値を算出する手段は、前記サービス提供者の発話データと前記第1の画像データに含まれる顔パラメータとに基づいて前記第1の評価値を算出する手段を含み、前記第2の評価値を算出する手段は、前記サービス被提供者の発話データと前記第2の画像データに含まれる顔パラメータとに基づいて前記第2の評価値を算出する手段を含んでいてもよい。 In one embodiment of the invention, the first image data and the second image data include face parameters associated with one or more parts of the service provider's face, the first evaluation value. The means for calculating the first evaluation value includes a means for calculating the first evaluation value based on the speech data of the service provider and the face parameters included in the first image data, and the second evaluation value is calculated. The means for calculating the second evaluation value may include means for calculating the second evaluation value based on the speech data of the service recipient and the face parameters included in the second image data.
本発明の1つの実施形態では、前記サービス提供者の発話データおよび前記サービス被提供者の発話データは、発話の音量、速度、トーン、および間隔のうちの少なくとも1つの音声パラメータを含み、前記第1の評価値を算出する手段は、前記サービス提供者の発話データの少なくとも1つの音声パラメータと前記第1の画像データとに基づいて前記第1の評価値を算出する手段を含み、前記第2の評価値を算出する手段は、前記サービス被提供者の発話データの少なくとも1つの音声パラメータと前記第2の画像データとに基づいて前記第2の評価値を算出する手段を含んでいてもよい。 In one embodiment of the invention, the service provider's speech data and the service recipient's speech data include at least one voice parameter of speech volume, speed, tone, and interval, said first. The means for calculating the evaluation value of 1 includes a means for calculating the first evaluation value based on at least one voice parameter of the speech data of the service provider and the first image data, and the second The means for calculating the evaluation value of the above may include a means for calculating the second evaluation value based on at least one voice parameter of the speech data of the service recipient and the second image data. ..
本発明の1つの実施形態では、前記視覚データは、前記サービスに関連する書類の第3の画像データを含んでいてもよい。 In one embodiment of the invention, the visual data may include a third image data of a document related to the service.
本発明の1つの実施形態では、前記装置は、前記第3の画像データの光学的文字認識を実施するための手段をさらに備えていてもよい。 In one embodiment of the invention, the device may further include means for performing optical character recognition of the third image data.
本発明の1つの実施形態では、前記装置は、前記光学的文字認識された第3の画像データに基づいて、前記書類に関連付けられた第3の評価値を算出する手段をさらに備え、前記サービスの評価の実施は、前記第3の評価値にさらに基づいてもよい。 In one embodiment of the invention, the device further comprises means for calculating a third evaluation value associated with the document based on the optically recognized third image data, said service. The implementation of the evaluation may be further based on the third evaluation value.
本発明の1つの実施形態では、前記装置は、言語非依存の態様で前記サービスの評価の結果をサービス被提供者に提示する手段をさらに備えていてもよい。 In one embodiment of the invention, the device may further comprise means for presenting the results of the evaluation of the service to the service recipient in a language-independent manner.
本発明の1つの実施形態では、前記視覚データを受信する手段は、カメラを介して前記視覚データを受信する手段を含んでいてもよい。 In one embodiment of the invention, the means for receiving the visual data may include means for receiving the visual data via a camera.
本発明の1つの実施形態では、前記音声データを受信する手段は、マイクを介して前記音声データを受信する手段を含んでいてもよい。 In one embodiment of the invention, the means for receiving the voice data may include means for receiving the voice data via a microphone.
本発明の1つの実施形態では、前記装置は、サービス被提供者が装着するウェアラブルデバイスを含んでいてもよい。 In one embodiment of the invention, the device may include a wearable device worn by a service recipient.
本発明の1つの実施形態では、前記ウェアラブルデバイスは、前記サービス被提供者の眼に装着可能な眼鏡型ウェアラブルデバイスを含んでいてもよい。 In one embodiment of the invention, the wearable device may include a spectacle-type wearable device that can be worn in the eyes of the service recipient.
本発明の1つの局面において、本発明の方法は、サービス提供者が提供するサービスを評価するための装置において実行される方法であり、前記装置は、プロセッサ部を備え、前記方法は、前記プロセッサ部が、前記サービスに関連する視覚データを受信することと、前記プロセッサ部が、前記サービスに関連する音声データを受信することと、前記プロセッサ部が、前記視覚データと前記音声データとに基づいて前記サービスの評価を実施することとを含む。 In one aspect of the invention, the method of the invention is a method performed in a device for evaluating a service provided by a service provider, wherein the device comprises a processor unit and the method comprises the processor. The unit receives visual data related to the service, the processor unit receives audio data related to the service, and the processor unit receives the visual data and the audio data. Includes performing an evaluation of the service.
本発明の1つの局面において、本発明のプログラムは、サービス提供者が提供するサービスを評価するための装置において実行されるプログラムであり、前記装置は、プロセッサ部を備え、前記プログラムは、前記プロセッサ部によって実行されると、前記サービスに関連する視覚データを受信することと、前記サービスに関連する音声データを受信することと、前記視覚データと前記音声データとに基づいて前記サービスの評価を実施することとを少なくとも前記プロセッサ部に行わせる。 In one aspect of the invention, the program of the invention is a program executed in a device for evaluating a service provided by a service provider, wherein the device includes a processor unit, and the program is the processor. When executed by the unit, it receives visual data related to the service, receives audio data related to the service, and evaluates the service based on the visual data and the audio data. At least let the processor unit do what it does.
本発明によれば、サービス提供者が提供するサービスを評価するための装置、その装置において実行される方法、プログラムを提供することが可能である。 According to the present invention, it is possible to provide a device for evaluating a service provided by a service provider, a method executed in the device, and a program.
以下、本明細書において用いられる用語を定義する。 Hereinafter, the terms used in the present specification are defined.
本明細書において「サービス提供者」とは、サービスを提供する人をいい、「サービス被提供者」とはサービスを提供してもらう人をいうものとする。すなわち、サービスは、サービス提供者によってサービス被提供者に提供される。 In the present specification, the "service provider" means a person who provides a service, and the "service recipient" means a person who receives the service. That is, the service is provided to the service recipient by the service provider.
また、本明細書における「サービス」は、任意のサービスであり得るが、代表的には、サービス提供者がサービス被提供者に実際に(物理的に)会った際にサービス提供者によって提供されるものであり得る。1つの実施形態では、サービス提供者は、サービス被提供者にディスプレイを介してリモートで「サービス」を提供してもよい。 Also, the "service" herein may be any service, but is typically provided by the service provider when the service provider actually (physically) meets the service recipient. It can be something. In one embodiment, the service provider may provide the service recipient with a "service" remotely via a display.
「サービス」の一例は、サービス提供者(例えば、店員)がサービス被提供者(例えば、客)に商品を説明する(必要に応じて、商品の説明の後、契約をする)サービスである。なお、本明細書において、商品は、物理的な物であってもよいし、物理的ではない役務であってもよい。 An example of a "service" is a service in which a service provider (for example, a clerk) explains a product to a service recipient (for example, a customer) (if necessary, after explaining the product, a contract is made). In addition, in this specification, a product may be a physical thing or a non-physical service.
1.新しいサービス評価方法
出願人は、サービス提供者がサービス被提供者にサービスを提供しているときに(または提供した後に)サービス被提供者がサービスの良し悪しを判断することを可能にするために、サービス提供者のサービスの評価の結果をサービス被提供者に提供および/または提示するための新しいサービス評価手法を提案する。このような新しいサービス評価手法によれば、サービス被提供者は、例えば、サービス被提供者が装着しているユーザ装置(例えば、眼鏡型ウェアラブルデバイス)を用いて、サービス提供者のサービスに関連する視覚データ(例えば、サービス提供者の顔の画像データ)と、サービス提供者のサービスに関連する音声データ(例えば、サービス提供者とサービス被提供者との間の会話のデータ(すなわち、サービス提供者の発言内容を示す発話データおよびサービス被提供者の発言内容を示す発話データ))とを取得し、ユーザ装置と通信可能なサーバ装置に提供し、サーバ装置は、視覚データと音声データとに基づいてサービス提供者のサービスの評価を実施し、ユーザ装置は、サービス提供者のサービスの評価の結果をサービス被提供者に提供および/または提示することが可能である。
1. 1. New Service Evaluation Method Applicants are required to allow a service provider to judge the quality of a service when (or after) the service provider is providing the service to the service recipient. , Propose a new service evaluation method for providing and / or presenting the results of service evaluation of a service provider to a service recipient. According to such a new service evaluation method, the service recipient is related to the service of the service provider by using, for example, a user device (for example, a glasses-type wearable device) worn by the service recipient. Visual data (eg, image data of the service provider's face) and audio data related to the service provider's service (eg, data of conversations between the service provider and the service recipient (ie, the service provider). The utterance data indicating the content of the utterance and the utterance data)) indicating the content of the utterance of the service recipient are acquired and provided to the server device capable of communicating with the user device, and the server device is based on the visual data and the voice data. The service provider's service is evaluated, and the user apparatus can provide and / or present the result of the service provider's service evaluation to the service recipient.
以下、図面を参照しながら、本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
図1Aは、サービス提供者がサービス被提供者にサービスを提供している場面の一例を示す。 FIG. 1A shows an example of a situation in which a service provider provides a service to a service recipient.
図1Aに示される実施形態では、サービス提供者100(例えば、店舗の店員)が、サービス被提供者110(例えば、店舗に訪れた客)に対して、対面した状態で、サービスに関連する書類120(例えば、商品に関連する契約書)を用いて、サービス(例えば、店舗において販売されている商品の詳細およびその商品に関連する契約を説明するサービス)を提供している。 In the embodiment shown in FIG. 1A, a service-related document in a state where a service provider 100 (for example, a store clerk) faces a service recipient 110 (for example, a customer who visits a store). 120 (for example, a contract related to a product) is used to provide a service (for example, a service explaining details of a product sold in a store and a contract related to the product).
図1Aに示される実施形態では、サービス被提供者110がユーザ装置130(例えば、眼鏡型ウェアラブルデバイス)を装着している。サービス被提供者110は、ユーザ装置130(例えば、ユーザ装置130のマイク)を用いて、サービスに関連する音声(例えば、サービス被提供者110に対して発話したサービス提供者100の発話およびサービス提供者100に対して発話したサービス被提供者110の発話)を収音し、サービスに関連する音声データを入手する。サービスに関連する音声データは、サービスの評価のために使用される。
In the embodiment shown in FIG. 1A, the
図1Aに示される実施形態では、サービス被提供者110は、ユーザ装置130(例えば、ユーザ装置130のカメラ)を用いて、サービスに関連する画像(例えば、サービス提供者100の画像(例えば、サービス提供者100の顔の画像))を撮像し、サービスに関連する視覚データを入手する。サービスに関連する視覚データは、サービスの評価のために使用される。
In the embodiment shown in FIG. 1A, the
図1Aに示される実施形態では、サービス被提供者110は、ユーザ装置130(例えば、ユーザ装置130のカメラ)を用いて、書類120をさらに撮像し、書類120の画像データを入手してもよい。書類120の画像データは、サービスの評価のために使用され得る。
In the embodiment shown in FIG. 1A, the
サービス被提供者110は、サービスに関連する視覚データとサービスに関連する音声データと入手すると(または、サービスに関連する視覚データとサービスに関連する音声データと書類120の画像データとを入手すると)、サービスの評価の結果を見ることができる。サービスの評価の結果は、例えば、ユーザ装置130によってサービス被提供者110に提示される。これにより、サービス被提供者110は、サービス提供者100によって提供されるサービスの良し悪しを把握することができ、ひいては、商品の購入および/または商品に関連する契約を行うべきか否かを判断することができる。
When the
サービスの評価の結果は、サービスがサービス提供者100によってサービス被提供者110に提供されている間に(すなわち、リアルタイムで)サービス被提供者110に提示されてもよいし、サービスがサービス提供者100によってサービス被提供者110に提供された後に(すなわち、サービスの提供が完了した後に)サービス被提供者110に提示されてもよい。
The result of the evaluation of the service may be presented to the
なお、図1Aに示される実施形態では、サービス提供者100とサービス被提供者110とが対面した状態でサービスを提供する例を説明したが、本発明はこれに限定されない。サービス提供者100は、例えば、サービス被提供者110からサービス提供者100(例えば、サービス提供者100の顔)が見える状態で、(例えば、ディスプレイを介して)リモートでサービスをサービス被提供者110に提供するようにしてもよい。
In the embodiment shown in FIG. 1A, an example in which a service is provided in a state where the
また、図1Aに示される実施形態では、サービス被提供者110がユーザ装置130を装着している例を説明したが、本発明はこれに限定されない。ユーザ装置130は、サービス被提供者110が装着可能なものでなくてもよい。ユーザ装置130は、サービス被提供者110にサービスの評価の結果を提示することが可能である限りにおいて、任意の装置であり得る。
Further, in the embodiment shown in FIG. 1A, an example in which the
図1Bは、ユーザ装置130によってサービス被提供者110に提示されるサービスの評価の結果の一例を示す。
FIG. 1B shows an example of the result of evaluation of the service presented to the
図1Bに示される実施形態では、サービスの評価の結果が、2次元平面座標系とイラストの動きとを組み合わせた3次元の態様で表現されている。具体的には、図1Bに示される実施形態では、2次元平面座標系は、サービス提供者のサービスの「技術」に関連する評価を横軸にとり、かつ、「心」に関連する評価を縦軸にとって構成されている。また、イラストの動きは、サービス提供者のサービス提供中の発話の「聞き心地」に関連する評価を示している。イラストは、例えば、「聞き心地」に関連する評価値が10点満点中0~3点である場合には渦巻状に動き、「聞き心地」に関連する評価値が10点満点中3~5点である場合には三角形状に動き、「聞き心地」に関連する評価値が10点満点中5~8点である場合には横方向に動き、「聞き心地」に関連する評価値が10点満点中8~10点である場合には縦方向に動く。イラストの一例は、蜂であるが、これに限定されない。 In the embodiment shown in FIG. 1B, the result of the service evaluation is represented in a three-dimensional manner in which the two-dimensional plane coordinate system and the movement of the illustration are combined. Specifically, in the embodiment shown in FIG. 1B, the two-dimensional plane coordinate system takes the evaluation related to the "technology" of the service of the service provider on the horizontal axis and the evaluation related to the "heart" vertically. It is configured for the axis. In addition, the movement of the illustration shows the evaluation related to the "comfort" of the utterance during the service provision of the service provider. For example, the illustration moves in a spiral when the evaluation value related to "listening comfort" is 0 to 3 out of 10 points, and the evaluation value related to "listening comfort" is 3 to 5 out of 10 points. If it is a point, it moves in a triangular shape, and if the evaluation value related to "hearing comfort" is 5 to 8 out of 10 points, it moves laterally, and the evaluation value related to "hearing comfort" is 10. If the score is 8 to 10 out of the perfect score, it moves in the vertical direction. An example of an illustration is a bee, but it is not limited to this.
図1Bに示される実施形態では、サービス提供者のサービスの「技術」に関連する評価値が8点であり、サービス提供者のサービスの「心」に関連する評価値が9点であり、サービス提供者のサービス提供中の発話の「聞き心地」に関連する評価値が3点である。 In the embodiment shown in FIG. 1B, the evaluation value related to the "technology" of the service of the service provider is 8 points, the evaluation value related to the "heart" of the service of the service provider is 9 points, and the service. The evaluation value related to the "hearing comfort" of the utterance during the service provision of the provider is 3 points.
図1Bに示されるように、サービスの評価の結果が、言語非依存の態様で(例えば、数値、イラスト、イラストの動き等を用いて)、サービス被提供者110に提示されることが好ましい。このように、サービスの評価の結果がサービス被提供者に言語非依存の態様で提示されることによって、サービス被提供者は、特定の言語(例えば、日本語、英語、中国語、韓国語、ロシア語等)を理解できなくとも、サービスの評価の結果(すなわち、サービスの良し悪し)を直感的に理解することができる。
As shown in FIG. 1B, it is preferred that the results of the service evaluation be presented to the
なお、図1Bに示される実施形態では、2次元平面座標系とイラストの動きとを組み合わせた3次元の態様でサービスの評価の結果を提示する例を説明したが、本発明はこれに限定されない。サービスの評価の結果は、より単純に、ランク形式で(例えば、5段階評価形式で)サービス被提供者に提示されてもよいし、数値(例えば、パーセンテージ)を用いてサービス被提供者に提示されてもよい。 In the embodiment shown in FIG. 1B, an example of presenting the result of service evaluation in a three-dimensional manner combining a two-dimensional plane coordinate system and the movement of an illustration has been described, but the present invention is not limited thereto. .. The result of the evaluation of the service may be presented to the service recipient in a simpler rank format (for example, in a five-point evaluation format) or presented to the service recipient using a numerical value (for example, a percentage). May be done.
2.新しいサービス評価方法を実現するためのシステム構成
図2は、新しいサービス評価方法を実現するためのシステム200の構成の一例を示す。
2. 2. System Configuration for Realizing a New Service Evaluation Method FIG. 2 shows an example of a configuration of a
システム200は、サーバ装置210と、サービス被提供者によって使用されるユーザ装置2201~220Nとを備える。サーバ装置210は、インターネット230を介して、ユーザ装置2201~220Nのそれぞれと通信可能なように構成されている。ここで、Nは、1以上の整数である。
The
図2に示される実施形態では、サーバ装置210は、インターフェース部211と、1つ以上のCPU(Central Processing Unit)を含むプロセッサ部212と、メモリ部213とを含む。サーバ装置210は、データベース部240に接続されている。サーバ装置210のハードウェア構成は、その機能を実現できる限りにおいて特に限定されず、単一のマシンで構成されていてもよく、複数台のマシンを組み合わせて構成されたものであってもよい。
In the embodiment shown in FIG. 2, the
インターフェース部211は、ユーザ装置2201~220Nのそれぞれとの通信を制御する。
The
メモリ部213には、処理を実行するために必要とされるプログラムやそのプログラムを実行するために必要とされるデータ等が格納されている。ここで、プログラムをどのようにしてメモリ部213に格納するかは問わない。例えば、プログラムは、メモリ部213にプリインストールされていてもよい。あるいは、プログラムは、インターネット340などのネットワークを経由してダウンロードされることによってメモリ部213にインストールされるようにしてもよいし、光ディスクやUSBなどの記憶媒体を介してメモリ部213にインストールされるようにしてもよい。
The
プロセッサ部212は、サーバ装置210全体の動作を制御する。プロセッサ部212は、メモリ部213に格納されているプログラムを読み出し、そのプログラムを実行する。これにより、サーバ装置210は、所望のステップを実行する装置として機能することが可能であり、サーバ装置210のプロセッサ部212は、所望の機能を達成する手段として動作することが可能である。
The
ユーザ装置2201~220Nのそれぞれは、インターネット230を介してサーバ装置210と通信することが可能なように構成されている。ユーザ装置2201~220Nのそれぞれのうちの1つは、図1Aに示されるユーザ装置130を含む。例えば、ユーザ装置2201~220Nのそれぞれは、携帯電話、スマートフォン、タブレット端末、スマートグラス(眼鏡型ウェアラブルデバイス)、スマートウォッチ端末等の携帯無線端末であってもよいし、ラップトップPC、ノートPC等のパーソナルコンピュータであってもよい。
Each of the user devices 220 1 to 220 N is configured to be able to communicate with the
図2に示される実施形態では、ユーザ装置2201は、サービスに関連する音声データ(例えば、サービス被提供者110に対して発話したサービス提供者100の発話データおよびサービス提供者100に対して発話したサービス被提供者110の発話データ)を受信することが可能なように構成されている(例えば、サービスに関連する音声を収音することが可能なマイク(図示せず)を備え、マイクを用いてサービスに関連する音声データを取得するように構成されている)。
In the embodiment shown in FIG. 2, the user apparatus 220 1 uses voice data related to the service (for example, utterance data of the
図2に示される実施形態では、ユーザ装置2201は、サービスに関連する視覚データ(例えば、サービス提供者100の画像(例えば、サービス提供者100の顔の画像))を受信することが可能なように構成されている(例えば、サービス提供者100の画像を撮像することが可能なカメラ(図示せず)を備え、カメラを用いてサービス提供者100の画像を取得するように構成されている)。
In the embodiment shown in FIG. 2, the user apparatus 220 1 can receive visual data related to the service (for example, an image of the service provider 100 (for example, an image of the face of the service provider 100)). (For example, a camera (not shown) capable of capturing an image of the
図2に示される実施形態では、ユーザ装置2201は、サービスに関連する視覚データとサービスに関連する音声データとに基づいて実施されたサービスの評価の結果をサービス被提供者110に提示することが可能なように構成されている。例えば、ユーザ装置2201は、ディスプレイ(図示せず)を備え、ディスプレイ上にサービスの評価の結果が表示されることによって、サービスの評価の結果がサービス被提供者に提示されてもよい。あるいは、例えば、ユーザ装置2201は、拡張現実および/または複合現実を実現可能な装置(例えば、頭部搭載型の拡張現実ディスプレイおよび/または複合現実ディスプレイを備える装置)であり、拡張現実技術および/または複合現実技術を利用してサービスの評価の結果がサービス被提供者に提示されてもよい。
In the embodiment shown in FIG. 2, the user apparatus 220 1 presents to the
なお、図2に示される実施形態では、ユーザ装置2201~220Nがインターネット230を介してサーバ装置210と通信可能であると説明したが、本発明はこれに限定されない。インターネット230の代わりに任意のタイプのネットワークを用いることも可能である。なお、インターネット230およびその代わりの任意のネットワークを介することなく、ユーザ装置2201~220Nをサーバ装置210に電気的に結合した構成もまた本発明の範囲内である。さらに、ユーザ装置2201の機能およびサーバ装置210の機能の両方を一体的に組み込んだシステム(すなわち、スタンドアロン型のシステム)をサーバ装置210またはユーザ装置2201として構築してもよい。このようなスタンドアロン型のサーバ装置210またはユーザ装置2201もまた本発明の範囲内である。
In the embodiment shown in FIG. 2, it has been described that the user devices 220 1 to 220 N can communicate with the
また、図2に示される実施形態では、データベース部240は、サーバ装置210の外部に設けられているが、本発明はこれに限定されない。データベース部240をサーバ装置210の内部に設けることも可能である。データベース部240の構成は、特定のハードウェア構成には限定されない。例えば、データベース部240は、単一のハードウェア部品で構成されてもよいし、複数のハードウェア部品で構成されてもよい。例えば、データベース部240は、サーバ装置210の単一の外付けハードディスク装置として構成されてもよいし、ネットワークを介して接続されるクラウド上のストレージとして構成されてもよい。
Further, in the embodiment shown in FIG. 2, the
図3は、データベース部240に格納されている情報の構成の一部を示す。
FIG. 3 shows a part of the structure of the information stored in the
図3に示される実施形態では、データベース部240には、サービスの評価のための情報が格納されている。サービスの評価のための情報は、例えば、サービス提供者の顔の1つ以上のパーツに関連する顔パラメータと評価値との間の対応関係、サービス提供者およびサービス被提供者の発話データの音声パラメータと評価値との間の対応関係、サービスに関連する書類に記載すべきテキスト、サービスに関連する書類と評価値との間の対応関係を含み得る。
In the embodiment shown in FIG. 3, the
顔パラメータは、例えば、瞳の大きさ、眼の大きさ、目尻の変位、口の幅、口の開き度合い、口角の変位、3次元空間における頭部の変位を含むが、これらには限定されない。音声パラメータは、例えば、音声の音量、速度、トーン、音声間の間隔を含むが、これらに限定されない。 Face parameters include, but are not limited to, pupil size, eye size, eye corner displacement, mouth width, mouth opening degree, mouth angle displacement, and head displacement in three-dimensional space. .. Audio parameters include, but are not limited to, for example, audio volume, speed, tone, and spacing between audio.
顔パラメータと評価値との間の対応関係は、例えば、顔パラメータを変数とする関数(例えば、微分方程式)によって規定されてもよいし、閾値と顔パラメータとの差の絶対値のある範囲と評価値との対応関係(例えば、絶対値0~±1と評価値5とが対応する対応関係)によって規定されてもよい。閾値は、所定の閾値であってもよいし、顔パラメータの種類ごとに異なる閾値であってもよい。
The correspondence between the face parameter and the evaluation value may be defined by, for example, a function having the face parameter as a variable (for example, a differential equation), or a range having an absolute value of the difference between the threshold value and the face parameter. It may be defined by the correspondence relationship with the evaluation value (for example, the correspondence relationship between the
音声パラメータと評価値との間の対応関係は、例えば、音声パラメータを変数とする関数(例えば、微分方程式)によって規定されてもよいし、閾値と音声パラメータとの差の絶対値のある範囲と評価値との対応関係(例えば、絶対値0~±1と評価値5とが対応する対応関係)によって規定されてもよい。閾値は、所定の閾値であってもよいし、音声パラメータの種類ごとに異なる閾値であってもよい。
The correspondence between the voice parameter and the evaluation value may be defined by, for example, a function having the voice parameter as a variable (for example, a differential equation), or a range having an absolute value of the difference between the threshold value and the voice parameter. It may be defined by the correspondence relationship with the evaluation value (for example, the correspondence relationship between the
サービスに関連する書類と評価値との間の対応関係は、例えば、サービスに関連する書類に記載すべきテキストのうち、サービスに関連する書類に実際に記載されているテキストの割合によって規定されてもよい。あるいは、サービスに関連する書類と評価値との間の対応関係は、例えば、サービスに関連する書類に記載すべきテキストのうち、サービス提供者の音声データに含まれるテキストの割合によって規定されてもよい。 The correspondence between service-related documents and rating values is, for example, defined by the percentage of text that should be included in the service-related document that is actually included in the service-related document. May be good. Alternatively, the correspondence between the service-related document and the evaluation value may be defined by, for example, the ratio of the text included in the voice data of the service provider to the text to be described in the service-related document. good.
3.サーバ装置の処理
図4は、サーバ装置210において実行される処理のフローの一例を示す。図4に示される各ステップは、例えば、サーバ装置210のプロセッサ部211によって実行される。以下、図4に示される各ステップを説明する。
3. 3. Processing of the server device FIG. 4 shows an example of a flow of processing executed in the
ステップS401:サービスに関連する視覚データが受信される。視覚データは、例えば、ユーザ装置2201のカメラを介してユーザ装置2201から受信され得る。視覚データは、サービス提供者がサービス被提供者に対して発話しているときのサービス提供者の顔を示す画像データAと、サービス被提供者がサービス提供者に対して発話しているときのサービス提供者の顔を示す画像データBとを含む。視覚データは、サービスに関連する書類の画像データCをさらに含んでいてもよい。画像データAおよび画像データBは、サービス提供者の顔の1つ以上のパーツに関連する顔パラメータを含み得る。顔パラメータは、例えば、瞳の大きさ、眼の大きさ、目尻の変位、口の幅、口の開き度合い、口角の変位、3次元空間における頭部の変位を含む。 Step S401: Visual data related to the service is received. The visual data may be received from the user device 220 1 via, for example, the camera of the user device 220 1 . The visual data includes image data A showing the face of the service provider when the service provider is speaking to the service provider, and image data A when the service provider is speaking to the service provider. Includes image data B showing the face of the service provider. The visual data may further include image data C of the document related to the service. Image data A and image data B may include face parameters associated with one or more parts of the service provider's face. Face parameters include, for example, pupil size, eye size, eye corner displacement, mouth width, mouth opening degree, mouth angle displacement, and head displacement in three-dimensional space.
ステップS402:サービスに関連する音声データが受信される。音声データは、例えば、ユーザ装置2201のマイクを介してユーザ装置2201から受信され得る。音声データは、サービス被提供者に対して発話したサービス提供者の発話データと、サービス提供者に対して発話したサービス被提供者の発話データとを含む。サービス提供者の発話データは、音声パラメータ(例えば、音声の音量、速度、トーン、音声間の間隔)を含み得、サービス被提供者の発話データもまた、音声パラメータ(例えば、音声の音量、速度、トーン、音声間の間隔)を含み得る。 Step S402: Voice data related to the service is received. Audio data may be received from the user device 220 1 via, for example, the microphone of the user device 220 1 . The voice data includes the utterance data of the service provider who has spoken to the service recipient and the utterance data of the service provider who has spoken to the service provider. The service provider's utterance data may include voice parameters (eg, voice volume, speed, tone, spacing between voices), and the service provider's utterance data may also include voice parameters (eg, voice volume, speed). , Tones, intervals between sounds).
ステップS403:ステップS401において受信された視覚データ(例えば、画像データAおよび画像データB)と、ステップS402において受信された音声データ(例えば、サービス提供者の発話データおよびサービス被提供者の発話データ)とに基づいて、サービス提供者のサービスの評価が実施される。これにより、サービス提供者のサービスの評価の結果が生成される。サービス提供者のサービスの評価の結果の生成については、図5を参照してより詳細に後述される。 Step S403: Visual data received in step S401 (for example, image data A and image data B) and audio data received in step S402 (for example, utterance data of a service provider and utterance data of a service recipient). Based on the above, the service provider's service is evaluated. As a result, the result of the evaluation of the service of the service provider is generated. The generation of the evaluation result of the service of the service provider will be described in more detail with reference to FIG.
ステップS404:ステップS403において生成されたサービスの評価の結果をサービス被提供者に提示するための処理が実行される。この処理は、例えば、サービスの評価の結果をユーザ装置2201(例えば、ユーザ装置2201のディスプレイ)に表示させる処理を含む。これにより、サービスの評価の結果が、ユーザ装置2201によってサービス被提供者に提示される。
Step S404: A process for presenting the evaluation result of the service generated in step S403 to the service recipient is executed. This process includes, for example, displaying the result of the evaluation of the service on the user device 220 1 (for example, the display of the user device 220 1 ). As a result, the result of the evaluation of the service is presented to the service recipient by the
図5は、図4に示されるステップS403の処理の一例を示す。以下、図5に示される各ステップを説明する。 FIG. 5 shows an example of the process of step S403 shown in FIG. Hereinafter, each step shown in FIG. 5 will be described.
ステップS501:サービス被提供者に対して発話したサービス提供者の発話データ(例えば、サービス提供者の発話データに含まれる音声パラメータ)と、サービス提供者がサービス被提供者に対して発話しているときのサービス提供者の顔を示す画像データA(例えば、サービス提供者が発話しているときのサービス提供者の顔パラメータ)とに基づいて、サービス提供者が発話している間のサービスの評価値αが算出される。この処理は、データベース部240を参照して実行される。
Step S501: The service provider's utterance data (for example, the voice parameter included in the service provider's utterance data) spoken to the service recipient and the service provider speak to the service recipient. Evaluation of the service while the service provider is speaking, based on image data A (eg, the service provider's face parameter when the service provider is speaking) showing the service provider's face at the time. The value α is calculated. This process is executed with reference to the
サービス提供者が発話しているときのサービス提供者の各顔パラメータは、画像データAに含まれていてもよいし、サーバ装置210が画像データAに基づいて(例えば、画像データAをスキャンすることにより)特定されてもよい。
Each face parameter of the service provider when the service provider is speaking may be included in the image data A, or the
サービス提供者が発話している間のサービスの評価値αは、例えば、データベース部240に格納されている情報(例えば、顔パラメータと評価値との間の対応関係および音声パラメータと評価値との間の対応関係)を参照して、顔パラメータおよび音声パラメータを評価値に変換することによって、算出され得る。 The evaluation value α of the service while the service provider is speaking is, for example, the information stored in the database unit 240 (for example, the correspondence between the face parameter and the evaluation value, and the voice parameter and the evaluation value. It can be calculated by converting the face parameter and the voice parameter into the evaluation value with reference to (correspondence relationship between).
ステップS502:サービス提供者に対して発話したサービス被提供者の発話データ(例えば、サービス被提供者の発話データに含まれる音声パラメータ)と、サービス被提供者がサービス提供者に対して発話しているときのサービス提供者の顔を示す画像データB(例えば、サービス被提供者が発話しているときのサービス提供者の顔パラメータ)とに基づいて、サービス被提供者が発話している間のサービスの評価値βが算出される。この処理は、データベース部240を参照して実行される。
Step S502: The utterance data of the service recipient (for example, the voice parameter included in the utterance data of the service provider) spoken to the service provider, and the service recipient speaks to the service provider. While the service provider is speaking, based on image data B (for example, the service provider's face parameter when the service provider is speaking) showing the service provider's face when the service provider is speaking. The evaluation value β of the service is calculated. This process is executed with reference to the
サービス被提供者が発話しているときのサービス提供者の各顔パラメータは、画像データBに含まれていてもよいし、サーバ装置210が画像データBに基づいて(例えば、画像データBをスキャンすることにより)特定されてもよい。
Each face parameter of the service provider when the service recipient is speaking may be included in the image data B, or the
サービス被提供者が発話している間のサービスの評価値βは、例えば、データベース部240に格納されている情報(例えば、顔パラメータと評価値との間の対応関係および音声パラメータと評価値との間の対応関係)を参照して、顔パラメータおよび音声パラメータを評価値に変換することによって、算出され得る。 The evaluation value β of the service while the service recipient is speaking is, for example, the information stored in the database unit 240 (for example, the correspondence between the face parameter and the evaluation value, and the voice parameter and the evaluation value. It can be calculated by converting the face parameter and the voice parameter into the evaluation value with reference to the correspondence between the two.
ステップS503:ステップS501において算出された評価値αと、ステップS502において算出された評価値βとに基づいて、サービス提供者のサービスの評価が実施される。これにより、例えば、サービス提供者のサービスの総合評価値が、サービス提供者のサービスの評価の結果として生成される。サービス提供者のサービスの総合評価値は、評価値αと評価値βとを変数とする関数を用いて算出されてもよい。あるいは、評価値αと評価値βとの両方をサービス提供者のサービスの総合評価値としてもよい。 Step S503: The service of the service provider is evaluated based on the evaluation value α calculated in step S501 and the evaluation value β calculated in step S502. Thereby, for example, a comprehensive evaluation value of the service of the service provider is generated as a result of the evaluation of the service of the service provider. The comprehensive evaluation value of the service of the service provider may be calculated by using a function having the evaluation value α and the evaluation value β as variables. Alternatively, both the evaluation value α and the evaluation value β may be used as the comprehensive evaluation value of the service of the service provider.
なお、サーバ装置210(例えば、サーバ装置210のプロセッサ部211)は、画像データCの光学的文字認識を実施することが可能なように構成されていてもよい。サービスに関連する書類の画像データCが視覚データに含まれている場合、サーバ装置210は、画像データCの光学的文字認識を実施することにより、サービスに関連する書類に記載されたテキストを読み取り、データベース部240に格納されている情報(例えば、サービスに関連する書類に記載すべきテキスト、サービスに関連する書類と評価値との間の対応関係)を参照して、書類に関連付けられた評価値γを算出するようにしてもよい。このとき、サーバ装置210は、ステップS503において、評価値αと評価値βと評価値γとに基づいて、サービス提供者のサービスの評価を実施するようにしてもよい。この場合、サービス提供者のサービスの総合評価値は、評価値αと評価値βと評価値γとを変数とする関数を用いて算出されてもよい。あるいは、評価値αと評価値βと評価値γとのすべてをサービス提供者のサービスの総合評価値としてもよい。
The server device 210 (for example, the
また、サーバ装置210(例えば、サーバ装置210のプロセッサ部211)は、評価値αおよび評価値β(および評価値γ)のそれぞれを複数の観点で算出してもよい。例えば、評価値αは、画像データAから算出された観点X(例えば、Hardwork)の評価値と、画像データAから算出された観点Y(例えば、Love)の評価値と、画像データAから算出された観点Z(例えば、Rush)の評価値とを利用して(例えば、平均をとって、和算して、積算して)、かつ、サービス被提供者の音声パラメータから算出された観点P(例えば、Hospitality)の評価値と、サービス被提供者の音声パラメータから算出された観点Q(例えば、Explanation)の評価値と、サービス被提供者の音声パラメータから算出された観点R(例えば、Closing)の評価値とを利用して(例えば、平均をとって、和算して、積算して)算出されてもよい。同様に、評価値βは、画像データBから算出された観点Xの評価値と、画像データBから算出された観点Yの評価値と、画像データBから算出された観点Zの評価値とを利用して(例えば、平均をとって、和算して、積算して)、かつ、サービス提供者の音声パラメータから算出された観点Pの評価値と、サービス提供者の音声パラメータから算出された観点Qの評価値と、サービス提供者の音声パラメータから算出された観点Rの評価値とを利用して(例えば、平均をとって、和算して、積算して)算出されてもよい。このような複数の観点を有する評価値αおよび評価値βは、図1Bに示されるような多次元表現(例えば、2次元平面座標系と動きとを組み合わせた3次元表現)を用いてサービスの評価の結果としてユーザに提示されることが可能である。
Further, the server device 210 (for example, the
図6は、時系列に沿った評価値の変化の一例を示す。 FIG. 6 shows an example of changes in the evaluation values over time.
図6に示される実施形態では、時間t1においてサービス提供者がサービス被提供者に対してセリフ「xxx」を発したときのサービスの評価値が、8点であり、時間t2においてサービス被提供者がサービス提供者に対してセリフ「yyy」を発したときのサービスの評価値が、5点であり、時間t3においてサービス提供者がサービス被提供者に対してセリフ「zzz」を発したときのサービスの評価値が、6点であり、時間t4においてサービス被提供者がサービス提供者に対してセリフ「www」を発したときのサービスの評価値が、3点である。 In the embodiment shown in FIG. 6, the evaluation value of the service when the service provider issues the line "xxx" to the service recipient at the time t 1 is 8 points, and the service recipient at the time t 2 . The evaluation value of the service when the provider issues the line "yyy" to the service provider is 5 points, and the service provider issues the line "zzz" to the service recipient at time t3. The evaluation value of the service at the time of this is 6 points, and the evaluation value of the service when the service recipient issues the line "www" to the service provider at the time t4 is 3 points.
サービス被提供者に対して発話したサービス提供者の発話データ、および、サービス提供者に対して発話したサービス被提供者の発話データは、図6に示されるような発話したタイミングを示す時間データを備えていてもよい。 The utterance data of the service provider who spoke to the service provider and the utterance data of the service provider who spoke to the service provider are time data indicating the timing of the speech as shown in FIG. You may be prepared.
図6に示される実施形態では、発話者が切り替わることに応じてサービスの評価が実施され、時間t1、t2、t3、t4の各々におけるサービスの評価値が算出されている。このように、サーバ装置210は、時系列に沿って発話者の切り替わりに応じて複数の評価値を算出するようにしてもよい。
In the embodiment shown in FIG. 6, the service is evaluated according to the change of the speaker, and the evaluation value of the service is calculated at each of the time t 1 , t 2 , t 3 , and t 4 . In this way, the
なお、図4~図6に示される実施形態では、図4および図5に示される各ステップおよび図6において説明される処理をサーバ装置210のプロセッサ部211が実行する例を説明したが、本発明はこれに限定されない。例えば、サーバ装置210の機能の組み込んだスタンドアロン型のユーザ装置2201のプロセッサ部が、図4および図5に示される各ステップおよび図6において説明される処理を実行してもよい。この場合、データベース部240に格納されている情報は、例えば、スタンドアロン型のユーザ装置2201のメモリ部に格納され得る。
In the embodiment shown in FIGS. 4 to 6, an example in which the
なお、図4~図6に示される実施形態では、メモリ部に格納されたプログラムをプロセッサ部が実行することによって、図4および図5に示される各ステップの処理および図6において説明される処理が実現される例を説明したが、本発明はこれに限定されない。図4および図5に示される各ステップおよび図6において説明される処理のうちの少なくとも一部の処理が制御回路などのハードウェア構成によって実現されてもよい。 In the embodiment shown in FIGS. 4 to 6, the processor unit executes the program stored in the memory unit, so that the processing of each step shown in FIGS. 4 and 5 and the processing described in FIG. 6 are performed. Although the example in which the above is realized has been described, the present invention is not limited to this. At least a part of the processes shown in FIGS. 4 and 5 and the processes described in FIG. 6 may be realized by a hardware configuration such as a control circuit.
以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。 As described above, the present invention has been exemplified by using the preferred embodiment of the present invention, but the present invention should not be construed as being limited to this embodiment. It is understood that the invention should be construed only by the claims. It will be understood by those skilled in the art that from the description of the specific preferred embodiments of the present invention, the equivalent scope can be carried out based on the description of the present invention and common general technical knowledge.
本発明は、サービス提供者が提供するサービスを評価するための装置、その装置において実行される方法、プログラム等を提供するものとして有用である。 The present invention is useful as a device for evaluating a service provided by a service provider, a method executed in the device, a program, and the like.
200 システム
210 サーバ装置
2201~220N ユーザ装置
230 インターネット
240 データベース部
200
Claims (14)
前記サービスに関連する音声データを受信する手段であって、前記音声データは、サービス被提供者に対して発話した前記サービス提供者の発話データと、前記サービス提供者に対して発話した前記サービス被提供者の発話データとを含む、手段と、
前記サービスに関連する視覚データを受信する手段であって、前記視覚データは、前記サービス提供者が前記サービス被提供者に対して発話しているときの前記サービス提供者の顔を示す第1の画像データと、前記サービス被提供者が前記サービス提供者に対して発話しているときの前記サービス提供者の顔を示す第2の画像データとを含む、手段と、
前記サービス提供者の発話データと前記サービス被提供者の発話データと前記第1の画像データと前記第2の画像データとに基づいて前記サービスの評価を実施する手段と
を備える、装置。 A device for evaluating a service provided by a service provider, and the device is
It is a means for receiving voice data related to the service, and the voice data includes the utterance data of the service provider spoken to the service provider and the service recipient spoken to the service provider. Means and means, including the provider's speech data,
A first means of receiving visual data related to the service, wherein the visual data indicates the face of the service provider when the service provider is speaking to the service recipient. A means and means including image data and a second image data showing the face of the service provider when the service recipient is speaking to the service provider .
An apparatus including means for evaluating the service based on the utterance data of the service provider, the utterance data of the service recipient, the first image data, and the second image data .
前記サービス提供者の発話データと前記第1の画像データとに基づいて、前記サービス提供者が発話している間の前記サービスの第1の評価値を算出する手段と、
前記サービス被提供者の発話データと前記第2の画像データとに基づいて、前記サービス被提供者が発話している間の前記サービスの第2の評価値を算出する手段と
をさらに備え、
前記視覚データと前記音声データとに基づいて前記サービスの評価を実施する手段は、前記第1の評価値と前記第2の評価値とに基づいて前記サービスの評価を実施する手段を含む、請求項1に記載の装置。 The device is
A means for calculating a first evaluation value of the service while the service provider is speaking, based on the utterance data of the service provider and the first image data.
Further provided is a means for calculating a second evaluation value of the service while the service recipient is speaking based on the utterance data of the service recipient and the second image data.
A means for carrying out an evaluation of the service based on the visual data and the audio data includes a means for carrying out an evaluation of the service based on the first evaluation value and the second evaluation value. Item 1. The apparatus according to Item 1.
前記第1の評価値を算出する手段は、前記サービス提供者の発話データと前記第1の画像データに含まれる顔パラメータとに基づいて前記第1の評価値を算出する手段を含み、
前記第2の評価値を算出する手段は、前記サービス被提供者の発話データと前記第2の画像データに含まれる顔パラメータとに基づいて前記第2の評価値を算出する手段を含む、請求項2の記載の装置。 The first image data and the second image data include face parameters associated with one or more parts of the service provider's face.
The means for calculating the first evaluation value includes means for calculating the first evaluation value based on the utterance data of the service provider and the face parameters included in the first image data.
The means for calculating the second evaluation value includes a means for calculating the second evaluation value based on the utterance data of the service recipient and the face parameter included in the second image data. Item 2. The device according to item 2.
前記第1の評価値を算出する手段は、前記サービス提供者の発話データの少なくとも1つの音声パラメータと前記第1の画像データとに基づいて前記第1の評価値を算出する手段を含み、
前記第2の評価値を算出する手段は、前記サービス被提供者の発話データの少なくとも1つの音声パラメータと前記第2の画像データとに基づいて前記第2の評価値を算出する手段を含む、請求項2または請求項3に記載の装置。 The service provider's utterance data and the service recipient's utterance data include at least one voice parameter of speech volume, speed, tone, and interval.
The means for calculating the first evaluation value includes means for calculating the first evaluation value based on at least one voice parameter of the utterance data of the service provider and the first image data.
The means for calculating the second evaluation value includes means for calculating the second evaluation value based on at least one voice parameter of the utterance data of the service recipient and the second image data. The device according to claim 2 or 3 .
前記サービスの評価の実施は、前記第3の評価値にさらに基づく、請求項6に記載の装置。 Further provided is a means for calculating a third evaluation value associated with the document based on the optical character-recognized third image data.
The device according to claim 6 , wherein the evaluation of the service is carried out based on the third evaluation value.
前記装置は、プロセッサ部を備え、
前記方法は、
前記プロセッサ部が、前記サービスに関連する音声データを受信することであって、前記音声データは、サービス被提供者に対して発話した前記サービス提供者の発話データと、前記サービス提供者に対して発話した前記サービス被提供者の発話データとを含む、ことと、
前記プロセッサ部が、前記サービスに関連する視覚データを受信することであって、前記視覚データは、前記サービス提供者が前記サービス被提供者に対して発話しているときの前記サービス提供者の顔を示す第1の画像データと、前記サービス被提供者が前記サービス提供者に対して発話しているときの前記サービス提供者の顔を示す第2の画像データとを含む、ことと、
前記プロセッサ部が、前記サービス提供者の発話データと前記サービス被提供者の発話データと前記第1の画像データと前記第2の画像データとに基づいて前記サービスの評価を実施することと
を含む、方法。 A method performed on a device for evaluating a service provided by a service provider.
The device includes a processor unit and has a processor unit.
The method is
The processor unit receives voice data related to the service, and the voice data is the utterance data of the service provider spoken to the service recipient and the voice data to the service provider. Including the utterance data of the service recipient who spoke, and
The processor unit receives visual data related to the service, and the visual data is the face of the service provider when the service provider speaks to the service recipient. The first image data showing the service provider and the second image data showing the face of the service provider when the service recipient is speaking to the service provider are included .
The processor unit evaluates the service based on the utterance data of the service provider, the utterance data of the service recipient, the first image data, and the second image data. ,Method.
前記装置は、プロセッサ部を備え、
前記プログラムは、前記プロセッサ部によって実行されると、
前記サービスに関連する音声データを受信することであって、前記音声データは、サービス被提供者に対して発話した前記サービス提供者の発話データと、前記サービス提供者に対して発話した前記サービス被提供者の発話データとを含む、ことと、
前記サービスに関連する視覚データを受信することであって、前記視覚データは、前記サービス提供者が前記サービス被提供者に対して発話しているときの前記サービス提供者の顔を示す第1の画像データと、前記サービス被提供者が前記サービス提供者に対して発話しているときの前記サービス提供者の顔を示す第2の画像データとを含む、ことと、
前記サービス提供者の発話データと前記サービス被提供者の発話データと前記第1の画像データと前記第2の画像データとに基づいて前記サービスの評価を実施することと
を少なくとも前記プロセッサ部に行わせる、プログラム。 A program executed in a device for evaluating services provided by a service provider.
The device includes a processor unit and has a processor unit.
When the program is executed by the processor unit,
Receiving voice data related to the service, the voice data includes the utterance data of the service provider spoken to the service recipient and the service recipient spoken to the service provider. Including the utterance data of the provider, and
Receiving visual data related to the service , wherein the visual data indicates the face of the service provider when the service provider is speaking to the service recipient. It includes image data and a second image data showing the face of the service provider when the service recipient is speaking to the service provider .
At least the processor unit is to evaluate the service based on the utterance data of the service provider, the utterance data of the service recipient, the first image data, and the second image data. Let, program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021124681A JP7033353B1 (en) | 2021-07-29 | 2021-07-29 | A device for evaluating services provided by a service provider, a method performed on the device, and a program. |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021124681A JP7033353B1 (en) | 2021-07-29 | 2021-07-29 | A device for evaluating services provided by a service provider, a method performed on the device, and a program. |
Publications (2)
Publication Number | Publication Date |
---|---|
JP7033353B1 true JP7033353B1 (en) | 2022-03-10 |
JP2023019732A JP2023019732A (en) | 2023-02-09 |
Family
ID=81213075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021124681A Active JP7033353B1 (en) | 2021-07-29 | 2021-07-29 | A device for evaluating services provided by a service provider, a method performed on the device, and a program. |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7033353B1 (en) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015099474A (en) | 2013-11-19 | 2015-05-28 | 芳子 明石 | Insurance liaison system |
JP2016218911A (en) | 2015-05-25 | 2016-12-22 | パナソニックIpマネジメント株式会社 | Customer service evaluating device, customer service evaluating system equipped with the same, and customer service evaluating method |
JP2018124604A (en) | 2017-01-30 | 2018-08-09 | グローリー株式会社 | Customer service support system, customer service support device and customer service support method |
-
2021
- 2021-07-29 JP JP2021124681A patent/JP7033353B1/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015099474A (en) | 2013-11-19 | 2015-05-28 | 芳子 明石 | Insurance liaison system |
JP2016218911A (en) | 2015-05-25 | 2016-12-22 | パナソニックIpマネジメント株式会社 | Customer service evaluating device, customer service evaluating system equipped with the same, and customer service evaluating method |
JP2018124604A (en) | 2017-01-30 | 2018-08-09 | グローリー株式会社 | Customer service support system, customer service support device and customer service support method |
Also Published As
Publication number | Publication date |
---|---|
JP2023019732A (en) | 2023-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020203999A1 (en) | Communication assistance system, communication assistance method, and image control program | |
JP2022160406A (en) | Word flow annotation | |
JP6400445B2 (en) | Conversation analyzer, conversation analysis system, conversation analysis method, and conversation analysis program | |
US9286726B2 (en) | Mobile information gateway for service provider cooperation | |
JP6594646B2 (en) | Robot, robot control method, and robot system | |
US9665901B2 (en) | Mobile information gateway for private customer interaction | |
US10996741B2 (en) | Augmented reality conversation feedback | |
US11936603B2 (en) | Generating modified images for display | |
US10089684B2 (en) | Mobile information gateway for customer identification and assignment | |
US11164341B2 (en) | Identifying objects of interest in augmented reality | |
WO2022260795A1 (en) | Consequences generated from combining subsequent data | |
JP2021086415A (en) | Virtual person interaction system, video generation method, and video generation program | |
US20240112388A1 (en) | Agent providing system, agent providing method, and recording medium | |
JP2015169814A (en) | Method and system for supporting communication | |
JP7033353B1 (en) | A device for evaluating services provided by a service provider, a method performed on the device, and a program. | |
CN117271749A (en) | Creation method and computer for non-player characters in meta-universe scene | |
WO2024072582A1 (en) | Intentional virtual user expressiveness | |
WO2024004609A1 (en) | Information processing device, information processing method, and recording medium | |
JP7496128B2 (en) | Virtual person dialogue system, image generation method, and image generation program | |
JP2020036123A (en) | Wearable terminal and display system | |
JP2006065684A (en) | Avatar communication system | |
US20240020742A1 (en) | Virtual space changing apparatus, virtual space changing method, and storage medium | |
EP4297018A1 (en) | Techniques for presenting textual messages using a user-specific voice model | |
JP6457700B2 (en) | Display control system, display control method, and display control program | |
CN117275453A (en) | Method for presenting text messages using a user-specific speech model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210813 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210813 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220218 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7033353 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |