JP7033353B1 - A device for evaluating services provided by a service provider, a method performed on the device, and a program. - Google Patents

A device for evaluating services provided by a service provider, a method performed on the device, and a program. Download PDF

Info

Publication number
JP7033353B1
JP7033353B1 JP2021124681A JP2021124681A JP7033353B1 JP 7033353 B1 JP7033353 B1 JP 7033353B1 JP 2021124681 A JP2021124681 A JP 2021124681A JP 2021124681 A JP2021124681 A JP 2021124681A JP 7033353 B1 JP7033353 B1 JP 7033353B1
Authority
JP
Japan
Prior art keywords
service
service provider
data
recipient
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021124681A
Other languages
Japanese (ja)
Other versions
JP2023019732A (en
Inventor
大輔 石井
Original Assignee
株式会社キアラ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社キアラ filed Critical 株式会社キアラ
Priority to JP2021124681A priority Critical patent/JP7033353B1/en
Application granted granted Critical
Publication of JP7033353B1 publication Critical patent/JP7033353B1/en
Publication of JP2023019732A publication Critical patent/JP2023019732A/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】サービス提供者が提供するサービスを評価するための装置、方法及びプログラムを提供する。【解決手段】サービス評価方法を実現するサーバ装置において、実行する処理は、サービスに関連する視覚データを受信するステップと、サービスに関連する音声データを受信するステップと、視覚データと音声データとに基づいてサービスの評価を実施するステップと、サービスの評価の結果をサービス被提供者に提示するための処理を実行するステップと、を備える。【選択図】図４PROBLEM TO BE SOLVED: To provide an apparatus, a method and a program for evaluating a service provided by a service provider. SOLUTION: In a server device that realizes a service evaluation method, the processing to be executed includes a step of receiving visual data related to the service, a step of receiving voice data related to the service, and visual data and voice data. It includes a step of performing an evaluation of the service based on the above, and a step of executing a process for presenting the result of the evaluation of the service to the service recipient. [Selection diagram] FIG. 4

Description

本発明は、サービス提供者が提供するサービスを評価するための装置、その装置において実行される方法、プログラムに関する。 The present invention relates to a device for evaluating a service provided by a service provider, a method executed in the device, and a program.

従来から、商品を購入する前におよび／または商品の購入に関する契約を締結する前に、店員が客に対してその商品の詳細を説明するサービスが知られている。 Traditionally, there has been known a service in which a clerk explains the details of a product to a customer before purchasing the product and / or concluding a contract regarding the purchase of the product.

株式会社ノードプレース、“携帯ショップ店員の仕事内容・なり方・年収・資格などを解説”、［online］、［令和３年７月２１日検索］、インターネット<URL:https://careergarden.jp/keitaishop-tenin/>Node Place Co., Ltd., "Explanation of work contents, how to become, annual income, qualifications, etc. of mobile shop clerk", [online], [Search on July 21, 3rd year of Reiwa], Internet <URL: https: // careergarden. jp / keitaishop-tenin />

しかしながら、商品を購入する前におよび／または商品の購入に関する契約を締結する前に、店員のサービスの良し悪し（例えば、商品の説明が十分であるのか、商品の購入に関連する契約の説明が正しいのか）を客が知る術はなかった。 However, before purchasing the goods and / or before concluding the contract regarding the purchase of the goods, the quality of the service of the clerk (for example, whether the description of the goods is sufficient or the explanation of the contract related to the purchase of the goods is explained. There was no way for the customer to know (is it correct?).

本発明は、上述した課題に鑑みてなされたものであり、サービス提供者が提供するサービスを評価するための装置、その装置において実行される方法、プログラムを提供することを目的とする。 The present invention has been made in view of the above-mentioned problems, and an object of the present invention is to provide a device for evaluating a service provided by a service provider, a method executed in the device, and a program.

本発明の１つの局面において、本発明の装置は、サービス提供者が提供するサービスを評価するための装置であり、前記装置は、前記サービスに関連する視覚データを受信する手段と、前記サービスに関連する音声データを受信する手段と、前記視覚データと前記音声データとに基づいて前記サービスの評価を実施する手段とを備える。 In one aspect of the invention, the device of the invention is a device for evaluating a service provided by a service provider, wherein the device is a means for receiving visual data related to the service and the service. A means for receiving the related voice data and a means for performing an evaluation of the service based on the visual data and the voice data are provided.

本発明の１つの実施形態では、前記音声データは、サービス被提供者に対して発話した前記サービス提供者の発話データと、前記サービス提供者に対して発話した前記サービス被提供者の発話データとを含み、前記視覚データは、前記サービス提供者が前記サービス被提供者に対して発話しているときの前記サービス提供者の顔を示す第１の画像データと、前記サービス被提供者が前記サービス提供者に対して発話しているときの前記サービス提供者の顔を示す第２の画像データとを含み、前記視覚データと前記音声データとに基づいて前記サービスの評価を実施する手段は、前記サービス提供者の発話データと前記サービス被提供者の発話データと前記第１の画像データと前記第２の画像データとに基づいて前記サービスの評価を実施する手段を含んでいてもよい。 In one embodiment of the present invention, the voice data includes the utterance data of the service provider spoken to the service provider and the utterance data of the service provider spoken to the service provider. The visual data includes first image data showing the face of the service provider when the service provider is speaking to the service recipient, and the service recipient is the service. The means for evaluating the service based on the visual data and the audio data, including the second image data showing the face of the service provider when speaking to the provider, is described above. It may include means for evaluating the service based on the utterance data of the service provider, the utterance data of the service recipient, the first image data, and the second image data.

本発明の１つの実施形態では、前記装置は、前記サービス提供者の発話データと前記第１の画像データとに基づいて、前記サービス提供者が発話している間の前記サービスの第１の評価値を算出する手段と、前記サービス被提供者の発話データと前記第２の画像データとに基づいて、前記サービス被提供者が発話している間の前記サービスの第２の評価値を算出する手段とをさらに備え、前記視覚データと前記音声データとに基づいて前記サービスの評価を実施する手段は、前記第１の評価値と前記第２の評価値とに基づいて前記サービスの評価を実施する手段を含んでいてもよい。 In one embodiment of the invention, the device is based on the spoken data of the service provider and the first image data, and the first evaluation of the service while the service provider is speaking. Based on the means for calculating the value, the spoken data of the service recipient, and the second image data, the second evaluation value of the service while the service recipient is speaking is calculated. The means for further comprising means and evaluating the service based on the visual data and the audio data evaluates the service based on the first evaluation value and the second evaluation value. It may include means to do so.

本発明の１つの実施形態では、前記第１の画像データおよび前記第２の画像データは、前記サービス提供者の顔の１つ以上のパーツに関連する顔パラメータを含み、前記第１の評価値を算出する手段は、前記サービス提供者の発話データと前記第１の画像データに含まれる顔パラメータとに基づいて前記第１の評価値を算出する手段を含み、前記第２の評価値を算出する手段は、前記サービス被提供者の発話データと前記第２の画像データに含まれる顔パラメータとに基づいて前記第２の評価値を算出する手段を含んでいてもよい。 In one embodiment of the invention, the first image data and the second image data include face parameters associated with one or more parts of the service provider's face, the first evaluation value. The means for calculating the first evaluation value includes a means for calculating the first evaluation value based on the speech data of the service provider and the face parameters included in the first image data, and the second evaluation value is calculated. The means for calculating the second evaluation value may include means for calculating the second evaluation value based on the speech data of the service recipient and the face parameters included in the second image data.

本発明の１つの実施形態では、前記サービス提供者の発話データおよび前記サービス被提供者の発話データは、発話の音量、速度、トーン、および間隔のうちの少なくとも１つの音声パラメータを含み、前記第１の評価値を算出する手段は、前記サービス提供者の発話データの少なくとも１つの音声パラメータと前記第１の画像データとに基づいて前記第１の評価値を算出する手段を含み、前記第２の評価値を算出する手段は、前記サービス被提供者の発話データの少なくとも１つの音声パラメータと前記第２の画像データとに基づいて前記第２の評価値を算出する手段を含んでいてもよい。 In one embodiment of the invention, the service provider's speech data and the service recipient's speech data include at least one voice parameter of speech volume, speed, tone, and interval, said first. The means for calculating the evaluation value of 1 includes a means for calculating the first evaluation value based on at least one voice parameter of the speech data of the service provider and the first image data, and the second The means for calculating the evaluation value of the above may include a means for calculating the second evaluation value based on at least one voice parameter of the speech data of the service recipient and the second image data. ..

本発明の１つの実施形態では、前記視覚データは、前記サービスに関連する書類の第３の画像データを含んでいてもよい。 In one embodiment of the invention, the visual data may include a third image data of a document related to the service.

本発明の１つの実施形態では、前記装置は、前記第３の画像データの光学的文字認識を実施するための手段をさらに備えていてもよい。 In one embodiment of the invention, the device may further include means for performing optical character recognition of the third image data.

本発明の１つの実施形態では、前記装置は、前記光学的文字認識された第３の画像データに基づいて、前記書類に関連付けられた第３の評価値を算出する手段をさらに備え、前記サービスの評価の実施は、前記第３の評価値にさらに基づいてもよい。 In one embodiment of the invention, the device further comprises means for calculating a third evaluation value associated with the document based on the optically recognized third image data, said service. The implementation of the evaluation may be further based on the third evaluation value.

本発明の１つの実施形態では、前記装置は、言語非依存の態様で前記サービスの評価の結果をサービス被提供者に提示する手段をさらに備えていてもよい。 In one embodiment of the invention, the device may further comprise means for presenting the results of the evaluation of the service to the service recipient in a language-independent manner.

本発明の１つの実施形態では、前記視覚データを受信する手段は、カメラを介して前記視覚データを受信する手段を含んでいてもよい。 In one embodiment of the invention, the means for receiving the visual data may include means for receiving the visual data via a camera.

本発明の１つの実施形態では、前記音声データを受信する手段は、マイクを介して前記音声データを受信する手段を含んでいてもよい。 In one embodiment of the invention, the means for receiving the voice data may include means for receiving the voice data via a microphone.

本発明の１つの実施形態では、前記装置は、サービス被提供者が装着するウェアラブルデバイスを含んでいてもよい。 In one embodiment of the invention, the device may include a wearable device worn by a service recipient.

本発明の１つの実施形態では、前記ウェアラブルデバイスは、前記サービス被提供者の眼に装着可能な眼鏡型ウェアラブルデバイスを含んでいてもよい。 In one embodiment of the invention, the wearable device may include a spectacle-type wearable device that can be worn in the eyes of the service recipient.

本発明の１つの局面において、本発明の方法は、サービス提供者が提供するサービスを評価するための装置において実行される方法であり、前記装置は、プロセッサ部を備え、前記方法は、前記プロセッサ部が、前記サービスに関連する視覚データを受信することと、前記プロセッサ部が、前記サービスに関連する音声データを受信することと、前記プロセッサ部が、前記視覚データと前記音声データとに基づいて前記サービスの評価を実施することとを含む。 In one aspect of the invention, the method of the invention is a method performed in a device for evaluating a service provided by a service provider, wherein the device comprises a processor unit and the method comprises the processor. The unit receives visual data related to the service, the processor unit receives audio data related to the service, and the processor unit receives the visual data and the audio data. Includes performing an evaluation of the service.

本発明の１つの局面において、本発明のプログラムは、サービス提供者が提供するサービスを評価するための装置において実行されるプログラムであり、前記装置は、プロセッサ部を備え、前記プログラムは、前記プロセッサ部によって実行されると、前記サービスに関連する視覚データを受信することと、前記サービスに関連する音声データを受信することと、前記視覚データと前記音声データとに基づいて前記サービスの評価を実施することとを少なくとも前記プロセッサ部に行わせる。 In one aspect of the invention, the program of the invention is a program executed in a device for evaluating a service provided by a service provider, wherein the device includes a processor unit, and the program is the processor. When executed by the unit, it receives visual data related to the service, receives audio data related to the service, and evaluates the service based on the visual data and the audio data. At least let the processor unit do what it does.

本発明によれば、サービス提供者が提供するサービスを評価するための装置、その装置において実行される方法、プログラムを提供することが可能である。 According to the present invention, it is possible to provide a device for evaluating a service provided by a service provider, a method executed in the device, and a program.

サービス提供者がサービス被提供者にサービスを提供している場面の一例を示すAn example of a situation where a service provider provides a service to a service recipient is shown. ユーザ装置１３０によってサービス被提供者１１０に提示されるサービスの評価の結果の一例を示すAn example of the result of the evaluation of the service presented to the service recipient 110 by the user apparatus 130 is shown. 新しいサービス評価方法を実現するためのシステム２００の構成の一例を示すAn example of the configuration of the system 200 for realizing a new service evaluation method is shown. データベース部２４０に格納されている情報の構成の一部を示すShows a part of the structure of the information stored in the database unit 240. サーバ装置２１０において実行される処理のフローの一例を示すAn example of the flow of processing executed in the server device 210 is shown. 図４に示されるステップＳ４０３の処理の一例を示すAn example of the process of step S403 shown in FIG. 4 is shown. 時系列に沿った評価値の変化の一例を示すAn example of changes in evaluation values over time is shown.

以下、本明細書において用いられる用語を定義する。 Hereinafter, the terms used in the present specification are defined.

本明細書において「サービス提供者」とは、サービスを提供する人をいい、「サービス被提供者」とはサービスを提供してもらう人をいうものとする。すなわち、サービスは、サービス提供者によってサービス被提供者に提供される。 In the present specification, the "service provider" means a person who provides a service, and the "service recipient" means a person who receives the service. That is, the service is provided to the service recipient by the service provider.

また、本明細書における「サービス」は、任意のサービスであり得るが、代表的には、サービス提供者がサービス被提供者に実際に（物理的に）会った際にサービス提供者によって提供されるものであり得る。１つの実施形態では、サービス提供者は、サービス被提供者にディスプレイを介してリモートで「サービス」を提供してもよい。 Also, the "service" herein may be any service, but is typically provided by the service provider when the service provider actually (physically) meets the service recipient. It can be something. In one embodiment, the service provider may provide the service recipient with a "service" remotely via a display.

「サービス」の一例は、サービス提供者（例えば、店員）がサービス被提供者（例えば、客）に商品を説明する（必要に応じて、商品の説明の後、契約をする）サービスである。なお、本明細書において、商品は、物理的な物であってもよいし、物理的ではない役務であってもよい。 An example of a "service" is a service in which a service provider (for example, a clerk) explains a product to a service recipient (for example, a customer) (if necessary, after explaining the product, a contract is made). In addition, in this specification, a product may be a physical thing or a non-physical service.

１．新しいサービス評価方法
出願人は、サービス提供者がサービス被提供者にサービスを提供しているときに（または提供した後に）サービス被提供者がサービスの良し悪しを判断することを可能にするために、サービス提供者のサービスの評価の結果をサービス被提供者に提供および／または提示するための新しいサービス評価手法を提案する。このような新しいサービス評価手法によれば、サービス被提供者は、例えば、サービス被提供者が装着しているユーザ装置（例えば、眼鏡型ウェアラブルデバイス）を用いて、サービス提供者のサービスに関連する視覚データ（例えば、サービス提供者の顔の画像データ）と、サービス提供者のサービスに関連する音声データ（例えば、サービス提供者とサービス被提供者との間の会話のデータ（すなわち、サービス提供者の発言内容を示す発話データおよびサービス被提供者の発言内容を示す発話データ））とを取得し、ユーザ装置と通信可能なサーバ装置に提供し、サーバ装置は、視覚データと音声データとに基づいてサービス提供者のサービスの評価を実施し、ユーザ装置は、サービス提供者のサービスの評価の結果をサービス被提供者に提供および／または提示することが可能である。 1. 1. New Service Evaluation Method Applicants are required to allow a service provider to judge the quality of a service when (or after) the service provider is providing the service to the service recipient. , Propose a new service evaluation method for providing and / or presenting the results of service evaluation of a service provider to a service recipient. According to such a new service evaluation method, the service recipient is related to the service of the service provider by using, for example, a user device (for example, a glasses-type wearable device) worn by the service recipient. Visual data (eg, image data of the service provider's face) and audio data related to the service provider's service (eg, data of conversations between the service provider and the service recipient (ie, the service provider). The utterance data indicating the content of the utterance and the utterance data)) indicating the content of the utterance of the service recipient are acquired and provided to the server device capable of communicating with the user device, and the server device is based on the visual data and the voice data. The service provider's service is evaluated, and the user apparatus can provide and / or present the result of the service provider's service evaluation to the service recipient.

以下、図面を参照しながら、本発明の実施の形態を説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

図１Ａは、サービス提供者がサービス被提供者にサービスを提供している場面の一例を示す。 FIG. 1A shows an example of a situation in which a service provider provides a service to a service recipient.

図１Ａに示される実施形態では、サービス提供者１００（例えば、店舗の店員）が、サービス被提供者１１０（例えば、店舗に訪れた客）に対して、対面した状態で、サービスに関連する書類１２０（例えば、商品に関連する契約書）を用いて、サービス（例えば、店舗において販売されている商品の詳細およびその商品に関連する契約を説明するサービス）を提供している。 In the embodiment shown in FIG. 1A, a service-related document in a state where a service provider 100 (for example, a store clerk) faces a service recipient 110 (for example, a customer who visits a store). 120 (for example, a contract related to a product) is used to provide a service (for example, a service explaining details of a product sold in a store and a contract related to the product).

図１Ａに示される実施形態では、サービス被提供者１１０がユーザ装置１３０（例えば、眼鏡型ウェアラブルデバイス）を装着している。サービス被提供者１１０は、ユーザ装置１３０（例えば、ユーザ装置１３０のマイク）を用いて、サービスに関連する音声（例えば、サービス被提供者１１０に対して発話したサービス提供者１００の発話およびサービス提供者１００に対して発話したサービス被提供者１１０の発話）を収音し、サービスに関連する音声データを入手する。サービスに関連する音声データは、サービスの評価のために使用される。 In the embodiment shown in FIG. 1A, the service recipient 110 is wearing a user device 130 (for example, a glasses-type wearable device). The service recipient 110 uses the user device 130 (for example, the microphone of the user device 130) to utter a voice related to the service (for example, the utterance of the service provider 100 spoken to the service recipient 110 and the service provision). The utterance of the service recipient 110) spoken to the person 100 is picked up, and the voice data related to the service is obtained. Voice data related to the service is used to evaluate the service.

図１Ａに示される実施形態では、サービス被提供者１１０は、ユーザ装置１３０（例えば、ユーザ装置１３０のカメラ）を用いて、サービスに関連する画像（例えば、サービス提供者１００の画像（例えば、サービス提供者１００の顔の画像））を撮像し、サービスに関連する視覚データを入手する。サービスに関連する視覚データは、サービスの評価のために使用される。 In the embodiment shown in FIG. 1A, the service recipient 110 uses the user device 130 (eg, the camera of the user device 130) to provide an image related to the service (eg, an image of the service provider 100 (eg, the service). An image of the face of the provider 100)) is imaged to obtain visual data related to the service. Visual data related to the service is used to evaluate the service.

図１Ａに示される実施形態では、サービス被提供者１１０は、ユーザ装置１３０（例えば、ユーザ装置１３０のカメラ）を用いて、書類１２０をさらに撮像し、書類１２０の画像データを入手してもよい。書類１２０の画像データは、サービスの評価のために使用され得る。 In the embodiment shown in FIG. 1A, the service recipient 110 may further image the document 120 using the user device 130 (eg, the camera of the user device 130) to obtain image data of the document 120. .. The image data of the document 120 can be used for the evaluation of the service.

サービス被提供者１１０は、サービスに関連する視覚データとサービスに関連する音声データと入手すると（または、サービスに関連する視覚データとサービスに関連する音声データと書類１２０の画像データとを入手すると）、サービスの評価の結果を見ることができる。サービスの評価の結果は、例えば、ユーザ装置１３０によってサービス被提供者１１０に提示される。これにより、サービス被提供者１１０は、サービス提供者１００によって提供されるサービスの良し悪しを把握することができ、ひいては、商品の購入および／または商品に関連する契約を行うべきか否かを判断することができる。 When the service recipient 110 obtains the visual data related to the service and the audio data related to the service (or when the visual data related to the service and the audio data related to the service and the image data of the document 120 are obtained). , You can see the result of the evaluation of the service. The result of the service evaluation is presented to the service recipient 110 by, for example, the user apparatus 130. As a result, the service recipient 110 can grasp the quality of the service provided by the service provider 100, and thus determines whether or not to purchase the product and / or make a contract related to the product. can do.

サービスの評価の結果は、サービスがサービス提供者１００によってサービス被提供者１１０に提供されている間に（すなわち、リアルタイムで）サービス被提供者１１０に提示されてもよいし、サービスがサービス提供者１００によってサービス被提供者１１０に提供された後に（すなわち、サービスの提供が完了した後に）サービス被提供者１１０に提示されてもよい。 The result of the evaluation of the service may be presented to the service recipient 110 while the service is being provided to the service recipient 110 by the service provider 100 (ie, in real time), or the service may be presented to the service provider 110. It may be presented to the service recipient 110 after being provided to the service recipient 110 by 100 (ie, after the service has been provided).

なお、図１Ａに示される実施形態では、サービス提供者１００とサービス被提供者１１０とが対面した状態でサービスを提供する例を説明したが、本発明はこれに限定されない。サービス提供者１００は、例えば、サービス被提供者１１０からサービス提供者１００（例えば、サービス提供者１００の顔）が見える状態で、（例えば、ディスプレイを介して）リモートでサービスをサービス被提供者１１０に提供するようにしてもよい。 In the embodiment shown in FIG. 1A, an example in which a service is provided in a state where the service provider 100 and the service recipient 110 face each other has been described, but the present invention is not limited thereto. The service provider 100 can remotely provide a service (for example, via a display) to the service provider 110 while the service provider 100 (for example, the face of the service provider 100) can be seen from the service provider 110. May be provided to.

また、図１Ａに示される実施形態では、サービス被提供者１１０がユーザ装置１３０を装着している例を説明したが、本発明はこれに限定されない。ユーザ装置１３０は、サービス被提供者１１０が装着可能なものでなくてもよい。ユーザ装置１３０は、サービス被提供者１１０にサービスの評価の結果を提示することが可能である限りにおいて、任意の装置であり得る。 Further, in the embodiment shown in FIG. 1A, an example in which the service recipient 110 is wearing the user device 130 has been described, but the present invention is not limited thereto. The user device 130 does not have to be wearable by the service recipient 110. The user device 130 can be any device as long as it is possible to present the result of the evaluation of the service to the service recipient 110.

図１Ｂは、ユーザ装置１３０によってサービス被提供者１１０に提示されるサービスの評価の結果の一例を示す。 FIG. 1B shows an example of the result of evaluation of the service presented to the service recipient 110 by the user apparatus 130.

図１Ｂに示される実施形態では、サービスの評価の結果が、２次元平面座標系とイラストの動きとを組み合わせた３次元の態様で表現されている。具体的には、図１Ｂに示される実施形態では、２次元平面座標系は、サービス提供者のサービスの「技術」に関連する評価を横軸にとり、かつ、「心」に関連する評価を縦軸にとって構成されている。また、イラストの動きは、サービス提供者のサービス提供中の発話の「聞き心地」に関連する評価を示している。イラストは、例えば、「聞き心地」に関連する評価値が１０点満点中０～３点である場合には渦巻状に動き、「聞き心地」に関連する評価値が１０点満点中３～５点である場合には三角形状に動き、「聞き心地」に関連する評価値が１０点満点中５～８点である場合には横方向に動き、「聞き心地」に関連する評価値が１０点満点中８～１０点である場合には縦方向に動く。イラストの一例は、蜂であるが、これに限定されない。 In the embodiment shown in FIG. 1B, the result of the service evaluation is represented in a three-dimensional manner in which the two-dimensional plane coordinate system and the movement of the illustration are combined. Specifically, in the embodiment shown in FIG. 1B, the two-dimensional plane coordinate system takes the evaluation related to the "technology" of the service of the service provider on the horizontal axis and the evaluation related to the "heart" vertically. It is configured for the axis. In addition, the movement of the illustration shows the evaluation related to the "comfort" of the utterance during the service provision of the service provider. For example, the illustration moves in a spiral when the evaluation value related to "listening comfort" is 0 to 3 out of 10 points, and the evaluation value related to "listening comfort" is 3 to 5 out of 10 points. If it is a point, it moves in a triangular shape, and if the evaluation value related to "hearing comfort" is 5 to 8 out of 10 points, it moves laterally, and the evaluation value related to "hearing comfort" is 10. If the score is 8 to 10 out of the perfect score, it moves in the vertical direction. An example of an illustration is a bee, but it is not limited to this.

図１Ｂに示される実施形態では、サービス提供者のサービスの「技術」に関連する評価値が８点であり、サービス提供者のサービスの「心」に関連する評価値が９点であり、サービス提供者のサービス提供中の発話の「聞き心地」に関連する評価値が３点である。 In the embodiment shown in FIG. 1B, the evaluation value related to the "technology" of the service of the service provider is 8 points, the evaluation value related to the "heart" of the service of the service provider is 9 points, and the service. The evaluation value related to the "hearing comfort" of the utterance during the service provision of the provider is 3 points.

図１Ｂに示されるように、サービスの評価の結果が、言語非依存の態様で（例えば、数値、イラスト、イラストの動き等を用いて）、サービス被提供者１１０に提示されることが好ましい。このように、サービスの評価の結果がサービス被提供者に言語非依存の態様で提示されることによって、サービス被提供者は、特定の言語（例えば、日本語、英語、中国語、韓国語、ロシア語等）を理解できなくとも、サービスの評価の結果（すなわち、サービスの良し悪し）を直感的に理解することができる。 As shown in FIG. 1B, it is preferred that the results of the service evaluation be presented to the service recipient 110 in a language-independent manner (eg, using numerical values, illustrations, movements of illustrations, etc.). In this way, the result of the evaluation of the service is presented to the service recipient in a language-independent manner, so that the service recipient can use a specific language (for example, Japanese, English, Chinese, Korean, etc.). Even if you cannot understand (Russian, etc.), you can intuitively understand the result of the evaluation of the service (that is, the quality of the service).

なお、図１Ｂに示される実施形態では、２次元平面座標系とイラストの動きとを組み合わせた３次元の態様でサービスの評価の結果を提示する例を説明したが、本発明はこれに限定されない。サービスの評価の結果は、より単純に、ランク形式で（例えば、５段階評価形式で）サービス被提供者に提示されてもよいし、数値（例えば、パーセンテージ）を用いてサービス被提供者に提示されてもよい。 In the embodiment shown in FIG. 1B, an example of presenting the result of service evaluation in a three-dimensional manner combining a two-dimensional plane coordinate system and the movement of an illustration has been described, but the present invention is not limited thereto. .. The result of the evaluation of the service may be presented to the service recipient in a simpler rank format (for example, in a five-point evaluation format) or presented to the service recipient using a numerical value (for example, a percentage). May be done.

２．新しいサービス評価方法を実現するためのシステム構成
図２は、新しいサービス評価方法を実現するためのシステム２００の構成の一例を示す。 2. 2. System Configuration for Realizing a New Service Evaluation Method FIG. 2 shows an example of a configuration of a system 200 for realizing a new service evaluation method.

システム２００は、サーバ装置２１０と、サービス被提供者によって使用されるユーザ装置２２０１～２２０Ｎとを備える。サーバ装置２１０は、インターネット２３０を介して、ユーザ装置２２０１～２２０Ｎのそれぞれと通信可能なように構成されている。ここで、Ｎは、１以上の整数である。 The system 200 includes a server device 210 and user devices 220 1-220 N used by the service recipient. The server device 210 is configured to be able to communicate with each of the user devices 220 1 to 220 N via the Internet 230. Here, N is an integer of 1 or more.

図２に示される実施形態では、サーバ装置２１０は、インターフェース部２１１と、１つ以上のＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を含むプロセッサ部２１２と、メモリ部２１３とを含む。サーバ装置２１０は、データベース部２４０に接続されている。サーバ装置２１０のハードウェア構成は、その機能を実現できる限りにおいて特に限定されず、単一のマシンで構成されていてもよく、複数台のマシンを組み合わせて構成されたものであってもよい。 In the embodiment shown in FIG. 2, the server device 210 includes an interface unit 211, a processor unit 212 including one or more CPUs (Central Processing Units), and a memory unit 213. The server device 210 is connected to the database unit 240. The hardware configuration of the server device 210 is not particularly limited as long as the function can be realized, and may be configured by a single machine or may be configured by combining a plurality of machines.

インターフェース部２１１は、ユーザ装置２２０１～２２０Ｎのそれぞれとの通信を制御する。 The interface unit 211 controls communication with each of the user devices 220 1 to 220 N.

メモリ部２１３には、処理を実行するために必要とされるプログラムやそのプログラムを実行するために必要とされるデータ等が格納されている。ここで、プログラムをどのようにしてメモリ部２１３に格納するかは問わない。例えば、プログラムは、メモリ部２１３にプリインストールされていてもよい。あるいは、プログラムは、インターネット３４０などのネットワークを経由してダウンロードされることによってメモリ部２１３にインストールされるようにしてもよいし、光ディスクやＵＳＢなどの記憶媒体を介してメモリ部２１３にインストールされるようにしてもよい。 The memory unit 213 stores a program required to execute the process, data required to execute the program, and the like. Here, it does not matter how the program is stored in the memory unit 213. For example, the program may be pre-installed in the memory unit 213. Alternatively, the program may be installed in the memory unit 213 by being downloaded via a network such as the Internet 340, or may be installed in the memory unit 213 via a storage medium such as an optical disk or USB. You may do so.

プロセッサ部２１２は、サーバ装置２１０全体の動作を制御する。プロセッサ部２１２は、メモリ部２１３に格納されているプログラムを読み出し、そのプログラムを実行する。これにより、サーバ装置２１０は、所望のステップを実行する装置として機能することが可能であり、サーバ装置２１０のプロセッサ部２１２は、所望の機能を達成する手段として動作することが可能である。 The processor unit 212 controls the operation of the entire server device 210. The processor unit 212 reads the program stored in the memory unit 213 and executes the program. As a result, the server device 210 can function as a device that executes a desired step, and the processor unit 212 of the server device 210 can operate as a means for achieving the desired function.

ユーザ装置２２０１～２２０Ｎのそれぞれは、インターネット２３０を介してサーバ装置２１０と通信することが可能なように構成されている。ユーザ装置２２０１～２２０Ｎのそれぞれのうちの１つは、図１Ａに示されるユーザ装置１３０を含む。例えば、ユーザ装置２２０１～２２０Ｎのそれぞれは、携帯電話、スマートフォン、タブレット端末、スマートグラス（眼鏡型ウェアラブルデバイス）、スマートウォッチ端末等の携帯無線端末であってもよいし、ラップトップＰＣ、ノートＰＣ等のパーソナルコンピュータであってもよい。 Each of the user devices 220 1 to 220 N is configured to be able to communicate with the server device 210 via the Internet 230. Each of the user devices 220 1 to 220 N includes the user device 130 shown in FIG. 1A. For example, each of the user devices 220 1 to 220 N may be a mobile wireless terminal such as a mobile phone, a smartphone, a tablet terminal, a smart glass (glasses type wearable device), a smart watch terminal, a laptop PC, or a notebook. It may be a personal computer such as a PC.

図２に示される実施形態では、ユーザ装置２２０１は、サービスに関連する音声データ（例えば、サービス被提供者１１０に対して発話したサービス提供者１００の発話データおよびサービス提供者１００に対して発話したサービス被提供者１１０の発話データ）を受信することが可能なように構成されている（例えば、サービスに関連する音声を収音することが可能なマイク（図示せず）を備え、マイクを用いてサービスに関連する音声データを取得するように構成されている）。 In the embodiment shown in FIG. 2, the user apparatus 220 1 uses voice data related to the service (for example, utterance data of the service provider 100 spoken to the service recipient 110 and speech to the service provider 100). A microphone is provided with a microphone (not shown) capable of picking up voice related to the service, which is configured to be able to receive the utterance data of the service recipient 110. It is configured to use to acquire voice data related to the service).

図２に示される実施形態では、ユーザ装置２２０１は、サービスに関連する視覚データ（例えば、サービス提供者１００の画像（例えば、サービス提供者１００の顔の画像））を受信することが可能なように構成されている（例えば、サービス提供者１００の画像を撮像することが可能なカメラ（図示せず）を備え、カメラを用いてサービス提供者１００の画像を取得するように構成されている）。 In the embodiment shown in FIG. 2, the user apparatus 220 1 can receive visual data related to the service (for example, an image of the service provider 100 (for example, an image of the face of the service provider 100)). (For example, a camera (not shown) capable of capturing an image of the service provider 100 is provided, and the camera is configured to acquire an image of the service provider 100. ).

図２に示される実施形態では、ユーザ装置２２０１は、サービスに関連する視覚データとサービスに関連する音声データとに基づいて実施されたサービスの評価の結果をサービス被提供者１１０に提示することが可能なように構成されている。例えば、ユーザ装置２２０１は、ディスプレイ（図示せず）を備え、ディスプレイ上にサービスの評価の結果が表示されることによって、サービスの評価の結果がサービス被提供者に提示されてもよい。あるいは、例えば、ユーザ装置２２０１は、拡張現実および／または複合現実を実現可能な装置（例えば、頭部搭載型の拡張現実ディスプレイおよび／または複合現実ディスプレイを備える装置）であり、拡張現実技術および／または複合現実技術を利用してサービスの評価の結果がサービス被提供者に提示されてもよい。 In the embodiment shown in FIG. 2, the user apparatus 220 1 presents to the service recipient 110 the result of the evaluation of the service performed based on the visual data related to the service and the audio data related to the service. Is configured to be possible. For example, the user apparatus 220 1 may include a display (not shown), and the result of the evaluation of the service may be presented to the service recipient by displaying the result of the evaluation of the service on the display. Alternatively, for example, the user device 220 1 is a device capable of realizing augmented reality and / or mixed reality (eg, a device including a head-mounted augmented reality display and / or mixed reality display), and augmented reality technology and / Or the result of the evaluation of the service may be presented to the service recipient using mixed reality technology.

なお、図２に示される実施形態では、ユーザ装置２２０１～２２０Ｎがインターネット２３０を介してサーバ装置２１０と通信可能であると説明したが、本発明はこれに限定されない。インターネット２３０の代わりに任意のタイプのネットワークを用いることも可能である。なお、インターネット２３０およびその代わりの任意のネットワークを介することなく、ユーザ装置２２０１～２２０Ｎをサーバ装置２１０に電気的に結合した構成もまた本発明の範囲内である。さらに、ユーザ装置２２０１の機能およびサーバ装置２１０の機能の両方を一体的に組み込んだシステム（すなわち、スタンドアロン型のシステム）をサーバ装置２１０またはユーザ装置２２０１として構築してもよい。このようなスタンドアロン型のサーバ装置２１０またはユーザ装置２２０１もまた本発明の範囲内である。 In the embodiment shown in FIG. 2, it has been described that the user devices 220 1 to 220 N can communicate with the server device 210 via the Internet 230, but the present invention is not limited thereto. It is also possible to use any type of network instead of the Internet 230. It should be noted that a configuration in which the user devices 220 1 to 220 N are electrically coupled to the server device 210 without going through the Internet 230 or any alternative network is also within the scope of the present invention. Further, a system (that is, a stand-alone system) in which both the functions of the user device 220 1 and the functions of the server device 210 are integrally incorporated may be constructed as the server device 210 or the user device 220 1 . Such a stand-alone server device 210 or user device 220 1 is also within the scope of the present invention.

また、図２に示される実施形態では、データベース部２４０は、サーバ装置２１０の外部に設けられているが、本発明はこれに限定されない。データベース部２４０をサーバ装置２１０の内部に設けることも可能である。データベース部２４０の構成は、特定のハードウェア構成には限定されない。例えば、データベース部２４０は、単一のハードウェア部品で構成されてもよいし、複数のハードウェア部品で構成されてもよい。例えば、データベース部２４０は、サーバ装置２１０の単一の外付けハードディスク装置として構成されてもよいし、ネットワークを介して接続されるクラウド上のストレージとして構成されてもよい。 Further, in the embodiment shown in FIG. 2, the database unit 240 is provided outside the server device 210, but the present invention is not limited thereto. It is also possible to provide the database unit 240 inside the server device 210. The configuration of the database unit 240 is not limited to a specific hardware configuration. For example, the database unit 240 may be composed of a single hardware component or may be composed of a plurality of hardware components. For example, the database unit 240 may be configured as a single external hard disk drive of the server device 210, or may be configured as a storage on the cloud connected via a network.

図３は、データベース部２４０に格納されている情報の構成の一部を示す。 FIG. 3 shows a part of the structure of the information stored in the database unit 240.

図３に示される実施形態では、データベース部２４０には、サービスの評価のための情報が格納されている。サービスの評価のための情報は、例えば、サービス提供者の顔の１つ以上のパーツに関連する顔パラメータと評価値との間の対応関係、サービス提供者およびサービス被提供者の発話データの音声パラメータと評価値との間の対応関係、サービスに関連する書類に記載すべきテキスト、サービスに関連する書類と評価値との間の対応関係を含み得る。 In the embodiment shown in FIG. 3, the database unit 240 stores information for evaluating the service. Information for service evaluation includes, for example, the correspondence between face parameters and evaluation values associated with one or more parts of the service provider's face, voice of service provider and service recipient speech data. It can include correspondences between parameters and evaluation values, texts to be included in service-related documents, and correspondences between service-related documents and evaluation values.

顔パラメータは、例えば、瞳の大きさ、眼の大きさ、目尻の変位、口の幅、口の開き度合い、口角の変位、３次元空間における頭部の変位を含むが、これらには限定されない。音声パラメータは、例えば、音声の音量、速度、トーン、音声間の間隔を含むが、これらに限定されない。 Face parameters include, but are not limited to, pupil size, eye size, eye corner displacement, mouth width, mouth opening degree, mouth angle displacement, and head displacement in three-dimensional space. .. Audio parameters include, but are not limited to, for example, audio volume, speed, tone, and spacing between audio.

顔パラメータと評価値との間の対応関係は、例えば、顔パラメータを変数とする関数（例えば、微分方程式）によって規定されてもよいし、閾値と顔パラメータとの差の絶対値のある範囲と評価値との対応関係（例えば、絶対値０～±１と評価値５とが対応する対応関係）によって規定されてもよい。閾値は、所定の閾値であってもよいし、顔パラメータの種類ごとに異なる閾値であってもよい。 The correspondence between the face parameter and the evaluation value may be defined by, for example, a function having the face parameter as a variable (for example, a differential equation), or a range having an absolute value of the difference between the threshold value and the face parameter. It may be defined by the correspondence relationship with the evaluation value (for example, the correspondence relationship between the absolute value 0 to ± 1 and the evaluation value 5). The threshold value may be a predetermined threshold value or may be a different threshold value for each type of face parameter.

音声パラメータと評価値との間の対応関係は、例えば、音声パラメータを変数とする関数（例えば、微分方程式）によって規定されてもよいし、閾値と音声パラメータとの差の絶対値のある範囲と評価値との対応関係（例えば、絶対値０～±１と評価値５とが対応する対応関係）によって規定されてもよい。閾値は、所定の閾値であってもよいし、音声パラメータの種類ごとに異なる閾値であってもよい。 The correspondence between the voice parameter and the evaluation value may be defined by, for example, a function having the voice parameter as a variable (for example, a differential equation), or a range having an absolute value of the difference between the threshold value and the voice parameter. It may be defined by the correspondence relationship with the evaluation value (for example, the correspondence relationship between the absolute value 0 to ± 1 and the evaluation value 5). The threshold value may be a predetermined threshold value or may be a different threshold value for each type of voice parameter.

サービスに関連する書類と評価値との間の対応関係は、例えば、サービスに関連する書類に記載すべきテキストのうち、サービスに関連する書類に実際に記載されているテキストの割合によって規定されてもよい。あるいは、サービスに関連する書類と評価値との間の対応関係は、例えば、サービスに関連する書類に記載すべきテキストのうち、サービス提供者の音声データに含まれるテキストの割合によって規定されてもよい。 The correspondence between service-related documents and rating values is, for example, defined by the percentage of text that should be included in the service-related document that is actually included in the service-related document. May be good. Alternatively, the correspondence between the service-related document and the evaluation value may be defined by, for example, the ratio of the text included in the voice data of the service provider to the text to be described in the service-related document. good.

３．サーバ装置の処理
図４は、サーバ装置２１０において実行される処理のフローの一例を示す。図４に示される各ステップは、例えば、サーバ装置２１０のプロセッサ部２１１によって実行される。以下、図４に示される各ステップを説明する。 3. 3. Processing of the server device FIG. 4 shows an example of a flow of processing executed in the server device 210. Each step shown in FIG. 4 is executed, for example, by the processor unit 211 of the server device 210. Hereinafter, each step shown in FIG. 4 will be described.

ステップＳ４０１：サービスに関連する視覚データが受信される。視覚データは、例えば、ユーザ装置２２０１のカメラを介してユーザ装置２２０１から受信され得る。視覚データは、サービス提供者がサービス被提供者に対して発話しているときのサービス提供者の顔を示す画像データＡと、サービス被提供者がサービス提供者に対して発話しているときのサービス提供者の顔を示す画像データＢとを含む。視覚データは、サービスに関連する書類の画像データＣをさらに含んでいてもよい。画像データＡおよび画像データＢは、サービス提供者の顔の１つ以上のパーツに関連する顔パラメータを含み得る。顔パラメータは、例えば、瞳の大きさ、眼の大きさ、目尻の変位、口の幅、口の開き度合い、口角の変位、３次元空間における頭部の変位を含む。 Step S401: Visual data related to the service is received. The visual data may be received from the user device 220 1 via, for example, the camera of the user device 220 1 . The visual data includes image data A showing the face of the service provider when the service provider is speaking to the service provider, and image data A when the service provider is speaking to the service provider. Includes image data B showing the face of the service provider. The visual data may further include image data C of the document related to the service. Image data A and image data B may include face parameters associated with one or more parts of the service provider's face. Face parameters include, for example, pupil size, eye size, eye corner displacement, mouth width, mouth opening degree, mouth angle displacement, and head displacement in three-dimensional space.

ステップＳ４０２：サービスに関連する音声データが受信される。音声データは、例えば、ユーザ装置２２０１のマイクを介してユーザ装置２２０１から受信され得る。音声データは、サービス被提供者に対して発話したサービス提供者の発話データと、サービス提供者に対して発話したサービス被提供者の発話データとを含む。サービス提供者の発話データは、音声パラメータ（例えば、音声の音量、速度、トーン、音声間の間隔）を含み得、サービス被提供者の発話データもまた、音声パラメータ（例えば、音声の音量、速度、トーン、音声間の間隔）を含み得る。 Step S402: Voice data related to the service is received. Audio data may be received from the user device 220 1 via, for example, the microphone of the user device 220 1 . The voice data includes the utterance data of the service provider who has spoken to the service recipient and the utterance data of the service provider who has spoken to the service provider. The service provider's utterance data may include voice parameters (eg, voice volume, speed, tone, spacing between voices), and the service provider's utterance data may also include voice parameters (eg, voice volume, speed). , Tones, intervals between sounds).

ステップＳ４０３：ステップＳ４０１において受信された視覚データ（例えば、画像データＡおよび画像データＢ）と、ステップＳ４０２において受信された音声データ（例えば、サービス提供者の発話データおよびサービス被提供者の発話データ）とに基づいて、サービス提供者のサービスの評価が実施される。これにより、サービス提供者のサービスの評価の結果が生成される。サービス提供者のサービスの評価の結果の生成については、図５を参照してより詳細に後述される。 Step S403: Visual data received in step S401 (for example, image data A and image data B) and audio data received in step S402 (for example, utterance data of a service provider and utterance data of a service recipient). Based on the above, the service provider's service is evaluated. As a result, the result of the evaluation of the service of the service provider is generated. The generation of the evaluation result of the service of the service provider will be described in more detail with reference to FIG.

ステップＳ４０４：ステップＳ４０３において生成されたサービスの評価の結果をサービス被提供者に提示するための処理が実行される。この処理は、例えば、サービスの評価の結果をユーザ装置２２０１（例えば、ユーザ装置２２０１のディスプレイ）に表示させる処理を含む。これにより、サービスの評価の結果が、ユーザ装置２２０１によってサービス被提供者に提示される。 Step S404: A process for presenting the evaluation result of the service generated in step S403 to the service recipient is executed. This process includes, for example, displaying the result of the evaluation of the service on the user device 220 1 (for example, the display of the user device 220 1 ). As a result, the result of the evaluation of the service is presented to the service recipient by the user apparatus 2201.

図５は、図４に示されるステップＳ４０３の処理の一例を示す。以下、図５に示される各ステップを説明する。 FIG. 5 shows an example of the process of step S403 shown in FIG. Hereinafter, each step shown in FIG. 5 will be described.

ステップＳ５０１：サービス被提供者に対して発話したサービス提供者の発話データ（例えば、サービス提供者の発話データに含まれる音声パラメータ）と、サービス提供者がサービス被提供者に対して発話しているときのサービス提供者の顔を示す画像データＡ（例えば、サービス提供者が発話しているときのサービス提供者の顔パラメータ）とに基づいて、サービス提供者が発話している間のサービスの評価値αが算出される。この処理は、データベース部２４０を参照して実行される。 Step S501: The service provider's utterance data (for example, the voice parameter included in the service provider's utterance data) spoken to the service recipient and the service provider speak to the service recipient. Evaluation of the service while the service provider is speaking, based on image data A (eg, the service provider's face parameter when the service provider is speaking) showing the service provider's face at the time. The value α is calculated. This process is executed with reference to the database unit 240.

サービス提供者が発話しているときのサービス提供者の各顔パラメータは、画像データＡに含まれていてもよいし、サーバ装置２１０が画像データＡに基づいて（例えば、画像データＡをスキャンすることにより）特定されてもよい。 Each face parameter of the service provider when the service provider is speaking may be included in the image data A, or the server device 210 scans the image data A based on the image data A (for example, scans the image data A). It may be specified).

サービス提供者が発話している間のサービスの評価値αは、例えば、データベース部２４０に格納されている情報（例えば、顔パラメータと評価値との間の対応関係および音声パラメータと評価値との間の対応関係）を参照して、顔パラメータおよび音声パラメータを評価値に変換することによって、算出され得る。 The evaluation value α of the service while the service provider is speaking is, for example, the information stored in the database unit 240 (for example, the correspondence between the face parameter and the evaluation value, and the voice parameter and the evaluation value. It can be calculated by converting the face parameter and the voice parameter into the evaluation value with reference to (correspondence relationship between).

ステップＳ５０２：サービス提供者に対して発話したサービス被提供者の発話データ（例えば、サービス被提供者の発話データに含まれる音声パラメータ）と、サービス被提供者がサービス提供者に対して発話しているときのサービス提供者の顔を示す画像データＢ（例えば、サービス被提供者が発話しているときのサービス提供者の顔パラメータ）とに基づいて、サービス被提供者が発話している間のサービスの評価値βが算出される。この処理は、データベース部２４０を参照して実行される。 Step S502: The utterance data of the service recipient (for example, the voice parameter included in the utterance data of the service provider) spoken to the service provider, and the service recipient speaks to the service provider. While the service provider is speaking, based on image data B (for example, the service provider's face parameter when the service provider is speaking) showing the service provider's face when the service provider is speaking. The evaluation value β of the service is calculated. This process is executed with reference to the database unit 240.

サービス被提供者が発話しているときのサービス提供者の各顔パラメータは、画像データＢに含まれていてもよいし、サーバ装置２１０が画像データＢに基づいて（例えば、画像データＢをスキャンすることにより）特定されてもよい。 Each face parameter of the service provider when the service recipient is speaking may be included in the image data B, or the server device 210 may scan the image data B based on the image data B (for example, scan the image data B). May be specified).

サービス被提供者が発話している間のサービスの評価値βは、例えば、データベース部２４０に格納されている情報（例えば、顔パラメータと評価値との間の対応関係および音声パラメータと評価値との間の対応関係）を参照して、顔パラメータおよび音声パラメータを評価値に変換することによって、算出され得る。 The evaluation value β of the service while the service recipient is speaking is, for example, the information stored in the database unit 240 (for example, the correspondence between the face parameter and the evaluation value, and the voice parameter and the evaluation value. It can be calculated by converting the face parameter and the voice parameter into the evaluation value with reference to the correspondence between the two.

ステップＳ５０３：ステップＳ５０１において算出された評価値αと、ステップＳ５０２において算出された評価値βとに基づいて、サービス提供者のサービスの評価が実施される。これにより、例えば、サービス提供者のサービスの総合評価値が、サービス提供者のサービスの評価の結果として生成される。サービス提供者のサービスの総合評価値は、評価値αと評価値βとを変数とする関数を用いて算出されてもよい。あるいは、評価値αと評価値βとの両方をサービス提供者のサービスの総合評価値としてもよい。 Step S503: The service of the service provider is evaluated based on the evaluation value α calculated in step S501 and the evaluation value β calculated in step S502. Thereby, for example, a comprehensive evaluation value of the service of the service provider is generated as a result of the evaluation of the service of the service provider. The comprehensive evaluation value of the service of the service provider may be calculated by using a function having the evaluation value α and the evaluation value β as variables. Alternatively, both the evaluation value α and the evaluation value β may be used as the comprehensive evaluation value of the service of the service provider.

なお、サーバ装置２１０（例えば、サーバ装置２１０のプロセッサ部２１１）は、画像データＣの光学的文字認識を実施することが可能なように構成されていてもよい。サービスに関連する書類の画像データＣが視覚データに含まれている場合、サーバ装置２１０は、画像データＣの光学的文字認識を実施することにより、サービスに関連する書類に記載されたテキストを読み取り、データベース部２４０に格納されている情報（例えば、サービスに関連する書類に記載すべきテキスト、サービスに関連する書類と評価値との間の対応関係）を参照して、書類に関連付けられた評価値γを算出するようにしてもよい。このとき、サーバ装置２１０は、ステップＳ５０３において、評価値αと評価値βと評価値γとに基づいて、サービス提供者のサービスの評価を実施するようにしてもよい。この場合、サービス提供者のサービスの総合評価値は、評価値αと評価値βと評価値γとを変数とする関数を用いて算出されてもよい。あるいは、評価値αと評価値βと評価値γとのすべてをサービス提供者のサービスの総合評価値としてもよい。 The server device 210 (for example, the processor unit 211 of the server device 210) may be configured to be capable of performing optical character recognition of the image data C. When the image data C of the document related to the service is included in the visual data, the server device 210 reads the text described in the document related to the service by performing optical character recognition of the image data C. , The evaluation associated with the document by referring to the information stored in the database unit 240 (for example, the text to be described in the document related to the service, the correspondence between the document related to the service and the evaluation value). The value γ may be calculated. At this time, the server device 210 may evaluate the service of the service provider based on the evaluation value α, the evaluation value β, and the evaluation value γ in step S503. In this case, the comprehensive evaluation value of the service of the service provider may be calculated by using a function having the evaluation value α, the evaluation value β, and the evaluation value γ as variables. Alternatively, all of the evaluation value α, the evaluation value β, and the evaluation value γ may be used as the comprehensive evaluation value of the service of the service provider.

また、サーバ装置２１０（例えば、サーバ装置２１０のプロセッサ部２１１）は、評価値αおよび評価値β（および評価値γ）のそれぞれを複数の観点で算出してもよい。例えば、評価値αは、画像データＡから算出された観点Ｘ（例えば、Ｈａｒｄｗｏｒｋ）の評価値と、画像データＡから算出された観点Ｙ（例えば、Ｌｏｖｅ）の評価値と、画像データＡから算出された観点Ｚ（例えば、Ｒｕｓｈ）の評価値とを利用して（例えば、平均をとって、和算して、積算して）、かつ、サービス被提供者の音声パラメータから算出された観点Ｐ（例えば、Ｈｏｓｐｉｔａｌｉｔｙ）の評価値と、サービス被提供者の音声パラメータから算出された観点Ｑ（例えば、Ｅｘｐｌａｎａｔｉｏｎ）の評価値と、サービス被提供者の音声パラメータから算出された観点Ｒ（例えば、Ｃｌｏｓｉｎｇ）の評価値とを利用して（例えば、平均をとって、和算して、積算して）算出されてもよい。同様に、評価値βは、画像データＢから算出された観点Ｘの評価値と、画像データＢから算出された観点Ｙの評価値と、画像データＢから算出された観点Ｚの評価値とを利用して（例えば、平均をとって、和算して、積算して）、かつ、サービス提供者の音声パラメータから算出された観点Ｐの評価値と、サービス提供者の音声パラメータから算出された観点Ｑの評価値と、サービス提供者の音声パラメータから算出された観点Ｒの評価値とを利用して（例えば、平均をとって、和算して、積算して）算出されてもよい。このような複数の観点を有する評価値αおよび評価値βは、図１Ｂに示されるような多次元表現（例えば、２次元平面座標系と動きとを組み合わせた３次元表現）を用いてサービスの評価の結果としてユーザに提示されることが可能である。 Further, the server device 210 (for example, the processor unit 211 of the server device 210) may calculate each of the evaluation value α and the evaluation value β (and the evaluation value γ) from a plurality of viewpoints. For example, the evaluation value α is calculated from the evaluation value of the viewpoint X (for example, Hardwork) calculated from the image data A, the evaluation value of the viewpoint Y (for example, Love) calculated from the image data A, and the image data A. Viewpoint P calculated from the voice parameters of the service recipient using the evaluation value of the viewpoint Z (for example, Rush) (for example, taking an average, summing, and integrating). (For example, Hospitality) evaluation value, viewpoint Q calculated from the voice parameter of the service recipient (for example, Assessment), and viewpoint R (for example, Closing) calculated from the voice parameter of the service recipient. ) May be used for calculation (for example, taking an average, adding up, and accumulating). Similarly, the evaluation value β includes the evaluation value of the viewpoint X calculated from the image data B, the evaluation value of the viewpoint Y calculated from the image data B, and the evaluation value of the viewpoint Z calculated from the image data B. Used (for example, averaged, summed, and integrated), and calculated from the evaluation value of viewpoint P calculated from the voice parameters of the service provider and the voice parameters of the service provider. It may be calculated by using the evaluation value of the viewpoint Q and the evaluation value of the viewpoint R calculated from the voice parameters of the service provider (for example, taking an average, summing, and integrating). The evaluation value α and the evaluation value β having such a plurality of viewpoints are provided by using a multidimensional representation as shown in FIG. 1B (for example, a three-dimensional representation combining a two-dimensional plane coordinate system and motion). It can be presented to the user as a result of the evaluation.

図６は、時系列に沿った評価値の変化の一例を示す。 FIG. 6 shows an example of changes in the evaluation values over time.

図６に示される実施形態では、時間ｔ１においてサービス提供者がサービス被提供者に対してセリフ「ｘｘｘ」を発したときのサービスの評価値が、８点であり、時間ｔ２においてサービス被提供者がサービス提供者に対してセリフ「ｙｙｙ」を発したときのサービスの評価値が、５点であり、時間ｔ３においてサービス提供者がサービス被提供者に対してセリフ「ｚｚｚ」を発したときのサービスの評価値が、６点であり、時間ｔ４においてサービス被提供者がサービス提供者に対してセリフ「ｗｗｗ」を発したときのサービスの評価値が、３点である。 In the embodiment shown in FIG. 6, the evaluation value of the service when the service provider issues the line "xxx" to the service recipient at the time t 1 is 8 points, and the service recipient at the time t 2 . The evaluation value of the service when the provider issues the line "yyy" to the service provider is 5 points, and the service provider issues the line "zzz" to the service recipient at time t3. The evaluation value of the service at the time of this is 6 points, and the evaluation value of the service when the service recipient issues the line "www" to the service provider at the time t4 is 3 points.

サービス被提供者に対して発話したサービス提供者の発話データ、および、サービス提供者に対して発話したサービス被提供者の発話データは、図６に示されるような発話したタイミングを示す時間データを備えていてもよい。 The utterance data of the service provider who spoke to the service provider and the utterance data of the service provider who spoke to the service provider are time data indicating the timing of the speech as shown in FIG. You may be prepared.

図６に示される実施形態では、発話者が切り替わることに応じてサービスの評価が実施され、時間ｔ１、ｔ２、ｔ３、ｔ４の各々におけるサービスの評価値が算出されている。このように、サーバ装置２１０は、時系列に沿って発話者の切り替わりに応じて複数の評価値を算出するようにしてもよい。 In the embodiment shown in FIG. 6, the service is evaluated according to the change of the speaker, and the evaluation value of the service is calculated at each of the time t 1 , t 2 , t 3 , and t 4 . In this way, the server device 210 may calculate a plurality of evaluation values according to the change of the speaker in chronological order.

なお、図４～図６に示される実施形態では、図４および図５に示される各ステップおよび図６において説明される処理をサーバ装置２１０のプロセッサ部２１１が実行する例を説明したが、本発明はこれに限定されない。例えば、サーバ装置２１０の機能の組み込んだスタンドアロン型のユーザ装置２２０１のプロセッサ部が、図４および図５に示される各ステップおよび図６において説明される処理を実行してもよい。この場合、データベース部２４０に格納されている情報は、例えば、スタンドアロン型のユーザ装置２２０１のメモリ部に格納され得る。 In the embodiment shown in FIGS. 4 to 6, an example in which the processor unit 211 of the server device 210 executes the processes described in each step shown in FIGS. 4 and 5 and FIG. 6 has been described. The invention is not limited to this. For example, the processor unit of the stand-alone user device 220 1 incorporating the functions of the server device 210 may execute each step shown in FIGS. 4 and 5 and the process described in FIG. In this case, the information stored in the database unit 240 may be stored in the memory unit of the stand - alone user apparatus 2201, for example.

なお、図４～図６に示される実施形態では、メモリ部に格納されたプログラムをプロセッサ部が実行することによって、図４および図５に示される各ステップの処理および図６において説明される処理が実現される例を説明したが、本発明はこれに限定されない。図４および図５に示される各ステップおよび図６において説明される処理のうちの少なくとも一部の処理が制御回路などのハードウェア構成によって実現されてもよい。 In the embodiment shown in FIGS. 4 to 6, the processor unit executes the program stored in the memory unit, so that the processing of each step shown in FIGS. 4 and 5 and the processing described in FIG. 6 are performed. Although the example in which the above is realized has been described, the present invention is not limited to this. At least a part of the processes shown in FIGS. 4 and 5 and the processes described in FIG. 6 may be realized by a hardware configuration such as a control circuit.

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。 As described above, the present invention has been exemplified by using the preferred embodiment of the present invention, but the present invention should not be construed as being limited to this embodiment. It is understood that the invention should be construed only by the claims. It will be understood by those skilled in the art that from the description of the specific preferred embodiments of the present invention, the equivalent scope can be carried out based on the description of the present invention and common general technical knowledge.

本発明は、サービス提供者が提供するサービスを評価するための装置、その装置において実行される方法、プログラム等を提供するものとして有用である。 The present invention is useful as a device for evaluating a service provided by a service provider, a method executed in the device, a program, and the like.

２００ システム
２１０ サーバ装置
２２０１～２２０Ｎ ユーザ装置
２３０ インターネット
２４０ データベース部 200 System 210 Server device 220 1-220 N User device 230 Internet 240 Database section

Claims (14)

サービス提供者が提供するサービスを評価するための装置であって、前記装置は、
前記サービスに関連する音声データを受信する手段であって、前記音声データは、サービス被提供者に対して発話した前記サービス提供者の発話データと、前記サービス提供者に対して発話した前記サービス被提供者の発話データとを含む、手段と、
前記サービスに関連する視覚データを受信する手段であって、前記視覚データは、前記サービス提供者が前記サービス被提供者に対して発話しているときの前記サービス提供者の顔を示す第１の画像データと、前記サービス被提供者が前記サービス提供者に対して発話しているときの前記サービス提供者の顔を示す第２の画像データとを含む、手段と、
前記サービス提供者の発話データと前記サービス被提供者の発話データと前記第１の画像データと前記第２の画像データとに基づいて前記サービスの評価を実施する手段と
を備える、装置。 A device for evaluating a service provided by a service provider, and the device is
It is a means for receiving voice data related to the service, and the voice data includes the utterance data of the service provider spoken to the service provider and the service recipient spoken to the service provider. Means and means, including the provider's speech data,
A first means of receiving visual data related to the service, wherein the visual data indicates the face of the service provider when the service provider is speaking to the service recipient. A means and means including image data and a second image data showing the face of the service provider when the service recipient is speaking to the service provider .
An apparatus including means for evaluating the service based on the utterance data of the service provider, the utterance data of the service recipient, the first image data, and the second image data . 前記装置は、
前記サービス提供者の発話データと前記第１の画像データとに基づいて、前記サービス提供者が発話している間の前記サービスの第１の評価値を算出する手段と、
前記サービス被提供者の発話データと前記第２の画像データとに基づいて、前記サービス被提供者が発話している間の前記サービスの第２の評価値を算出する手段と
をさらに備え、
前記視覚データと前記音声データとに基づいて前記サービスの評価を実施する手段は、前記第１の評価値と前記第２の評価値とに基づいて前記サービスの評価を実施する手段を含む、請求項１に記載の装置。 The device is
A means for calculating a first evaluation value of the service while the service provider is speaking, based on the utterance data of the service provider and the first image data.
Further provided is a means for calculating a second evaluation value of the service while the service recipient is speaking based on the utterance data of the service recipient and the second image data.
A means for carrying out an evaluation of the service based on the visual data and the audio data includes a means for carrying out an evaluation of the service based on the first evaluation value and the second evaluation value. Item 1. The apparatus according to Item 1. 前記第１の画像データおよび前記第２の画像データは、前記サービス提供者の顔の１つ以上のパーツに関連する顔パラメータを含み、
前記第１の評価値を算出する手段は、前記サービス提供者の発話データと前記第１の画像データに含まれる顔パラメータとに基づいて前記第１の評価値を算出する手段を含み、
前記第２の評価値を算出する手段は、前記サービス被提供者の発話データと前記第２の画像データに含まれる顔パラメータとに基づいて前記第２の評価値を算出する手段を含む、請求項２の記載の装置。 The first image data and the second image data include face parameters associated with one or more parts of the service provider's face.
The means for calculating the first evaluation value includes means for calculating the first evaluation value based on the utterance data of the service provider and the face parameters included in the first image data.
The means for calculating the second evaluation value includes a means for calculating the second evaluation value based on the utterance data of the service recipient and the face parameter included in the second image data. Item 2. The device according to item 2. 前記サービス提供者の発話データおよび前記サービス被提供者の発話データは、発話の音量、速度、トーン、および間隔のうちの少なくとも１つの音声パラメータを含み、
前記第１の評価値を算出する手段は、前記サービス提供者の発話データの少なくとも１つの音声パラメータと前記第１の画像データとに基づいて前記第１の評価値を算出する手段を含み、
前記第２の評価値を算出する手段は、前記サービス被提供者の発話データの少なくとも１つの音声パラメータと前記第２の画像データとに基づいて前記第２の評価値を算出する手段を含む、請求項２または請求項３に記載の装置。 The service provider's utterance data and the service recipient's utterance data include at least one voice parameter of speech volume, speed, tone, and interval.
The means for calculating the first evaluation value includes means for calculating the first evaluation value based on at least one voice parameter of the utterance data of the service provider and the first image data.
The means for calculating the second evaluation value includes means for calculating the second evaluation value based on at least one voice parameter of the utterance data of the service recipient and the second image data. The device according to claim 2 or 3 . 前記視覚データは、前記サービスに関連する書類の第３の画像データを含む、請求項１～４のいずれかに記載の装置。 The device according to any one of claims 1 to 4 , wherein the visual data includes a third image data of a document related to the service. 前記第３の画像データの光学的文字認識を実施するための手段をさらに備える、請求項５に記載の装置。 The apparatus according to claim 5 , further comprising means for performing optical character recognition of the third image data. 前記光学的文字認識された第３の画像データに基づいて、前記書類に関連付けられた第３の評価値を算出する手段をさらに備え、
前記サービスの評価の実施は、前記第３の評価値にさらに基づく、請求項６に記載の装置。 Further provided is a means for calculating a third evaluation value associated with the document based on the optical character-recognized third image data.
The device according to claim 6 , wherein the evaluation of the service is carried out based on the third evaluation value. 言語非依存の態様で前記サービスの評価の結果をサービス被提供者に提示する手段をさらに備える、請求項１～７のいずれかに記載の装置。 The device according to any one of claims 1 to 7 , further comprising means for presenting the evaluation result of the service to the service recipient in a language-independent manner. 前記視覚データを受信する手段は、カメラを介して前記視覚データを受信する手段を含む、請求項１～８のいずれかに記載の装置。 The device according to any one of claims 1 to 8 , wherein the means for receiving the visual data includes means for receiving the visual data via a camera. 前記音声データを受信する手段は、マイクを介して前記音声データを受信する手段を含む、請求項１～９のいずれかに記載の装置。 The device according to any one of claims 1 to 9 , wherein the means for receiving the voice data includes means for receiving the voice data via a microphone. 前記装置は、サービス被提供者が装着するウェアラブルデバイスを含む、請求項１～１０のいずれかに記載の装置。 The device according to any one of claims 1 to 10 , wherein the device includes a wearable device worn by a service recipient. 前記ウェアラブルデバイスは、前記サービス被提供者の眼に装着可能な眼鏡型ウェアラブルデバイスを含む、請求項１１に記載の装置。 The device according to claim 11 , wherein the wearable device includes a spectacle-type wearable device that can be worn on the eyes of the service recipient. サービス提供者が提供するサービスを評価するための装置において実行される方法であって、
前記装置は、プロセッサ部を備え、
前記方法は、
前記プロセッサ部が、前記サービスに関連する音声データを受信することであって、前記音声データは、サービス被提供者に対して発話した前記サービス提供者の発話データと、前記サービス提供者に対して発話した前記サービス被提供者の発話データとを含む、ことと、
前記プロセッサ部が、前記サービスに関連する視覚データを受信することであって、前記視覚データは、前記サービス提供者が前記サービス被提供者に対して発話しているときの前記サービス提供者の顔を示す第１の画像データと、前記サービス被提供者が前記サービス提供者に対して発話しているときの前記サービス提供者の顔を示す第２の画像データとを含む、ことと、
前記プロセッサ部が、前記サービス提供者の発話データと前記サービス被提供者の発話データと前記第１の画像データと前記第２の画像データとに基づいて前記サービスの評価を実施することと
を含む、方法。 A method performed on a device for evaluating a service provided by a service provider.
The device includes a processor unit and has a processor unit.
The method is
The processor unit receives voice data related to the service, and the voice data is the utterance data of the service provider spoken to the service recipient and the voice data to the service provider. Including the utterance data of the service recipient who spoke, and
The processor unit receives visual data related to the service, and the visual data is the face of the service provider when the service provider speaks to the service recipient. The first image data showing the service provider and the second image data showing the face of the service provider when the service recipient is speaking to the service provider are included .
The processor unit evaluates the service based on the utterance data of the service provider, the utterance data of the service recipient, the first image data, and the second image data. ,Method. サービス提供者が提供するサービスを評価するための装置において実行されるプログラムであって、
前記装置は、プロセッサ部を備え、
前記プログラムは、前記プロセッサ部によって実行されると、
前記サービスに関連する音声データを受信することであって、前記音声データは、サービス被提供者に対して発話した前記サービス提供者の発話データと、前記サービス提供者に対して発話した前記サービス被提供者の発話データとを含む、ことと、
前記サービスに関連する視覚データを受信することであって、前記視覚データは、前記サービス提供者が前記サービス被提供者に対して発話しているときの前記サービス提供者の顔を示す第１の画像データと、前記サービス被提供者が前記サービス提供者に対して発話しているときの前記サービス提供者の顔を示す第２の画像データとを含む、ことと、
前記サービス提供者の発話データと前記サービス被提供者の発話データと前記第１の画像データと前記第２の画像データとに基づいて前記サービスの評価を実施することと
を少なくとも前記プロセッサ部に行わせる、プログラム。 A program executed in a device for evaluating services provided by a service provider.
The device includes a processor unit and has a processor unit.
When the program is executed by the processor unit,
Receiving voice data related to the service, the voice data includes the utterance data of the service provider spoken to the service recipient and the service recipient spoken to the service provider. Including the utterance data of the provider, and
Receiving visual data related to the service , wherein the visual data indicates the face of the service provider when the service provider is speaking to the service recipient. It includes image data and a second image data showing the face of the service provider when the service recipient is speaking to the service provider .
At least the processor unit is to evaluate the service based on the utterance data of the service provider, the utterance data of the service recipient, the first image data, and the second image data. Let, program.
JP2021124681A 2021-07-29 2021-07-29 A device for evaluating services provided by a service provider, a method performed on the device, and a program. Active JP7033353B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2021124681A JP7033353B1 (en) 2021-07-29 2021-07-29 A device for evaluating services provided by a service provider, a method performed on the device, and a program.

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021124681A JP7033353B1 (en) 2021-07-29 2021-07-29 A device for evaluating services provided by a service provider, a method performed on the device, and a program.

Publications (2)

Publication Number Publication Date
JP7033353B1 true JP7033353B1 (en) 2022-03-10
JP2023019732A JP2023019732A (en) 2023-02-09

Family

ID=81213075

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021124681A Active JP7033353B1 (en) 2021-07-29 2021-07-29 A device for evaluating services provided by a service provider, a method performed on the device, and a program.

Country Status (1)

Country Link
JP (1) JP7033353B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015099474A (en) 2013-11-19 2015-05-28 芳子 明石 Insurance liaison system
JP2016218911A (en) 2015-05-25 2016-12-22 パナソニックＩｐマネジメント株式会社 Customer service evaluating device, customer service evaluating system equipped with the same, and customer service evaluating method
JP2018124604A (en) 2017-01-30 2018-08-09 グローリー株式会社 Customer service support system, customer service support device and customer service support method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015099474A (en) 2013-11-19 2015-05-28 芳子 明石 Insurance liaison system
JP2016218911A (en) 2015-05-25 2016-12-22 パナソニックＩｐマネジメント株式会社 Customer service evaluating device, customer service evaluating system equipped with the same, and customer service evaluating method
JP2018124604A (en) 2017-01-30 2018-08-09 グローリー株式会社 Customer service support system, customer service support device and customer service support method

Also Published As

Publication number Publication date
JP2023019732A (en) 2023-02-09

Similar Documents

Publication Publication Date Title
WO2020203999A1 (en) Communication assistance system, communication assistance method, and image control program
JP2022160406A (en) Word flow annotation
JP6400445B2 (en) Conversation analyzer, conversation analysis system, conversation analysis method, and conversation analysis program
US9286726B2 (en) Mobile information gateway for service provider cooperation
JP6594646B2 (en) Robot, robot control method, and robot system
US9665901B2 (en) Mobile information gateway for private customer interaction
US10996741B2 (en) Augmented reality conversation feedback
US11936603B2 (en) Generating modified images for display
US10089684B2 (en) Mobile information gateway for customer identification and assignment
US11164341B2 (en) Identifying objects of interest in augmented reality
WO2022260795A1 (en) Consequences generated from combining subsequent data
JP2021086415A (en) Virtual person interaction system, video generation method, and video generation program
US20240112388A1 (en) Agent providing system, agent providing method, and recording medium
JP2015169814A (en) Method and system for supporting communication
JP7033353B1 (en) A device for evaluating services provided by a service provider, a method performed on the device, and a program.
CN117271749A (en) Creation method and computer for non-player characters in meta-universe scene
WO2024072582A1 (en) Intentional virtual user expressiveness
WO2024004609A1 (en) Information processing device, information processing method, and recording medium
JP7496128B2 (en) Virtual person dialogue system, image generation method, and image generation program
JP2020036123A (en) Wearable terminal and display system
JP2006065684A (en) Avatar communication system
US20240020742A1 (en) Virtual space changing apparatus, virtual space changing method, and storage medium
EP4297018A1 (en) Techniques for presenting textual messages using a user-specific voice model
JP6457700B2 (en) Display control system, display control method, and display control program
CN117275453A (en) Method for presenting text messages using a user-specific speech model

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210813

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210813

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220218

R150 Certificate of patent or registration of utility model

Ref document number: 7033353

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150