JP2019170655A - Information processing apparatus and operation method thereof - Google Patents

Information processing apparatus and operation method thereof Download PDF

Info

Publication number
JP2019170655A
JP2019170655A JP2018061935A JP2018061935A JP2019170655A JP 2019170655 A JP2019170655 A JP 2019170655A JP 2018061935 A JP2018061935 A JP 2018061935A JP 2018061935 A JP2018061935 A JP 2018061935A JP 2019170655 A JP2019170655 A JP 2019170655A
Authority
JP
Japan
Prior art keywords
user
information
determination process
processing apparatus
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018061935A
Other languages
Japanese (ja)
Inventor
稲田 二千武
Nichimu Inada
二千武 稲田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Family Inada Co Ltd
Original Assignee
Family Inada Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Family Inada Co Ltd filed Critical Family Inada Co Ltd
Priority to JP2018061935A priority Critical patent/JP2019170655A/en
Publication of JP2019170655A publication Critical patent/JP2019170655A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Massaging Devices (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

To obtain necessary information from a user while suppressing increase in burden on a user.SOLUTION: An information processing apparatus 40 uses first information relating to a user to execute a primary determination process relating to the physical condition of the user, and determines whether or not a secondary determination process relating to the physical condition of the user is necessary, on the basis of a result of the primary determination process. When it is determined that the secondary determination process is necessary, the apparatus obtains second information relating to the user and different from the first information from the user, and executes the secondary determination process by using the second information.SELECTED DRAWING: Figure 1

Description

本開示は、ユーザの身体状態に関する判定をする情報処理装置及びその動作方法に関する。   The present disclosure relates to an information processing apparatus that performs a determination regarding a user's physical condition and an operation method thereof.

特許文献1は、マッサージ装置が、ユーザに対して問診を行い、ユーザの回答に基づいて体調を判断することを開示している。   Patent document 1 is disclosing that a massage apparatus interrogates a user and judges a physical condition based on a user's answer.

特開2000−70318号公報JP 2000-70318 A

ユーザの体調などの身体状態をより適切に判定するには、ユーザに関する多くの情報が必要となる。しかし、多くの情報をユーザから得ようとすると、ユーザの負担が増大し、利便性を損なう。   In order to more appropriately determine the physical state such as the physical condition of the user, a lot of information related to the user is required. However, if a large amount of information is to be obtained from the user, the burden on the user increases and the convenience is impaired.

したがって、ユーザの負担の増大を抑えつつ、必要な情報をユーザから取得することが望まれる。   Therefore, it is desired to acquire necessary information from the user while suppressing an increase in the burden on the user.

本開示の情報処理装置は、ユーザに関する第1情報を用いて、前記ユーザの身体状態に関する一次判定処理を実行し、前記一次判定処理の結果に基づいて、前記ユーザの身体状態に関する二次判定処理の要否を判定し、前記二次判定が必要であると判定された場合、前記ユーザに関する情報であって前記第1情報とは異なる情報である第2情報を前記ユーザから取得し、前記第2情報を用いて、前記二次判定処理を実行するよう構成されている。   The information processing apparatus according to the present disclosure performs primary determination processing related to the user's physical condition using first information related to the user, and secondary determination processing related to the user's physical condition based on the result of the primary determination processing. If the second determination is determined to be necessary, second information that is information about the user and is different from the first information is acquired from the user, The secondary determination process is executed using two pieces of information.

本開示の情報処理装置の動作方法は、ユーザに関する第1情報を用いて、前記ユーザの身体状態に関する一次判定処理を実行し、前記一次判定処理の結果に基づいて、前記ユーザの身体状態に関する二次判定処理の要否を判定し、前記二次判定が必要であると判定された場合、前記ユーザに関する情報であって前記第1情報とは異なる情報である第2情報を前記ユーザから取得し、前記第2情報を用いて、前記二次判定処理を実行することを含む。   The operation method of the information processing apparatus according to the present disclosure performs primary determination processing related to the user's physical condition using the first information related to the user, and based on a result of the primary determination processing, When it is determined whether or not the secondary determination is necessary, second information that is information about the user and is different from the first information is acquired from the user. And executing the secondary determination process using the second information.

更なる詳細は、後述の実施形態として説明される。   Further details will be described as embodiments described below.

図1は、判定処理のフローチャートである。FIG. 1 is a flowchart of the determination process. 図2は、サーバにおける処理のフローチャートである。FIG. 2 is a flowchart of processing in the server. 図3は、マッサージ装置を含むネットワークシステムの構成図である。FIG. 3 is a configuration diagram of a network system including a massage apparatus. 図4は、第2カメラ画像の撮影ガイダンス画面を示す図である。FIG. 4 is a diagram showing a shooting guidance screen for the second camera image. 図5は、二次判定要否テーブルを示す図である。FIG. 5 is a diagram showing a secondary determination necessity table. 図6は、コミュニケーション要否テーブルを示す図である。FIG. 6 is a diagram showing a communication necessity table. 図7は、医師データベース、エステティシャンデータベース、アドバイザデータベースを示す図である。FIG. 7 is a diagram showing a doctor database, an esthetician database, and an advisor database. 図8は、通信セッション確立を示す図である。FIG. 8 is a diagram illustrating communication session establishment. 図9は、判定結果とマッサージコース対応テーブルを示す図である。FIG. 9 is a diagram illustrating a determination result and a massage course correspondence table. 図10は、マッサージコース生成の説明図である。FIG. 10 is an explanatory diagram of massage course generation.

<1.情報処理装置及びその動作方法の概要>   <1. Outline of Information Processing Device and Operation Method>

(1)実施形態に係る情報処理装置は、ユーザに関する第1情報を用いて、前記ユーザの身体状態に関する一次判定処理を実行するよう構成されている。身体状態は、ユーザの体に関する状態であればよく、例えば、体調・病状などの健康状態であってもよいし、肌の状態などの美容状態であってもよい。   (1) The information processing apparatus according to the embodiment is configured to execute a primary determination process related to the physical condition of the user using first information related to the user. The body state may be a state relating to the user's body, and may be, for example, a health state such as a physical condition or medical condition, or a beauty state such as a skin state.

第1情報は、例えば、ユーザ画像である。ユーザ画像は、ユーザの顔画像であるのが好ましい。第1情報は、ユーザのバイタルデータであってもよい。バイタルデータは、例えば、血圧、体温、脈拍である。バイタルデータは、例えば、ユーザのウェアラブル機器から取得される。第1情報は、情報処理装置が、チャットボット機能などにより、ユーザと対話して取得した対話情報であってもよい。   The first information is, for example, a user image. The user image is preferably a user face image. The first information may be user vital data. The vital data is, for example, blood pressure, body temperature, and pulse. Vital data is acquired from a wearable device of a user, for example. The first information may be interaction information acquired by the information processing apparatus interacting with the user using a chatbot function or the like.

第1情報は、一次判定処理の際にユーザから取得された現在のユーザ情報であってもよいし、過去のユーザ情報であってもよい。過去のユーザ情報は、例えば、ユーザの情報が保存されたデータベースから取得される。   The first information may be current user information acquired from the user during the primary determination process, or may be past user information. The past user information is acquired from, for example, a database in which user information is stored.

なお、一次判定処理は、最初に行われる判定処理である必要はなく、後述の二次判定処理の前に行われれば足りる。   Note that the primary determination process does not have to be the first determination process, and may be performed before the secondary determination process described later.

実施形態に係る情報処理装置は、前記一次判定処理の結果に基づいて、前記ユーザの身体状態に関する二次判定処理の要否を判定する。一次判定処理だけ足りる場合には、二次判定処理をする必要はない。   The information processing apparatus according to the embodiment determines whether or not a secondary determination process related to the user's physical condition is necessary based on the result of the primary determination process. When only the primary determination process is sufficient, it is not necessary to perform the secondary determination process.

実施形態に係る情報処理装置は、前記二次判定処理が必要であると判定された場合、前記ユーザに関する情報であって前記第1情報とは異なる情報である第2情報を前記ユーザから取得する。追加的に第2情報をユーザから取得するのは、二次判定が必要であると判定された場合であり、一次判定処理だけで足りる場合には、第2情報をユーザから取得する必要がない。第2情報をユーザから取得しないことで、ユーザの負担の増大を抑えることができる。   When it is determined that the secondary determination process is necessary, the information processing apparatus according to the embodiment acquires, from the user, second information that is information related to the user and is different from the first information. . The second information is additionally acquired from the user when it is determined that the secondary determination is necessary, and when only the primary determination process is sufficient, it is not necessary to acquire the second information from the user. . By not acquiring the second information from the user, an increase in the burden on the user can be suppressed.

第2情報は、例えば、第1情報としてのユーザ画像とは異なるユーザ画像である。第2情報としてのユーザ画像は、例えば、第1情報としてのユーザ画像の拡大画像、又は、第1情報としてのユーザ画像には映っていない部位の画像であるのが好ましい。この場合、第2情報としてのユーザ画像により、ユーザに関して、第1情報としてのユーザ画像よりも詳細な情報又は追加的な情報が得られる。   The second information is, for example, a user image different from the user image as the first information. The user image as the second information is preferably, for example, an enlarged image of the user image as the first information, or an image of a part not shown in the user image as the first information. In this case, the user image as the second information provides more detailed information or additional information about the user than the user image as the first information.

第2情報は、第1情報としてのバイタルデータとは異なるバイタルデータ又はその他の生体データであってもよい。第2情報としてのバイタルデータ又は生体データは、例えば、専用の検査機器から取得される検査データである。   The second information may be vital data different from the vital data as the first information or other biological data. The vital data or biological data as the second information is, for example, inspection data acquired from a dedicated inspection device.

例えば、第1情報としてのバイタルデータは、データ取得容易性の観点から、ユーザのウェアラブル機器から取得可能なものであるのが好ましい。これに対して、第2情報としてのバイタルデータ又は生体データは、データの正確性・詳細性の観点から、専用の検査機器から取得される検査データを含むのが好ましい。専用の検査機器は、例えば、血液検査機器、視力検査機器、尿検査機器、脳波測定機器、血圧測定機器、体温測定機器などである。検査機器は、専用のハードウェアであってもよいし、検査アプリケーションが搭載されたスマートフォン、タブレット、又はその他のコンピュータであってもよい。   For example, it is preferable that vital data as the first information can be acquired from the wearable device of the user from the viewpoint of data acquisition ease. On the other hand, the vital data or biological data as the second information preferably includes inspection data acquired from a dedicated inspection device from the viewpoint of accuracy and detail of the data. Dedicated testing devices are, for example, blood testing devices, vision testing devices, urine testing devices, electroencephalogram measuring devices, blood pressure measuring devices, body temperature measuring devices, and the like. The inspection device may be dedicated hardware, or may be a smartphone, tablet, or other computer equipped with an inspection application.

第2情報は、第1情報としての対話情報とは異なる対話情報であってもよい。第1情報を得るための対話は簡易なものとして、ユーザの負担を抑えておき、第2情報を得るための対話は、より詳細にすることができる。   The second information may be dialogue information different from the dialogue information as the first information. The dialogue for obtaining the first information is simple, the user's burden is suppressed, and the dialogue for obtaining the second information can be made more detailed.

実施形態に係る情報処理装置は、前記第2情報を用いて、前記二次判定処理を実行するよう構成されている。二次判定処理が必要であると判定された場合には、追加的な第2情報が得られているため、より適切な判定を行うことができる。なお、二次判定処理では、第2情報に加えて第1情報をも用いて判定がされてもよい。   The information processing apparatus according to the embodiment is configured to execute the secondary determination process using the second information. When it is determined that the secondary determination process is necessary, additional second information is obtained, and thus more appropriate determination can be performed. In the secondary determination process, the determination may be made using the first information in addition to the second information.

(2)前記第1情報は、第1ユーザインタフェースを介して、前記ユーザから取得される情報を含むのが好ましい。前記第2情報は、前記第1ユーザインタフェースとは別の第2ユーザインタフェースを介して、前記ユーザから取得される情報を含むのが好ましい。   (2) It is preferable that the first information includes information acquired from the user via the first user interface. The second information preferably includes information acquired from the user through a second user interface different from the first user interface.

第1ユーザインタフェースは、例えば、画像を撮影するカメラ、画面又は音声出力のインタフェースと音声又はテキスト入力のインタフェースとを含む対話用インタフェース、バイタルデータなどを取得するためのウェアラブル機器、検査機器である。   The first user interface is, for example, a camera that captures an image, an interface for dialogue including a screen or audio output interface and an audio or text input interface, a wearable device for acquiring vital data, and an inspection device.

第2ユーザインタフェースは、例えば、画像を撮影するカメラ、画面又は音声出力のインタフェースと音声又はテキスト入力のインタフェースとを含む対話用インタフェース、バイタルデータなどを取得するためのウェアラブル機器、検査機器である。   The second user interface is, for example, a camera that captures an image, an interface for dialogue including a screen or audio output interface and an audio or text input interface, a wearable device for acquiring vital data, and an inspection device.

ここで「前記第1ユーザインタフェースとは別の第2インタフェース」は、第1ユーザインタフェースと種類の異なるインタフェースであってもよいし、第1ユーザインタフェースと同じ種類である別のインタフェースであってもよい。   Here, the “second interface different from the first user interface” may be an interface of a different type from the first user interface, or may be another interface of the same type as the first user interface. Good.

(3)前記第1ユーザインタフェースは、マッサージ装置に搭載されたカメラであり、
前記第2ユーザインタフェースは、前記ユーザが持つモバイル機器に搭載されたカメラであるのが好ましい。マッサージ装置に搭載されたカメラは、マッサージ装置を利用するユーザの画像を撮影することができる。マッサージ装置に搭載されたカメラから取得された画像は、マッサージ動作の内容を決める身体状態の判定のための情報として有用である。スマートフォン、タブレット、ウェアラブル機器などのモバイル機器に搭載されたカメラは、搭載型のカメラとは異なり、ユーザの様々な位置をより容易に撮影できるため、第1情報としてのユーザ画像よりも詳細又は別のユーザ画像を撮影するのに好適である。
(3) The first user interface is a camera mounted on a massage device,
The second user interface is preferably a camera mounted on a mobile device owned by the user. The camera mounted on the massage apparatus can take an image of a user who uses the massage apparatus. The image acquired from the camera mounted on the massage device is useful as information for determining the physical state that determines the content of the massage operation. Cameras mounted on mobile devices such as smartphones, tablets, and wearable devices, unlike on-board cameras, can more easily capture various positions of the user, so they are more detailed or different than the user image as the first information. It is suitable for taking a user image.

(4)前記第2情報は、前記一次判定処理の結果に基づいて決定された種類の情報であるのが好ましい。第2情報としてありとあらゆる情報を取得するのではなく、一次判定処理の結果に照らして必要な情報に絞って取得することで、ユーザの負担の増大を抑えることができる。情報の種類は、情報自体の種類であってもよいし、情報の中身の種類であってもよい。情報自体の種類とは、例えば、画像、対話情報、バイタルデータというように、情報種別で分類される種類である。情報の中身の種類とは、舌の画像、耳の画像、皮膚の画像というように画像という同じ種類の情報であるが、画像に映っている中身で区別される種別である。   (4) It is preferable that the second information is information of a type determined based on a result of the primary determination process. Rather than acquiring all kinds of information as the second information, it is possible to suppress an increase in the burden on the user by acquiring only the necessary information in light of the result of the primary determination process. The type of information may be the type of information itself or the type of information content. The type of information itself is a type classified by information type, such as an image, dialogue information, and vital data. The content type is information of the same type such as an image such as a tongue image, an ear image, and a skin image, but is a type that is distinguished by the content shown in the image.

(5)前記第1情報は、前記ユーザを撮影した第1画像を含むのが好ましい。第1画像は、例えば、ユーザの顔全体の画像である。顔には、体調が表れやすいため、顔全体の画像は、簡易な一次判定処理に用いられる第1情報として好適である。   (5) It is preferable that the first information includes a first image obtained by photographing the user. The first image is, for example, an image of the entire user's face. Since the physical condition is likely to appear on the face, the image of the entire face is suitable as the first information used for simple primary determination processing.

前記第2情報は、前記第1画像における前記ユーザの一部の部位又は前記第1画像に表れていない前記ユーザの特定の部位を撮影した第2画像を含むのが好ましい。第2画像は、例えば、ユーザの舌の画像、ユーザの耳の画像、ユーザの目の画像、その他ユーザの顔の一部の拡大画像、ユーザの顔以外の部位(腕、足)などの画像である。顔の詳細画像又は顔以外の部位の画像により、追加的な情報が得られ、二次判定処理のための好適な情報となる。   The second information preferably includes a second image obtained by photographing a part of the user in the first image or a specific part of the user that does not appear in the first image. The second image is, for example, an image of the user's tongue, an image of the user's ear, an image of the user's eyes, an enlarged image of a part of the user's face, an image of a part other than the user's face (arms, legs), etc. It is. Additional information is obtained from the detailed image of the face or the image of the part other than the face, and becomes suitable information for the secondary determination process.

(6)実施形態に係る情報処理装置は、前記第2画像を前記ユーザから取得するために、前記部位のサンプル画像を前記ユーザに提示する処理をさらに実行するよう構成されているのが好ましい。サンプル画像によるユーザ支援により、ユーザの負担が軽減される。   (6) The information processing apparatus according to the embodiment is preferably configured to further execute a process of presenting the sample image of the part to the user in order to acquire the second image from the user. User support by the sample image reduces the burden on the user.

(7)実施形態に係る情報処理装置は、前記二次判定処理の結果に基づいて、前記ユーザのための処理をさらに実行するよう構成されているのが好ましい。この場合、二次判定結果が、ユーザのために活用される。   (7) The information processing apparatus according to the embodiment is preferably configured to further execute a process for the user based on a result of the secondary determination process. In this case, the secondary determination result is utilized for the user.

(8)前記ユーザのための前記処理は、前記二次判定処理の結果を用いて、前記ユーザが使用するマッサージ装置に行わせる動作を決定する動作決定処理を含むのが好ましい。この場合、マッサージ装置に行わせる動作として、二次判定処理結果に応じた適切なマッサージ動作を決定することができる。なお、情報処理装置は、マッサージ装置に内蔵されていてもよいし、マッサージ装置と通信ネットワークを介して接続されてもよい。マッサージ動作の決定は、判定結果に基づくマッサージコースの選択であってもよいし、判定結果に基づくマッサージ部位(例えば、経絡)の選択であってもよいし、判定結果に基づくマッサージコースの自動生成であってもよい。   (8) It is preferable that the process for the user includes an operation determination process for determining an operation to be performed by the massage device used by the user using a result of the secondary determination process. In this case, as an operation to be performed by the massage device, an appropriate massage operation according to the secondary determination processing result can be determined. Note that the information processing apparatus may be built in the massage apparatus or may be connected to the massage apparatus via a communication network. The determination of the massage operation may be selection of a massage course based on the determination result, selection of a massage part (for example, meridian) based on the determination result, or automatic generation of a massage course based on the determination result It may be.

動作を決定することは、唯一の動作の決定又は実際にマッサージ動作が実行する動作の決定である必要はなく、ユーザに推奨するための複数の動作候補の決定であってもよい。   Determining the motion does not have to be the determination of the only motion or the motion actually performed by the massage motion, but may be the determination of a plurality of motion candidates for recommendation to the user.

(9)前記ユーザのための前記処理は、前記ユーザと人間である対応者との間のコミュニケーションのための情報処理を含むのが好ましい。対応者は、例えば、医師、エステティシャン、その他の身体状態についてのアドバイザである。対応者との間のコミュニケーションのための情報処理が実行されることで、ユーザは、対応者と容易にコミュニケーションをとることができる。 (9) The processing for the user preferably includes information processing for communication between the user and a human counterpart. The responders are, for example, doctors, estheticians, and other advisors on physical conditions. By executing information processing for communication with the counterpart, the user can easily communicate with the counterpart.

前記コミュニケーションのための前記情報処理は、前記コミュニケーションのための通信セッションの確立処理及び前記コミュニケーションの準備処理の少なくともいずれか一つを含むのが好ましい。コミュニケーションのための通信セッションとは、ユーザの通信機器と対応者の通信機器との間で確立される通信セッションである。コミュニケーションの準備処理とは、直ちに対応者とコミュニケーションをとるのではなく、事後的にコミュニケーションをとるために必要な事前準備のための情報処理である。準備処理は、例えば、事後的なコミュニケーションの予約を設定するための予約処理を含んでもよいし、事後的にコミュニケーションのための通信セッションを確立するためのタイマー設定を含んでもよい。   The information processing for the communication preferably includes at least one of a communication session establishment process and the communication preparation process for the communication. A communication session for communication is a communication session established between a user's communication device and a counterpart's communication device. The communication preparation process is not an immediate communication with a responder but an information process for pre-preparation necessary for subsequent communication. The preparation process may include, for example, a reservation process for setting a post-communication reservation, or may include a timer setting for establishing a communication session for post-communication.

(10)前記ユーザのための前記処理は、前記二次判定処理の結果に応じたビデオ画像をユーザ端末に表示させる処理を含むのが好ましい。ビデオ画像は、ユーザの身体状態を改善するための教育的効果を有するものが好ましい。ビデオ画像は、ユーザの身体状態に応じて適切なものが選択される。   (10) It is preferable that the process for the user includes a process of displaying a video image corresponding to a result of the secondary determination process on a user terminal. The video image preferably has an educational effect for improving the physical condition of the user. An appropriate video image is selected according to the physical condition of the user.

(11)前記ユーザのための処理は、前記二次判定処理の結果に応じた生活習慣改善アドバイスをユーザ端末に出力させる処理を含むのが好ましい。生活習慣改善アドバイスは、例えば、ユーザの身体状態に応じた食事の量又は内容のアドバイス、運動のアドバイスである。   (11) It is preferable that the process for the user includes a process for causing the user terminal to output lifestyle improvement advice according to the result of the secondary determination process. The lifestyle improvement advice is, for example, advice on the amount or content of meals or exercise advice according to the physical condition of the user.

(12)前記ユーザのための前記処理は、前記二次判定処理を再度行うスケジュールを設定する処理を含むのが好ましい。経過観察が必要な身体状態である場合には、定期的な判定が望まれる。スケジュールを設定する処理があることで、ユーザへの習慣付けが可能となる。   (12) It is preferable that the process for the user includes a process of setting a schedule for performing the secondary determination process again. If the physical condition requires follow-up, periodic determination is desired. Because there is a process for setting a schedule, it is possible to add a habit to the user.

(13)前記ユーザのための前記処理は、前記二次判定処理の結果に応じた推奨商品をユーザ端末に表示させる処理を含むのが好ましい。この場合、ユーザの身体状態に応じた食品・運動機器などをユーザに提示することができる。   (13) It is preferable that the process for the user includes a process for causing a user terminal to display a recommended product corresponding to the result of the secondary determination process. In this case, food / exercise equipment and the like according to the user's physical condition can be presented to the user.

(14)実施形態に係る情報処理装置の動作方法は、ユーザに関する第1情報を用いて、前記ユーザの身体状態に関する一次判定処理を実行し、前記一次判定処理の結果に基づいて、前記ユーザの身体状態に関する二次判定処理の要否を判定し、前記二次判定が必要であると判定された場合、前記ユーザに関する情報であって前記第1情報とは異なる情報である第2情報を前記ユーザから取得し、前記第2情報を用いて、前記二次判定処理を実行することを含む。   (14) The operation method of the information processing apparatus according to the embodiment uses the first information about the user to execute a primary determination process regarding the user's physical condition, and based on a result of the primary determination process, When it is determined whether the secondary determination process related to the physical condition is necessary and the secondary determination is necessary, the second information that is information about the user and is different from the first information is It acquires from a user and includes performing the said secondary determination process using said 2nd information.

実施形態に係るコンピュータプログラムは、ユーザに関する第1情報を用いて、前記ユーザの身体状態に関する一次判定処理と、前記一次判定処理の結果に基づいて、前記ユーザの身体状態に関する二次判定処理の要否を判定する処理と、前記二次判定処理が必要であると判定された場合、前記ユーザに関する情報であって前記第1情報とは異なる情報である第2情報を前記ユーザから取得する処理と、前記第2情報を用いて、前記二次判定処理と、をコンピュータに実行させるコンピュータプログラムである。   The computer program according to the embodiment uses the first information related to the user to perform primary determination processing related to the user's physical condition and the secondary determination processing related to the user's physical condition based on the result of the primary determination process. A process for determining NO, and a process for acquiring from the user second information that is information related to the user and is different from the first information when it is determined that the secondary determination process is necessary. A computer program that causes the computer to execute the secondary determination process using the second information.

<2.情報処理装置の例>   <2. Example of information processing apparatus>

図1及び図2は、図3に示すサーバ(情報処理装置)40によって実行される処理を示している。サーバ40は、ユーザ20に対するサービス提供用である。ユーザ20に提供されるサービスは、例えば、ユーザ20によるマッサージ装置10の使用のサポートと、ユーザ20の健康状態及び美容状態などの身体状態の管理及びそれに付随したサービスを含む。サーバ40は、ユーザ20に対するサービス提供者によって運営される。サービス提供者は、例えば、マッサージ装置10の販売会社である。   1 and 2 show processing executed by the server (information processing apparatus) 40 shown in FIG. The server 40 is for providing services to the user 20. The services provided to the user 20 include, for example, support for the use of the massage apparatus 10 by the user 20, management of physical conditions such as a health condition and a beauty condition of the user 20, and services associated therewith. The server 40 is operated by a service provider for the user 20. The service provider is a sales company of the massage apparatus 10, for example.

図3に示すように、サーバ40は、ネットワーク30を介してマッサージ装置10と通信可能である。ネットワーク30は、例えば、インターネットである。マッサージ装置10は、多数の家庭に設置されている。サーバ40は、複数のマッサージ装置10と通信可能である。   As shown in FIG. 3, the server 40 can communicate with the massage device 10 via the network 30. The network 30 is, for example, the Internet. The massage apparatus 10 is installed in many households. The server 40 can communicate with the plurality of massage devices 10.

サーバ40は、プロセッサ50及び記憶装置60を備えたコンピュータである。プロセッサ50は、サービス提供のための様々な情報処理51,52,53,54,55,56,57,58を実行する。これらの情報処理51,52,53,54,55,56,57,58は、プロセッサ50が、記憶装置60に記憶されたコンピュータプログラム70を実行することにより行われる。これらの情報処理51,52,53,54,55,56,57,58については、後述する。記憶装置60は、情報処理に用いられる各種のデータ61,62,63,64,65,66,67,68を記憶している。これらのデータ61,62,63,64,65,66,67,68についても、後述する。   The server 40 is a computer including a processor 50 and a storage device 60. The processor 50 executes various information processing 51, 52, 53, 54, 55, 56, 57, 58 for providing services. These information processing 51, 52, 53, 54, 55, 56, 57, 58 are performed by the processor 50 executing the computer program 70 stored in the storage device 60. The information processing 51, 52, 53, 54, 55, 56, 57, and 58 will be described later. The storage device 60 stores various data 61, 62, 63, 64, 65, 66, 67, 68 used for information processing. These data 61, 62, 63, 64, 65, 66, 67 and 68 will also be described later.

マッサージ装置10は、マッサージ装置本体10aを備える。マッサージ装置本体10aは、ユーザ20にマッサージを施すマッサージ部(図示省略)を備える。マッサージ装置本体10aは、例えば、椅子型である。椅子型マッサージ装置本体10aは、例えば、ユーザが着座する座部、座部の後側に設けられた背もたれ部、座部の前側に設けられたフットレスト、座部の左右両側に設けられたアームレストを備える。座部、背もたれ部、フットレスト、アームレストには、それぞれ、マッサージ部が設けられており、ユーザ20の全身をマッサージする。   The massage device 10 includes a massage device body 10a. The massage apparatus body 10a includes a massage unit (not shown) that massages the user 20. The massage device body 10a is, for example, a chair type. The chair-type massage apparatus body 10a includes, for example, a seat portion on which a user is seated, a backrest portion provided on the rear side of the seat portion, a footrest provided on the front side of the seat portion, and armrests provided on both the left and right sides of the seat portion. Prepare. A massage part is provided in each of the seat part, the backrest part, the footrest, and the armrest, and the whole body of the user 20 is massaged.

マッサージ装置10は、情報処理装置11を備える。情報処理装置11は、例えば、タブレット型である。情報処理装置11は、プロセッサ12及び記憶装置13を備えたコンピュータである。プロセッサ12は、記憶装置13に記憶されたコンピュータプログラムを実行することにより、情報処理装置11において行われるべき処理を行う。情報処理装置11は、サーバ40にて行われる処理を実行してもよい。   The massage device 10 includes an information processing device 11. The information processing apparatus 11 is, for example, a tablet type. The information processing apparatus 11 is a computer including a processor 12 and a storage device 13. The processor 12 performs a process to be performed in the information processing apparatus 11 by executing a computer program stored in the storage device 13. The information processing apparatus 11 may execute processing performed by the server 40.

情報処理装置11は、マッサージ装置10に着座したユーザ20が操作できるように、例えば、アームレスト近傍において、マッサージ装置10に搭載されている。情報処理装置11は、無線又は有線で、マッサージ装置本体10aの本体制御部(図示省略)と接続されている。   The information processing device 11 is mounted on the massage device 10 in the vicinity of the armrest, for example, so that the user 20 seated on the massage device 10 can operate. The information processing apparatus 11 is connected to a main body control unit (not shown) of the massage apparatus main body 10a in a wireless or wired manner.

情報処理装置11は、マッサージ装置本体10aの操作器として機能するとともに、ネットワーク30等を介した通信をする通信端末としても機能する。ユーザ20は、操作器としての情報処理装置11を操作することで、マッサージコースの選択・実行、マッサージ部の動作の調整、背もたれ部及びフットレストの位置調整などをすることができる。   The information processing apparatus 11 functions as an operating device of the massage apparatus body 10a and also functions as a communication terminal that performs communication via the network 30 or the like. The user 20 can select and execute a massage course, adjust the operation of the massage unit, adjust the positions of the backrest and the footrest, and the like by operating the information processing apparatus 11 as an operation device.

情報処理装置11は、表示装置15を備える。実施形態の表示装置15は、タッチパネルであり、ユーザ20は、タッチパネル15によって入力操作をすることができる。情報処理装置11は、タッチパネル15が、椅子型マッサージ装置本体10aに着座したユーザ20が操作可能であるように、椅子型マッサージ装置本体10aに配置されている。   The information processing apparatus 11 includes a display device 15. The display device 15 of the embodiment is a touch panel, and the user 20 can perform an input operation using the touch panel 15. The information processing apparatus 11 is disposed on the chair-type massage apparatus body 10a so that the user 20 who is seated on the chair-type massage apparatus body 10a can operate the touch panel 15.

情報処理装置11は、カメラ(第1カメラ)14を備える。カメラ14は、椅子型マッサージ装置本体10aに着座したユーザ20の顔付近を撮影できるように配置されている。情報処理装置11は、マイク16及びスピーカ17を備えている。マイク16により、情報処理装置11へ音声入力ができる。スピーカ17により、情報処理装置11から音声を出力することができる。   The information processing apparatus 11 includes a camera (first camera) 14. The camera 14 is arranged so that the vicinity of the face of the user 20 seated on the chair type massage apparatus main body 10a can be photographed. The information processing apparatus 11 includes a microphone 16 and a speaker 17. The microphone 16 can input voice to the information processing apparatus 11. The speaker 17 can output sound from the information processing apparatus 11.

なお、カメラ14、タッチパネル15、マイク16、スピーカ17は、ユーザインタフェースとして機能する。   The camera 14, the touch panel 15, the microphone 16, and the speaker 17 function as a user interface.

情報処理装置11は、通信インタフェース(IF)18を備える。通信IF18は、例えば、近距離無線通信部である。通信IF18は、ユーザ20の通信端末21,22,23と通信する。通信端末21は、例えば、ユーザ20が持つスマートフォン又はタブレットである。通信端末21は、カメラ(第2カメラ)21aを備える。   The information processing apparatus 11 includes a communication interface (IF) 18. The communication IF 18 is, for example, a short-range wireless communication unit. The communication IF 18 communicates with the communication terminals 21, 22 and 23 of the user 20. The communication terminal 21 is, for example, a smartphone or tablet that the user 20 has. The communication terminal 21 includes a camera (second camera) 21a.

通信端末22は、例えば、ユーザ20のウェアラブル機器である。ウェアラブル機器22は、例えば、時計型、アクセサリー型、衣服型、眼鏡型、コンタクトレンズ型、身体への貼り付け型、身体への内蔵型である。ウェアラブル機器22は、血圧、体温、脈拍などのバイタルデータ(ライフログ)をユーザから取得する。なお、バイタルデータを取得する装置は、マッサージ装置10に設けられていてもよい。   The communication terminal 22 is a wearable device of the user 20, for example. The wearable device 22 is, for example, a watch type, an accessory type, a clothing type, a glasses type, a contact lens type, a sticking type to the body, or a built-in type to the body. The wearable device 22 acquires vital data (life log) such as blood pressure, body temperature, and pulse from the user. In addition, the apparatus which acquires vital data may be provided in the massage apparatus 10.

通信端末23は、例えば、身体の検査機器である。検査機器23は、ウェアラブル機器22で得られるデータよりも詳細な生体データを取得する機器である。通信端末21(カメラ(第2カメラ)21aを含む)及び通信端末22,23は、ユーザインタフェースとして機能する。   The communication terminal 23 is, for example, a body inspection device. The inspection device 23 is a device that acquires more detailed biological data than the data obtained by the wearable device 22. The communication terminal 21 (including the camera (second camera) 21a) and the communication terminals 22 and 23 function as a user interface.

情報処理装置11は、通信インタフェース(IF)19を備える。通信IF19は、例えば、無線LAN又は有線LAN通信部である。情報処理装置11は、LANを介して、インターネットなどのネットワーク30に接続する。マッサージ装置10のユーザ20は、情報処理装置11を用いて、サーバ40へアクセスし、サーバ40からのサービス提供を受けることができる。   The information processing apparatus 11 includes a communication interface (IF) 19. The communication IF 19 is, for example, a wireless LAN or a wired LAN communication unit. The information processing apparatus 11 is connected to a network 30 such as the Internet via a LAN. The user 20 of the massage apparatus 10 can use the information processing apparatus 11 to access the server 40 and receive service provision from the server 40.

ユーザ20は、例えば、マッサージ装置10を利用する際に、マッサージ実行に先立って、サーバ40へアクセスする。図1及び図2は、ユーザ20がサーバ40にアクセスして、マッサージ実行がされるまでの間に、サーバ40において行われる処理を示している。なお、図1及び図2に示す処理は、マッサージ実行とは無関係に行われてもよい。   For example, when using the massage apparatus 10, the user 20 accesses the server 40 prior to performing the massage. 1 and 2 show processing performed in the server 40 until the user 20 accesses the server 40 and performs massage. Note that the processing shown in FIGS. 1 and 2 may be performed regardless of massage execution.

図1及び図2に示すステップS11において、ユーザ20がサーバ40へログインする処理が実行される。ステップS11において、ユーザ20の認証は、例えば、顔認証により行われる。顔認証は、情報処理装置11に搭載されたカメラ14によって撮影されたユーザ顔画像に基づいて行われる。   In step S <b> 11 shown in FIGS. 1 and 2, a process in which the user 20 logs in to the server 40 is executed. In step S11, authentication of the user 20 is performed by face authentication, for example. Face authentication is performed based on a user face image photographed by the camera 14 mounted on the information processing apparatus 11.

ユーザ20がサーバ40にログインすると、図1及び図2に示すステップS12において、ユーザの身体状態に関する判定処理51(図3参照)が実行される。実施形態の判定処理51は、一次判定処理(ステップS32)と二次判定処理(ステップS36)とを含む。実施形態の判定処理51は、例えば、人工知能を用いて行われる。   When the user 20 logs in to the server 40, in step S12 shown in FIGS. 1 and 2, a determination process 51 (see FIG. 3) relating to the user's physical condition is executed. The determination process 51 of the embodiment includes a primary determination process (step S32) and a secondary determination process (step S36). The determination process 51 of the embodiment is performed using, for example, artificial intelligence.

図1に示すステップS31において、一次判定処理に用いられる第1情報の取得処理が実行される。図4に示すように、実施形態において、第1情報は、カメラ14によって撮影された顔画像81(第1画像;第1情報)を含む。顔画像81は、判定処理のために撮影されたものでもよいが、ユーザ認証に用いられた画像を流用するのが好ましい。ユーザ認証に用いられた顔画像を判定処理S12にも用いることで、撮影回数を少なくでき、ユーザ負担が軽減される。   In step S31 shown in FIG. 1, the acquisition process of the 1st information used for a primary determination process is performed. As shown in FIG. 4, in the embodiment, the first information includes a face image 81 (first image; first information) taken by the camera 14. The face image 81 may be taken for determination processing, but it is preferable to use the image used for user authentication. By using the face image used for user authentication also in the determination process S12, the number of times of photographing can be reduced, and the burden on the user is reduced.

実施形態において、第1情報は、チャットボット51aとユーザとの対話情報を含む。チャットボット51aは、ユーザとの対話において、ユーザの身体状態に関する問診を行い、対話内容から、ユーザの身体状態を示す情報を取得する。身体状態を示す情報は、例えば、対話中の身体状態に関するキーワードである。キーワードは、例えば、「凝っている」「微熱」「食欲」「便秘」「肌あれ」など対話内容から形態素解析により抽出された単語である。身体状態を示す情報は、対話内容を意味解析して得られた情報であってもよい。なお、チャットボット51aは、サーバ40の機能であってもよいし(図3参照)、情報処理装置11の機能であってもよい。   In the embodiment, the first information includes interaction information between the chat bot 51a and the user. The chat bot 51a interrogates the user's physical condition in the dialog with the user, and acquires information indicating the user's physical condition from the contents of the dialog. The information indicating the physical state is, for example, a keyword related to the physical state during the conversation. The keyword is, for example, a word extracted by morphological analysis from dialogue contents such as “fancy”, “slight fever”, “appetite”, “constipation”, and “skin”. The information indicating the physical state may be information obtained by semantic analysis of the conversation content. The chat bot 51a may be a function of the server 40 (see FIG. 3) or a function of the information processing apparatus 11.

実施形態において、第1情報は、ウェアラブル機器22から取得されたバイタルデータ(ライフログ)を含む。バイタルデータは、スマートフォン21又はマッサージ装置10から取得されてもよい。   In the embodiment, the first information includes vital data (life log) acquired from the wearable device 22. The vital data may be acquired from the smartphone 21 or the massage device 10.

実施形態において、第1情報は、個人情報データベース66(図3参照)に保存された個人情報を含む。個人情報データベース66は、ユーザ20の性別・年齢のほか、ユーザ20から過去に取得された情報(第1情報及び後述の第2情報)、ユーザ20についての過去の判定処理51の結果、ユーザ20のマッサージ履歴(マッサージ装置10によるマッサージ動作の内容と日時)、ユーザ20の食事履歴、ユーザ20の運動履歴、ユーザ20の病歴などを含む。   In the embodiment, the first information includes personal information stored in the personal information database 66 (see FIG. 3). In addition to the gender and age of the user 20, the personal information database 66 includes information acquired in the past from the user 20 (first information and second information described later), the result of the past determination processing 51 for the user 20, and the user 20 Massage history (contents and date and time of massage operation by massage device 10), meal history of user 20, exercise history of user 20, medical history of user 20, and the like.

カメラ14、チャットボット51a、及びウェアラブル機器22から取得された第1情報が、現在のユーザ20に関するデータ(新規データ)であるのに対して、個人情報データベース66は、過去のユーザ20に関する保存済みデータ(過去データ)である。過去及び現在のデータを判定に用いることで、過去と現在の差を判定に利用することができる。   The first information acquired from the camera 14, the chat bot 51 a, and the wearable device 22 is data (new data) regarding the current user 20, whereas the personal information database 66 has been stored regarding the past user 20. Data (past data). By using the past and present data for the determination, the difference between the past and the present can be used for the determination.

ステップS32の一次判定処理では、ユーザ20に関する第1情報を用いて、ユーザ20の身体状態が判定される。身体状態の判定には、例えば、判定用ビッグデータ67(図3参照)を機械学習した人工知能が用いられる。機械学習は、例えば、深層学習である。判定用ビッグデータ67は、例えば、身体状態の判定に用いられた情報と判定結果との組み合わせからなるデータを多数有して構成される。   In the primary determination process in step S <b> 32, the physical state of the user 20 is determined using the first information regarding the user 20. For the determination of the physical state, for example, artificial intelligence obtained by machine learning of the determination big data 67 (see FIG. 3) is used. Machine learning is, for example, deep learning. The determination big data 67 includes, for example, a lot of data including combinations of information used for determination of the body state and the determination result.

ステップS31において取得された第1情報を、学習済みの人工知能に与えると、人工知能は、ユーザ20の身体状態を出力する。なお、身体状態の判定は、機械学習済み人工知能で行われる必要はなく、第1情報から身体状態を導くためのルールに基づく処理によって行われてもよい。また、身体状態の判定は、機械学習済み人工知能とルールに基づく処理とを組み合わせてもよい。   When the first information acquired in step S31 is given to the learned artificial intelligence, the artificial intelligence outputs the body state of the user 20. The determination of the body state does not need to be performed by machine-learned artificial intelligence, and may be performed by a process based on a rule for deriving the body state from the first information. The determination of the body state may be a combination of machine-learned artificial intelligence and rule-based processing.

ルールに基づいて身体状態を判定するには、例えば、顔画像に基づいて、顔色を識別し、顔色に基づいて所定の身体状態を出力してもよい。また、顔画像に対する画像認識処理により、顔における湿疹の発生などを検出し、湿疹の状況によって所定の身体状態を出力してもよい。また、過去データと新規データとの間に差がある場合には、その差に基づいて所定の身体状態を出力してもよい。また、対話情報に含まれるキーワードに基づいて、所定の身体状態を出力してもよい。   In order to determine the body state based on the rule, for example, the face color may be identified based on the face image, and a predetermined body state may be output based on the face color. Further, the occurrence of eczema in the face may be detected by image recognition processing on the face image, and a predetermined body state may be output depending on the state of eczema. Further, when there is a difference between past data and new data, a predetermined physical state may be output based on the difference. Further, a predetermined physical state may be output based on a keyword included in the dialogue information.

新規データである第1情報及び一次判定処理の結果(身体状態)は、個人情報データベース66に保存され、将来の判定処理51に用いられる。   The first information, which is new data, and the result of the primary determination process (physical state) are stored in the personal information database 66 and used for the future determination process 51.

ステップS32の一次判定処理の後、ステップS33において、追加判定処理である二次判定処理の要否が判定される。実施形態において、二次判定処理は、一次判定処理よりも詳細な判定又は異なる判定を行う。ステップS33では、ユーザ20の身体状態が、そのような追加判定が必要な状態であるか否かが判定される。   After the primary determination process in step S32, it is determined in step S33 whether the secondary determination process, which is an additional determination process, is necessary. In the embodiment, the secondary determination process performs a detailed determination or a different determination than the primary determination process. In step S33, it is determined whether or not the physical condition of the user 20 is a state that requires such additional determination.

二次判定処理の要否は、例えば、図5に示す二次判定要否テーブル61を参照することで判定される。二次判定要否テーブル61は、身体状態と二次判定の要否とが対応付けられている。例えば、「良好」という身体状態には、二次判定要否として「不要」が対応付けられている。また、「顔色が白色」「顔色が黄色」「顔色が赤色」「顔色が青色」「顔色が黒色」などの顔色不良に関する身体状態、「吹き出物、ニキビ」「シミ」「乾燥」などの肌荒れに関する身体状態、「目の下のクマ」「目の充血」などの睡眠不足に関する身体状態には、二次判定要否として「必要」が対応付けられている。   Whether or not the secondary determination process is necessary is determined by referring to the secondary determination necessity table 61 shown in FIG. 5, for example. In the secondary determination necessity table 61, the physical state and the necessity of the secondary determination are associated with each other. For example, the physical condition “good” is associated with “unnecessary” as the necessity of secondary determination. It also relates to body conditions related to complexions such as “white on face”, “yellow on face”, “red on face”, “blue on face” and “black on face”, and rough skin such as “pimples, acne”, “stains” and “dryness”. “Necessary” is associated as the necessity of secondary determination with the physical state relating to lack of sleep such as “bear under the eyes” and “hyperemia”.

ステップS33の判定では、一次判定処理の結果である身体状態に基づいて、二次判定要否テーブル61を参照することで、二次判定処理の要否を判定する。なお、二次判定処理の要否の判定は、テーブル61の参照ではなく、一次判定処理の結果に基づき機械学習済みの人工知能で行ってもよい。   In the determination in step S33, whether or not the secondary determination process is necessary is determined by referring to the secondary determination necessity table 61 based on the physical state that is the result of the primary determination process. The determination as to whether or not the secondary determination processing is necessary may be performed by machine-learned artificial intelligence based on the result of the primary determination processing instead of referring to the table 61.

ステップS33において二次判定処理が必要と判断された場合、ステップS34において、二次判定処理に用いられる第2情報の種類が決定される。第2情報の種類も図5に示すテーブル61を参照することで決定される。テーブル61では、二次判定処理が必要である身体状態には、第2情報の種類も対応付けられている。例えば、「顔色が白色」という身体状態には、第2情報として「鼻の拡大画像、問診」などが対応付けられている。「顔色が黄色」という身体状態には、第2情報として「口の拡大画像、問診」などが対応付けられている。「顔色が赤色」という身体状態には、第2情報として「手の拡大画像、舌の拡大画像」などが対応付けられている。「顔色が青色」という身体状態には、第2情報として「目の拡大画像、問診」などが対応付けられている。「顔色が黒色」という身体状態には、第2情報として「耳の拡大画像、問診」などが対応つけられている。また、「吹き出物、ニキビ」という身体状態には、第2情報として「吹き出物、ニキビが出ている位置の拡大画像」が対応付けられている。「シミ」という身体状態には、第2情報として「舌の拡大画像、問診」などが対応付けられている。「乾燥」という身体状態には、第2情報として「食事データ」などが対応付けられている。さらに、「目の下のクマ」という身体状態には、第2情報として「睡眠データ」が対応付けられている。「目の充血」という身体状態には、第2情報として「舌の拡大画像」が対応付けられている。   If it is determined in step S33 that the secondary determination process is necessary, the type of second information used for the secondary determination process is determined in step S34. The type of the second information is also determined by referring to the table 61 shown in FIG. In the table 61, the type of the second information is also associated with the physical state that requires the secondary determination process. For example, the body state “face color is white” is associated with “magnified image of nose, inquiry” or the like as the second information. The body state “the face color is yellow” is associated with the second information “enlarged mouth image, inquiry” and the like. The body state “face color is red” is associated with the second information “an enlarged image of the hand, an enlarged image of the tongue” and the like. The physical state “face color is blue” is associated with “second eye enlarged image, inquiry” or the like as the second information. The physical state “the face color is black” is associated with “enlarged ear image, inquiry” or the like as the second information. In addition, the body state of “pimples and acne” is associated with “enlarged image of a position where pimples and acne is present” as the second information. The body state “stain” is associated with “enlarged image of tongue, inquiry” or the like as the second information. The physical condition “dry” is associated with “meal data” or the like as the second information. Furthermore, “sleep data” is associated with the physical state “bear under the eyes” as the second information. The “tongue red image” is associated with “tongue enlarged image” as the second information.

第2情報の種類を決定することで、取得すべき第2情報を、一次判定処理の結果に応じて必要とされるものだけに絞ることができる。この結果、ユーザ負担を軽減できる。なお、舌の拡大画像は、二次判定処理のための多くの情報が得られるため、すべての身体状態において取得される第2情報として、舌の拡大画像を含んでもよい。   By determining the type of the second information, the second information to be acquired can be narrowed down to only what is required according to the result of the primary determination process. As a result, the user burden can be reduced. The enlarged image of the tongue can include a large image of the tongue as the second information acquired in all body states since a lot of information for the secondary determination process is obtained.

ステップS35において、第2情報の取得処理が実行される。第2情報は、第1情報とは異なる情報である。例えば、第1情報が、顔の全体画像であれば、第2情報としての画像は、顔の一部の拡大画像である。顔の一部とは、例えば、鼻、目(眼底)、口腔、唇、舌、耳、頬、喉である。第2画像82は、ユーザの顔以外の部位の画像であってもよい。顔以外の部位は、例えば、手、足、その他の部位である。   In step S35, the second information acquisition process is executed. The second information is information different from the first information. For example, if the first information is an entire face image, the image as the second information is an enlarged image of a part of the face. The part of the face is, for example, the nose, eyes (fundus), mouth, lips, tongue, ears, cheeks, and throat. The second image 82 may be an image of a part other than the user's face. Parts other than the face are, for example, hands, legs, and other parts.

第2情報としての画像は、スマートフォン21のようにユーザ20が手にもって撮影できるモバイル機器に搭載されたカメラ21aによって撮影されるのが好ましい。マッサージ装置10に着座したユーザ20の顔全体を撮影するように配置されたカメラ14によって、顔の拡大画像又は顔以外の部位の画像を撮影するには、ユーザ20が体を動かす必要があり、ユーザ負担が大きい。これに対して、手にもって撮影できるモバイル機器のカメラ21aを用いると、手を動かすなどの少ない動きで、顔の拡大画像又は顔以外の部位の画像を撮影でき、ユーザ負担が少ない。また、ユーザが、マッサージ装置10に着座したまま、様々な部位を撮影するのも容易である。なお、第2情報としての画像は、マッサージ装置10に搭載されたカメラ14によって撮影された画像を含んでもよい。   The image as the second information is preferably taken by a camera 21 a mounted on a mobile device that can be taken by the user 20 like the smartphone 21. In order to photograph an enlarged image of the face or an image of a part other than the face by the camera 14 arranged to photograph the entire face of the user 20 seated on the massage device 10, the user 20 needs to move the body, User burden is heavy. On the other hand, when the camera 21a of a mobile device that can be photographed with the hand is used, an enlarged image of the face or an image of a part other than the face can be photographed with a small movement such as moving the hand, and the burden on the user is small. In addition, it is easy for the user to take images of various parts while sitting on the massage device 10. The image as the second information may include an image taken by the camera 14 mounted on the massage device 10.

図4に、第2情報としての画像を取得するために、情報処理装置11のタッチパネル15又は通信端末21の画面に表示される画面90を示した。画面90では、ステップS34で決定された種類の画像をユーザ20が撮影するためのガイダンスが表示される。   FIG. 4 shows a screen 90 displayed on the touch panel 15 of the information processing apparatus 11 or the screen of the communication terminal 21 in order to acquire an image as the second information. On the screen 90, guidance for the user 20 to capture the type of image determined in step S34 is displayed.

画面90には、ステップS34で決定された種類の画像に対応するサンプル画像92が表示される。例えば、ステップS34において、決定された第2画像82の種類が、舌の拡大画像を含む場合、サンプル画像92として、舌の拡大画像が表示される。サンプル画像92は舌を撮影した画像でもよいし、イラスト画像でもよい。サンプル画像92を表示することで、判定に適切な画像を得やすくなる。   On the screen 90, a sample image 92 corresponding to the type of image determined in step S34 is displayed. For example, if the determined type of the second image 82 includes an enlarged image of the tongue in step S <b> 34, the enlarged image of the tongue is displayed as the sample image 92. The sample image 92 may be an image obtained by photographing the tongue or an illustration image. By displaying the sample image 92, an image suitable for determination can be easily obtained.

画面90には、ステップS34で決定された種類の画像を撮影することをユーザに促す説明文91が表示される。例えば、ステップS34において、決定された第2画像82の種類が、舌の拡大画像を含む場合、「サンプル画像を参考に舌の画像を撮影してください」との説明文91が表示される。   The screen 90 displays an explanatory note 91 that prompts the user to take an image of the type determined in step S34. For example, in step S34, when the determined type of the second image 82 includes an enlarged image of the tongue, an explanatory note 91 “Please photograph the tongue image with reference to the sample image” is displayed.

画面90には、カメラ21aからの画像が表示される領域93を備えている。ユーザ20は、サンプル画像92を参考にして、自ら舌を出し、撮影ボタン94を選択することで、自らの舌の拡大画像を撮影することができる。   The screen 90 includes an area 93 in which an image from the camera 21a is displayed. The user 20 can take an enlarged image of his / her tongue by taking out his / her tongue with reference to the sample image 92 and selecting the shooting button 94.

第1情報が、対話情報である場合、第2情報としての対話情報は、第1情報としての対話情報を得るための対話ではなされなかった質問を含む対話に基づく対話情報である。第2情報としての対話情報を得るために、より詳細な身体状態(病態など)を特定するための追加的な質問をすることで、より詳細な対話情報を得ることができる。   When the first information is dialogue information, the dialogue information as the second information is dialogue information based on a dialogue including a question that was not made in the dialogue for obtaining the dialogue information as the first information. In order to obtain dialogue information as the second information, more detailed dialogue information can be obtained by asking additional questions for specifying a more detailed physical state (such as a disease state).

第2情報は、第1情報には含まれていなかった検査機器23の検査データを含むことができる。検査データを得るには、検査機器23を操作したり、検査のための時間を要したり、ユーザへの負担が比較的大きい。しかし、第2情報は、一次判定処理の結果、必要と判断された場合にだけ取得されるため、一律に検査データを取得する場合に比べて、ユーザ負担を抑えることができる。なお、第1情報に検査データを含んでもよい。   The second information can include inspection data of the inspection device 23 that was not included in the first information. In order to obtain the inspection data, the inspection device 23 is operated, time for inspection is required, and the burden on the user is relatively large. However, since the second information is acquired only when it is determined to be necessary as a result of the primary determination process, it is possible to reduce the burden on the user as compared to the case of acquiring the inspection data uniformly. The first information may include inspection data.

ステップS36の二次判定処理では、ユーザ20に関する第2情報を用いて、ユーザ20の身体状態が判定される。二次判定処理における身体状態の判定にも、例えば、判定用ビッグデータ67(図3参照)を機械学習した人工知能が用いられる。   In the secondary determination process of step S <b> 36, the physical state of the user 20 is determined using the second information regarding the user 20. For example, artificial intelligence obtained by machine learning of determination big data 67 (see FIG. 3) is also used for determination of the body state in the secondary determination process.

ステップS35にて取得された第2情報を、学習済みの人工知能に与えると、人工知能は、ユーザ20の身体状態を出力する。二次判定処理では、一次判定処理に用いられた第1情報とは異なる第2情報が用いられるため、追加的な判定を行える。二次判定処理において、第1情報も用いてもよい。二次判定処理においても、個人情報データベース66に保存された過去データを用いることができる。   When the second information acquired in step S35 is given to the learned artificial intelligence, the artificial intelligence outputs the body state of the user 20. In the secondary determination process, since second information different from the first information used in the primary determination process is used, an additional determination can be made. In the secondary determination process, the first information may also be used. Also in the secondary determination process, past data stored in the personal information database 66 can be used.

なお、二次判定処理における身体状態の判定も、機械学習済み人工知能で行われる必要はなく、第2情報から身体状態を導くためのルールに基づく処理によって行われてもよい。また、身体状態の判定は、機械学習済み人工知能とルールに基づく処理とを組み合わせてもよい。   Note that the determination of the body state in the secondary determination process does not need to be performed by machine-learned artificial intelligence, and may be performed by a process based on a rule for deriving the body state from the second information. The determination of the body state may be a combination of machine-learned artificial intelligence and rule-based processing.

このように、実施形態の判定処理51では、一次判定処理の結果、二次判定処理が必要と判定された場合に、必要な第2情報が取得される。一方、一次判定処理の結果、二次判定処理が不要と判定された場合には、第2情報は取得されない。したがって、サーバ40は、ユーザ20から多くの情報を取得する機能を有していたとしても、ユーザ20から情報を取得するのは必要な場合に限られる。この結果、ユーザ負担が軽減される。一方、サーバ40は、二次判定処理においては、必要な多くの情報を取得できるため、より適切な判定を行うことができる。   Thus, in the determination process 51 of the embodiment, when it is determined that the secondary determination process is necessary as a result of the primary determination process, the necessary second information is acquired. On the other hand, when it is determined that the secondary determination process is unnecessary as a result of the primary determination process, the second information is not acquired. Therefore, even if the server 40 has a function of acquiring a lot of information from the user 20, it is only necessary to acquire information from the user 20. As a result, the user burden is reduced. On the other hand, since the server 40 can acquire a lot of necessary information in the secondary determination process, the server 40 can perform more appropriate determination.

新規データである第2情報及び二次判定処理の結果(身体状態)は、個人情報データベース66に保存され、将来の判定処理51に用いられる。   The second information, which is new data, and the result (physical state) of the secondary determination process are stored in the personal information database 66 and used for the future determination process 51.

以上の判定処理51(ステップS12)が終了すると、サーバ40は、判定処理の結果に基づいて、ユーザのための様々な処理を実行することができる。実施形態においては、図2に示すステップS13において、対応者との間のコミュニケーションの要否の判定が実行される。ステップS13の判定は、ユーザ対応を、機械(人工知能)であるサーバ40から、人間である対応者に引き継ぐか否かの判定である。   When the above determination process 51 (step S12) ends, the server 40 can execute various processes for the user based on the result of the determination process. In the embodiment, in step S <b> 13 shown in FIG. 2, a determination is made as to whether communication with the counterpart is necessary. The determination in step S13 is a determination as to whether or not to take over user correspondence from the server 40, which is a machine (artificial intelligence), to a human counterpart.

コミュニケーションの要否の判定は、二次判定の結果(身体状態)に基づいて行われる。コミュニケーションの要否は、例えば、図6に示すコミュニケーション要否テーブル62を参照することで判定される。コミュニケーション要否テーブル62は、身体状態とコミュニケーションの要否とが対応付けられている。例えば、「問題なし」及び「睡眠不足」という身体状態には、コミュニケーション要否として「不要」が対応付けられている。また、「判断不能」「健康上の問題が大きい状態」「美容上の改善が可能な状態」という身体状態には、コミュニケーション要否として「必要」が対応付けられている。   The determination of the necessity of communication is performed based on the result (physical state) of the secondary determination. The necessity of communication is determined, for example, by referring to the communication necessity table 62 shown in FIG. In the communication necessity table 62, the physical condition is associated with the necessity of communication. For example, “unnecessary” is associated with the physical states “no problem” and “insufficient sleep” as the necessity of communication. In addition, “necessary” is associated with the physical condition “undecidable”, “state of great health problems”, and “state where cosmetic improvement is possible” as the necessity of communication.

ステップS13の判定では、二次判定処理の結果である身体状態に基づいて、コミュニケーション要否テーブル62を参照することで、コミュニケーション要否を判定する。なお、コミュニケーション要否の判定は、テーブル62の参照ではなく、二次判定処理の結果に基づき機械学習済みの人工知能でおこなってもよい。また、コミュニケーション要否の判定は、一次判定処理の結果を用いてもよい。また、ステップS13の判定において、コミュニケーションが不要と判断された場合においても、ユーザがコミュニケーションを望むことを示す信号をサーバ40が受け付けた場合には、ユーザが望む対応者とのコミュニケーションを行うことができる。さらに、ステップS13の判定において、コミュニケーションが必要と判断された場合であっても、ユーザがコミュニケーションを望まないことを示す信号をサーバ40が受け付けた場合には、コミュニケーションが実行されないようにしてもよい。   In the determination of step S13, the necessity of communication is determined by referring to the communication necessity table 62 based on the physical state that is the result of the secondary determination process. Note that the necessity of communication may be determined not by referring to the table 62 but by artificial intelligence that has been machine-learned based on the result of the secondary determination process. Further, the result of the primary determination process may be used to determine whether communication is necessary. Further, even when it is determined in step S13 that communication is not required, if the server 40 receives a signal indicating that the user desires communication, communication with a corresponding person desired by the user can be performed. it can. Furthermore, even if it is determined in step S13 that communication is necessary, communication may not be performed if the server 40 receives a signal indicating that the user does not want communication. .

ステップS13において、コミュニケーションが必要と判断された場合、ステップS14において、対応者の選択処理がなされる。対応者は図6に示すテーブル62を参照することで選択される。テーブル62では、対応者とのコミュニケーションが必要である身体状態には、所定の対応者も対応付けられている。例えば、「判断不能」には、「アドバイザ」が対応者として対応付けられている。「呼吸器系に関する問題の可能性」という身体状態には、「呼吸器科の医師」が対応者として対応つけられている。「消化器系に関する問題の可能性」という身体状態には、「消化器科の医師」が対応者として対応付けられている。「循環器系に関する問題の可能性」という身体状態には、「循環器科の医師」が対応者として対応付けられている。「自律神経系に関する問題の可能性」という身体状態には、「心療内科又は精神科の医師」が対応付けられている。「軽度の肌荒れ」という身体状態には、「エステティシャン」が対応者として対応付けられている。「重度の肌荒れ」という身体状態には、「皮膚科の医師」が対応者として対応付けられている。「軽度の睡眠不足」という身体状態には、「アドバイザ」が対応者として対応付けられている。「重度の睡眠不足」という身体状態には、「心療内科又は精神科の医師」が対応者として対応付けられている。実施形態によれば、ユーザの状況に応じて適切な対応者を選択することができる。なお、対応者は、ユーザによって選択されてもよい。   If it is determined in step S13 that communication is necessary, a responder selection process is performed in step S14. The corresponding person is selected by referring to the table 62 shown in FIG. In the table 62, a predetermined counterpart is also associated with a physical state that requires communication with the counterpart. For example, “Advisor” is associated with “Undecidable” as a responder. The “physician” is associated with the physical condition “possibility of respiratory problems”. The body condition “possibility of problems related to the digestive system” is associated with “physician” as the corresponding person. The physical condition “possibility of a problem related to the circulatory system” is associated with “cardiologist” as the responder. The physical state “possibility of problems related to the autonomic nervous system” is associated with “physician or psychiatric doctor”. A body condition of “slight skin roughness” is associated with “esthetician” as a counterpart. A “dermatologist” is associated with the physical condition “severe rough skin” as a counterpart. The “advisor” is associated with the physical condition “mild sleep deficiency” as a responder. The physical condition of “severe sleep shortage” is associated with “physician internal medicine or psychiatrist doctor” as a corresponding person. According to the embodiment, an appropriate responder can be selected according to the user's situation. The responder may be selected by the user.

ステップS16において、選択された対応者が、その時点で対話可能であるか否かが判定される。対話可能であるか否かは、選択された対応者のスケジュールを持つ対応者データベース63,64,65(図7参照)を参照することで判定される。実施形態において、対応者データベースは、医師データベース63、エステティシャンデータベース64及びアドバイザデータベース65を含む。各データベース63,64,65は、複数の対応者毎の対応可能スケジュール情報を有している。スケジュール情報は、対応者が対話可能な日、曜日、時間帯を示す情報を含む。ステップS16では、選択された対応者のスケジュール情報に照らして、現在の日時において、選択された対応者が対話可能であるか否かが判定される。   In step S16, it is determined whether or not the selected responder can interact at that time. Whether or not dialogue is possible is determined by referring to the correspondent databases 63, 64, and 65 (see FIG. 7) having the schedule of the selected correspondent. In the embodiment, the responder database includes a doctor database 63, an esthetician database 64, and an advisor database 65. Each database 63, 64, 65 has schedule information for each of a plurality of responders. The schedule information includes information indicating days, days of the week, and time zones when the responder can interact. In step S <b> 16, it is determined whether or not the selected counterpart can interact at the current date and time in light of the schedule information of the selected counterpart.

ステップS16において対話可能と判定された場合、対応者とのコミュニケーションのための通信セッション確立処理が実行される(ステップS18,S21,S24)。実施形態においては、図8に示すように、通信セッションS1,S2,S3は、マッサージ装置10と対応者端末101,102,103との間で、ネットワーク30を介して確立される。通信セッション確立処理は、サーバ40が、強制的に通信セッションS1,S2,S3を確立する処理であってもよいし、ユーザ20又は対応者の操作によって通信セッションS1,S2,S3を確立させるための画面を、マッサージ装置10又は対応者端末101,102,103に表示させる処理であってもよい。   If it is determined in step S16 that dialogue is possible, communication session establishment processing for communication with the corresponding person is executed (steps S18, S21, S24). In the embodiment, as shown in FIG. 8, the communication sessions S1, S2, and S3 are established via the network 30 between the massage device 10 and the counterpart terminals 101, 102, and 103. The communication session establishment process may be a process in which the server 40 forcibly establishes the communication sessions S1, S2, and S3, or for establishing the communication sessions S1, S2, and S3 by the operation of the user 20 or the counterpart. This process may be displayed on the massage device 10 or the counterpart terminals 101, 102, 103.

実施形態において、通信セッションS1,S2,S3、ビデオ通話が可能な通信セッションである。対応者は、ユーザ20の顔を見ながら、対応することができる。マッサージ装置10−対応者端末101,102,103間に通信セッションが確立すると、サーバ40は、判定処理51に用いられたユーザ情報(第1情報及び第2情報)及びその他のユーザに関する情報を、対応者端末に送信する処理を実行する(ステップS19,S22,S25)。これにより、対応者は、ユーザの状況を把握するのが容易になる。   In the embodiment, the communication sessions S1, S2, and S3 are communication sessions that allow video calls. The responder can respond while looking at the face of the user 20. When a communication session is established between the massage device 10 and the corresponding person terminals 101, 102, 103, the server 40 obtains user information (first information and second information) used for the determination process 51 and other user-related information. Processing to be transmitted to the corresponding person terminal is executed (steps S19, S22, S25). This makes it easier for the responder to grasp the user's situation.

ユーザ情報は、サーバ40から直接、対応者端末101,102,103へ送信されてもよいし、ユーザ側装置であるマッサージ装置10経由で対応者端末101,102,103へ送信されてもよい。   The user information may be transmitted directly from the server 40 to the correspondent terminals 101, 102, 103, or may be transmitted to the correspondent terminals 101, 102, 103 via the massage device 10 that is a user side device.

対応者とユーザとの対話が完了すると、通信セッションは終了する(ステップS20,S23,S26)。   When the interaction between the responder and the user is completed, the communication session ends (steps S20, S23, S26).

また、ステップS16において対話不可と判定された場合、ステップS17において、対応者とのコミュニケーションの予約処理が実行される。対話不可と判定されるのは、例えば、スケジュール情報上、その時点で、対話可能な対応者が存在しない場合である。例えば、夜間や休日においては、予約処理が実行される。予約処理では、サーバ40は、予約可能な日時と対応者リストとを、情報処理装置11に表示させる。ユーザ20は、予約日時と対応者を選択することで、予約が完了する。予約処理を行うことで、事後的に対応者とコミュニケーションをとることができる。なお、予約処理は、対応者が対話可能と判定された場合においても実行可能であってもよい。   If it is determined in step S16 that the dialogue is not possible, a communication reservation process with the corresponding person is executed in step S17. For example, the case where it is determined that the dialogue is not possible is a case where there is no counterpart who can interact at that time in the schedule information. For example, reservation processing is executed at night or on holidays. In the reservation process, the server 40 causes the information processing apparatus 11 to display a reservation possible date and time and a corresponding person list. The user 20 completes the reservation by selecting a reservation date and a corresponding person. By making a reservation process, you can communicate with responders afterwards. Note that the reservation process may be executable even when it is determined that the responder can interact.

さて、ステップS13において、対応者とのコミュニケーションが不要と判定された場合であっても、サーバ40は、ステップS15において、ユーザのための他の処理を実行することができる。   Now, even if it is determined in step S13 that communication with the responder is unnecessary, the server 40 can execute another process for the user in step S15.

ユーザのための他の処理は、例えば、二次判定処理の結果に応じたビデオ画像をユーザ端末に表示させる処理54(図3参照)である。表示されるビデオ画像は、例えば、二次判定処理の結果(身体状態)に基づいて、人工知能により選択される。ビデオ画像を選択する人工知能は、身体状態とビデオ画像との関係を機械学習したものである。ビデオ画像は、例えば、身体状態の改善に関するものが好ましい。   Another process for the user is, for example, a process 54 (see FIG. 3) for displaying a video image corresponding to the result of the secondary determination process on the user terminal. The displayed video image is selected by artificial intelligence based on the result (physical state) of the secondary determination process, for example. Artificial intelligence to select a video image is a machine learning of the relationship between the physical condition and the video image. The video image is preferably related to, for example, improvement of the physical condition.

ユーザのための他の処理は、例えば、ユーザ20に病院に行くことを勧める処理55(図3参照)である。この処理55により、ユーザ20の健康状態が、緊急性を要するような状況であるときには、病院に行くことを促すことができる。   Another process for the user is, for example, a process 55 (see FIG. 3) that encourages the user 20 to go to the hospital. This process 55 can prompt the user 20 to go to the hospital when the health condition of the user 20 is a situation that requires urgency.

ユーザのための他の処理は、二次判定処理の結果に応じた生活習慣改善アドバイスをユーザ端末に出力させる処理56(図3参照)である。表示されるアドバイスは、二次判定結果が、例えば、肥満傾向を示すものである場合、食事の量を制限するアドバイスや運動量を増やすアドバイスを含むことができる。   The other process for the user is a process 56 (see FIG. 3) for causing the user terminal to output lifestyle improvement advice according to the result of the secondary determination process. The displayed advice may include advice for restricting the amount of meal and advice for increasing the amount of exercise when the secondary determination result indicates, for example, an obesity tendency.

ユーザのための他の処理は、二次判定処理又は二次判定を含む判定処理全体を再度行うスケジュールを設定する処理57である。サーバ40は、情報処理装置11に、スケジュールを設定させる画面を表示させる。そして、ユーザ入力により、スケジュールが設定される。これにより、ユーザ20が希望するときに、再度の判定処理を実行することが可能となる。   Another process for the user is a process 57 for setting a schedule for performing again the entire determination process including the secondary determination process or the secondary determination. The server 40 causes the information processing apparatus 11 to display a screen for setting a schedule. A schedule is set by user input. Thereby, it is possible to execute the determination process again when the user 20 desires.

ユーザのための他の処理は、二次判定処理の結果又は一次判定処理の結果に応じた推奨商品をユーザ端末に表示させる処理58である。例えば、判定結果が、栄養不足を示すものである場合、栄養補助食品をユーザに提示することができる。また、判定結果が、運動不足を示すものである場合、運動器具をユーザに提示することができる。   Another process for the user is a process 58 for displaying a recommended product corresponding to the result of the secondary determination process or the result of the primary determination process on the user terminal. For example, when the determination result indicates a lack of nutrition, the nutritional supplement can be presented to the user. In addition, when the determination result indicates lack of exercise, the exercise equipment can be presented to the user.

なお、ユーザのための処理54,55,56,57,58は、対応者とのコミュニケーションが行われる場合に実行されてもよい。また、ユーザのための処理54,55,56,57,58は、後述のマッサージ動作決定処理(ステップS27)により決定されたマッサージ動作の実行中に並行して実行されてもよし、マッサージ動作の実行後に実行されてもよい。   Note that the processes 54, 55, 56, 57, and 58 for the user may be executed when communication with the corresponding person is performed. Further, the processes 54, 55, 56, 57, and 58 for the user may be executed in parallel during the execution of the massage operation determined by the massage operation determination process (step S27) described later. It may be executed after execution.

ステップS27のマッサージ動作決定処理では、ステップS12の判定処理51の結果に基づいて、マッサージ装置10に行わせるマッサージ動作が決定される。決定されたマッサージ動作は、サーバ40から情報処理装置11へ送信される。情報処理装置11は、受信したマッサージ動作を、マッサージ装置本体10aに実行させる。本実施形態においては、身体状態に応じた適切なマッサージが行われる。さらに、本実施形態では、必要に応じて多くの情報を用いた詳細な身体状態判定が行われるため、身体状態の違いに応じて、きめ細かくマッサージの内容を調整することができる。   In the massage operation determination process in step S27, the massage operation to be performed by the massage apparatus 10 is determined based on the result of the determination process 51 in step S12. The determined massage operation is transmitted from the server 40 to the information processing apparatus 11. The information processing apparatus 11 causes the massage apparatus body 10a to execute the received massage operation. In the present embodiment, appropriate massage according to the physical condition is performed. Furthermore, in the present embodiment, detailed physical condition determination using a large amount of information is performed as necessary, so that the content of the massage can be finely adjusted according to the difference in the physical condition.

マッサージ動作決定処理では、個人情報データベース66に保存された過去データをも用いて、マッサージ動作を決定することができる。過去データとしては、例えば、ユーザ20に対して過去施されたマッサージ動作の内容である。過去のマッサージ動作の内容は、ユーザのマッサージの好みも示している。したがって、ユーザの過去データをも参照してマッサージ動作を決定すると、同じ身体状態であっても、ユーザの好みに応じた異なるマッサージ動作を決定することができる。   In the massage operation determination process, the massage operation can be determined using past data stored in the personal information database 66. The past data is, for example, the content of a massage operation that has been performed on the user 20 in the past. The contents of the past massage operation also indicate the user's massage preference. Therefore, when the massage operation is determined with reference to the user's past data, a different massage operation according to the user's preference can be determined even in the same physical state.

マッサージ動作決定処理では、二次判定処理の結果の有無に応じて、マッサージ動作の決定方法を異ならせることができる。多くの場合、一次判定処理は少ない情報に基づいて行われるため、判定の精度が比較的低い。したがって、マッサージ動作の決定も簡易な処理で行うのが好適である。   In the massage operation determination process, the determination method of the massage operation can be varied depending on the presence or absence of the result of the secondary determination process. In many cases, since the primary determination process is performed based on a small amount of information, the determination accuracy is relatively low. Therefore, it is preferable to determine the massage operation by a simple process.

簡易な処理によるマッサージ動作の決定の仕方は、例えば、既存の複数のマッサージコース候補の中からの選択である。例えば、図9に示すように、身体状態とマッサージコースとが対応付けられたマッサージコーステーブル68を参照することにより、一次判定処理の結果が示す身体状態に応じたマッサージコースを、複数のマッサージコース候補の中から選択することができる。   The method of determining the massage operation by simple processing is, for example, selection from a plurality of existing massage course candidates. For example, as shown in FIG. 9, by referring to a massage course table 68 in which a body condition and a massage course are associated with each other, a massage course corresponding to the body condition indicated by the result of the primary determination process is converted into a plurality of massage courses You can choose from candidates.

また、多くの場合、二次判定処理はより多い情報に基づいて行われるため、判定の精度が比較的高い。したがって、マッサージ動作の決定も、既存のマッサージコースの選択ではなく、ユーザ20の状況に応じた新たなマッサージコースを自動生成する処理で行うのが好適である。   In many cases, since the secondary determination process is performed based on more information, the determination accuracy is relatively high. Therefore, it is preferable to determine the massage operation not by selecting an existing massage course but by a process of automatically generating a new massage course according to the situation of the user 20.

マッサージコースの自動生成は、例えば、標準的なマッサージコース201を、二次判定処理の結果が示す身体状態に応じて、適宜改変することによって行える。また、マッサージコースの自動生成は、個人情報データベース66に保存されているユーザ20の好みのマッサージコースを、身体状態に応じて、適宜改変することによって行ってもよい。   The massage course can be automatically generated by, for example, appropriately modifying the standard massage course 201 according to the physical condition indicated by the result of the secondary determination process. Moreover, you may perform the automatic generation | occurrence | production of a massage course by changing suitably the massage course of the user's 20 favorite preserve | saved in the personal information database 66 according to a physical condition.

さらに、マッサージコースの自動生成は、マッサージ部位(経絡の位置)202、マッサージ動作(揉み、叩きなど)203、マッサージ強さ204、マッサージ時間205など、マッサージコースを規定する要素を組み合わせることで行われてもよい。各要素の組み合わせの際には、二次判定処理の結果が考慮される。各要素の組み合わせの際には、個人情報データベース66に保存された過去データを考慮してもよい。   Furthermore, automatic generation of a massage course is performed by combining elements that define the massage course, such as a massage part (meridian position) 202, a massage operation (itching, hitting, etc.) 203, a massage strength 204, and a massage time 205. May be. When combining each element, the result of the secondary determination process is considered. When combining the elements, past data stored in the personal information database 66 may be taken into consideration.

決定されたマッサージ動作は、個人情報データベース66に新規データとして保存される。   The determined massage operation is stored as new data in the personal information database 66.

本実施形態において、マッサージ動作決定処理は、判定処理の判定結果にかかわらず常に実行されてもよい。ただし、対応者との間のコミュニケーションが必要と判定された場合には、マッサージ動作決定処理を実行することなく、コミュニケーションのための処理を優先して実行するのが好適である。この場合、直ちに医師に相談することが望まれるような状況等において、マッサージ動作の実行を回避することで、ユーザ20は、医師等の対応者とのコミュニケーションを迅速に行うことができる。   In the present embodiment, the massage operation determination process may always be executed regardless of the determination result of the determination process. However, when it is determined that communication with the responder is necessary, it is preferable to preferentially execute the communication process without executing the massage operation determination process. In this case, in a situation where it is desired to immediately consult a doctor, the user 20 can quickly communicate with a responder such as a doctor by avoiding the massage operation.

<3.付記>
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
<3. Addendum>
The present invention is not limited to the above embodiment, and various modifications can be made.

10 マッサージ装置
10a マッサージ装置本体
11 情報処理装置(マッサージ装置に搭載された端末)
12 プロセッサ
13 記憶装置
14 第1カメラ(マッサージ装置に搭載された端末)
15 タッチパネル
16 マイク
17 スピーカ
18 通信IF
19 通信IF
20 ユーザ
21 スマートフォン(モバイル機器)
21a 第2カメラ(モバイル機器に搭載された端末)
22 ウェアラブル機器
23 検査機器(検査アプリケーション)
30 ネットワーク
40 サーバ(情報処理装置)
50 プロセッサ
51 判定処理
51a チャットボット
52 コミュニケーションのための情報処理
53 マッサージ動作決定処理
54 ビデオ表示処理
55 病院表示処理
56 生活習慣改善アドバイス表示処理
57 再判定スケジュール設定処理
58 推奨商品表示処理
60 記憶装置
61 二次判定要否テーブル
62 コミュニケーション要否テーブル
63 医師データベース
64 エステティシャンデータベース
65 アドバイザデータベース
66 個人情報データベース
67 判定用ビッグデータ
68 マッサージコーステーブル
70 コンピュータプログラム
81 第1画像(第1情報)
82 第2画像(第2情報)
90 画面
91 説明文表示
92 サンプル画像
93 第2カメラ画像表示領域
94 撮影ボタン
101 医師端末
102 エステティシャン端末
103 アドバイザ端末
201 標準マッサージコース
202 マッサージ部位
203 マッサージ動作
204 マッサージ強さ
205 マッサージ時間
S1 通信セッション
S2 通信セッション
S3 通信セッション
DESCRIPTION OF SYMBOLS 10 Massage apparatus 10a Massage apparatus main body 11 Information processing apparatus (terminal mounted in massage apparatus)
12 processor 13 storage device 14 first camera (terminal mounted on massage device)
15 Touch panel 16 Microphone 17 Speaker 18 Communication IF
19 Communication IF
20 users 21 smartphones (mobile devices)
21a Second camera (terminal installed in mobile device)
22 Wearable equipment 23 Inspection equipment (inspection application)
30 network 40 server (information processing equipment)
DESCRIPTION OF SYMBOLS 50 Processor 51 Determination process 51a Chat bot 52 Information processing for communication 53 Massage operation determination process 54 Video display process 55 Hospital display process 56 Lifestyle improvement advice display process 57 Redetermination schedule setting process 58 Recommended product display process 60 Storage device 61 Secondary judgment necessity table 62 Communication necessity table 63 Doctor database 64 Esthetician database 65 Advisor database 66 Personal information database 67 Big data for judgment 68 Massage course table 70 Computer program 81 First image (first information)
82 Second image (second information)
90 Screen 91 Description sentence display 92 Sample image 93 Second camera image display area 94 Shooting button 101 Doctor terminal 102 Esthetician terminal 103 Advisor terminal 201 Standard massage course 202 Massage part 203 Massage operation 204 Massage strength 205 Massage time S1 communication session S2 communication Session S3 Communication session

Claims (14)

ユーザに関する第1情報を用いて、前記ユーザの身体状態に関する一次判定処理を実行し、
前記一次判定処理の結果に基づいて、前記ユーザの身体状態に関する二次判定処理の要否を判定し、
前記二次判定処理が必要であると判定された場合、前記ユーザに関する情報であって前記第1情報とは異なる情報である第2情報を前記ユーザから取得し、
前記第2情報を用いて、前記二次判定処理を実行する
よう構成された情報処理装置。
Using the first information regarding the user, a primary determination process regarding the physical state of the user is performed,
Based on the result of the primary determination process, it is determined whether a secondary determination process related to the user's physical condition is necessary,
If it is determined that the secondary determination process is necessary, second information that is information about the user and is different from the first information is acquired from the user;
An information processing apparatus configured to execute the secondary determination process using the second information.
前記第1情報は、第1ユーザインタフェースを介して、前記ユーザから取得される情報を含み、
前記第2情報は、前記第1ユーザインタフェースとは別の第2ユーザインタフェースを介して、前記ユーザから取得される情報を含む
請求項1記載の情報処理装置。
The first information includes information acquired from the user via a first user interface,
The information processing apparatus according to claim 1, wherein the second information includes information acquired from the user via a second user interface different from the first user interface.
前記第1ユーザインタフェースは、マッサージ装置に搭載されたカメラであり、
前記第2ユーザインタフェースは、前記ユーザが持つモバイル機器に搭載されたカメラである
請求項2に記載の情報処理装置。
The first user interface is a camera mounted on a massage device,
The information processing apparatus according to claim 2, wherein the second user interface is a camera mounted on a mobile device owned by the user.
前記第2情報は、前記一次判定処理の結果に基づいて決定された種類の情報である
請求項1〜3のいずれか1項に記載の情報処理装置。
The information processing apparatus according to claim 1, wherein the second information is information of a type determined based on a result of the primary determination process.
前記第1情報は、前記ユーザを撮影した第1画像を含み、
前記第2情報は、前記第1画像における前記ユーザの一部の部位又は前記第1画像に表れていない前記ユーザの特定の部位を撮影した第2画像を含む
請求項1〜4のいずれか1項に記載の情報処理装置。
The first information includes a first image taken of the user,
5. The second information includes a second image obtained by photographing a part of the user in the first image or a specific part of the user that does not appear in the first image. The information processing apparatus according to item.
前記第2画像を前記ユーザから取得するために、前記部位のサンプル画像を前記ユーザに提示する処理をさらに実行する
よう構成された請求項5に記載の情報処理装置。
The information processing apparatus according to claim 5, further configured to further execute a process of presenting a sample image of the part to the user in order to acquire the second image from the user.
前記二次判定処理の結果に基づいて、前記ユーザのための処理をさらに実行する
よう構成された請求項1〜6のいずれか1項に記載の情報処理装置。
The information processing apparatus according to claim 1, further configured to further execute a process for the user based on a result of the secondary determination process.
前記ユーザのための前記処理は、前記二次判定処理の結果を用いて、前記ユーザが使用するマッサージ装置に行わせる動作を決定する動作決定処理を含む
請求項7に記載の情報処理装置。
The information processing apparatus according to claim 7, wherein the process for the user includes an operation determination process for determining an operation to be performed by the massage device used by the user, using a result of the secondary determination process.
前記ユーザのための前記処理は、前記ユーザと人間である対応者との間のコミュニケーションのための情報処理を含む
請求項7又は8に記載の情報処理装置。
The information processing apparatus according to claim 7, wherein the processing for the user includes information processing for communication between the user and a human counterpart.
前記ユーザのための前記処理は、前記二次判定処理の結果に応じたビデオ画像をユーザ端末に表示させる処理を含む
請求項7〜9のいずれか1項に記載の情報処理装置。
The information processing apparatus according to claim 7, wherein the process for the user includes a process of displaying a video image corresponding to a result of the secondary determination process on a user terminal.
前記ユーザのための処理は、前記二次判定処理の結果に応じた生活習慣改善アドバイスをユーザ端末に出力させる処理を含む
請求項7〜10のいずれか1項に記載の情報処理装置。
The information processing apparatus according to any one of claims 7 to 10, wherein the process for the user includes a process of causing a user terminal to output lifestyle improvement advice according to a result of the secondary determination process.
前記ユーザのための前記処理は、前記二次判定処理を再度行うスケジュールを設定する処理を含む
請求項7〜11のいずれか1項に記載の情報処理装置。
The information processing apparatus according to claim 7, wherein the process for the user includes a process of setting a schedule for performing the secondary determination process again.
前記ユーザのための前記処理は、前記二次判定処理の結果に応じた推奨商品をユーザ端末に表示させる処理を含む
請求項7〜12のいずれか1項に記載の情報処理装置。
The information processing apparatus according to any one of claims 7 to 12, wherein the process for the user includes a process of causing a user terminal to display a recommended product corresponding to a result of the secondary determination process.
ユーザに関する第1情報を用いて、前記ユーザの身体状態に関する一次判定処理を実行し、
前記一次判定処理の結果に基づいて、前記ユーザの身体状態に関する二次判定処理の要否を判定し、
前記二次判定処理が必要であると判定された場合、前記ユーザに関する情報であって前記第1情報とは異なる情報である第2情報を前記ユーザから取得し、
前記第2情報を用いて、前記二次判定処理を実行する
ことを含む情報処理装置の動作方法。
Using the first information regarding the user, a primary determination process regarding the physical state of the user is performed,
Based on the result of the primary determination process, it is determined whether a secondary determination process related to the user's physical condition is necessary,
If it is determined that the secondary determination process is necessary, second information that is information about the user and is different from the first information is acquired from the user;
An operation method of the information processing apparatus including executing the secondary determination process using the second information.
JP2018061935A 2018-03-28 2018-03-28 Information processing apparatus and operation method thereof Pending JP2019170655A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018061935A JP2019170655A (en) 2018-03-28 2018-03-28 Information processing apparatus and operation method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018061935A JP2019170655A (en) 2018-03-28 2018-03-28 Information processing apparatus and operation method thereof

Publications (1)

Publication Number Publication Date
JP2019170655A true JP2019170655A (en) 2019-10-10

Family

ID=68168880

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018061935A Pending JP2019170655A (en) 2018-03-28 2018-03-28 Information processing apparatus and operation method thereof

Country Status (1)

Country Link
JP (1) JP2019170655A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210071883A (en) * 2020-05-25 2021-06-16 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. Massage prompting method and device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000070318A (en) * 1998-08-27 2000-03-07 Family Kk Massager
JP2005296208A (en) * 2004-04-09 2005-10-27 Konica Minolta Holdings Inc Diagnostic system
JP2007125151A (en) * 2005-11-02 2007-05-24 Konica Minolta Holdings Inc Diagnostic system and diagnostic apparatus
JP2011125474A (en) * 2009-12-17 2011-06-30 Isuzu Motors Ltd Device for determination of physical condition
JP2016030018A (en) * 2014-07-28 2016-03-07 日立マクセル株式会社 Massage system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000070318A (en) * 1998-08-27 2000-03-07 Family Kk Massager
JP2005296208A (en) * 2004-04-09 2005-10-27 Konica Minolta Holdings Inc Diagnostic system
JP2007125151A (en) * 2005-11-02 2007-05-24 Konica Minolta Holdings Inc Diagnostic system and diagnostic apparatus
JP2011125474A (en) * 2009-12-17 2011-06-30 Isuzu Motors Ltd Device for determination of physical condition
JP2016030018A (en) * 2014-07-28 2016-03-07 日立マクセル株式会社 Massage system

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210071883A (en) * 2020-05-25 2021-06-16 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. Massage prompting method and device
JP2021130020A (en) * 2020-05-25 2021-09-09 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド Massage instruction method and device
JP7204819B2 (en) 2020-05-25 2023-01-16 阿波▲羅▼智▲聯▼(北京)科技有限公司 Massage instruction method and device
KR102607036B1 (en) * 2020-05-25 2023-11-30 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. Massage prompting method and device

Similar Documents

Publication Publication Date Title
KR102177697B1 (en) Massage apparatus and massage system
US20220331663A1 (en) System and Method for Using an Artificial Intelligence Engine to Anonymize Competitive Performance Rankings in a Rehabilitation Setting
US20220288462A1 (en) System and method for generating treatment plans to enhance patient recovery based on specific occupations
US20170293356A1 (en) Methods and Systems for Obtaining, Analyzing, and Generating Vision Performance Data and Modifying Media Based on the Vision Performance Data
US20170344713A1 (en) Device, system and method for assessing information needs of a person
KR101983279B1 (en) Nerve disprder diagnosis apparatus and method using virtual reality
Hughes et al. The processing of auditory and visual recognition of self-stimuli
Sumioka et al. Technical challenges for smooth interaction with seniors with dementia: Lessons from Humanitude™
US10701210B2 (en) Systems and methods for matching subjects with care consultants in telenursing call centers
US20210369115A1 (en) Telemetry monitoring and assessment system of parameters of human vital functions and clinical signs of possible functional disorders and determination of methods of control
CN116419778A (en) Training system, training device and training with interactive auxiliary features
JP2019170655A (en) Information processing apparatus and operation method thereof
JP2019133271A (en) Telemedicine terminal device, computer program, and server
US20220230749A1 (en) Systems and methods for ophthalmic digital diagnostics via telemedicine
US20240164672A1 (en) Stress detection
JP7033307B2 (en) Information processing device and its operation method
CA3230610A1 (en) Multi-sensory, assistive wearable technology, and method of providing sensory relief using same
JP7025755B2 (en) Information processing device and its operation method
Gol et al. The importance of contextual aspects in the care for patients with functional somatic symptoms
US20240221301A1 (en) Extended reality assistance based on user understanding
US20240164674A1 (en) System for Detecting Mental and/or Physical State of Human
WO2016206120A1 (en) Information processing method, apparatus and terminal
Papadopoulos-Nydam et al. Usability Testing of a mHealth System for Swallowing Therapy in Patients Following Stroke
US20230338698A1 (en) Multi-sensory, assistive wearable technology, and method of providing sensory relief using same
Rafiqi Pupilware: Towards cognitive and context-aware framework

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211013

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220610

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220610

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220621

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220622

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220708

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220712

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20221026

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230111

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230206

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230206