JP2019170655A - Information processing apparatus and operation method thereof - Google Patents
Information processing apparatus and operation method thereof Download PDFInfo
- Publication number
- JP2019170655A JP2019170655A JP2018061935A JP2018061935A JP2019170655A JP 2019170655 A JP2019170655 A JP 2019170655A JP 2018061935 A JP2018061935 A JP 2018061935A JP 2018061935 A JP2018061935 A JP 2018061935A JP 2019170655 A JP2019170655 A JP 2019170655A
- Authority
- JP
- Japan
- Prior art keywords
- user
- information
- determination process
- processing apparatus
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Massaging Devices (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Abstract
Description
本開示は、ユーザの身体状態に関する判定をする情報処理装置及びその動作方法に関する。 The present disclosure relates to an information processing apparatus that performs a determination regarding a user's physical condition and an operation method thereof.
特許文献1は、マッサージ装置が、ユーザに対して問診を行い、ユーザの回答に基づいて体調を判断することを開示している。
ユーザの体調などの身体状態をより適切に判定するには、ユーザに関する多くの情報が必要となる。しかし、多くの情報をユーザから得ようとすると、ユーザの負担が増大し、利便性を損なう。 In order to more appropriately determine the physical state such as the physical condition of the user, a lot of information related to the user is required. However, if a large amount of information is to be obtained from the user, the burden on the user increases and the convenience is impaired.
したがって、ユーザの負担の増大を抑えつつ、必要な情報をユーザから取得することが望まれる。 Therefore, it is desired to acquire necessary information from the user while suppressing an increase in the burden on the user.
本開示の情報処理装置は、ユーザに関する第1情報を用いて、前記ユーザの身体状態に関する一次判定処理を実行し、前記一次判定処理の結果に基づいて、前記ユーザの身体状態に関する二次判定処理の要否を判定し、前記二次判定が必要であると判定された場合、前記ユーザに関する情報であって前記第1情報とは異なる情報である第2情報を前記ユーザから取得し、前記第2情報を用いて、前記二次判定処理を実行するよう構成されている。 The information processing apparatus according to the present disclosure performs primary determination processing related to the user's physical condition using first information related to the user, and secondary determination processing related to the user's physical condition based on the result of the primary determination processing. If the second determination is determined to be necessary, second information that is information about the user and is different from the first information is acquired from the user, The secondary determination process is executed using two pieces of information.
本開示の情報処理装置の動作方法は、ユーザに関する第1情報を用いて、前記ユーザの身体状態に関する一次判定処理を実行し、前記一次判定処理の結果に基づいて、前記ユーザの身体状態に関する二次判定処理の要否を判定し、前記二次判定が必要であると判定された場合、前記ユーザに関する情報であって前記第1情報とは異なる情報である第2情報を前記ユーザから取得し、前記第2情報を用いて、前記二次判定処理を実行することを含む。 The operation method of the information processing apparatus according to the present disclosure performs primary determination processing related to the user's physical condition using the first information related to the user, and based on a result of the primary determination processing, When it is determined whether or not the secondary determination is necessary, second information that is information about the user and is different from the first information is acquired from the user. And executing the secondary determination process using the second information.
更なる詳細は、後述の実施形態として説明される。 Further details will be described as embodiments described below.
<1.情報処理装置及びその動作方法の概要> <1. Outline of Information Processing Device and Operation Method>
(1)実施形態に係る情報処理装置は、ユーザに関する第1情報を用いて、前記ユーザの身体状態に関する一次判定処理を実行するよう構成されている。身体状態は、ユーザの体に関する状態であればよく、例えば、体調・病状などの健康状態であってもよいし、肌の状態などの美容状態であってもよい。 (1) The information processing apparatus according to the embodiment is configured to execute a primary determination process related to the physical condition of the user using first information related to the user. The body state may be a state relating to the user's body, and may be, for example, a health state such as a physical condition or medical condition, or a beauty state such as a skin state.
第1情報は、例えば、ユーザ画像である。ユーザ画像は、ユーザの顔画像であるのが好ましい。第1情報は、ユーザのバイタルデータであってもよい。バイタルデータは、例えば、血圧、体温、脈拍である。バイタルデータは、例えば、ユーザのウェアラブル機器から取得される。第1情報は、情報処理装置が、チャットボット機能などにより、ユーザと対話して取得した対話情報であってもよい。 The first information is, for example, a user image. The user image is preferably a user face image. The first information may be user vital data. The vital data is, for example, blood pressure, body temperature, and pulse. Vital data is acquired from a wearable device of a user, for example. The first information may be interaction information acquired by the information processing apparatus interacting with the user using a chatbot function or the like.
第1情報は、一次判定処理の際にユーザから取得された現在のユーザ情報であってもよいし、過去のユーザ情報であってもよい。過去のユーザ情報は、例えば、ユーザの情報が保存されたデータベースから取得される。 The first information may be current user information acquired from the user during the primary determination process, or may be past user information. The past user information is acquired from, for example, a database in which user information is stored.
なお、一次判定処理は、最初に行われる判定処理である必要はなく、後述の二次判定処理の前に行われれば足りる。 Note that the primary determination process does not have to be the first determination process, and may be performed before the secondary determination process described later.
実施形態に係る情報処理装置は、前記一次判定処理の結果に基づいて、前記ユーザの身体状態に関する二次判定処理の要否を判定する。一次判定処理だけ足りる場合には、二次判定処理をする必要はない。 The information processing apparatus according to the embodiment determines whether or not a secondary determination process related to the user's physical condition is necessary based on the result of the primary determination process. When only the primary determination process is sufficient, it is not necessary to perform the secondary determination process.
実施形態に係る情報処理装置は、前記二次判定処理が必要であると判定された場合、前記ユーザに関する情報であって前記第1情報とは異なる情報である第2情報を前記ユーザから取得する。追加的に第2情報をユーザから取得するのは、二次判定が必要であると判定された場合であり、一次判定処理だけで足りる場合には、第2情報をユーザから取得する必要がない。第2情報をユーザから取得しないことで、ユーザの負担の増大を抑えることができる。 When it is determined that the secondary determination process is necessary, the information processing apparatus according to the embodiment acquires, from the user, second information that is information related to the user and is different from the first information. . The second information is additionally acquired from the user when it is determined that the secondary determination is necessary, and when only the primary determination process is sufficient, it is not necessary to acquire the second information from the user. . By not acquiring the second information from the user, an increase in the burden on the user can be suppressed.
第2情報は、例えば、第1情報としてのユーザ画像とは異なるユーザ画像である。第2情報としてのユーザ画像は、例えば、第1情報としてのユーザ画像の拡大画像、又は、第1情報としてのユーザ画像には映っていない部位の画像であるのが好ましい。この場合、第2情報としてのユーザ画像により、ユーザに関して、第1情報としてのユーザ画像よりも詳細な情報又は追加的な情報が得られる。 The second information is, for example, a user image different from the user image as the first information. The user image as the second information is preferably, for example, an enlarged image of the user image as the first information, or an image of a part not shown in the user image as the first information. In this case, the user image as the second information provides more detailed information or additional information about the user than the user image as the first information.
第2情報は、第1情報としてのバイタルデータとは異なるバイタルデータ又はその他の生体データであってもよい。第2情報としてのバイタルデータ又は生体データは、例えば、専用の検査機器から取得される検査データである。 The second information may be vital data different from the vital data as the first information or other biological data. The vital data or biological data as the second information is, for example, inspection data acquired from a dedicated inspection device.
例えば、第1情報としてのバイタルデータは、データ取得容易性の観点から、ユーザのウェアラブル機器から取得可能なものであるのが好ましい。これに対して、第2情報としてのバイタルデータ又は生体データは、データの正確性・詳細性の観点から、専用の検査機器から取得される検査データを含むのが好ましい。専用の検査機器は、例えば、血液検査機器、視力検査機器、尿検査機器、脳波測定機器、血圧測定機器、体温測定機器などである。検査機器は、専用のハードウェアであってもよいし、検査アプリケーションが搭載されたスマートフォン、タブレット、又はその他のコンピュータであってもよい。 For example, it is preferable that vital data as the first information can be acquired from the wearable device of the user from the viewpoint of data acquisition ease. On the other hand, the vital data or biological data as the second information preferably includes inspection data acquired from a dedicated inspection device from the viewpoint of accuracy and detail of the data. Dedicated testing devices are, for example, blood testing devices, vision testing devices, urine testing devices, electroencephalogram measuring devices, blood pressure measuring devices, body temperature measuring devices, and the like. The inspection device may be dedicated hardware, or may be a smartphone, tablet, or other computer equipped with an inspection application.
第2情報は、第1情報としての対話情報とは異なる対話情報であってもよい。第1情報を得るための対話は簡易なものとして、ユーザの負担を抑えておき、第2情報を得るための対話は、より詳細にすることができる。 The second information may be dialogue information different from the dialogue information as the first information. The dialogue for obtaining the first information is simple, the user's burden is suppressed, and the dialogue for obtaining the second information can be made more detailed.
実施形態に係る情報処理装置は、前記第2情報を用いて、前記二次判定処理を実行するよう構成されている。二次判定処理が必要であると判定された場合には、追加的な第2情報が得られているため、より適切な判定を行うことができる。なお、二次判定処理では、第2情報に加えて第1情報をも用いて判定がされてもよい。 The information processing apparatus according to the embodiment is configured to execute the secondary determination process using the second information. When it is determined that the secondary determination process is necessary, additional second information is obtained, and thus more appropriate determination can be performed. In the secondary determination process, the determination may be made using the first information in addition to the second information.
(2)前記第1情報は、第1ユーザインタフェースを介して、前記ユーザから取得される情報を含むのが好ましい。前記第2情報は、前記第1ユーザインタフェースとは別の第2ユーザインタフェースを介して、前記ユーザから取得される情報を含むのが好ましい。 (2) It is preferable that the first information includes information acquired from the user via the first user interface. The second information preferably includes information acquired from the user through a second user interface different from the first user interface.
第1ユーザインタフェースは、例えば、画像を撮影するカメラ、画面又は音声出力のインタフェースと音声又はテキスト入力のインタフェースとを含む対話用インタフェース、バイタルデータなどを取得するためのウェアラブル機器、検査機器である。 The first user interface is, for example, a camera that captures an image, an interface for dialogue including a screen or audio output interface and an audio or text input interface, a wearable device for acquiring vital data, and an inspection device.
第2ユーザインタフェースは、例えば、画像を撮影するカメラ、画面又は音声出力のインタフェースと音声又はテキスト入力のインタフェースとを含む対話用インタフェース、バイタルデータなどを取得するためのウェアラブル機器、検査機器である。 The second user interface is, for example, a camera that captures an image, an interface for dialogue including a screen or audio output interface and an audio or text input interface, a wearable device for acquiring vital data, and an inspection device.
ここで「前記第1ユーザインタフェースとは別の第2インタフェース」は、第1ユーザインタフェースと種類の異なるインタフェースであってもよいし、第1ユーザインタフェースと同じ種類である別のインタフェースであってもよい。 Here, the “second interface different from the first user interface” may be an interface of a different type from the first user interface, or may be another interface of the same type as the first user interface. Good.
(3)前記第1ユーザインタフェースは、マッサージ装置に搭載されたカメラであり、
前記第2ユーザインタフェースは、前記ユーザが持つモバイル機器に搭載されたカメラであるのが好ましい。マッサージ装置に搭載されたカメラは、マッサージ装置を利用するユーザの画像を撮影することができる。マッサージ装置に搭載されたカメラから取得された画像は、マッサージ動作の内容を決める身体状態の判定のための情報として有用である。スマートフォン、タブレット、ウェアラブル機器などのモバイル機器に搭載されたカメラは、搭載型のカメラとは異なり、ユーザの様々な位置をより容易に撮影できるため、第1情報としてのユーザ画像よりも詳細又は別のユーザ画像を撮影するのに好適である。
(3) The first user interface is a camera mounted on a massage device,
The second user interface is preferably a camera mounted on a mobile device owned by the user. The camera mounted on the massage apparatus can take an image of a user who uses the massage apparatus. The image acquired from the camera mounted on the massage device is useful as information for determining the physical state that determines the content of the massage operation. Cameras mounted on mobile devices such as smartphones, tablets, and wearable devices, unlike on-board cameras, can more easily capture various positions of the user, so they are more detailed or different than the user image as the first information. It is suitable for taking a user image.
(4)前記第2情報は、前記一次判定処理の結果に基づいて決定された種類の情報であるのが好ましい。第2情報としてありとあらゆる情報を取得するのではなく、一次判定処理の結果に照らして必要な情報に絞って取得することで、ユーザの負担の増大を抑えることができる。情報の種類は、情報自体の種類であってもよいし、情報の中身の種類であってもよい。情報自体の種類とは、例えば、画像、対話情報、バイタルデータというように、情報種別で分類される種類である。情報の中身の種類とは、舌の画像、耳の画像、皮膚の画像というように画像という同じ種類の情報であるが、画像に映っている中身で区別される種別である。 (4) It is preferable that the second information is information of a type determined based on a result of the primary determination process. Rather than acquiring all kinds of information as the second information, it is possible to suppress an increase in the burden on the user by acquiring only the necessary information in light of the result of the primary determination process. The type of information may be the type of information itself or the type of information content. The type of information itself is a type classified by information type, such as an image, dialogue information, and vital data. The content type is information of the same type such as an image such as a tongue image, an ear image, and a skin image, but is a type that is distinguished by the content shown in the image.
(5)前記第1情報は、前記ユーザを撮影した第1画像を含むのが好ましい。第1画像は、例えば、ユーザの顔全体の画像である。顔には、体調が表れやすいため、顔全体の画像は、簡易な一次判定処理に用いられる第1情報として好適である。 (5) It is preferable that the first information includes a first image obtained by photographing the user. The first image is, for example, an image of the entire user's face. Since the physical condition is likely to appear on the face, the image of the entire face is suitable as the first information used for simple primary determination processing.
前記第2情報は、前記第1画像における前記ユーザの一部の部位又は前記第1画像に表れていない前記ユーザの特定の部位を撮影した第2画像を含むのが好ましい。第2画像は、例えば、ユーザの舌の画像、ユーザの耳の画像、ユーザの目の画像、その他ユーザの顔の一部の拡大画像、ユーザの顔以外の部位(腕、足)などの画像である。顔の詳細画像又は顔以外の部位の画像により、追加的な情報が得られ、二次判定処理のための好適な情報となる。 The second information preferably includes a second image obtained by photographing a part of the user in the first image or a specific part of the user that does not appear in the first image. The second image is, for example, an image of the user's tongue, an image of the user's ear, an image of the user's eyes, an enlarged image of a part of the user's face, an image of a part other than the user's face (arms, legs), etc. It is. Additional information is obtained from the detailed image of the face or the image of the part other than the face, and becomes suitable information for the secondary determination process.
(6)実施形態に係る情報処理装置は、前記第2画像を前記ユーザから取得するために、前記部位のサンプル画像を前記ユーザに提示する処理をさらに実行するよう構成されているのが好ましい。サンプル画像によるユーザ支援により、ユーザの負担が軽減される。 (6) The information processing apparatus according to the embodiment is preferably configured to further execute a process of presenting the sample image of the part to the user in order to acquire the second image from the user. User support by the sample image reduces the burden on the user.
(7)実施形態に係る情報処理装置は、前記二次判定処理の結果に基づいて、前記ユーザのための処理をさらに実行するよう構成されているのが好ましい。この場合、二次判定結果が、ユーザのために活用される。 (7) The information processing apparatus according to the embodiment is preferably configured to further execute a process for the user based on a result of the secondary determination process. In this case, the secondary determination result is utilized for the user.
(8)前記ユーザのための前記処理は、前記二次判定処理の結果を用いて、前記ユーザが使用するマッサージ装置に行わせる動作を決定する動作決定処理を含むのが好ましい。この場合、マッサージ装置に行わせる動作として、二次判定処理結果に応じた適切なマッサージ動作を決定することができる。なお、情報処理装置は、マッサージ装置に内蔵されていてもよいし、マッサージ装置と通信ネットワークを介して接続されてもよい。マッサージ動作の決定は、判定結果に基づくマッサージコースの選択であってもよいし、判定結果に基づくマッサージ部位(例えば、経絡)の選択であってもよいし、判定結果に基づくマッサージコースの自動生成であってもよい。 (8) It is preferable that the process for the user includes an operation determination process for determining an operation to be performed by the massage device used by the user using a result of the secondary determination process. In this case, as an operation to be performed by the massage device, an appropriate massage operation according to the secondary determination processing result can be determined. Note that the information processing apparatus may be built in the massage apparatus or may be connected to the massage apparatus via a communication network. The determination of the massage operation may be selection of a massage course based on the determination result, selection of a massage part (for example, meridian) based on the determination result, or automatic generation of a massage course based on the determination result It may be.
動作を決定することは、唯一の動作の決定又は実際にマッサージ動作が実行する動作の決定である必要はなく、ユーザに推奨するための複数の動作候補の決定であってもよい。 Determining the motion does not have to be the determination of the only motion or the motion actually performed by the massage motion, but may be the determination of a plurality of motion candidates for recommendation to the user.
(9)前記ユーザのための前記処理は、前記ユーザと人間である対応者との間のコミュニケーションのための情報処理を含むのが好ましい。対応者は、例えば、医師、エステティシャン、その他の身体状態についてのアドバイザである。対応者との間のコミュニケーションのための情報処理が実行されることで、ユーザは、対応者と容易にコミュニケーションをとることができる。 (9) The processing for the user preferably includes information processing for communication between the user and a human counterpart. The responders are, for example, doctors, estheticians, and other advisors on physical conditions. By executing information processing for communication with the counterpart, the user can easily communicate with the counterpart.
前記コミュニケーションのための前記情報処理は、前記コミュニケーションのための通信セッションの確立処理及び前記コミュニケーションの準備処理の少なくともいずれか一つを含むのが好ましい。コミュニケーションのための通信セッションとは、ユーザの通信機器と対応者の通信機器との間で確立される通信セッションである。コミュニケーションの準備処理とは、直ちに対応者とコミュニケーションをとるのではなく、事後的にコミュニケーションをとるために必要な事前準備のための情報処理である。準備処理は、例えば、事後的なコミュニケーションの予約を設定するための予約処理を含んでもよいし、事後的にコミュニケーションのための通信セッションを確立するためのタイマー設定を含んでもよい。 The information processing for the communication preferably includes at least one of a communication session establishment process and the communication preparation process for the communication. A communication session for communication is a communication session established between a user's communication device and a counterpart's communication device. The communication preparation process is not an immediate communication with a responder but an information process for pre-preparation necessary for subsequent communication. The preparation process may include, for example, a reservation process for setting a post-communication reservation, or may include a timer setting for establishing a communication session for post-communication.
(10)前記ユーザのための前記処理は、前記二次判定処理の結果に応じたビデオ画像をユーザ端末に表示させる処理を含むのが好ましい。ビデオ画像は、ユーザの身体状態を改善するための教育的効果を有するものが好ましい。ビデオ画像は、ユーザの身体状態に応じて適切なものが選択される。 (10) It is preferable that the process for the user includes a process of displaying a video image corresponding to a result of the secondary determination process on a user terminal. The video image preferably has an educational effect for improving the physical condition of the user. An appropriate video image is selected according to the physical condition of the user.
(11)前記ユーザのための処理は、前記二次判定処理の結果に応じた生活習慣改善アドバイスをユーザ端末に出力させる処理を含むのが好ましい。生活習慣改善アドバイスは、例えば、ユーザの身体状態に応じた食事の量又は内容のアドバイス、運動のアドバイスである。 (11) It is preferable that the process for the user includes a process for causing the user terminal to output lifestyle improvement advice according to the result of the secondary determination process. The lifestyle improvement advice is, for example, advice on the amount or content of meals or exercise advice according to the physical condition of the user.
(12)前記ユーザのための前記処理は、前記二次判定処理を再度行うスケジュールを設定する処理を含むのが好ましい。経過観察が必要な身体状態である場合には、定期的な判定が望まれる。スケジュールを設定する処理があることで、ユーザへの習慣付けが可能となる。 (12) It is preferable that the process for the user includes a process of setting a schedule for performing the secondary determination process again. If the physical condition requires follow-up, periodic determination is desired. Because there is a process for setting a schedule, it is possible to add a habit to the user.
(13)前記ユーザのための前記処理は、前記二次判定処理の結果に応じた推奨商品をユーザ端末に表示させる処理を含むのが好ましい。この場合、ユーザの身体状態に応じた食品・運動機器などをユーザに提示することができる。 (13) It is preferable that the process for the user includes a process for causing a user terminal to display a recommended product corresponding to the result of the secondary determination process. In this case, food / exercise equipment and the like according to the user's physical condition can be presented to the user.
(14)実施形態に係る情報処理装置の動作方法は、ユーザに関する第1情報を用いて、前記ユーザの身体状態に関する一次判定処理を実行し、前記一次判定処理の結果に基づいて、前記ユーザの身体状態に関する二次判定処理の要否を判定し、前記二次判定が必要であると判定された場合、前記ユーザに関する情報であって前記第1情報とは異なる情報である第2情報を前記ユーザから取得し、前記第2情報を用いて、前記二次判定処理を実行することを含む。 (14) The operation method of the information processing apparatus according to the embodiment uses the first information about the user to execute a primary determination process regarding the user's physical condition, and based on a result of the primary determination process, When it is determined whether the secondary determination process related to the physical condition is necessary and the secondary determination is necessary, the second information that is information about the user and is different from the first information is It acquires from a user and includes performing the said secondary determination process using said 2nd information.
実施形態に係るコンピュータプログラムは、ユーザに関する第1情報を用いて、前記ユーザの身体状態に関する一次判定処理と、前記一次判定処理の結果に基づいて、前記ユーザの身体状態に関する二次判定処理の要否を判定する処理と、前記二次判定処理が必要であると判定された場合、前記ユーザに関する情報であって前記第1情報とは異なる情報である第2情報を前記ユーザから取得する処理と、前記第2情報を用いて、前記二次判定処理と、をコンピュータに実行させるコンピュータプログラムである。 The computer program according to the embodiment uses the first information related to the user to perform primary determination processing related to the user's physical condition and the secondary determination processing related to the user's physical condition based on the result of the primary determination process. A process for determining NO, and a process for acquiring from the user second information that is information related to the user and is different from the first information when it is determined that the secondary determination process is necessary. A computer program that causes the computer to execute the secondary determination process using the second information.
<2.情報処理装置の例> <2. Example of information processing apparatus>
図1及び図2は、図3に示すサーバ(情報処理装置)40によって実行される処理を示している。サーバ40は、ユーザ20に対するサービス提供用である。ユーザ20に提供されるサービスは、例えば、ユーザ20によるマッサージ装置10の使用のサポートと、ユーザ20の健康状態及び美容状態などの身体状態の管理及びそれに付随したサービスを含む。サーバ40は、ユーザ20に対するサービス提供者によって運営される。サービス提供者は、例えば、マッサージ装置10の販売会社である。
1 and 2 show processing executed by the server (information processing apparatus) 40 shown in FIG. The
図3に示すように、サーバ40は、ネットワーク30を介してマッサージ装置10と通信可能である。ネットワーク30は、例えば、インターネットである。マッサージ装置10は、多数の家庭に設置されている。サーバ40は、複数のマッサージ装置10と通信可能である。
As shown in FIG. 3, the
サーバ40は、プロセッサ50及び記憶装置60を備えたコンピュータである。プロセッサ50は、サービス提供のための様々な情報処理51,52,53,54,55,56,57,58を実行する。これらの情報処理51,52,53,54,55,56,57,58は、プロセッサ50が、記憶装置60に記憶されたコンピュータプログラム70を実行することにより行われる。これらの情報処理51,52,53,54,55,56,57,58については、後述する。記憶装置60は、情報処理に用いられる各種のデータ61,62,63,64,65,66,67,68を記憶している。これらのデータ61,62,63,64,65,66,67,68についても、後述する。
The
マッサージ装置10は、マッサージ装置本体10aを備える。マッサージ装置本体10aは、ユーザ20にマッサージを施すマッサージ部(図示省略)を備える。マッサージ装置本体10aは、例えば、椅子型である。椅子型マッサージ装置本体10aは、例えば、ユーザが着座する座部、座部の後側に設けられた背もたれ部、座部の前側に設けられたフットレスト、座部の左右両側に設けられたアームレストを備える。座部、背もたれ部、フットレスト、アームレストには、それぞれ、マッサージ部が設けられており、ユーザ20の全身をマッサージする。
The
マッサージ装置10は、情報処理装置11を備える。情報処理装置11は、例えば、タブレット型である。情報処理装置11は、プロセッサ12及び記憶装置13を備えたコンピュータである。プロセッサ12は、記憶装置13に記憶されたコンピュータプログラムを実行することにより、情報処理装置11において行われるべき処理を行う。情報処理装置11は、サーバ40にて行われる処理を実行してもよい。
The
情報処理装置11は、マッサージ装置10に着座したユーザ20が操作できるように、例えば、アームレスト近傍において、マッサージ装置10に搭載されている。情報処理装置11は、無線又は有線で、マッサージ装置本体10aの本体制御部(図示省略)と接続されている。
The
情報処理装置11は、マッサージ装置本体10aの操作器として機能するとともに、ネットワーク30等を介した通信をする通信端末としても機能する。ユーザ20は、操作器としての情報処理装置11を操作することで、マッサージコースの選択・実行、マッサージ部の動作の調整、背もたれ部及びフットレストの位置調整などをすることができる。
The
情報処理装置11は、表示装置15を備える。実施形態の表示装置15は、タッチパネルであり、ユーザ20は、タッチパネル15によって入力操作をすることができる。情報処理装置11は、タッチパネル15が、椅子型マッサージ装置本体10aに着座したユーザ20が操作可能であるように、椅子型マッサージ装置本体10aに配置されている。
The
情報処理装置11は、カメラ(第1カメラ)14を備える。カメラ14は、椅子型マッサージ装置本体10aに着座したユーザ20の顔付近を撮影できるように配置されている。情報処理装置11は、マイク16及びスピーカ17を備えている。マイク16により、情報処理装置11へ音声入力ができる。スピーカ17により、情報処理装置11から音声を出力することができる。
The
なお、カメラ14、タッチパネル15、マイク16、スピーカ17は、ユーザインタフェースとして機能する。
The
情報処理装置11は、通信インタフェース(IF)18を備える。通信IF18は、例えば、近距離無線通信部である。通信IF18は、ユーザ20の通信端末21,22,23と通信する。通信端末21は、例えば、ユーザ20が持つスマートフォン又はタブレットである。通信端末21は、カメラ(第2カメラ)21aを備える。
The
通信端末22は、例えば、ユーザ20のウェアラブル機器である。ウェアラブル機器22は、例えば、時計型、アクセサリー型、衣服型、眼鏡型、コンタクトレンズ型、身体への貼り付け型、身体への内蔵型である。ウェアラブル機器22は、血圧、体温、脈拍などのバイタルデータ(ライフログ)をユーザから取得する。なお、バイタルデータを取得する装置は、マッサージ装置10に設けられていてもよい。
The
通信端末23は、例えば、身体の検査機器である。検査機器23は、ウェアラブル機器22で得られるデータよりも詳細な生体データを取得する機器である。通信端末21(カメラ(第2カメラ)21aを含む)及び通信端末22,23は、ユーザインタフェースとして機能する。
The
情報処理装置11は、通信インタフェース(IF)19を備える。通信IF19は、例えば、無線LAN又は有線LAN通信部である。情報処理装置11は、LANを介して、インターネットなどのネットワーク30に接続する。マッサージ装置10のユーザ20は、情報処理装置11を用いて、サーバ40へアクセスし、サーバ40からのサービス提供を受けることができる。
The
ユーザ20は、例えば、マッサージ装置10を利用する際に、マッサージ実行に先立って、サーバ40へアクセスする。図1及び図2は、ユーザ20がサーバ40にアクセスして、マッサージ実行がされるまでの間に、サーバ40において行われる処理を示している。なお、図1及び図2に示す処理は、マッサージ実行とは無関係に行われてもよい。
For example, when using the
図1及び図2に示すステップS11において、ユーザ20がサーバ40へログインする処理が実行される。ステップS11において、ユーザ20の認証は、例えば、顔認証により行われる。顔認証は、情報処理装置11に搭載されたカメラ14によって撮影されたユーザ顔画像に基づいて行われる。
In step S <b> 11 shown in FIGS. 1 and 2, a process in which the
ユーザ20がサーバ40にログインすると、図1及び図2に示すステップS12において、ユーザの身体状態に関する判定処理51(図3参照)が実行される。実施形態の判定処理51は、一次判定処理(ステップS32)と二次判定処理(ステップS36)とを含む。実施形態の判定処理51は、例えば、人工知能を用いて行われる。
When the
図1に示すステップS31において、一次判定処理に用いられる第1情報の取得処理が実行される。図4に示すように、実施形態において、第1情報は、カメラ14によって撮影された顔画像81(第1画像;第1情報)を含む。顔画像81は、判定処理のために撮影されたものでもよいが、ユーザ認証に用いられた画像を流用するのが好ましい。ユーザ認証に用いられた顔画像を判定処理S12にも用いることで、撮影回数を少なくでき、ユーザ負担が軽減される。
In step S31 shown in FIG. 1, the acquisition process of the 1st information used for a primary determination process is performed. As shown in FIG. 4, in the embodiment, the first information includes a face image 81 (first image; first information) taken by the
実施形態において、第1情報は、チャットボット51aとユーザとの対話情報を含む。チャットボット51aは、ユーザとの対話において、ユーザの身体状態に関する問診を行い、対話内容から、ユーザの身体状態を示す情報を取得する。身体状態を示す情報は、例えば、対話中の身体状態に関するキーワードである。キーワードは、例えば、「凝っている」「微熱」「食欲」「便秘」「肌あれ」など対話内容から形態素解析により抽出された単語である。身体状態を示す情報は、対話内容を意味解析して得られた情報であってもよい。なお、チャットボット51aは、サーバ40の機能であってもよいし(図3参照)、情報処理装置11の機能であってもよい。
In the embodiment, the first information includes interaction information between the chat bot 51a and the user. The chat bot 51a interrogates the user's physical condition in the dialog with the user, and acquires information indicating the user's physical condition from the contents of the dialog. The information indicating the physical state is, for example, a keyword related to the physical state during the conversation. The keyword is, for example, a word extracted by morphological analysis from dialogue contents such as “fancy”, “slight fever”, “appetite”, “constipation”, and “skin”. The information indicating the physical state may be information obtained by semantic analysis of the conversation content. The chat bot 51a may be a function of the server 40 (see FIG. 3) or a function of the
実施形態において、第1情報は、ウェアラブル機器22から取得されたバイタルデータ(ライフログ)を含む。バイタルデータは、スマートフォン21又はマッサージ装置10から取得されてもよい。
In the embodiment, the first information includes vital data (life log) acquired from the
実施形態において、第1情報は、個人情報データベース66(図3参照)に保存された個人情報を含む。個人情報データベース66は、ユーザ20の性別・年齢のほか、ユーザ20から過去に取得された情報(第1情報及び後述の第2情報)、ユーザ20についての過去の判定処理51の結果、ユーザ20のマッサージ履歴(マッサージ装置10によるマッサージ動作の内容と日時)、ユーザ20の食事履歴、ユーザ20の運動履歴、ユーザ20の病歴などを含む。
In the embodiment, the first information includes personal information stored in the personal information database 66 (see FIG. 3). In addition to the gender and age of the
カメラ14、チャットボット51a、及びウェアラブル機器22から取得された第1情報が、現在のユーザ20に関するデータ(新規データ)であるのに対して、個人情報データベース66は、過去のユーザ20に関する保存済みデータ(過去データ)である。過去及び現在のデータを判定に用いることで、過去と現在の差を判定に利用することができる。
The first information acquired from the
ステップS32の一次判定処理では、ユーザ20に関する第1情報を用いて、ユーザ20の身体状態が判定される。身体状態の判定には、例えば、判定用ビッグデータ67(図3参照)を機械学習した人工知能が用いられる。機械学習は、例えば、深層学習である。判定用ビッグデータ67は、例えば、身体状態の判定に用いられた情報と判定結果との組み合わせからなるデータを多数有して構成される。
In the primary determination process in step S <b> 32, the physical state of the
ステップS31において取得された第1情報を、学習済みの人工知能に与えると、人工知能は、ユーザ20の身体状態を出力する。なお、身体状態の判定は、機械学習済み人工知能で行われる必要はなく、第1情報から身体状態を導くためのルールに基づく処理によって行われてもよい。また、身体状態の判定は、機械学習済み人工知能とルールに基づく処理とを組み合わせてもよい。
When the first information acquired in step S31 is given to the learned artificial intelligence, the artificial intelligence outputs the body state of the
ルールに基づいて身体状態を判定するには、例えば、顔画像に基づいて、顔色を識別し、顔色に基づいて所定の身体状態を出力してもよい。また、顔画像に対する画像認識処理により、顔における湿疹の発生などを検出し、湿疹の状況によって所定の身体状態を出力してもよい。また、過去データと新規データとの間に差がある場合には、その差に基づいて所定の身体状態を出力してもよい。また、対話情報に含まれるキーワードに基づいて、所定の身体状態を出力してもよい。 In order to determine the body state based on the rule, for example, the face color may be identified based on the face image, and a predetermined body state may be output based on the face color. Further, the occurrence of eczema in the face may be detected by image recognition processing on the face image, and a predetermined body state may be output depending on the state of eczema. Further, when there is a difference between past data and new data, a predetermined physical state may be output based on the difference. Further, a predetermined physical state may be output based on a keyword included in the dialogue information.
新規データである第1情報及び一次判定処理の結果(身体状態)は、個人情報データベース66に保存され、将来の判定処理51に用いられる。
The first information, which is new data, and the result of the primary determination process (physical state) are stored in the
ステップS32の一次判定処理の後、ステップS33において、追加判定処理である二次判定処理の要否が判定される。実施形態において、二次判定処理は、一次判定処理よりも詳細な判定又は異なる判定を行う。ステップS33では、ユーザ20の身体状態が、そのような追加判定が必要な状態であるか否かが判定される。
After the primary determination process in step S32, it is determined in step S33 whether the secondary determination process, which is an additional determination process, is necessary. In the embodiment, the secondary determination process performs a detailed determination or a different determination than the primary determination process. In step S33, it is determined whether or not the physical condition of the
二次判定処理の要否は、例えば、図5に示す二次判定要否テーブル61を参照することで判定される。二次判定要否テーブル61は、身体状態と二次判定の要否とが対応付けられている。例えば、「良好」という身体状態には、二次判定要否として「不要」が対応付けられている。また、「顔色が白色」「顔色が黄色」「顔色が赤色」「顔色が青色」「顔色が黒色」などの顔色不良に関する身体状態、「吹き出物、ニキビ」「シミ」「乾燥」などの肌荒れに関する身体状態、「目の下のクマ」「目の充血」などの睡眠不足に関する身体状態には、二次判定要否として「必要」が対応付けられている。 Whether or not the secondary determination process is necessary is determined by referring to the secondary determination necessity table 61 shown in FIG. 5, for example. In the secondary determination necessity table 61, the physical state and the necessity of the secondary determination are associated with each other. For example, the physical condition “good” is associated with “unnecessary” as the necessity of secondary determination. It also relates to body conditions related to complexions such as “white on face”, “yellow on face”, “red on face”, “blue on face” and “black on face”, and rough skin such as “pimples, acne”, “stains” and “dryness”. “Necessary” is associated as the necessity of secondary determination with the physical state relating to lack of sleep such as “bear under the eyes” and “hyperemia”.
ステップS33の判定では、一次判定処理の結果である身体状態に基づいて、二次判定要否テーブル61を参照することで、二次判定処理の要否を判定する。なお、二次判定処理の要否の判定は、テーブル61の参照ではなく、一次判定処理の結果に基づき機械学習済みの人工知能で行ってもよい。 In the determination in step S33, whether or not the secondary determination process is necessary is determined by referring to the secondary determination necessity table 61 based on the physical state that is the result of the primary determination process. The determination as to whether or not the secondary determination processing is necessary may be performed by machine-learned artificial intelligence based on the result of the primary determination processing instead of referring to the table 61.
ステップS33において二次判定処理が必要と判断された場合、ステップS34において、二次判定処理に用いられる第2情報の種類が決定される。第2情報の種類も図5に示すテーブル61を参照することで決定される。テーブル61では、二次判定処理が必要である身体状態には、第2情報の種類も対応付けられている。例えば、「顔色が白色」という身体状態には、第2情報として「鼻の拡大画像、問診」などが対応付けられている。「顔色が黄色」という身体状態には、第2情報として「口の拡大画像、問診」などが対応付けられている。「顔色が赤色」という身体状態には、第2情報として「手の拡大画像、舌の拡大画像」などが対応付けられている。「顔色が青色」という身体状態には、第2情報として「目の拡大画像、問診」などが対応付けられている。「顔色が黒色」という身体状態には、第2情報として「耳の拡大画像、問診」などが対応つけられている。また、「吹き出物、ニキビ」という身体状態には、第2情報として「吹き出物、ニキビが出ている位置の拡大画像」が対応付けられている。「シミ」という身体状態には、第2情報として「舌の拡大画像、問診」などが対応付けられている。「乾燥」という身体状態には、第2情報として「食事データ」などが対応付けられている。さらに、「目の下のクマ」という身体状態には、第2情報として「睡眠データ」が対応付けられている。「目の充血」という身体状態には、第2情報として「舌の拡大画像」が対応付けられている。 If it is determined in step S33 that the secondary determination process is necessary, the type of second information used for the secondary determination process is determined in step S34. The type of the second information is also determined by referring to the table 61 shown in FIG. In the table 61, the type of the second information is also associated with the physical state that requires the secondary determination process. For example, the body state “face color is white” is associated with “magnified image of nose, inquiry” or the like as the second information. The body state “the face color is yellow” is associated with the second information “enlarged mouth image, inquiry” and the like. The body state “face color is red” is associated with the second information “an enlarged image of the hand, an enlarged image of the tongue” and the like. The physical state “face color is blue” is associated with “second eye enlarged image, inquiry” or the like as the second information. The physical state “the face color is black” is associated with “enlarged ear image, inquiry” or the like as the second information. In addition, the body state of “pimples and acne” is associated with “enlarged image of a position where pimples and acne is present” as the second information. The body state “stain” is associated with “enlarged image of tongue, inquiry” or the like as the second information. The physical condition “dry” is associated with “meal data” or the like as the second information. Furthermore, “sleep data” is associated with the physical state “bear under the eyes” as the second information. The “tongue red image” is associated with “tongue enlarged image” as the second information.
第2情報の種類を決定することで、取得すべき第2情報を、一次判定処理の結果に応じて必要とされるものだけに絞ることができる。この結果、ユーザ負担を軽減できる。なお、舌の拡大画像は、二次判定処理のための多くの情報が得られるため、すべての身体状態において取得される第2情報として、舌の拡大画像を含んでもよい。 By determining the type of the second information, the second information to be acquired can be narrowed down to only what is required according to the result of the primary determination process. As a result, the user burden can be reduced. The enlarged image of the tongue can include a large image of the tongue as the second information acquired in all body states since a lot of information for the secondary determination process is obtained.
ステップS35において、第2情報の取得処理が実行される。第2情報は、第1情報とは異なる情報である。例えば、第1情報が、顔の全体画像であれば、第2情報としての画像は、顔の一部の拡大画像である。顔の一部とは、例えば、鼻、目(眼底)、口腔、唇、舌、耳、頬、喉である。第2画像82は、ユーザの顔以外の部位の画像であってもよい。顔以外の部位は、例えば、手、足、その他の部位である。 In step S35, the second information acquisition process is executed. The second information is information different from the first information. For example, if the first information is an entire face image, the image as the second information is an enlarged image of a part of the face. The part of the face is, for example, the nose, eyes (fundus), mouth, lips, tongue, ears, cheeks, and throat. The second image 82 may be an image of a part other than the user's face. Parts other than the face are, for example, hands, legs, and other parts.
第2情報としての画像は、スマートフォン21のようにユーザ20が手にもって撮影できるモバイル機器に搭載されたカメラ21aによって撮影されるのが好ましい。マッサージ装置10に着座したユーザ20の顔全体を撮影するように配置されたカメラ14によって、顔の拡大画像又は顔以外の部位の画像を撮影するには、ユーザ20が体を動かす必要があり、ユーザ負担が大きい。これに対して、手にもって撮影できるモバイル機器のカメラ21aを用いると、手を動かすなどの少ない動きで、顔の拡大画像又は顔以外の部位の画像を撮影でき、ユーザ負担が少ない。また、ユーザが、マッサージ装置10に着座したまま、様々な部位を撮影するのも容易である。なお、第2情報としての画像は、マッサージ装置10に搭載されたカメラ14によって撮影された画像を含んでもよい。
The image as the second information is preferably taken by a camera 21 a mounted on a mobile device that can be taken by the
図4に、第2情報としての画像を取得するために、情報処理装置11のタッチパネル15又は通信端末21の画面に表示される画面90を示した。画面90では、ステップS34で決定された種類の画像をユーザ20が撮影するためのガイダンスが表示される。
FIG. 4 shows a screen 90 displayed on the
画面90には、ステップS34で決定された種類の画像に対応するサンプル画像92が表示される。例えば、ステップS34において、決定された第2画像82の種類が、舌の拡大画像を含む場合、サンプル画像92として、舌の拡大画像が表示される。サンプル画像92は舌を撮影した画像でもよいし、イラスト画像でもよい。サンプル画像92を表示することで、判定に適切な画像を得やすくなる。
On the screen 90, a
画面90には、ステップS34で決定された種類の画像を撮影することをユーザに促す説明文91が表示される。例えば、ステップS34において、決定された第2画像82の種類が、舌の拡大画像を含む場合、「サンプル画像を参考に舌の画像を撮影してください」との説明文91が表示される。
The screen 90 displays an
画面90には、カメラ21aからの画像が表示される領域93を備えている。ユーザ20は、サンプル画像92を参考にして、自ら舌を出し、撮影ボタン94を選択することで、自らの舌の拡大画像を撮影することができる。
The screen 90 includes an
第1情報が、対話情報である場合、第2情報としての対話情報は、第1情報としての対話情報を得るための対話ではなされなかった質問を含む対話に基づく対話情報である。第2情報としての対話情報を得るために、より詳細な身体状態(病態など)を特定するための追加的な質問をすることで、より詳細な対話情報を得ることができる。 When the first information is dialogue information, the dialogue information as the second information is dialogue information based on a dialogue including a question that was not made in the dialogue for obtaining the dialogue information as the first information. In order to obtain dialogue information as the second information, more detailed dialogue information can be obtained by asking additional questions for specifying a more detailed physical state (such as a disease state).
第2情報は、第1情報には含まれていなかった検査機器23の検査データを含むことができる。検査データを得るには、検査機器23を操作したり、検査のための時間を要したり、ユーザへの負担が比較的大きい。しかし、第2情報は、一次判定処理の結果、必要と判断された場合にだけ取得されるため、一律に検査データを取得する場合に比べて、ユーザ負担を抑えることができる。なお、第1情報に検査データを含んでもよい。
The second information can include inspection data of the
ステップS36の二次判定処理では、ユーザ20に関する第2情報を用いて、ユーザ20の身体状態が判定される。二次判定処理における身体状態の判定にも、例えば、判定用ビッグデータ67(図3参照)を機械学習した人工知能が用いられる。
In the secondary determination process of step S <b> 36, the physical state of the
ステップS35にて取得された第2情報を、学習済みの人工知能に与えると、人工知能は、ユーザ20の身体状態を出力する。二次判定処理では、一次判定処理に用いられた第1情報とは異なる第2情報が用いられるため、追加的な判定を行える。二次判定処理において、第1情報も用いてもよい。二次判定処理においても、個人情報データベース66に保存された過去データを用いることができる。
When the second information acquired in step S35 is given to the learned artificial intelligence, the artificial intelligence outputs the body state of the
なお、二次判定処理における身体状態の判定も、機械学習済み人工知能で行われる必要はなく、第2情報から身体状態を導くためのルールに基づく処理によって行われてもよい。また、身体状態の判定は、機械学習済み人工知能とルールに基づく処理とを組み合わせてもよい。 Note that the determination of the body state in the secondary determination process does not need to be performed by machine-learned artificial intelligence, and may be performed by a process based on a rule for deriving the body state from the second information. The determination of the body state may be a combination of machine-learned artificial intelligence and rule-based processing.
このように、実施形態の判定処理51では、一次判定処理の結果、二次判定処理が必要と判定された場合に、必要な第2情報が取得される。一方、一次判定処理の結果、二次判定処理が不要と判定された場合には、第2情報は取得されない。したがって、サーバ40は、ユーザ20から多くの情報を取得する機能を有していたとしても、ユーザ20から情報を取得するのは必要な場合に限られる。この結果、ユーザ負担が軽減される。一方、サーバ40は、二次判定処理においては、必要な多くの情報を取得できるため、より適切な判定を行うことができる。
Thus, in the
新規データである第2情報及び二次判定処理の結果(身体状態)は、個人情報データベース66に保存され、将来の判定処理51に用いられる。
The second information, which is new data, and the result (physical state) of the secondary determination process are stored in the
以上の判定処理51(ステップS12)が終了すると、サーバ40は、判定処理の結果に基づいて、ユーザのための様々な処理を実行することができる。実施形態においては、図2に示すステップS13において、対応者との間のコミュニケーションの要否の判定が実行される。ステップS13の判定は、ユーザ対応を、機械(人工知能)であるサーバ40から、人間である対応者に引き継ぐか否かの判定である。
When the above determination process 51 (step S12) ends, the
コミュニケーションの要否の判定は、二次判定の結果(身体状態)に基づいて行われる。コミュニケーションの要否は、例えば、図6に示すコミュニケーション要否テーブル62を参照することで判定される。コミュニケーション要否テーブル62は、身体状態とコミュニケーションの要否とが対応付けられている。例えば、「問題なし」及び「睡眠不足」という身体状態には、コミュニケーション要否として「不要」が対応付けられている。また、「判断不能」「健康上の問題が大きい状態」「美容上の改善が可能な状態」という身体状態には、コミュニケーション要否として「必要」が対応付けられている。 The determination of the necessity of communication is performed based on the result (physical state) of the secondary determination. The necessity of communication is determined, for example, by referring to the communication necessity table 62 shown in FIG. In the communication necessity table 62, the physical condition is associated with the necessity of communication. For example, “unnecessary” is associated with the physical states “no problem” and “insufficient sleep” as the necessity of communication. In addition, “necessary” is associated with the physical condition “undecidable”, “state of great health problems”, and “state where cosmetic improvement is possible” as the necessity of communication.
ステップS13の判定では、二次判定処理の結果である身体状態に基づいて、コミュニケーション要否テーブル62を参照することで、コミュニケーション要否を判定する。なお、コミュニケーション要否の判定は、テーブル62の参照ではなく、二次判定処理の結果に基づき機械学習済みの人工知能でおこなってもよい。また、コミュニケーション要否の判定は、一次判定処理の結果を用いてもよい。また、ステップS13の判定において、コミュニケーションが不要と判断された場合においても、ユーザがコミュニケーションを望むことを示す信号をサーバ40が受け付けた場合には、ユーザが望む対応者とのコミュニケーションを行うことができる。さらに、ステップS13の判定において、コミュニケーションが必要と判断された場合であっても、ユーザがコミュニケーションを望まないことを示す信号をサーバ40が受け付けた場合には、コミュニケーションが実行されないようにしてもよい。
In the determination of step S13, the necessity of communication is determined by referring to the communication necessity table 62 based on the physical state that is the result of the secondary determination process. Note that the necessity of communication may be determined not by referring to the table 62 but by artificial intelligence that has been machine-learned based on the result of the secondary determination process. Further, the result of the primary determination process may be used to determine whether communication is necessary. Further, even when it is determined in step S13 that communication is not required, if the
ステップS13において、コミュニケーションが必要と判断された場合、ステップS14において、対応者の選択処理がなされる。対応者は図6に示すテーブル62を参照することで選択される。テーブル62では、対応者とのコミュニケーションが必要である身体状態には、所定の対応者も対応付けられている。例えば、「判断不能」には、「アドバイザ」が対応者として対応付けられている。「呼吸器系に関する問題の可能性」という身体状態には、「呼吸器科の医師」が対応者として対応つけられている。「消化器系に関する問題の可能性」という身体状態には、「消化器科の医師」が対応者として対応付けられている。「循環器系に関する問題の可能性」という身体状態には、「循環器科の医師」が対応者として対応付けられている。「自律神経系に関する問題の可能性」という身体状態には、「心療内科又は精神科の医師」が対応付けられている。「軽度の肌荒れ」という身体状態には、「エステティシャン」が対応者として対応付けられている。「重度の肌荒れ」という身体状態には、「皮膚科の医師」が対応者として対応付けられている。「軽度の睡眠不足」という身体状態には、「アドバイザ」が対応者として対応付けられている。「重度の睡眠不足」という身体状態には、「心療内科又は精神科の医師」が対応者として対応付けられている。実施形態によれば、ユーザの状況に応じて適切な対応者を選択することができる。なお、対応者は、ユーザによって選択されてもよい。 If it is determined in step S13 that communication is necessary, a responder selection process is performed in step S14. The corresponding person is selected by referring to the table 62 shown in FIG. In the table 62, a predetermined counterpart is also associated with a physical state that requires communication with the counterpart. For example, “Advisor” is associated with “Undecidable” as a responder. The “physician” is associated with the physical condition “possibility of respiratory problems”. The body condition “possibility of problems related to the digestive system” is associated with “physician” as the corresponding person. The physical condition “possibility of a problem related to the circulatory system” is associated with “cardiologist” as the responder. The physical state “possibility of problems related to the autonomic nervous system” is associated with “physician or psychiatric doctor”. A body condition of “slight skin roughness” is associated with “esthetician” as a counterpart. A “dermatologist” is associated with the physical condition “severe rough skin” as a counterpart. The “advisor” is associated with the physical condition “mild sleep deficiency” as a responder. The physical condition of “severe sleep shortage” is associated with “physician internal medicine or psychiatrist doctor” as a corresponding person. According to the embodiment, an appropriate responder can be selected according to the user's situation. The responder may be selected by the user.
ステップS16において、選択された対応者が、その時点で対話可能であるか否かが判定される。対話可能であるか否かは、選択された対応者のスケジュールを持つ対応者データベース63,64,65(図7参照)を参照することで判定される。実施形態において、対応者データベースは、医師データベース63、エステティシャンデータベース64及びアドバイザデータベース65を含む。各データベース63,64,65は、複数の対応者毎の対応可能スケジュール情報を有している。スケジュール情報は、対応者が対話可能な日、曜日、時間帯を示す情報を含む。ステップS16では、選択された対応者のスケジュール情報に照らして、現在の日時において、選択された対応者が対話可能であるか否かが判定される。 In step S16, it is determined whether or not the selected responder can interact at that time. Whether or not dialogue is possible is determined by referring to the correspondent databases 63, 64, and 65 (see FIG. 7) having the schedule of the selected correspondent. In the embodiment, the responder database includes a doctor database 63, an esthetician database 64, and an advisor database 65. Each database 63, 64, 65 has schedule information for each of a plurality of responders. The schedule information includes information indicating days, days of the week, and time zones when the responder can interact. In step S <b> 16, it is determined whether or not the selected counterpart can interact at the current date and time in light of the schedule information of the selected counterpart.
ステップS16において対話可能と判定された場合、対応者とのコミュニケーションのための通信セッション確立処理が実行される(ステップS18,S21,S24)。実施形態においては、図8に示すように、通信セッションS1,S2,S3は、マッサージ装置10と対応者端末101,102,103との間で、ネットワーク30を介して確立される。通信セッション確立処理は、サーバ40が、強制的に通信セッションS1,S2,S3を確立する処理であってもよいし、ユーザ20又は対応者の操作によって通信セッションS1,S2,S3を確立させるための画面を、マッサージ装置10又は対応者端末101,102,103に表示させる処理であってもよい。
If it is determined in step S16 that dialogue is possible, communication session establishment processing for communication with the corresponding person is executed (steps S18, S21, S24). In the embodiment, as shown in FIG. 8, the communication sessions S1, S2, and S3 are established via the
実施形態において、通信セッションS1,S2,S3、ビデオ通話が可能な通信セッションである。対応者は、ユーザ20の顔を見ながら、対応することができる。マッサージ装置10−対応者端末101,102,103間に通信セッションが確立すると、サーバ40は、判定処理51に用いられたユーザ情報(第1情報及び第2情報)及びその他のユーザに関する情報を、対応者端末に送信する処理を実行する(ステップS19,S22,S25)。これにより、対応者は、ユーザの状況を把握するのが容易になる。
In the embodiment, the communication sessions S1, S2, and S3 are communication sessions that allow video calls. The responder can respond while looking at the face of the
ユーザ情報は、サーバ40から直接、対応者端末101,102,103へ送信されてもよいし、ユーザ側装置であるマッサージ装置10経由で対応者端末101,102,103へ送信されてもよい。
The user information may be transmitted directly from the
対応者とユーザとの対話が完了すると、通信セッションは終了する(ステップS20,S23,S26)。 When the interaction between the responder and the user is completed, the communication session ends (steps S20, S23, S26).
また、ステップS16において対話不可と判定された場合、ステップS17において、対応者とのコミュニケーションの予約処理が実行される。対話不可と判定されるのは、例えば、スケジュール情報上、その時点で、対話可能な対応者が存在しない場合である。例えば、夜間や休日においては、予約処理が実行される。予約処理では、サーバ40は、予約可能な日時と対応者リストとを、情報処理装置11に表示させる。ユーザ20は、予約日時と対応者を選択することで、予約が完了する。予約処理を行うことで、事後的に対応者とコミュニケーションをとることができる。なお、予約処理は、対応者が対話可能と判定された場合においても実行可能であってもよい。
If it is determined in step S16 that the dialogue is not possible, a communication reservation process with the corresponding person is executed in step S17. For example, the case where it is determined that the dialogue is not possible is a case where there is no counterpart who can interact at that time in the schedule information. For example, reservation processing is executed at night or on holidays. In the reservation process, the
さて、ステップS13において、対応者とのコミュニケーションが不要と判定された場合であっても、サーバ40は、ステップS15において、ユーザのための他の処理を実行することができる。
Now, even if it is determined in step S13 that communication with the responder is unnecessary, the
ユーザのための他の処理は、例えば、二次判定処理の結果に応じたビデオ画像をユーザ端末に表示させる処理54(図3参照)である。表示されるビデオ画像は、例えば、二次判定処理の結果(身体状態)に基づいて、人工知能により選択される。ビデオ画像を選択する人工知能は、身体状態とビデオ画像との関係を機械学習したものである。ビデオ画像は、例えば、身体状態の改善に関するものが好ましい。 Another process for the user is, for example, a process 54 (see FIG. 3) for displaying a video image corresponding to the result of the secondary determination process on the user terminal. The displayed video image is selected by artificial intelligence based on the result (physical state) of the secondary determination process, for example. Artificial intelligence to select a video image is a machine learning of the relationship between the physical condition and the video image. The video image is preferably related to, for example, improvement of the physical condition.
ユーザのための他の処理は、例えば、ユーザ20に病院に行くことを勧める処理55(図3参照)である。この処理55により、ユーザ20の健康状態が、緊急性を要するような状況であるときには、病院に行くことを促すことができる。
Another process for the user is, for example, a process 55 (see FIG. 3) that encourages the
ユーザのための他の処理は、二次判定処理の結果に応じた生活習慣改善アドバイスをユーザ端末に出力させる処理56(図3参照)である。表示されるアドバイスは、二次判定結果が、例えば、肥満傾向を示すものである場合、食事の量を制限するアドバイスや運動量を増やすアドバイスを含むことができる。 The other process for the user is a process 56 (see FIG. 3) for causing the user terminal to output lifestyle improvement advice according to the result of the secondary determination process. The displayed advice may include advice for restricting the amount of meal and advice for increasing the amount of exercise when the secondary determination result indicates, for example, an obesity tendency.
ユーザのための他の処理は、二次判定処理又は二次判定を含む判定処理全体を再度行うスケジュールを設定する処理57である。サーバ40は、情報処理装置11に、スケジュールを設定させる画面を表示させる。そして、ユーザ入力により、スケジュールが設定される。これにより、ユーザ20が希望するときに、再度の判定処理を実行することが可能となる。
Another process for the user is a
ユーザのための他の処理は、二次判定処理の結果又は一次判定処理の結果に応じた推奨商品をユーザ端末に表示させる処理58である。例えば、判定結果が、栄養不足を示すものである場合、栄養補助食品をユーザに提示することができる。また、判定結果が、運動不足を示すものである場合、運動器具をユーザに提示することができる。 Another process for the user is a process 58 for displaying a recommended product corresponding to the result of the secondary determination process or the result of the primary determination process on the user terminal. For example, when the determination result indicates a lack of nutrition, the nutritional supplement can be presented to the user. In addition, when the determination result indicates lack of exercise, the exercise equipment can be presented to the user.
なお、ユーザのための処理54,55,56,57,58は、対応者とのコミュニケーションが行われる場合に実行されてもよい。また、ユーザのための処理54,55,56,57,58は、後述のマッサージ動作決定処理(ステップS27)により決定されたマッサージ動作の実行中に並行して実行されてもよし、マッサージ動作の実行後に実行されてもよい。
Note that the
ステップS27のマッサージ動作決定処理では、ステップS12の判定処理51の結果に基づいて、マッサージ装置10に行わせるマッサージ動作が決定される。決定されたマッサージ動作は、サーバ40から情報処理装置11へ送信される。情報処理装置11は、受信したマッサージ動作を、マッサージ装置本体10aに実行させる。本実施形態においては、身体状態に応じた適切なマッサージが行われる。さらに、本実施形態では、必要に応じて多くの情報を用いた詳細な身体状態判定が行われるため、身体状態の違いに応じて、きめ細かくマッサージの内容を調整することができる。
In the massage operation determination process in step S27, the massage operation to be performed by the
マッサージ動作決定処理では、個人情報データベース66に保存された過去データをも用いて、マッサージ動作を決定することができる。過去データとしては、例えば、ユーザ20に対して過去施されたマッサージ動作の内容である。過去のマッサージ動作の内容は、ユーザのマッサージの好みも示している。したがって、ユーザの過去データをも参照してマッサージ動作を決定すると、同じ身体状態であっても、ユーザの好みに応じた異なるマッサージ動作を決定することができる。
In the massage operation determination process, the massage operation can be determined using past data stored in the
マッサージ動作決定処理では、二次判定処理の結果の有無に応じて、マッサージ動作の決定方法を異ならせることができる。多くの場合、一次判定処理は少ない情報に基づいて行われるため、判定の精度が比較的低い。したがって、マッサージ動作の決定も簡易な処理で行うのが好適である。 In the massage operation determination process, the determination method of the massage operation can be varied depending on the presence or absence of the result of the secondary determination process. In many cases, since the primary determination process is performed based on a small amount of information, the determination accuracy is relatively low. Therefore, it is preferable to determine the massage operation by a simple process.
簡易な処理によるマッサージ動作の決定の仕方は、例えば、既存の複数のマッサージコース候補の中からの選択である。例えば、図9に示すように、身体状態とマッサージコースとが対応付けられたマッサージコーステーブル68を参照することにより、一次判定処理の結果が示す身体状態に応じたマッサージコースを、複数のマッサージコース候補の中から選択することができる。 The method of determining the massage operation by simple processing is, for example, selection from a plurality of existing massage course candidates. For example, as shown in FIG. 9, by referring to a massage course table 68 in which a body condition and a massage course are associated with each other, a massage course corresponding to the body condition indicated by the result of the primary determination process is converted into a plurality of massage courses You can choose from candidates.
また、多くの場合、二次判定処理はより多い情報に基づいて行われるため、判定の精度が比較的高い。したがって、マッサージ動作の決定も、既存のマッサージコースの選択ではなく、ユーザ20の状況に応じた新たなマッサージコースを自動生成する処理で行うのが好適である。
In many cases, since the secondary determination process is performed based on more information, the determination accuracy is relatively high. Therefore, it is preferable to determine the massage operation not by selecting an existing massage course but by a process of automatically generating a new massage course according to the situation of the
マッサージコースの自動生成は、例えば、標準的なマッサージコース201を、二次判定処理の結果が示す身体状態に応じて、適宜改変することによって行える。また、マッサージコースの自動生成は、個人情報データベース66に保存されているユーザ20の好みのマッサージコースを、身体状態に応じて、適宜改変することによって行ってもよい。
The massage course can be automatically generated by, for example, appropriately modifying the
さらに、マッサージコースの自動生成は、マッサージ部位(経絡の位置)202、マッサージ動作(揉み、叩きなど)203、マッサージ強さ204、マッサージ時間205など、マッサージコースを規定する要素を組み合わせることで行われてもよい。各要素の組み合わせの際には、二次判定処理の結果が考慮される。各要素の組み合わせの際には、個人情報データベース66に保存された過去データを考慮してもよい。
Furthermore, automatic generation of a massage course is performed by combining elements that define the massage course, such as a massage part (meridian position) 202, a massage operation (itching, hitting, etc.) 203, a
決定されたマッサージ動作は、個人情報データベース66に新規データとして保存される。
The determined massage operation is stored as new data in the
本実施形態において、マッサージ動作決定処理は、判定処理の判定結果にかかわらず常に実行されてもよい。ただし、対応者との間のコミュニケーションが必要と判定された場合には、マッサージ動作決定処理を実行することなく、コミュニケーションのための処理を優先して実行するのが好適である。この場合、直ちに医師に相談することが望まれるような状況等において、マッサージ動作の実行を回避することで、ユーザ20は、医師等の対応者とのコミュニケーションを迅速に行うことができる。
In the present embodiment, the massage operation determination process may always be executed regardless of the determination result of the determination process. However, when it is determined that communication with the responder is necessary, it is preferable to preferentially execute the communication process without executing the massage operation determination process. In this case, in a situation where it is desired to immediately consult a doctor, the
<3.付記>
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。
<3. Addendum>
The present invention is not limited to the above embodiment, and various modifications can be made.
10 マッサージ装置
10a マッサージ装置本体
11 情報処理装置(マッサージ装置に搭載された端末)
12 プロセッサ
13 記憶装置
14 第1カメラ(マッサージ装置に搭載された端末)
15 タッチパネル
16 マイク
17 スピーカ
18 通信IF
19 通信IF
20 ユーザ
21 スマートフォン(モバイル機器)
21a 第2カメラ(モバイル機器に搭載された端末)
22 ウェアラブル機器
23 検査機器(検査アプリケーション)
30 ネットワーク
40 サーバ(情報処理装置)
50 プロセッサ
51 判定処理
51a チャットボット
52 コミュニケーションのための情報処理
53 マッサージ動作決定処理
54 ビデオ表示処理
55 病院表示処理
56 生活習慣改善アドバイス表示処理
57 再判定スケジュール設定処理
58 推奨商品表示処理
60 記憶装置
61 二次判定要否テーブル
62 コミュニケーション要否テーブル
63 医師データベース
64 エステティシャンデータベース
65 アドバイザデータベース
66 個人情報データベース
67 判定用ビッグデータ
68 マッサージコーステーブル
70 コンピュータプログラム
81 第1画像(第1情報)
82 第2画像(第2情報)
90 画面
91 説明文表示
92 サンプル画像
93 第2カメラ画像表示領域
94 撮影ボタン
101 医師端末
102 エステティシャン端末
103 アドバイザ端末
201 標準マッサージコース
202 マッサージ部位
203 マッサージ動作
204 マッサージ強さ
205 マッサージ時間
S1 通信セッション
S2 通信セッション
S3 通信セッション
DESCRIPTION OF
12 processor 13
15 Touch panel 16
19 Communication IF
20
21a Second camera (terminal installed in mobile device)
22
30
DESCRIPTION OF
82 Second image (second information)
90
Claims (14)
前記一次判定処理の結果に基づいて、前記ユーザの身体状態に関する二次判定処理の要否を判定し、
前記二次判定処理が必要であると判定された場合、前記ユーザに関する情報であって前記第1情報とは異なる情報である第2情報を前記ユーザから取得し、
前記第2情報を用いて、前記二次判定処理を実行する
よう構成された情報処理装置。 Using the first information regarding the user, a primary determination process regarding the physical state of the user is performed,
Based on the result of the primary determination process, it is determined whether a secondary determination process related to the user's physical condition is necessary,
If it is determined that the secondary determination process is necessary, second information that is information about the user and is different from the first information is acquired from the user;
An information processing apparatus configured to execute the secondary determination process using the second information.
前記第2情報は、前記第1ユーザインタフェースとは別の第2ユーザインタフェースを介して、前記ユーザから取得される情報を含む
請求項1記載の情報処理装置。 The first information includes information acquired from the user via a first user interface,
The information processing apparatus according to claim 1, wherein the second information includes information acquired from the user via a second user interface different from the first user interface.
前記第2ユーザインタフェースは、前記ユーザが持つモバイル機器に搭載されたカメラである
請求項2に記載の情報処理装置。 The first user interface is a camera mounted on a massage device,
The information processing apparatus according to claim 2, wherein the second user interface is a camera mounted on a mobile device owned by the user.
請求項1〜3のいずれか1項に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the second information is information of a type determined based on a result of the primary determination process.
前記第2情報は、前記第1画像における前記ユーザの一部の部位又は前記第1画像に表れていない前記ユーザの特定の部位を撮影した第2画像を含む
請求項1〜4のいずれか1項に記載の情報処理装置。 The first information includes a first image taken of the user,
5. The second information includes a second image obtained by photographing a part of the user in the first image or a specific part of the user that does not appear in the first image. The information processing apparatus according to item.
よう構成された請求項5に記載の情報処理装置。 The information processing apparatus according to claim 5, further configured to further execute a process of presenting a sample image of the part to the user in order to acquire the second image from the user.
よう構成された請求項1〜6のいずれか1項に記載の情報処理装置。 The information processing apparatus according to claim 1, further configured to further execute a process for the user based on a result of the secondary determination process.
請求項7に記載の情報処理装置。 The information processing apparatus according to claim 7, wherein the process for the user includes an operation determination process for determining an operation to be performed by the massage device used by the user, using a result of the secondary determination process.
請求項7又は8に記載の情報処理装置。 The information processing apparatus according to claim 7, wherein the processing for the user includes information processing for communication between the user and a human counterpart.
請求項7〜9のいずれか1項に記載の情報処理装置。 The information processing apparatus according to claim 7, wherein the process for the user includes a process of displaying a video image corresponding to a result of the secondary determination process on a user terminal.
請求項7〜10のいずれか1項に記載の情報処理装置。 The information processing apparatus according to any one of claims 7 to 10, wherein the process for the user includes a process of causing a user terminal to output lifestyle improvement advice according to a result of the secondary determination process.
請求項7〜11のいずれか1項に記載の情報処理装置。 The information processing apparatus according to claim 7, wherein the process for the user includes a process of setting a schedule for performing the secondary determination process again.
請求項7〜12のいずれか1項に記載の情報処理装置。 The information processing apparatus according to any one of claims 7 to 12, wherein the process for the user includes a process of causing a user terminal to display a recommended product corresponding to a result of the secondary determination process.
前記一次判定処理の結果に基づいて、前記ユーザの身体状態に関する二次判定処理の要否を判定し、
前記二次判定処理が必要であると判定された場合、前記ユーザに関する情報であって前記第1情報とは異なる情報である第2情報を前記ユーザから取得し、
前記第2情報を用いて、前記二次判定処理を実行する
ことを含む情報処理装置の動作方法。 Using the first information regarding the user, a primary determination process regarding the physical state of the user is performed,
Based on the result of the primary determination process, it is determined whether a secondary determination process related to the user's physical condition is necessary,
If it is determined that the secondary determination process is necessary, second information that is information about the user and is different from the first information is acquired from the user;
An operation method of the information processing apparatus including executing the secondary determination process using the second information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018061935A JP2019170655A (en) | 2018-03-28 | 2018-03-28 | Information processing apparatus and operation method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018061935A JP2019170655A (en) | 2018-03-28 | 2018-03-28 | Information processing apparatus and operation method thereof |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019170655A true JP2019170655A (en) | 2019-10-10 |
Family
ID=68168880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018061935A Pending JP2019170655A (en) | 2018-03-28 | 2018-03-28 | Information processing apparatus and operation method thereof |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019170655A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210071883A (en) * | 2020-05-25 | 2021-06-16 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Massage prompting method and device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000070318A (en) * | 1998-08-27 | 2000-03-07 | Family Kk | Massager |
JP2005296208A (en) * | 2004-04-09 | 2005-10-27 | Konica Minolta Holdings Inc | Diagnostic system |
JP2007125151A (en) * | 2005-11-02 | 2007-05-24 | Konica Minolta Holdings Inc | Diagnostic system and diagnostic apparatus |
JP2011125474A (en) * | 2009-12-17 | 2011-06-30 | Isuzu Motors Ltd | Device for determination of physical condition |
JP2016030018A (en) * | 2014-07-28 | 2016-03-07 | 日立マクセル株式会社 | Massage system |
-
2018
- 2018-03-28 JP JP2018061935A patent/JP2019170655A/en active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000070318A (en) * | 1998-08-27 | 2000-03-07 | Family Kk | Massager |
JP2005296208A (en) * | 2004-04-09 | 2005-10-27 | Konica Minolta Holdings Inc | Diagnostic system |
JP2007125151A (en) * | 2005-11-02 | 2007-05-24 | Konica Minolta Holdings Inc | Diagnostic system and diagnostic apparatus |
JP2011125474A (en) * | 2009-12-17 | 2011-06-30 | Isuzu Motors Ltd | Device for determination of physical condition |
JP2016030018A (en) * | 2014-07-28 | 2016-03-07 | 日立マクセル株式会社 | Massage system |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20210071883A (en) * | 2020-05-25 | 2021-06-16 | 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. | Massage prompting method and device |
JP2021130020A (en) * | 2020-05-25 | 2021-09-09 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | Massage instruction method and device |
JP7204819B2 (en) | 2020-05-25 | 2023-01-16 | 阿波▲羅▼智▲聯▼(北京)科技有限公司 | Massage instruction method and device |
KR102607036B1 (en) * | 2020-05-25 | 2023-11-30 | 아폴로 인텔리전트 커넥티비티 (베이징) 테크놀로지 씨오., 엘티디. | Massage prompting method and device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102177697B1 (en) | Massage apparatus and massage system | |
US20220331663A1 (en) | System and Method for Using an Artificial Intelligence Engine to Anonymize Competitive Performance Rankings in a Rehabilitation Setting | |
US20220288462A1 (en) | System and method for generating treatment plans to enhance patient recovery based on specific occupations | |
US20170293356A1 (en) | Methods and Systems for Obtaining, Analyzing, and Generating Vision Performance Data and Modifying Media Based on the Vision Performance Data | |
US20170344713A1 (en) | Device, system and method for assessing information needs of a person | |
KR101983279B1 (en) | Nerve disprder diagnosis apparatus and method using virtual reality | |
Hughes et al. | The processing of auditory and visual recognition of self-stimuli | |
Sumioka et al. | Technical challenges for smooth interaction with seniors with dementia: Lessons from Humanitude™ | |
US10701210B2 (en) | Systems and methods for matching subjects with care consultants in telenursing call centers | |
US20210369115A1 (en) | Telemetry monitoring and assessment system of parameters of human vital functions and clinical signs of possible functional disorders and determination of methods of control | |
CN116419778A (en) | Training system, training device and training with interactive auxiliary features | |
JP2019170655A (en) | Information processing apparatus and operation method thereof | |
JP2019133271A (en) | Telemedicine terminal device, computer program, and server | |
US20220230749A1 (en) | Systems and methods for ophthalmic digital diagnostics via telemedicine | |
US20240164672A1 (en) | Stress detection | |
JP7033307B2 (en) | Information processing device and its operation method | |
CA3230610A1 (en) | Multi-sensory, assistive wearable technology, and method of providing sensory relief using same | |
JP7025755B2 (en) | Information processing device and its operation method | |
Gol et al. | The importance of contextual aspects in the care for patients with functional somatic symptoms | |
US20240221301A1 (en) | Extended reality assistance based on user understanding | |
US20240164674A1 (en) | System for Detecting Mental and/or Physical State of Human | |
WO2016206120A1 (en) | Information processing method, apparatus and terminal | |
Papadopoulos-Nydam et al. | Usability Testing of a mHealth System for Swallowing Therapy in Patients Following Stroke | |
US20230338698A1 (en) | Multi-sensory, assistive wearable technology, and method of providing sensory relief using same | |
Rafiqi | Pupilware: Towards cognitive and context-aware framework |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210325 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210907 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211224 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220315 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220610 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220610 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20220621 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20220622 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20220708 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20220712 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20221026 |
|
C23 | Notice of termination of proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C23 Effective date: 20230111 |
|
C03 | Trial/appeal decision taken |
Free format text: JAPANESE INTERMEDIATE CODE: C03 Effective date: 20230206 |
|
C30A | Notification sent |
Free format text: JAPANESE INTERMEDIATE CODE: C3012 Effective date: 20230206 |