JPWO2019230234A1

JPWO2019230234A1 - Information processing equipment, programs, and sensing devices

Info

Publication number: JPWO2019230234A1
Application number: JP2020521783A
Authority: JP
Inventors: 龍太岡崎; 直輝齋藤; 岡本　直樹; 直樹岡本; 尚美北村
Original assignee: Shiseido Co Ltd
Current assignee: Shiseido Co Ltd
Priority date: 2018-05-28
Filing date: 2019-04-17
Publication date: 2021-07-01
Anticipated expiration: 2039-04-17
Also published as: WO2019230234A1; TW202010468A; JP7216084B2

Abstract

情報処理装置は、ユーザの両耳に装着され、且つ、ユーザの生体組織の振動を検出する一対のセンサから、振動に関する振動情報を取得する手段を備え、振動情報に基づいて、ユーザの生体組織の状態を判定する手段を備え、判定の結果を記憶装置に記憶する手段を備える。The information processing device includes means for acquiring vibration information related to vibration from a pair of sensors that are attached to both ears of the user and detect vibration of the user's biological tissue, and based on the vibration information, the user's biological tissue. A means for determining the state of the above, and a means for storing the determination result in a storage device.

Description

本発明は、情報処理装置、プログラム、及び、センシングデバイスに関する。 The present invention relates to an information processing device, a program, and a sensing device.

一般に、化粧品の販売店では、消費者の肌の状態に応じた商品の販売を提案するために、消費者の肌の状態の分析が行われている。 In general, cosmetics stores analyze the skin condition of consumers in order to propose the sale of products according to the skin condition of consumers.

従来、人の肌の状態を分析するために、肌の状態を光学的に検出する光学センサが用いられている。例えば、特開２０１１−１４９９０１号公報には、複数波長域の光による像を撮像するために規則的に配列された複数の受光部を有する装置が開示されている。 Conventionally, in order to analyze the condition of human skin, an optical sensor that optically detects the condition of the skin has been used. For example, Japanese Patent Application Laid-Open No. 2011-149901 discloses an apparatus having a plurality of light receiving units regularly arranged for capturing an image of light in a plurality of wavelength regions.

しかし、光学的に検出された肌の状態は、肌の表面の光学特性に強く依存する。そのため、特開２０１１−１４９９０１号公報で得られる検出結果は、肌の内部の状態を反映していない。したがって、肌を含む生体組織の状態の判定の精度は、十分に高くない。 However, the optically detected skin condition strongly depends on the optical properties of the skin surface. Therefore, the detection results obtained in Japanese Patent Application Laid-Open No. 2011-149901 do not reflect the internal condition of the skin. Therefore, the accuracy of determining the state of living tissue including skin is not sufficiently high.

本発明の目的は、生体組織の状態の判定の精度を向上させることである。 An object of the present invention is to improve the accuracy of determining the state of a living tissue.

本発明の一態様は、
ユーザの両耳に装着され、且つ、前記ユーザの生体組織の振動を検出する一対のセンサから、前記振動に関する振動情報を取得する手段を備え、
前記振動情報に基づいて、前記ユーザの生体組織の状態を判定する手段を備え、
前記判定の結果を記憶装置に記憶する手段を備える、
情報処理装置である。One aspect of the present invention is
A means for acquiring vibration information related to the vibration from a pair of sensors worn on both ears of the user and detecting the vibration of the user's biological tissue is provided.
A means for determining the state of the living tissue of the user based on the vibration information is provided.
A means for storing the result of the determination in a storage device is provided.
It is an information processing device.

本発明によれば、生体組織の状態の判定の精度を向上させることができる。 According to the present invention, the accuracy of determining the state of living tissue can be improved.

本実施形態の情報処理システムの概略図である。It is a schematic diagram of the information processing system of this embodiment. 図１の情報処理システムの構成を示すブロック図である。It is a block diagram which shows the structure of the information processing system of FIG. 本実施形態の概要の説明図である。It is explanatory drawing of the outline of this embodiment. 本実施形態のユーザ情報データベースのデータ構造を示す図である。It is a figure which shows the data structure of the user information database of this embodiment. 本実施形態のセンシングログ情報データベースのデータ構造を示す図である。It is a figure which shows the data structure of the sensing log information database of this embodiment. 本実施形態のレコメンド情報マスタデータベースのデータ構造を示す図である。It is a figure which shows the data structure of the recommendation information master database of this embodiment. 本実施形態の情報処理のシーケンス図である。It is a sequence diagram of information processing of this embodiment. 図７の情報処理において表示される画面例を示す図である。It is a figure which shows the screen example displayed in the information processing of FIG. 7. 図７の情報処理において表示される画面例を示す図である。It is a figure which shows the screen example displayed in the information processing of FIG. 7. 図７のセンシングの詳細な処理のフローチャートである。It is a flowchart of the detailed processing of the sensing of FIG.

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。 Hereinafter, one embodiment of the present invention will be described in detail with reference to the drawings. In addition, in the drawing for demonstrating an embodiment, the same constituent elements are in principle given the same reference numerals, and the repeated description thereof will be omitted.

（１）情報処理システムの構成
情報処理システムの構成について説明する。図１は、本実施形態の情報処理システムの概略図である。図２は、図１の情報処理システムの構成を示すブロック図である。(1) Configuration of information processing system The configuration of the information processing system will be described. FIG. 1 is a schematic view of the information processing system of the present embodiment. FIG. 2 is a block diagram showing a configuration of the information processing system of FIG.

図１に示すように、ユーザＵは、センシングデバイス１０の構成要素である一対のセンサ１５を自身の両耳に装着する。
図１〜図２に示すように、情報処理システム１は、センシングデバイス１０と、サーバ３０とを備える。
センシングデバイス１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。As shown in FIG. 1, the user U wears a pair of sensors 15 which are components of the sensing device 10 on his / her ears.
As shown in FIGS. 1 and 2, the information processing system 1 includes a sensing device 10 and a server 30.
The sensing device 10 and the server 30 are connected via a network (for example, the Internet or an intranet) NW.

センシングデバイス１０は、サーバ３０にリクエストを送信する情報処理装置の一例である。センシングデバイス１０は、例えば、以下の少なくとも１つである。
・ユーザＵの両耳の内側に装着可能なインナーイヤー型デバイス（つまり、イヤフォン型デバイス）
・ユーザＵの両耳の外側に装着可能なアウターイヤー型デバイス（つまり、ヘッドフォン型デバイス）
・インナーイヤー型デバイス、又は、アウターイヤー型デバイス、及び、コンピュータ（一例として、スマートフォン、タブレット端末、又は、パーソナルコンピュータ）の組合せThe sensing device 10 is an example of an information processing device that transmits a request to the server 30. The sensing device 10 is, for example, at least one of the following.
-Inner ear type device that can be worn inside both ears of user U (that is, earphone type device)
-Outer ear type device that can be worn on the outside of both ears of user U (that is, headphone type device)
-A combination of an inner ear type device or an outer ear type device and a computer (for example, a smartphone, a tablet terminal, or a personal computer).

サーバ３０は、センシングデバイス１０から送信されたリクエストに応じたレスポンスをセンシングデバイス１０に提供する情報処理装置の一例である。サーバ３０は、例えば、ウェブサーバである。 The server 30 is an example of an information processing device that provides the sensing device 10 with a response in response to a request transmitted from the sensing device 10. The server 30 is, for example, a web server.

（１−１）センシングデバイスの構成
図２を参照して、センシングデバイス１０の構成について説明する。(1-1) Configuration of Sensing Device The configuration of the sensing device 10 will be described with reference to FIG.

図２に示すように、センシングデバイス１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４と、一対のセンサ１５と、波形出力部１６と、一対の音声出力部１７と、を備える。 As shown in FIG. 2, the sensing device 10 includes a storage device 11, a processor 12, an input / output interface 13, a communication interface 14, a pair of sensors 15, a waveform output unit 16, and a pair of audio output units 17. And.

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。 The storage device 11 is configured to store programs and data. The storage device 11 is, for example, a combination of a ROM (Read Only Memory), a RAM (Random Access Memory), and a storage (for example, a flash memory or a hard disk).

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーションのプログラムThe program includes, for example, the following program.
-OS (Operating System) program-Application program that executes information processing

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）The data includes, for example, the following data.
-Database referenced in information processing-Data obtained by executing information processing (that is, the execution result of information processing)

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、センシングデバイス１０の機能を実現するように構成される。プロセッサ１２は、コンピュータの一例である。 The processor 12 is configured to realize the function of the sensing device 10 by activating the program stored in the storage device 11. The processor 12 is an example of a computer.

入出力インタフェース１３は、センシングデバイス１０に接続される入力デバイスからユーザの指示を取得し、かつ、センシングデバイス１０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ、及び、音声出力部１７である。The input / output interface 13 is configured to acquire a user's instruction from an input device connected to the sensing device 10 and output information to an output device connected to the sensing device 10.
The input device is, for example, a keyboard, a pointing device, a touch panel, or a combination thereof.
The output device is, for example, a display and an audio output unit 17.

通信インタフェース１４は、センシングデバイス１０とサーバ３０との間の通信を制御するように構成される。 The communication interface 14 is configured to control communication between the sensing device 10 and the server 30.

一対のセンサ１５は、センシングデバイス１０を装着したユーザＵの肌の振動を検出し、且つ、検出した振動に応じた電気信号（以下「振動信号」という）を生成するように構成される。 The pair of sensors 15 are configured to detect the vibration of the skin of the user U wearing the sensing device 10 and generate an electric signal (hereinafter, referred to as “vibration signal”) corresponding to the detected vibration.

波形出力部１６は、振動素子（不図示）に接続される。波形出力部１６は、所定の周波数で振動素子を振動させることにより、センシングデバイス１０を装着したユーザＵに対して、所定の波形を有する振動を付加するように構成される。波形出力部１６は、例えば、一対のセンサ１５のうち一方の近傍（例えば、ユーザＵがセンシングデバイス１０を装着したときに、ユーザＵの両耳のうち一方の耳の近傍に接触する位置）に配置される。 The waveform output unit 16 is connected to a vibrating element (not shown). The waveform output unit 16 is configured to vibrate the vibrating element at a predetermined frequency to add vibration having a predetermined waveform to the user U equipped with the sensing device 10. The waveform output unit 16 is located near, for example, one of the pair of sensors 15 (for example, a position where the user U contacts the vicinity of one of the ears of the user U when the sensing device 10 is attached). Be placed.

一対の音声出力部１７は、プロセッサ１２によって生成された音声信号に基づく音声を出力するように構成される。 The pair of audio output units 17 are configured to output audio based on the audio signal generated by the processor 12.

（１−２）サーバの構成
図２を参照して、サーバ３０の構成について説明する。(1-2) Server Configuration The configuration of the server 30 will be described with reference to FIG.

図２に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。 As shown in FIG. 2, the server 30 includes a storage device 31, a processor 32, an input / output interface 33, and a communication interface 34.

記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。 The storage device 31 is configured to store programs and data. The storage device 31 is, for example, a combination of a ROM, a RAM, and a storage (for example, a flash memory or a hard disk).

プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラムThe program includes, for example, the following program.
・ OS program ・ Application program that executes information processing

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果The data includes, for example, the following data.
・ Database referenced in information processing ・ Execution result of information processing

プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するように構成される。プロセッサ３２は、コンピュータの一例である。 The processor 32 is configured to realize the function of the server 30 by activating the program stored in the storage device 31. The processor 32 is an example of a computer.

入出力インタフェース３３は、サーバ３０に接続される入力デバイスからユーザの指示を取得し、かつ、サーバ３０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。The input / output interface 33 is configured to acquire a user's instruction from an input device connected to the server 30 and output information to an output device connected to the server 30.
The input device is, for example, a keyboard, a pointing device, a touch panel, or a combination thereof.
The output device is, for example, a display.

通信インタフェース３４は、サーバ３０とセンシングデバイス１０との間の通信を制御するように構成される。 The communication interface 34 is configured to control communication between the server 30 and the sensing device 10.

（２）実施形態の概要
本実施形態の概要について説明する。図３は、本実施形態の概要の説明図である。(2) Outline of the Embodiment The outline of the present embodiment will be described. FIG. 3 is an explanatory diagram of an outline of the present embodiment.

図３に示すように、ユーザＵは、一対のセンサ１５を両耳に装着する。
ユーザＵの両耳に装着された一対のセンサ１５は、ユーザＵの生体組織の振動を検出する。
センシングデバイス１０は、一対のセンサ１５から検出結果（振動）に関する振動情報を取得し、且つ、振動情報に基づいて、ユーザＵの生体組織の状態を判定するように構成される。As shown in FIG. 3, the user U wears a pair of sensors 15 on both ears.
A pair of sensors 15 attached to both ears of the user U detect the vibration of the living tissue of the user U.
The sensing device 10 is configured to acquire vibration information regarding a detection result (vibration) from a pair of sensors 15 and determine the state of the living tissue of the user U based on the vibration information.

本実施形態によれば、一対のセンサ１５が取得した振動に応じた生体組織の状態を判定する。これにより、生体組織の状態の判定の精度を向上させることができる。 According to this embodiment, the state of the living tissue according to the vibration acquired by the pair of sensors 15 is determined. Thereby, the accuracy of determining the state of the living tissue can be improved.

（３）データベース
本実施形態のデータベースについて説明する。以下のデータベースは、記憶装置３１に記憶される。(3) Database The database of the present embodiment will be described. The following database is stored in the storage device 31.

（３−１）ユーザ情報データベース
本実施形態のユーザ情報データベースについて説明する。図４は、本実施形態のユーザ情報データベースのデータ構造を示す図である。(3-1) User Information Database The user information database of the present embodiment will be described. FIG. 4 is a diagram showing a data structure of the user information database of the present embodiment.

図４のユーザ情報データベースには、ユーザに関するユーザ情報が格納される。
ユーザ情報データベースは、「ユーザＩＤ」フィールドと、「ユーザ名」フィールドと、「認証情報」フィールドと、「画像」フィールドと、「ユーザ属性」フィールドと、を含む。各フィールドは、互いに関連付けられている。The user information database of FIG. 4 stores user information about the user.
The user information database includes a "user ID" field, a "user name" field, an "authentication information" field, an "image" field, and a "user attribute" field. Each field is associated with each other.

「ユーザＩＤ」フィールドには、ユーザを識別するユーザＩＤ（「ユーザ識別情報」の一例）が格納される。「ユーザＩＤ」フィールドの情報は、ユーザ情報データベースの各レコードの主キーである。 A user ID that identifies a user (an example of "user identification information") is stored in the "user ID" field. The information in the "User ID" field is the primary key for each record in the user information database.

「ユーザ名」フィールドには、ユーザの名称に関する情報（例えば、テキスト）が格納される。 The Username field stores information about the user's name (eg, text).

「認証情報」フィールドには、ログイン認証のために参照される認証情報が格納される。認証情報は、例えば、以下の少なくとも１つである。
・パスワード
・指紋のパターンに関する情報
・顔の特徴量に関する情報
・ワンタイム認証コードThe Credentials field stores the credentials referenced for login authentication. The authentication information is, for example, at least one of the following.
・ Password ・ Information about fingerprint pattern ・ Information about facial features ・ One-time authentication code

「画像」フィールドには、ユーザの画像（例えば、ユーザの肌の画像、及び、ユーザの髪の画像の少なくとも１つ）の画像データが格納される。 The "image" field stores image data of the user's image (eg, at least one of the user's skin image and the user's hair image).

「ユーザ属性」フィールドには、ユーザの属性に関するユーザ属性情報が格納される。「ユーザ属性」フィールドは、「性別」フィールドと、「年齢」フィールドと、を含む。 The "user attribute" field stores user attribute information related to the user's attribute. The "User Attributes" field includes a "Gender" field and an "Age" field.

「性別」フィールドには、ユーザの性別に関する情報が格納される。 The Gender field stores information about the user's gender.

「年齢」フィールドには、ユーザの年齢に関する情報が格納される。 The Age field stores information about the user's age.

（３−２）センシングログ情報データベース
本実施形態のセンシングログ情報データベースについて説明する。図５は、本実施形態のセンシングログ情報データベースのデータ構造を示す図である。(3-2) Sensing log information database The sensing log information database of the present embodiment will be described. FIG. 5 is a diagram showing a data structure of the sensing log information database of the present embodiment.

図５のセンシングログ情報データベースには、センシングデバイス１０によって取得された情報の履歴（以下「センシングログ情報」という）が格納される。
センシングログ情報データベースは、「ログＩＤ」フィールドと、「判定日時」フィールドと、「波形ファイル」フィールドと、「振幅」フィールドと、「位置」フィールドと、「方向」フィールドと、「速度」フィールドと、「状態」フィールドと、を含む。各フィールドは、互いに関連付けられている。
センシングログ情報データベースは、ユーザＩＤに関連付けられている。The sensing log information database of FIG. 5 stores a history of information acquired by the sensing device 10 (hereinafter referred to as “sensing log information”).
The sensing log information database includes a "log ID" field, a "judgment date and time" field, a "waveform file" field, an "amplitude" field, a "position" field, a "direction" field, and a "speed" field. , Includes the "Status" field. Each field is associated with each other.
The sensing log information database is associated with the user ID.

「ログＩＤ」フィールドには、センシングログ情報を識別するログＩＤが格納される。「ログＩＤ」フィールドの情報は、センシングログ情報データベースの各レコードの主キーである。 A log ID that identifies sensing log information is stored in the "log ID" field. The information in the "Log ID" field is the primary key for each record in the sensing log information database.

「判定日時」フィールドには、生体組織の状態の判定の実行日時に関する情報が格納される。 In the "determination date and time" field, information regarding the execution date and time of the determination of the state of the living tissue is stored.

「波形ファイル」フィールドには、センシングデバイス１０によって検出された振動の波形を示す波形ファイルが格納される。 The "waveform file" field stores a waveform file showing the vibration waveform detected by the sensing device 10.

「振幅」フィールドには、センシングデバイス１０によって検出された振動の振幅に関する情報が格納される。 The "amplitude" field stores information about the amplitude of vibration detected by the sensing device 10.

「位置」フィールドには、センシングデバイス１０の検出が実行されたときにユーザＵが触れた接触部位に関する接触部位情報が格納される。 In the "position" field, contact site information regarding the contact site touched by the user U when the detection of the sensing device 10 is executed is stored.

「方向」フィールドには、センシングデバイス１０の検出が実行されたときにユーザＵが触れた接触部位の変位方向に関する情報が格納される。 The "direction" field stores information about the displacement direction of the contact portion touched by the user U when the detection of the sensing device 10 is executed.

「速度」フィールドには、センシングデバイス１０の検出が実行されたときにユーザＵが触れた接触部位の変位速度に関する情報が格納される。 In the "velocity" field, information regarding the displacement velocity of the contact portion touched by the user U when the detection of the sensing device 10 is executed is stored.

「状態」フィールドには、生体組織の状態の判定結果に関する情報が格納される。「状態」フィールドは、複数のサブフィールド（「凹凸」フィールド、及び、「ケアレベル」フィールド）を含む。 The "state" field stores information regarding the determination result of the state of the living tissue. The "state" field includes a plurality of subfields ("concavo-convex" field and "care level" field).

「凹凸」フィールドには、生体組織（肌及び髪の少なくとも１つ）の凹凸に関する情報（例えば、凹凸の程度を示す数値）が格納される。 The "concavo-convex" field stores information about the unevenness of the biological tissue (at least one of the skin and hair) (for example, a numerical value indicating the degree of unevenness).

「ケアレベル」フィールドには、生体組織（肌及び髪の少なくとも１つ）に対するケアの適正レベルに関する情報（例えば、ケアの適正を示す数値）が格納される。ケアの適正レベルに関する情報は、例えば、肌ケアのために肌に塗布された塗布物（一例として、肌ケア用クリーム）の塗布の強度及び位置の適正レベルを示す。 The "care level" field stores information about the appropriate level of care for living tissue (at least one of the skin and hair) (eg, a numerical value indicating the appropriateness of care). The information regarding the appropriate level of care indicates, for example, the appropriate level of application strength and position of an application (for example, a skin care cream) applied to the skin for skin care.

（３−３）レコメンド情報マスタデータベース
本実施形態のレコメンド情報マスタデータベースについて説明する。図６は、本実施形態のレコメンド情報マスタデータベースのデータ構造を示す図である。(3-3) Recommendation Information Master Database The recommendation information master database of the present embodiment will be described. FIG. 6 is a diagram showing a data structure of the recommendation information master database of the present embodiment.

図６のレコメンド情報マスタデータベースには、生体組織の状態に応じてユーザに提示すべきレコメンド情報が格納される。
レコメンド情報マスタデータベースは、「レコメンドＩＤ」フィールドと、「状態」フィールドと、「レコメンド情報」フィールドと、を含む。The recommendation information master database of FIG. 6 stores recommendation information to be presented to the user according to the state of the living tissue.
The recommendation information master database includes a "recommendation ID" field, a "status" field, and a "recommendation information" field.

「レコメンドＩＤ」フィールドには、レコメンド情報を識別するレコメンドＩＤが格納される。「レコメンドＩＤ」フィールドの情報は、レコメンド情報マスタデータベースの各レコードの主キーである。 In the "Recommend ID" field, a recommendation ID that identifies the recommendation information is stored. The information in the "Recommend ID" field is the primary key for each record in the recommendation information master database.

「状態」フィールドには、生体組織の状態の指標（例えば、凹凸及びケアレベル）毎に、生体組織の状態に関する情報が格納される。 In the "state" field, information on the state of the living tissue is stored for each index of the state of the living tissue (for example, unevenness and care level).

「レコメンド情報」フィールドには、生体組織の状態の判定結果に基づいてユーザに対して推奨されるレコメンド情報が格納される。「レコメンド情報」フィールドは、複数のサブフィールド（「アドバイス」フィールド及び「推奨アイテム」フィールド）を含む。各サブフィールドは、互いに、関連付けられている。 In the "recommendation information" field, recommendation information recommended for the user based on the determination result of the state of the living tissue is stored. The "Recommendation Information" field includes a plurality of subfields ("Advice" field and "Recommended Items" field). Each subfield is associated with each other.

「アドバイス」フィールドには、生体組織の状態に応じて推奨されるアドバイスに関するレコメンドアドバイス情報が格納される。レコメンドアドバイス情報は、例えば、以下の少なくとも１つを含む。
・生体組織のケアの方法
・ケアアイテムの使用方法The "advice" field stores recommended advice information regarding recommended advice according to the condition of the living tissue. The recommendation advice information includes, for example, at least one of the following.
・ How to care for living tissues ・ How to use care items

「推奨アイテム」フィールドには、生体組織の状態に応じて使用が推奨されるケアアイテムに関するレコメンドアイテム情報（例えば、当該アイテムを識別するアイテムＩＤ）が格納される。 In the "recommended item" field, recommended item information (for example, an item ID that identifies the item) regarding a care item that is recommended to be used according to the state of the living tissue is stored.

（４）情報処理
本実施形態の情報処理について説明する。図７は、本実施形態の情報処理のシーケンス図である。図８〜図９は、図７の情報処理において表示される画面例を示す図である。図１０は、図７のセンシングの詳細な処理のフローチャートである。(4) Information processing The information processing of the present embodiment will be described. FIG. 7 is a sequence diagram of information processing of the present embodiment. 8 to 9 are diagrams showing an example of a screen displayed in the information processing of FIG. 7. FIG. 10 is a flowchart of the detailed processing of the sensing of FIG. 7.

図７に示すように、センシングデバイス１０は、ログイン情報の受付（Ｓ１００）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１００（図８）をディスプレイに表示する。As shown in FIG. 7, the sensing device 10 executes the reception of login information (S100).
Specifically, the processor 12 displays the screen P100 (FIG. 8) on the display.

画面Ｐ１００は、操作オブジェクトＢ１００と、フィールドオブジェクトＦ１００と、を含む。
フィールドオブジェクトＦ１００は、ログイン情報（例えば、ユーザＩＤ及びパスワード）のユーザ入力を受け付けるオブジェクトである。
操作オブジェクトＢ１００は、ログインリクエストを実行させるためのユーザ指示を受け付けるオブジェクトである。The screen P100 includes an operation object B100 and a field object F100.
The field object F100 is an object that accepts user input of login information (for example, user ID and password).
The operation object B100 is an object that receives a user instruction for executing a login request.

ステップＳ１００の後、センシングデバイス１０は、ログインリクエスト（Ｓ１０１）を実行する。
具体的には、ユーザがフィールドオブジェクトＦ１００にログイン情報を入力し、且つ、操作オブジェクトＢ１００を操作すると、プロセッサ１２は、ログインリクエストデータをサーバ３０に送信する。
ログインリクエストデータは、以下の情報を含む。
・フィールドオブジェクトＦ１００に入力されたユーザＩＤ
・フィールドオブジェクトＦ１００に入力されたパスワードAfter step S100, the sensing device 10 executes a login request (S101).
Specifically, when the user inputs login information to the field object F100 and operates the operation object B100, the processor 12 transmits the login request data to the server 30.
The login request data includes the following information.
-User ID entered in the field object F100
-Password entered in the field object F100

ステップＳ１０１の後、サーバ３０は、ログインリクエストデータに基づいて、ユーザ認証（Ｓ３００）を実行する。
具体的には、プロセッサ３２は、ユーザ情報データベース（図４）を参照して、ログインリクエストデータに含まれるユーザＩＤに関連付けられたパスワードを特定する。
プロセッサ３２は、特定したパスワードと、ログインリクエストデータに含まれるパスワードと、を照合する。
２つのパスワードが一致する場合、ユーザ認証に成功する。
２つのパスワードが一致しない場合、ユーザ認証に失敗する。After step S101, the server 30 executes user authentication (S300) based on the login request data.
Specifically, the processor 32 refers to the user information database (FIG. 4) and identifies the password associated with the user ID included in the login request data.
The processor 32 collates the specified password with the password included in the login request data.
If the two passwords match, the user authentication is successful.
If the two passwords do not match, user authentication will fail.

ステップＳ３００の後、サーバ３０は、ログインレスポンス（Ｓ３０１）を実行する。
具体的には、ステップＳ３００でユーザ認証に成功した場合、プロセッサ３２は、ログインレスポンスデータをセンシングデバイス１０に送信する。After step S300, the server 30 executes a login response (S301).
Specifically, when the user authentication is successful in step S300, the processor 32 transmits the login response data to the sensing device 10.

ステップＳ３０１の後、センシングデバイス１０は、音楽再生（Ｓ１０２）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１０１（図８）をディスプレイに表示する。After step S301, the sensing device 10 executes music playback (S102).
Specifically, the processor 12 displays the screen P101 (FIG. 8) on the display.

画面Ｐ１０１は、操作オブジェクトＢ１０１と、フィールドオブジェクトＦ１０１と、を含む。
フィールドオブジェクトＦ１０１は、再生対象となる音楽ファイルを指定するためのユーザ指示を受け付けるオブジェクトである。
操作オブジェクトＢ１０１は、フィールドオブジェクトＦ１０１で受け付けられたユーザ指示によって指定される音楽ファイルの再生を開始するためのユーザ指示を受け付けるオブジェクトである。The screen P101 includes an operation object B101 and a field object F101.
The field object F101 is an object that receives a user instruction for designating a music file to be played back.
The operation object B101 is an object that receives a user instruction for starting playback of the music file specified by the user instruction received by the field object F101.

ユーザがフィールドオブジェクトＦ１０１に音楽ファイルを指定するためのユーザ指示を与え、且つ、操作オブジェクトＢ１０１を操作すると、プロセッサ１２は、指定された音楽ファイルに基づく音声信号を生成する。
プロセッサ１２は、生成した音声信号を音声出力部１７に送信する。
一対の音声出力部１７は、プロセッサ１２から送信された音声信号を出力する。
これにより、ユーザは、フィールドオブジェクトＦ１０１に指定した音楽ファイルに対応する音楽を聴くことができる。When the user gives a user instruction for designating a music file to the field object F101 and operates the operation object B101, the processor 12 generates an audio signal based on the designated music file.
The processor 12 transmits the generated voice signal to the voice output unit 17.
The pair of audio output units 17 output audio signals transmitted from the processor 12.
As a result, the user can listen to the music corresponding to the music file specified in the field object F101.

ステップＳ１０２の後、センシングデバイス１０は、センシング（Ｓ１０３）を実行する。
具体的には、ステップＳ１０３は、図１０のフローチャートに従って実行される。After step S102, the sensing device 10 executes sensing (S103).
Specifically, step S103 is executed according to the flowchart of FIG.

図１０に示すように、センシングデバイス１０は、キャリブレーション（Ｓ１０３０）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１０２（図８）をディスプレイに表示する。
画面Ｐ１０２には、ユーザＵの顔の特定の部位（例えば、鼻、眉毛、及び、耳たぶ）を順番に触れることをユーザＵに促すためのメッセージが表示される。As shown in FIG. 10, the sensing device 10 performs calibration (S1030).
Specifically, the processor 12 displays the screen P102 (FIG. 8) on the display.
On the screen P102, a message for prompting the user U to touch a specific part of the face of the user U (for example, nose, eyebrows, and earlobe) in order is displayed.

プロセッサ１２は、波形出力部１６に、所定のキャリブレーション制御信号を与える。
波形出力部１６は、プロセッサ１２から与えられたキャリブレーション制御信号に従い、所定のキャリブレーション周波数で振動素子を振動させる。振動素子が振動すると、センシングデバイス１０を装着したユーザＵの肌に、所定の波形を有する振動（以下「キャリブレーション振動」という）が加えられる。
一対のセンサ１５は、ユーザＵの肌を伝搬した振動（以下「キャリブレーション用伝搬振動」という）を検出し、且つ、キャリブレーション用伝搬振動に応じた電気信号を生成する。
プロセッサ１２は、一対のセンサ１５によって生成された電気信号に基づいて、キャリブレーション用伝搬振動の波形を生成する。
プロセッサ１２は、キャリブレーション波形と、キャリブレーション用伝搬振動の波形と、を比較することにより、検出振動の歪を計算する。この歪は、キャリブレーション振動がユーザＵの肌を伝搬する間に、ユーザＵの身体特性（例えば、顔の大きさ）及びセンシングデバイス１０の装着位置の少なくとも１つに起因して発生する。
プロセッサ１２は、計算した歪に応じた動作パラメータを波形出力部１６に与える。これにより、ユーザＵの身体特性及びセンシングデバイス１０の装着位置の少なくとも１つに応じて、波形出力部１６の動作に関する動作パラメータが補正される。The processor 12 gives a predetermined calibration control signal to the waveform output unit 16.
The waveform output unit 16 vibrates the vibrating element at a predetermined calibration frequency according to the calibration control signal given by the processor 12. When the vibrating element vibrates, vibration having a predetermined waveform (hereinafter referred to as "calibration vibration") is applied to the skin of the user U wearing the sensing device 10.
The pair of sensors 15 detect the vibration propagating through the skin of the user U (hereinafter referred to as “calibration propagating vibration”), and generate an electric signal corresponding to the calibration propagating vibration.
The processor 12 generates a waveform of the propagation vibration for calibration based on the electric signals generated by the pair of sensors 15.
The processor 12 calculates the distortion of the detected vibration by comparing the calibration waveform with the waveform of the propagation vibration for calibration. This distortion occurs due to at least one of the user U's physical characteristics (eg, face size) and the mounting position of the sensing device 10 while the calibration vibration propagates through the user U's skin.
The processor 12 gives the waveform output unit 16 operating parameters according to the calculated distortion. As a result, the operation parameters related to the operation of the waveform output unit 16 are corrected according to the physical characteristics of the user U and at least one of the mounting positions of the sensing device 10.

ステップＳ１０３０の後、測定（Ｓ１０３１）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１０３（図８）をディスプレイに表示する。
画面Ｐ１０３には、ユーザＵの所望の部位（例えば、ユーザＵが気になっている部位）に触れることをユーザＵに促すためのメッセージが表示される。After step S1030, measurement (S1031) is performed.
Specifically, the processor 12 displays the screen P103 (FIG. 8) on the display.
On the screen P103, a message for prompting the user U to touch a desired part of the user U (for example, a part that the user U is interested in) is displayed.

一対のセンサ１５は、ユーザＵの肌を伝搬した振動（以下「センシング用伝搬振動」という）を検出し、且つ、センシング用伝搬振動に応じた電気信号を生成する。 The pair of sensors 15 detect the vibration propagating through the skin of the user U (hereinafter referred to as "propagating vibration for sensing"), and generate an electric signal corresponding to the propagating vibration for sensing.

ステップＳ１０３１は、所定時間の間、継続的に実行される（Ｓ１０３２−ＮＯ）。
所定時間の測定（Ｓ１０３１）が終了すると（Ｓ１０３２−ＹＥＳ）、センシングデバイス１０は、検出結果の生成（Ｓ１０３３）を実行する。
具体的には、プロセッサ１２は、一対のセンサ１５によって生成された電気信号に基づいて、センシング用伝搬振動の波形に関する波形データを生成する。
プロセッサ１２は、波形データに基づいて、振動情報を生成する。振動情報は、例えば、以下の少なくとも１つを含む
・振動周波数
・センシング用伝搬振動の振幅（一例として、振幅の平均値、左右のセンサ１５によって取得された振幅の差）
・左右のセンサ１５によって取得された波形データの位相差
・接触部位
・接触部位の変位方向
・接触部位の変位速度Step S1031 is continuously executed for a predetermined time (S1032-NO).
When the measurement (S1031) for a predetermined time is completed (S1032-YES), the sensing device 10 executes the generation of the detection result (S1033).
Specifically, the processor 12 generates waveform data related to the waveform of the propagating vibration for sensing based on the electric signals generated by the pair of sensors 15.
The processor 12 generates vibration information based on the waveform data. The vibration information includes, for example, at least one of the following: vibration frequency, amplitude of propagation vibration for sensing (for example, average value of amplitude, difference in amplitude acquired by left and right sensors 15).
-Phase difference of waveform data acquired by the left and right sensors 15-Contact part-Displacement direction of contact part-Displacement speed of contact part

ステップＳ１０３３の後、センシングデバイス１０は、判定リクエスト（Ｓ１０４）を実行する。
具体的には、プロセッサ１２は、画面Ｐ１０４（図９）をディスプレイに表示する。After step S1033, the sensing device 10 executes the determination request (S104).
Specifically, the processor 12 displays the screen P104 (FIG. 9) on the display.

画面Ｐ１０４は、測定が終了したことを示すメッセージと、操作オブジェクトＢ１０４と、を含む。
操作オブジェクトＢ１０４は、判定リクエストを実行させるためのユーザ指示を受け付けるオブジェクトである。The screen P104 includes a message indicating that the measurement has been completed and the operation object B104.
The operation object B104 is an object that receives a user instruction for executing a determination request.

ユーザＵが操作オブジェクトＢ１０４を操作すると、プロセッサ１２は、判定リクエストデータをサーバ３０に送信する。
判定リクエストデータは、以下の情報を含む。
・ステップＳ１０３３で生成された波形データ
・ステップＳ１０３３で特定された部位に関する情報
・ステップＳ１０３３で計算された振幅の平均値
・ステップＳ１０３３で計算された方向及び速度When the user U operates the operation object B104, the processor 12 transmits the determination request data to the server 30.
The judgment request data includes the following information.
-Waveform data generated in step S1033-Information about the part specified in step S1033-Average value of amplitude calculated in step S1033-Direction and velocity calculated in step S1033

ステップＳ１０４の後、サーバ３０は、判定（Ｓ３０２）を実行する。
具体的には、記憶装置３１には、状態判定モデルが記憶されている。
状態判定モデルは、センシング用伝搬振動の波形に基づいて生体組織（例えば、肌又は髪）の状態を判定するためのモデルである。状態判定モデルの入力及び出力は、以下のとおりである。
・入力：波形データ
・出力：生体組織の状態
プロセッサ３２は、判定リクエストデータに含まれる波形データを状態判定モデルに入力することにより、ユーザＵの生体組織の状態を判定する。After step S104, the server 30 executes the determination (S302).
Specifically, the storage device 31 stores a state determination model.
The state determination model is a model for determining the state of a living tissue (for example, skin or hair) based on the waveform of the propagation vibration for sensing. The inputs and outputs of the state determination model are as follows.
Input: Waveform data / Output: State of living tissue The processor 32 determines the state of the living tissue of the user U by inputting the waveform data included in the determination request data into the state determination model.

ステップＳ３０２の後、サーバ３０は、レコメンド（Ｓ３０３）を実行する。
具体的には、プロセッサ３２は、レコメンド情報マスタデータベース（図６）を参照して、生体組織の状態の判定結果（一例として、凹凸及びケアレベルの組合せ）に関連付けられたレコードを特定する。
プロセッサ３２は、特定したレコードの「レコメンド情報」フィールドのレコメンド情報（つまり、アドバイス及び推奨アイテム）を特定する。After step S302, the server 30 executes the recommendation (S303).
Specifically, the processor 32 refers to the recommendation information master database (FIG. 6) and identifies the record associated with the determination result of the state of the living tissue (for example, a combination of unevenness and care level).
Processor 32 identifies the recommendation information (ie, advice and recommendations) in the "Recommendation Information" field of the identified record.

ステップＳ３０３の後、サーバ３０は、データベースの更新（Ｓ３０４）を実行する。
具体的には、プロセッサ３２は、ログインリクエストデータに含まれるユーザＩＤに関連付けられたセンシングログ情報データベース（図５）に新規レコードを追加する。新規レコードの各フィールドには、以下の情報が格納される。
・「ログＩＤ」フィールドには、新規のログＩＤが格納される。
・「判定日時」フィールドには、ステップＳ３０２の実行日時に関する情報が格納される。
・「波形ファイル」フィールドには、判定リクエストデータに含まれる波形データが格納される。
・「振幅」フィールドには、判定リクエストデータに含まれる振幅の平均値が格納される。
・「位置」フィールドには、判定リクエストデータに含まれる部位に関する情報が格納される。
・「方向」フィールドには、判定リクエストデータに含まれる方向に関する情報が格納される。
・「速度」フィールドには、判定リクエストデータに含まれる速度に関する情報が格納される。
・「状態」フィールドには、ステップＳ３０２で判定された生体組織の状態の判定結果に関する情報が格納される。After step S303, the server 30 executes the database update (S304).
Specifically, the processor 32 adds a new record to the sensing log information database (FIG. 5) associated with the user ID included in the login request data. The following information is stored in each field of the new record.
-A new log ID is stored in the "log ID" field.
-In the "determination date and time" field, information regarding the execution date and time of step S302 is stored.
-The waveform data included in the judgment request data is stored in the "waveform file" field.
-In the "Amplitude" field, the average value of the amplitude included in the judgment request data is stored.
-In the "position" field, information about the part included in the judgment request data is stored.
-The "direction" field stores information about the direction included in the judgment request data.
-In the "speed" field, information about the speed included in the judgment request data is stored.
-In the "state" field, information regarding the determination result of the state of the living tissue determined in step S302 is stored.

ステップＳ３０４の後、サーバ３０は、判定レスポンス（Ｓ３０５）を実行する。
具体的には、プロセッサ３２は、判定レスポンスデータをセンシングデバイス１０に送信する。After step S304, the server 30 executes the determination response (S305).
Specifically, the processor 32 transmits the determination response data to the sensing device 10.

第１例として、判定レスポンスデータは、以下の情報を含む。
・ステップＳ３０４で「状態」フィールドに記憶された生体組織の状態の判定結果に関する情報
・ステップＳ３０２で特定されたレコードの「レコメンド情報」フィールド（つまり、「アドバイス」フィールド及び「推奨アイテム」フィールド）のレコメンド情報As a first example, the determination response data includes the following information.
-Information regarding the determination result of the state of the living tissue stored in the "state" field in step S304-In the "recommendation information" field (that is, the "advice" field and the "recommended item" field) of the record specified in step S302. Recommendation information

第２例として、記憶装置３１には、生体組織の状態毎に、当該状態を再現する音声に関する音声データが記憶されている。音声データには、例えば、様々な状態の肌サンプル又は毛髪サンプルに触れたときの音が録音されている。
この場合、判定レスポンスデータは、ステップＳ３０４で「状態」フィールドに記憶された生体組織の状態の判定結果に対応する音声データを含む。As a second example, the storage device 31 stores voice data related to voice that reproduces the state of the living tissue for each state. In the voice data, for example, the sound of touching a skin sample or a hair sample in various states is recorded.
In this case, the determination response data includes voice data corresponding to the determination result of the state of the living tissue stored in the "state" field in step S304.

ステップＳ３０５の後、センシングデバイス１０は、判定結果の提示（Ｓ１０５）を実行する。 After step S305, the sensing device 10 executes the presentation of the determination result (S105).

ステップＳ１０５の第１例として、プロセッサ１２は、第１例の判定レスポンスデータに基づいて、画面Ｐ１０５をディスプレイに表示する。 As a first example of step S105, the processor 12 displays the screen P105 on the display based on the determination response data of the first example.

画面Ｐ１０５は、表示オブジェクトＡ１０５ａ〜Ａ１０５ｂを含む。
表示オブジェクトＡ１０５ａには、ステップＳ１０３３で特定された接触部位と、判定レスポンスデータに含まれる生体組織の状態の判定結果に関する情報と、が表示される。
表示オブジェクトＡ１０５ｂには、判定レスポンスデータに含まれるレコメンド情報が表示される。
この場合、ユーザＵは、視覚によって、自身の生体組織の状態を認識することができる。The screen P105 includes display objects A105a to A105b.
The display object A105a displays the contact site identified in step S1033 and the information regarding the determination result of the state of the living tissue included in the determination response data.
The recommendation information included in the determination response data is displayed on the display object A105b.
In this case, the user U can visually recognize the state of his / her living tissue.

ステップＳ１０５の第２例として、プロセッサ１２は、第２例の判定レスポンスデータに基づいて、音声データに対応する音声を提示する。
この場合、ユーザＵは、聴覚によって、自身の生体組織の状態を認識することができる。As a second example of step S105, the processor 12 presents the voice corresponding to the voice data based on the determination response data of the second example.
In this case, the user U can recognize the state of his / her own living tissue by hearing.

このように、本実施形態によれば、一対のセンサ１５によって検出されたセンシング用伝搬振動の波形に基づいて、ユーザＵの生体組織（例えば、肌又は髪）の状態が判定される。したがって、生体組織の状態の判定の精度を向上させることができる。 As described above, according to the present embodiment, the state of the living tissue (for example, skin or hair) of the user U is determined based on the waveform of the propagating vibration for sensing detected by the pair of sensors 15. Therefore, the accuracy of determining the state of the living tissue can be improved.

（５）変形例
本実施形態の変形例について説明する。(5) Modification Example A modification of the present embodiment will be described.

（５−１）変形例１
変形例１について説明する。変形例１は、センシング用伝搬振動の波形に基づいてユーザＵの筋肉組織の状態を判定する例である。(5-1) Modification 1
Modification 1 will be described. Modification 1 is an example of determining the state of the muscle tissue of the user U based on the waveform of the propagation vibration for sensing.

変形例１のセンシングデバイス１０は、ステップＳ１０３１において、ユーザＵの筋肉の筋音を検出し、且つ、筋音に応じた電気信号を生成する。 In step S1031, the sensing device 10 of the first modification detects the muscle sound of the muscle of the user U and generates an electric signal corresponding to the muscle sound.

センシングデバイス１０は、ステップＳ１０３３において、センシング用伝搬振動の波形に関する波形データと、筋音に関する筋音データと、を生成する。 In step S1033, the sensing device 10 generates waveform data related to the waveform of the propagation vibration for sensing and muscle sound data related to the muscle sound.

センシングデバイス１０は、ステップＳ１０４において、センシング用伝搬振動の波形に関する波形データと、筋音データと、を含む判定リクエストデータをサーバ３０に送信する。 In step S104, the sensing device 10 transmits the determination request data including the waveform data related to the waveform of the propagation vibration for sensing and the muscle sound data to the server 30.

変形例１のサーバ３０は、ステップＳ３０２（図７）において、判定リクエストデータに含まれる波形データ及び筋音データに基づいて、ユーザＵの表情を判定する。
具体的には、記憶装置３１には、表情判定モデルが記憶されている。
状態判定モデルは、センシング用伝搬振動の波形に基づいて表情を判定するためのモデルである。表情判定モデルの入力及び出力は、以下のとおりである。
・入力：波形データ及び筋音データ
・出力：表情
プロセッサ３２は、判定リクエストデータに含まれる波形データ及び筋音データを表情判定モデルに入力することにより、ユーザＵの表情を判定する。In step S302 (FIG. 7), the server 30 of the first modification determines the facial expression of the user U based on the waveform data and the muscle sound data included in the determination request data.
Specifically, the facial expression determination model is stored in the storage device 31.
The state determination model is a model for determining a facial expression based on the waveform of the propagation vibration for sensing. The inputs and outputs of the facial expression determination model are as follows.
-Input: Waveform data and muscle sound data-Output: Expression The processor 32 determines the expression of the user U by inputting the waveform data and muscle sound data included in the determination request data into the expression determination model.

サーバ３０は、ステップＳ３０３において、ユーザＵの表情の判定結果に基づいて、レコメンド情報を決定する。
具体的には、プロセッサ３２は、レコメンド情報マスタデータベース（図６）を参照して、表情の判定結果に関連付けられたレコードを特定する。
プロセッサ３２は、特定したレコードの「レコメンド情報」フィールドのレコメンド情報を特定する。In step S303, the server 30 determines the recommendation information based on the determination result of the facial expression of the user U.
Specifically, the processor 32 refers to the recommendation information master database (FIG. 6) and identifies the record associated with the facial expression determination result.
The processor 32 identifies the recommendation information in the "recommendation information" field of the identified record.

変形例１によれば、一対のセンサ１５によって検出されたセンシング用伝搬振動の波形に基づいて、ユーザＵの筋肉組織の状態（例えば、表情）が判定される。したがって、筋肉組織の状態の判定の精度を向上させることができる。 According to the first modification, the state (for example, facial expression) of the muscle tissue of the user U is determined based on the waveform of the propagation vibration for sensing detected by the pair of sensors 15. Therefore, the accuracy of determining the state of muscle tissue can be improved.

（５−２）変形例２
変形例２について説明する。変形例２は、生体組織の状態の時間変化に応じたレコメンド情報を提供する例である。(5-2) Modification 2
Modification 2 will be described. The second modification is an example of providing recommendation information according to the time change of the state of the living tissue.

変形例２のサーバ３０は、ステップＳ３０３（図７）において、生体組織の状態の時間変化に応じたレコメンド情報を判定する。
具体的には、記憶装置３１には、レコメンド判定モデルが記憶されている。
レコメンド判定モデルは、生体組織の状態の時間変化に基づいてレコメンド情報を判定するためのモデルである。レコメンド判定モデルの入力及び出力は以下のとおりである。
・入力：生体組織の状態の時間変化
・出力：レコメンド情報In step S303 (FIG. 7), the server 30 of the second modification determines the recommendation information according to the time change of the state of the living tissue.
Specifically, the recommendation determination model is stored in the storage device 31.
The recommendation determination model is a model for determining the recommendation information based on the time change of the state of the living tissue. The inputs and outputs of the recommendation judgment model are as follows.
・ Input: Time change of the state of living tissue ・ Output: Recommendation information

プロセッサ３２は、ログインリクエストデータに含まれるユーザＩＤに関連付けられたセンシングログ情報データベース（図５）を特定する。
プロセッサ３２は、特定したセンシングログ情報データベースにおいて、「判定日時」フィールドの情報が所定条件を満たすレコードを抽出する。所定条件は、例えば、ステップＳ３０３の実行日時を基準として、遡って所定期間内（一例として、１ヶ月以内）の日時を示すことである。
プロセッサ３２は、抽出したレコードの「状態」フィールドの情報を参照して、生体組織の状態の時間変化を判定する。
プロセッサ３２は、判定した生体組織の状態の時間変化をレコメンド判定モデルに入力することにより、レコメンド情報を決定する。The processor 32 identifies the sensing log information database (FIG. 5) associated with the user ID included in the login request data.
The processor 32 extracts a record in the specified sensing log information database in which the information in the "determination date and time" field satisfies a predetermined condition. The predetermined condition is, for example, to indicate the date and time within a predetermined period (for example, within one month) retroactively with reference to the execution date and time of step S303.
The processor 32 determines the time change of the state of the living tissue with reference to the information in the "state" field of the extracted record.
The processor 32 determines the recommendation information by inputting the time change of the determined state of the living tissue into the recommendation determination model.

変形例２によれば、生体組織の状態の時間変化に応じたレコメンド情報がユーザＵに提示される。これにより、ユーザＵにより適合するレコメンド情報を提示することができる。 According to the second modification, the recommendation information according to the time change of the state of the living tissue is presented to the user U. As a result, the recommendation information that is more suitable for the user U can be presented.

（５−３）変形例３
変形例３について説明する。変形例３は、ユーザＵの生体組織の状態を判定するときに、他のユーザの判定結果を参照する例である。(5-3) Modification 3
Modification 3 will be described. The third modification is an example in which the determination result of another user is referred to when determining the state of the biological tissue of the user U.

変形例３のサーバ３０は、ステップＳ３０２（図７）において、他のユーザの判定結果を参照して、ユーザＵの生体組織の状態を判定する。
具体的には、プロセッサ３２は、ユーザ情報データベース（図４）を参照して、ログインリクエストデータに含まれるユーザＩＤ（つまり、判定の対象となる対象ユーザＵのユーザＩＤ）に関連付けられた「ユーザ属性」フィールドのユーザ属性情報（以下「対象ユーザ属性情報」という）を特定する。対象ユーザＵは、「第１ユーザ」の一例である。対象ユーザ属性情報は、「第１ユーザ属性情報」の一例である。
プロセッサ３２は、ユーザ情報データベースを参照して、特定した対象ユーザ属性情報に対応するユーザ情報（以下「参照ユーザ属性情報」という）に関連付けられたユーザＩＤ（以下「参照ユーザＩＤ」という）を特定する。「対象ユーザ属性情報に対応するユーザ属性情報」とは、以下の何れかの条件を満たすユーザ属性情報である。参照ユーザ属性情報は、「第２ユーザ属性情報」の一例である。
・対象ユーザ属性情報と同一のユーザ属性情報
・「性別」フィールドの情報が対象ユーザ属性情報と同一のユーザ属性情報
・「年齢」フィールドの情報と対象ユーザ情報の年齢との差が所定値以下であるユーザ属性情報In step S302 (FIG. 7), the server 30 of the modification 3 determines the state of the biological tissue of the user U with reference to the determination result of another user.
Specifically, the processor 32 refers to the user information database (FIG. 4) and refers to the "user" associated with the user ID included in the login request data (that is, the user ID of the target user U to be determined). Specify the user attribute information (hereinafter referred to as "target user attribute information") in the "Attribute" field. The target user U is an example of a “first user”. The target user attribute information is an example of "first user attribute information".
The processor 32 refers to the user information database and identifies the user ID (hereinafter referred to as "reference user ID") associated with the user information (hereinafter referred to as "reference user attribute information") corresponding to the specified target user attribute information. To do. The "user attribute information corresponding to the target user attribute information" is user attribute information that satisfies any of the following conditions. The reference user attribute information is an example of "second user attribute information".
-User attribute information that is the same as the target user attribute information-User attribute information that has the same information in the "Gender" field as the target user attribute information-The difference between the information in the "Age" field and the age of the target user information is less than the specified value Certain user attribute information

プロセッサ３２は、参照ユーザＩＤに関連付けられたセンシングログ情報データベース（図５）の「波形ファイル」フィールドを参照して、参照ユーザＩＤに対応する参照ユーザ（「第２ユーザ」の一例）の波形データを特定する。
プロセッサ３２は、判定リクエストデータに含まれる波形データと、参照ユーザの波形データと、を状態判定モデルに入力することにより、ユーザＵの生体組織の状態を判定する。The processor 32 refers to the "waveform file" field of the sensing log information database (FIG. 5) associated with the reference user ID, and the waveform data of the reference user (an example of the "second user") corresponding to the reference user ID. To identify.
The processor 32 determines the state of the living tissue of the user U by inputting the waveform data included in the determination request data and the waveform data of the reference user into the state determination model.

変形例３によれば、対象ユーザＵの波形データだけでなく、参照ユーザの波形データも参照して、対象ユーザＵの生体組織の状態を判定する。つまり、状態判定モデルに入力される波形データの数は、本実施形態より多い。これにより、判定の精度を向上させることができる。 According to the third modification, not only the waveform data of the target user U but also the waveform data of the reference user is referred to to determine the state of the biological tissue of the target user U. That is, the number of waveform data input to the state determination model is larger than that of the present embodiment. Thereby, the accuracy of the determination can be improved.

（６）本実施形態の小括
本実施形態について小括する。(6) Summary of the present embodiment A summary of the present embodiment will be given.

本実施形態の第１態様は、
ユーザＵの両耳に装着され、且つ、ユーザＵの生体組織の振動を検出する一対のセンサ１５から、振動に関する振動情報を取得する手段（例えば、ステップＳ３０２の処理を実行するプロセッサ３２）を備え、
振動情報に基づいて、ユーザＵの生体組織の状態を判定する手段（例えば、ステップＳ３０２の処理を実行するプロセッサ３２）を備え、
前記判定の結果を記憶装置に記憶する手段（例えば、ステップＳ３０４の処理を実行するプロセッサ３２）を備える、
情報処理装置（例えば、サーバ３０）である。The first aspect of this embodiment is
A means (for example, a processor 32 that executes the process of step S302) for acquiring vibration information related to vibration from a pair of sensors 15 that are attached to both ears of user U and detect vibration of the living tissue of user U is provided. ,
A means for determining the state of the living tissue of the user U based on the vibration information (for example, a processor 32 that executes the process of step S302) is provided.
A means for storing the result of the determination in a storage device (for example, a processor 32 that executes the process of step S304) is provided.
An information processing device (for example, a server 30).

第１態様によれば、肌の振動に応じて生体組織の状態が判定される。これにより、生体組織の状態の判定の精度を向上させることができる。 According to the first aspect, the state of the living tissue is determined according to the vibration of the skin. Thereby, the accuracy of determining the state of the living tissue can be improved.

本実施形態の第２態様は、
判定の結果をユーザＵに提示する手段（例えば、ステップＳ３０５の処理を実行するプロセッサ３２）を備える、
情報処理装置（例えば、サーバ３０）である。The second aspect of this embodiment is
A means for presenting the determination result to the user U (for example, a processor 32 that executes the process of step S305) is provided.
An information processing device (for example, a server 30).

第２態様によれば、ユーザＵは容易に生体組織の状態を知ることができる。 According to the second aspect, the user U can easily know the state of the living tissue.

本実施形態の第３態様は、
提示する手段は、判定の結果に対応する音声をユーザＵに提示する、
情報処理装置（例えば、サーバ３０）である。The third aspect of this embodiment is
The presenting means presents the voice corresponding to the result of the determination to the user U.
An information processing device (for example, a server 30).

第３態様によれば、振動から判定された生体組織の状態を、振動と親和性の高い音声という形態で知らせることができる。 According to the third aspect, the state of the living tissue determined from the vibration can be notified in the form of a voice having a high affinity with the vibration.

本実施形態の第４態様は、
判定が行われた時間に関する時間情報の少なくとも１つと、判定の結果と、を関連付けて記憶装置３１に記憶する手段（例えば、ステップＳ３０４の処理を実行するプロセッサ３２）を備える、
情報処理装置（例えば、サーバ３０）である。The fourth aspect of this embodiment is
A means (for example, a processor 32 that executes the process of step S304) for storing at least one of the time information regarding the time when the determination is performed and the determination result in the storage device 31 is provided.
An information processing device (for example, a server 30).

第４態様によれば、生体組織の状態の時間変化を記録することができる。 According to the fourth aspect, the time change of the state of the living tissue can be recorded.

本実施形態の第５態様は、
判定する手段は、記憶装置３１に記憶された複数の判定の結果に基づいて、生体組織の状態の動的変化を判定する、
情報処理装置（例えば、サーバ３０）である。A fifth aspect of this embodiment is
The determination means determines a dynamic change in the state of the living tissue based on the results of a plurality of determinations stored in the storage device 31.
An information processing device (for example, a server 30).

第５態様によれば、生体組織の状態の時間変化を記録することができる。 According to the fifth aspect, the time change of the state of the living tissue can be recorded.

本実施形態の第６態様は、
ユーザＵの属性に関するユーザ属性情報と、判定の結果と、を関連付けて記憶装置３１に記憶する手段（例えば、ステップＳ３０４の処理を実行するプロセッサ３２）を備える、
情報処理装置（例えば、サーバ３０）である。The sixth aspect of this embodiment is
A means (for example, a processor 32 that executes the process of step S304) is provided for storing the user attribute information regarding the attributes of the user U and the determination result in the storage device 31 in association with each other.
An information processing device (for example, a server 30).

第６態様によれば、ユーザ属性毎に、生体組織の状態を記録することができる。 According to the sixth aspect, the state of the living tissue can be recorded for each user attribute.

本実施形態の第７態様は、
一対のセンサ１５を装着した第１ユーザから、第１ユーザの第１ユーザ属性情報を取得する手段を備え、
記憶装置３１に記憶されたユーザ属性情報の中から、第１ユーザ属性情報に対応する少なくとも１つの第２ユーザ属性情報を特定する手段を備え、
判定する手段は、一対のセンサ１５から取得した第１振動情報と、第２ユーザ属性情報に関連付けられた第２振動情報と、に基づいて、第１ユーザの生体組織の状態を判定する、
情報処理装置（例えば、サーバ３０）である。The seventh aspect of this embodiment is
A means for acquiring the first user attribute information of the first user from the first user equipped with the pair of sensors 15 is provided.
A means for identifying at least one second user attribute information corresponding to the first user attribute information from the user attribute information stored in the storage device 31 is provided.
The determination means determines the state of the living tissue of the first user based on the first vibration information acquired from the pair of sensors 15 and the second vibration information associated with the second user attribute information.
An information processing device (for example, a server 30).

第７態様によれば、あるユーザ（第１ユーザ）の生体組織の状態を判定するときに、他のユーザ（第２ユーザ）の生体組織の状態の判定結果を参照する。これにより、生体組織の状態の判定の精度を向上させることができる。 According to the seventh aspect, when determining the state of the biological tissue of a certain user (first user), the determination result of the state of the biological tissue of another user (second user) is referred to. Thereby, the accuracy of determining the state of the living tissue can be improved.

本実施形態の第８態様は、
判定する手段は、ユーザＵがユーザＵの肌に触れた接触部位の位置を判定する、
情報処理装置（例えば、サーバ３０）である。The eighth aspect of this embodiment is
The determination means determines the position of the contact portion where the user U touches the skin of the user U.
An information processing device (for example, a server 30).

第８態様によれば、振動から接触部位の位置を判定する。これにより、接触部位の位置に応じた様々な処理が実現可能になる。 According to the eighth aspect, the position of the contact portion is determined from the vibration. This makes it possible to realize various processes according to the position of the contact portion.

本実施形態の第９態様は、
判定する手段は、接触部位の位置の変位を判定する、
情報処理装置（例えば、サーバ３０）である。The ninth aspect of this embodiment is
The determination means determines the displacement of the position of the contact portion,
An information processing device (for example, a server 30).

第９態様によれば、振動から接触部位の位置の変位を判定する。これにより、接触部位の位置の変化に応じた様々な処理が実現可能になる。 According to the ninth aspect, the displacement of the position of the contact portion is determined from the vibration. This makes it possible to realize various processes according to the change in the position of the contact portion.

本実施形態の第１０態様は、
判定する手段は、ユーザＵの肌の状態、髪の状態、及び、表情の少なくとも１つを判定する、
情報処理装置（例えば、サーバ３０）である。The tenth aspect of this embodiment is
The determination means determines at least one of the skin condition, the hair condition, and the facial expression of the user U.
An information processing device (for example, a server 30).

本実施形態の第１１態様は、
コンピュータ（例えば、プロセッサ３２）を、上記の何れかに記載の各手段として機能させるためのプログラムである。The eleventh aspect of this embodiment is
It is a program for making a computer (for example, a processor 32) function as each means described in any of the above.

本実施形態の第１２態様は、
上記の何れかに記載の情報処理装置（例えば、サーバ３０）と接続可能であり、且つ、ユーザＵの耳に装着可能なセンシングデバイス１０であって、
ユーザＵの両耳に接触し、且つ、ユーザＵの生体組織の振動を検出する一対のセンサ１５を備え
音声を出力する音声出力部１７を備える、
センシングデバイス１０である。The twelfth aspect of this embodiment is
A sensing device 10 that can be connected to the information processing device (for example, server 30) according to any one of the above and can be worn on the ear of the user U.
A pair of sensors 15 that come into contact with both ears of the user U and detect vibrations of the living tissue of the user U are provided, and a voice output unit 17 that outputs a voice is provided.
The sensing device 10.

第１２態様によれば、肌の振動は、比較的小型のセンサ１５によって測定される。これにより、生体組織の状態を判定するためのセンシングデバイス１０を小型化することができる。
また、第１２態様によれば、一対のセンサ１５は、ユーザＵの両耳に装着可能であるので、ユーザＵの使用に対する心理障壁を低減することができる。その結果、ユーザＵは、違和感を覚えることなくセンシングデバイス１０を使用することができる。これは、ユーザＵによるセンシングデバイス１０の使用頻度（つまり、センシングログ情報の取得頻度）の増加を導く。According to the twelfth aspect, the vibration of the skin is measured by a relatively small sensor 15. As a result, the sensing device 10 for determining the state of the living tissue can be miniaturized.
Further, according to the twelfth aspect, since the pair of sensors 15 can be worn on both ears of the user U, the psychological barrier to the use of the user U can be reduced. As a result, the user U can use the sensing device 10 without feeling any discomfort. This leads to an increase in the frequency of use of the sensing device 10 by the user U (that is, the frequency of acquiring sensing log information).

本実施形態の第１３態様は、
ユーザＵの身体特性、及び、センシングデバイス１０の装着位置の少なくとも１つに基づいて、キャリブレーションを実行する手段（例えば、ステップＳ１０３０の処理を実行するプロセッサ１２）を更に備える、
センシングデバイス１０である。The thirteenth aspect of this embodiment is
Further comprising means for performing calibration based on the physical characteristics of the user U and at least one of the mounting positions of the sensing device 10 (eg, the processor 12 performing the process of step S1030).
The sensing device 10.

第１３態様によれば、ユーザＵの身体的特性、及び、ユーザＵによるによるセンシングデバイス１０の装着位置に関わらず、測定精度を向上させることができる。 According to the thirteenth aspect, the measurement accuracy can be improved regardless of the physical characteristics of the user U and the mounting position of the sensing device 10 by the user U.

（７）その他の変形例 (7) Other modifications

記憶装置１１は、ネットワークＮＷを介して、センシングデバイス１０と接続されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。 The storage device 11 may be connected to the sensing device 10 via the network NW. The storage device 31 may be connected to the server 30 via the network NW.

上記の情報処理の各ステップは、センシングデバイス１０のみでも実行可能である。この場合、記憶装置３１に記憶されたデータベースは、記憶装置１１に記憶される。 Each step of the above information processing can be executed only by the sensing device 10. In this case, the database stored in the storage device 31 is stored in the storage device 11.

画面Ｐ１０２〜Ｐ１０４に含まれるメッセージは、一対の音声出力部１７を介してユーザＵに提示されてもよい。 The messages included in the screens P102 to P104 may be presented to the user U via the pair of voice output units 17.

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。 Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited to the above embodiments. Further, the above-described embodiment can be improved or modified in various ways without departing from the spirit of the present invention. Moreover, the above-described embodiment and modification can be combined.

１情報処理システム
１０センシングデバイス
１１記憶装置
１２プロセッサ
１３入出力インタフェース
１４通信インタフェース
１５センサ
１６波形出力部
１７音声出力部
３０サーバ
３１記憶装置
３２プロセッサ
３３入出力インタフェース
３４通信インタフェース1 Information processing system 10 Sensing device 11 Storage device 12 Processor 13 Input / output interface 14 Communication interface 15 Sensor 16 Waveform output unit 17 Voice output unit 30 Server 31 Storage device 32 Processor 33 Input / output interface 34 Communication interface

Claims

ユーザの両耳に装着され、且つ、前記ユーザの生体組織の振動を検出する一対のセンサから、前記振動に関する振動情報を取得する手段を備え、
前記振動情報に基づいて、前記ユーザの生体組織の状態を判定する手段を備え、
前記判定の結果を記憶装置に記憶する手段を備える、
情報処理装置。A means for acquiring vibration information related to the vibration from a pair of sensors worn on both ears of the user and detecting the vibration of the user's biological tissue is provided.
A means for determining the state of the living tissue of the user based on the vibration information is provided.
A means for storing the result of the determination in a storage device is provided.
Information processing device.

前記判定の結果を前記ユーザに提示する手段を備える、
請求項１に記載の情報処理装置。A means for presenting the result of the determination to the user.
The information processing device according to claim 1.

前記提示する手段は、前記判定の結果に対応する音声を前記ユーザに提示する、
請求項２に記載の情報処理装置。The presenting means presents the user with a voice corresponding to the result of the determination.
The information processing device according to claim 2.

前記判定が行われた時間に関する時間情報の少なくとも１つと、前記判定の結果と、を関連付けて前記記憶装置に記憶する手段を備える、
請求項１〜３の何れかに記載の情報処理装置。A means for storing at least one of the time information regarding the time when the determination is performed and the result of the determination in the storage device in association with each other.
The information processing device according to any one of claims 1 to 3.

前記判定する手段は、前記記憶装置に記憶された複数の判定の結果に基づいて、前記生体組織の状態の動的変化を判定する、
請求項４に記載の情報処理装置。The determination means determines a dynamic change in the state of the living tissue based on the results of a plurality of determinations stored in the storage device.
The information processing device according to claim 4.

前記ユーザの属性に関するユーザ属性情報と、前記判定の結果と、を関連付けて前記記憶装置に記憶する手段を備える、
請求項１〜５の何れかに記載の情報処理装置。A means for storing the user attribute information regarding the user's attribute and the result of the determination in the storage device in association with each other.
The information processing device according to any one of claims 1 to 5.

前記一対のセンサを装着した第１ユーザから、第１ユーザの第１ユーザ属性情報を取得する手段を備え、
前記記憶装置に記憶されたユーザ属性情報の中から、前記第１ユーザ属性情報に対応する少なくとも１つの第２ユーザ属性情報を特定する手段を備え、
前記判定する手段は、前記一対のセンサから取得した第１振動情報と、前記第２ユーザ属性情報に関連付けられた第２振動情報と、に基づいて、前記第１ユーザの生体組織の状態を判定する、
請求項６に記載の情報処理装置。A means for acquiring the first user attribute information of the first user from the first user equipped with the pair of sensors is provided.
A means for identifying at least one second user attribute information corresponding to the first user attribute information from the user attribute information stored in the storage device is provided.
The determination means determines the state of the living tissue of the first user based on the first vibration information acquired from the pair of sensors and the second vibration information associated with the second user attribute information. To do,
The information processing device according to claim 6.

前記判定する手段は、前記ユーザが前記ユーザの肌に触れた接触部位の位置を判定する、
請求項１〜７の何れかに記載の情報処理装置。The determination means determines the position of the contact portion where the user touches the user's skin.
The information processing device according to any one of claims 1 to 7.

前記判定する手段は、前記接触部位の位置の変位を判定する、
請求項８に記載の情報処理装置。The determination means determines the displacement of the position of the contact portion.
The information processing device according to claim 8.

前記判定する手段は、前記ユーザの肌の状態、髪の状態、及び、表情の少なくとも１つを判定する、
請求項１〜９の何れかに記載の情報処理装置。The determination means determines at least one of the user's skin condition, hair condition, and facial expression.
The information processing device according to any one of claims 1 to 9.

コンピュータを、請求項１〜１０の何れかに記載の各手段として機能させるためのプログラム。 A program for operating a computer as each means according to any one of claims 1 to 10.

請求項１〜１０の何れかに記載の情報処理装置と接続可能であり、且つ、前記ユーザの耳に装着可能なセンシングデバイスであって、
ユーザの両耳に接触し、且つ、ユーザの生体組織の振動を検出する一対のセンサを備え
音声を出力する音声出力部を備える、
センシングデバイス。A sensing device that can be connected to the information processing device according to any one of claims 1 to 10 and can be worn on the user's ear.
It is equipped with a pair of sensors that come into contact with both ears of the user and detect vibrations of the user's biological tissue, and is provided with a voice output unit that outputs voice.
Sensing device.

前記ユーザの身体特性、及び、前記センシングデバイスの装着位置の少なくとも１つに基づいて、キャリブレーションを実行する手段を更に備える、請求項１２に記載のセンシングデバイス。 12. The sensing device of claim 12, further comprising means for performing calibration based on the physical characteristics of the user and at least one of the mounting positions of the sensing device.