JP7206741B2

JP7206741B2 - HEALTH CONDITION DETERMINATION SYSTEM, HEALTH CONDITION DETERMINATION DEVICE, SERVER, HEALTH CONDITION DETERMINATION METHOD, AND PROGRAM

Info

Publication number: JP7206741B2
Application number: JP2018178586A
Authority: JP
Inventors: 光宏柿沼
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2018-09-25
Filing date: 2018-09-25
Publication date: 2023-01-18
Anticipated expiration: 2038-09-25
Also published as: JP2020052505A

Description

本発明は、健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラムに関し、詳細には、顔画像に基づく健康状態の判定に関する。 TECHNICAL FIELD The present invention relates to a health condition determination system, a health condition determination device, a server, a health condition determination method, and a program, and more particularly to determination of a health condition based on a face image.

スマートフォン等のカメラ付き電子機器が普及し、ユーザが気軽に写真を撮影し、撮影画像を活用する機会が増えている。また、撮影した顔画像から本人を確認する技術や、顔の表情から感情を認識する技術等が提案されている。また、近年では顔画像を解析し、顔の美しさを数値化して出力するアプリケーションも開発されている（非特許文献１）。このアプリケーションでは、機械学習（Deep Learning）を利用して、人や物をはじめとした様々な「見た目」に対する抽象的な評価を、一般的な社会での評価に近い形で数値化している。 Camera-equipped electronic devices such as smartphones have become widespread, and there are increasing opportunities for users to casually take pictures and utilize the captured images. Techniques for identifying a person from a photographed face image, techniques for recognizing emotions from facial expressions, and the like have also been proposed. In recent years, an application has also been developed that analyzes a face image, quantifies the beauty of the face, and outputs the result (Non-Patent Document 1). This application uses machine learning (deep learning) to quantify abstract evaluations of various "appearances" of people and things in a form that is close to evaluation in general society.

株式会社PARTY、２０１６年、"Deeplooks見えないものを見るテクノロジー"、[online]、[平成３０年８月２２日検索]、インターネット、<URL:https://deeplooks.com/>PARTY Co., Ltd., 2016, "Deeplooks Technology for Seeing the Invisible", [online], [searched on August 22, 2018], Internet, <URL: https://deeplooks.com/>

しかしながら、ユーザの関心は美しさに限るものではない。例えば、自分の健康状態について客観的な評価を得たいユーザも多い。 However, user interest is not limited to beauty. For example, many users want to obtain an objective evaluation of their health condition.

本発明は、前述した問題点に鑑みてなされたものであり、その目的は、ユーザの健康状態の評価を簡単に得ることが可能な健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラムを提供することである。 SUMMARY OF THE INVENTION The present invention has been made in view of the problems described above, and an object of the present invention is to provide a health condition determination system, a health condition determination device, a server, and a health condition determination system capable of easily obtaining an evaluation of a user's health condition. It is to provide a method and a program.

前述した課題を解決するため第１の発明は、ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムであって、前記ユーザ端末は、ユーザの画像を撮影する撮影手段と、前記撮影手段により撮影したユーザの画像を前記サーバに送信する送信手段と、前記サーバからユーザの健康状態を示す値である健康度を取得する健康度取得手段と、取得した健康度を出力する出力手段と、を備え、前記サーバは、前記ユーザ端末から送信された画像を受信する受信手段と、受信した画像に含まれる顔画像に基づき健康状態を解析し、前記健康度を算出する解析手段と、前記健康度を前記ユーザ端末に送信する送信手段と、を備え、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とする健康状態判定システムである。 In order to solve the above-described problems, a first invention is a health condition determination system in which a user terminal and a server are connected for communication via a network, wherein the user terminal includes photographing means for photographing an image of the user; Transmission means for transmitting an image of the user photographed by the photographing means to the server; Health level acquisition means for acquiring a health level as a value indicating the health condition of the user from the server; and Output for outputting the acquired health level. means, wherein the server includes receiving means for receiving an image transmitted from the user terminal, and analyzing means for analyzing a health condition based on a face image included in the received image and calculating the health level. and transmission means for transmitting the health level to the user terminal, wherein the health condition is obtained based on a skin condition and a facial beauty rate calculated from the facial image, and the skin condition is obtained from the facial image. A health condition characterized in that it is calculated based on the number, size, and position of blemishes and rough skin detected from an image, and the facial beauty rate is comprehensively calculated from a face image with a straight face and a face image with an expression. judgment system.

第１の発明によれば、ユーザ端末において撮影したユーザの画像をサーバに送信すると、サーバは、画像に含まれる顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度を算出し、ユーザ端末に送信する。ユーザ端末は、取得した健康度を出力する。前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。 According to the first invention, when an image of the user photographed by the user terminal is transmitted to the server, the server analyzes the health condition based on the facial image included in the image, and the health level is a value indicating the health condition of the user. is calculated and transmitted to the user terminal. The user terminal outputs the acquired health level. The health condition is obtained based on the skin condition and the facial beauty rate calculated from the facial image, and the skin condition is based on the number, size, and position of blemishes and rough skin detected from the facial image. The facial beauty ratio is calculated comprehensively from the straight face image and the facial image with an expression . This enables the user to easily obtain an evaluation of the health condition from the photographed image.

また、前記サーバは、前記健康状態をユーザの識別情報と対応づけてデータベースに蓄積記憶する記憶手段を更に備え、前記解析手段は、前記顔画像からユーザを特定し、前記データベースに記憶されている特定したユーザの健康状態の履歴を参照して前記健康度を算出することが望ましい。これにより、ユーザの健康状態の履歴を参照して現在の健康状態を相対的に分析できる。
また、前記サーバは、前記データベースに記憶した顔画像を連続的に再生する動画像を作成し、前記ユーザ端末にて再生可能に提供する動画作成手段を更に備えることが望ましい。これにより、顔の変化を動画で確認することが可能となる。
また、前記出力手段は、前記顔画像と前記健康度を示す値とを並べて表示することが望ましい。 The server further comprises storage means for accumulating and storing the health condition in a database in association with identification information of the user, and the analysis means identifies the user from the face image and stores the information in the database. It is desirable to calculate the health degree by referring to the history of the identified user's health condition. Thereby, the current health condition can be relatively analyzed by referring to the history of the user's health condition.
Moreover, it is preferable that the server further comprises moving image creating means for creating a moving image by continuously reproducing the face images stored in the database and providing the moving image so as to be reproducible on the user terminal. As a result, it is possible to confirm the change of the face in the moving image.
Moreover, it is preferable that the output means displays the face image and the value indicating the health level side by side.

また、前記サーバは、前記健康状態の推移を示すグラフを作成し、前記ユーザ端末にて閲覧可能に提供するグラフ作成手段を更に備えることが望ましい。これによりユーザは健康状態の推移をグラフで分かりやすく確認できる。また、前記サーバは、現在の美顔率と健康度との相関関係を示す画像を作成し、前記ユーザ端末にて閲覧可能に提供する相関画像作成手段を更に備えることが望ましい。これによりユーザは、現在の美顔率と健康度との相関関係を分かりやすく確認できる。 In addition, it is desirable that the server further comprises graph creation means for creating a graph showing the transition of the health condition and providing the graph so that it can be viewed at the user terminal. As a result, the user can check the transition of the health condition in a graph in an easy-to-understand manner. In addition, it is preferable that the server further includes correlation image creation means for creating an image showing the correlation between the current facial beauty rate and health level and providing the image so that it can be browsed on the user terminal. This allows the user to easily check the correlation between the current facial beauty rate and the health level.

また、前記サーバは、前記顔画像に基づきアドバイス情報を生成し、前記ユーザ端末にて閲覧または音声出力可能に提供するアドバイス情報生成部を更に備えることが望ましい。また、前記アドバイス情報はユーザの健康状態に関するアドバイス情報、または、前記ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス情報であることが望ましい。これによりユーザは、健康状態に関するアドバイスや適切な表情、化粧、または髪型のアドバイスを閲覧したり音声で聴取したりすることが可能となる。 Further, it is preferable that the server further includes an advice information generation unit that generates advice information based on the face image and provides the advice information so that the user terminal can view or output the advice information. Further, it is preferable that the advice information is advice information regarding the health condition of the user, or advice information regarding an appropriate facial expression, makeup, or hairstyle based on the difference between the user's face image and a target face image. This allows the user to browse or listen to advice on health conditions, advice on appropriate facial expressions, makeup, or hairstyles.

前記ユーザ端末は、ユーザの音声を入力する音声入力手段と、前記音声入力手段により入力されたユーザの音声情報に基づいてユーザを特定する音声認識手段と、を備え、前記健康度取得手段は、前記音声認識手段により特定したユーザについての健康度を前記サーバから取得し、前記出力手段は、前記健康度を表示または音声出力することが望ましい。これにより、音声による操作でユーザの健康度を得ることができる。 The user terminal includes voice input means for inputting a user's voice, and voice recognition means for identifying a user based on the user's voice information input by the voice input means, and the health level acquisition means is It is preferable that the health level of the user specified by the voice recognition means is obtained from the server, and the output means displays or outputs the health level by voice. As a result, the health level of the user can be obtained by voice operation.

第２の発明は、画像を撮影する撮影手段と、前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段と、前記健康度を出力する出力手段と、を備え、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とする健康状態判定装置である。 A second aspect of the present invention comprises a photographing means for photographing an image, an analyzing means for analyzing a health condition based on a face image included in the image, calculating a health degree as a value indicating the health condition, and outputting the health degree. wherein the health condition is obtained based on the skin condition and the facial beauty ratio calculated from the facial image, and the skin condition is the number of spots and rough skin detected from the facial image. , size, and position, and the facial beauty rate is comprehensively calculated from a straight face image and an expressive face image .

第２の発明によれば、撮影したユーザの顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度を算出し、出力する健康状態判定装置を提供できる。前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。 According to the second invention, it is possible to provide a health condition determination device that analyzes the health condition based on the photographed face image of the user, calculates the health level, which is a value indicating the user's health condition, and outputs it. The health condition is obtained based on the skin condition and the facial beauty rate calculated from the facial image, and the skin condition is based on the number, size, and position of blemishes and rough skin detected from the facial image. The facial beauty ratio is calculated comprehensively from the straight face image and the facial image with an expression . This enables the user to easily obtain an evaluation of the health condition from the photographed image.

第３の発明は、ユーザ端末とネットワークを介して通信接続されたサーバであって、前記ユーザ端末から送信された画像を受信する受信手段と、受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段と、前記健康度を前記ユーザ端末に送信する送信手段と、を備え、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とするサーバである。 According to a third aspect of the present invention, there is provided a server connected to a user terminal for communication via a network, comprising: receiving means for receiving an image transmitted from the user terminal; analysis means for analyzing and calculating a health level, which is a value indicating a health condition; and transmission means for transmitting the health level to the user terminal, wherein the health condition is calculated from the skin condition and the face image . The skin condition is calculated based on the number, size, and position of blemishes and rough skin detected from the facial image, and the facial beauty ratio is calculated based on the facial image and expression of a straight face. This server is characterized by being comprehensively calculated from a certain face image .

第３の発明により、第１の発明の健康状態判定システムにおけるサーバを提供できる。 The third invention can provide the server in the health condition determination system of the first invention.

第４の発明は、ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムにおける健康状態判定方法であって、前記ユーザ端末がユーザの画像を撮影するステップと、前記ユーザ端末が撮影したユーザの画像を前記サーバに送信するステップと、前記サーバが、前記ユーザ端末から送信された画像を受信するステップと、前記サーバが、受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出するステップと、前記サーバが、前記健康度を前記ユーザ端末に送信するステップと、前記ユーザ端末が、前記サーバから前記健康度を取得するステップと、前記ユーザ端末が、取得した健康度を出力するステップと、を含み、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とする健康状態判定方法である。 A fourth invention is a health condition determination method in a health condition determination system in which a user terminal and a server are connected for communication via a network, wherein the user terminal captures an image of the user; a step of transmitting a photographed image of the user to the server; a step of the server receiving the image transmitted from the user terminal; and a step of the server analyzing the health condition based on the facial image included in the received image. a step of calculating a health level that is a value indicating a health condition; a step of the server transmitting the health level to the user terminal; and a step of the user terminal acquiring the health level from the server. and the user terminal outputting the acquired health level, wherein the health condition is obtained based on the skin condition and a facial beauty rate calculated from the face image, and the skin condition is It is calculated based on the number, size, and position of blemishes and rough skin detected from a face image, and the facial beauty rate is comprehensively calculated from a face image with a straight face and a face image with an expression. It is a state determination method.

第４の発明によれば、ユーザ端末において撮影したユーザの画像をサーバに送信すると、サーバは、画像に含まれる顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度を算出し、ユーザ端末に送信する。ユーザ端末は、取得した健康度を出力する。前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。 According to the fourth invention, when an image of the user photographed by the user terminal is transmitted to the server, the server analyzes the health condition based on the face image included in the image, and the health level is a value indicating the health condition of the user. is calculated and transmitted to the user terminal. The user terminal outputs the acquired health level. The health condition is obtained based on the skin condition and the facial beauty rate calculated from the facial image, and the skin condition is based on the number, size, and position of blemishes and rough skin detected from the facial image. The facial beauty ratio is calculated comprehensively from the straight face image and the facial image with an expression . This enables the user to easily obtain an evaluation of the health condition from the photographed image.

第５の発明は、コンピュータを、撮影した画像を取得する画像取得手段、前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段、前記健康度を出力する出力手段、として機能させ、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とするプログラムである。
第５の発明により、コンピュータを第２の発明の健康状態判定装置として機能させることが可能となる。 A fifth aspect of the present invention provides a computer comprising image acquisition means for acquiring a captured image, analysis means for analyzing a health condition based on a face image included in the image, and calculating a health level as a value indicating the health condition, The health condition is obtained based on the skin condition and the facial beauty rate calculated from the facial image, and the skin condition is the blemishes detected from the facial image. and the number, size, and position of rough skin, and the facial beauty rate is comprehensively calculated from a straight face image and an expressive face image .
The fifth invention enables a computer to function as the health condition determination device of the second invention.

第６の発明は、ユーザ端末とネットワークを介して通信接続されたコンピュータを、前記ユーザ端末から送信された画像を受信する受信手段、受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段、前記健康度を前記ユーザ端末に送信する送信手段、として機能させ、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とするプログラムである。第６の発明により、コンピュータを第１の発明の健康状態判定システムにおけるサーバとして機能させることが可能となる。 A sixth invention comprises a computer connected to a user terminal via a network for communication, receiving means for receiving an image transmitted from the user terminal, analyzing a health condition based on a face image included in the received image, functioning as analysis means for calculating a health level, which is a value indicating a health condition, and transmission means for transmitting the health level to the user terminal, and the health condition is a facial beauty ratio calculated from the skin condition and the face image; The skin condition is calculated based on the number, size, and position of blemishes and rough skin detected from the face image, and the facial beauty rate is calculated based on a serious face image and an expressive face image This program is characterized by being comprehensively calculated from The sixth invention enables a computer to function as a server in the health condition determination system of the first invention.

本発明により、ユーザの健康状態の評価を簡単に得ることが可能な健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラムを提供できる。 According to the present invention, it is possible to provide a health condition determination system, a health condition determination device, a server, a health condition determination method, and a program that can easily obtain an evaluation of a user's health condition.

本発明に係る健康状態判定システム１のシステム構成を示すブロック図FIG. 1 is a block diagram showing the system configuration of the health condition determination system 1 according to the present invention; 健康状態判定システム１の機能構成を示すブロック図Block diagram showing the functional configuration of the health condition determination system 1 データベース３４の内容を示す図A diagram showing the contents of the database 34 サーバ３のハードウェア構成の例を示す図A diagram showing an example of the hardware configuration of the server 3 ユーザ端末５のハードウェア構成の例を示す図FIG. 4 is a diagram showing an example of the hardware configuration of the user terminal 5; 健康状態判定処理の流れを示すフローチャートFlowchart showing the flow of health condition determination processing ユーザ端末５の表示画面例。（ａ）ユーザを撮影した段階、（ｂ）健康度６５を表示した段階An example of a display screen of the user terminal 5. FIG. (a) stage of photographing the user, (b) stage of displaying health level 65 ステップＳ１０６の健康状態解析処理を説明するフローチャートFlowchart for explaining health condition analysis processing in step S106 美顔率の判定に用いる画像Image used to determine facial beauty rate 健康状態分析処理の流れを示すフローチャートFlowchart showing the flow of health condition analysis processing 健康状態分析処理において提供されるダッシュボード８０の例を示す図A diagram showing an example of a dashboard 80 provided in the health condition analysis process. 動画作成処理の流れを示すフローチャートFlowchart showing the flow of video creation processing

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。 Preferred embodiments of the present invention will be described in detail below with reference to the drawings.

図１は本発明に係る健康状態判定システム１のシステム構成を示すブロック図、図２は健康状態判定システム１の機能構成を示すブロック図である。 FIG. 1 is a block diagram showing the system configuration of a health condition determination system 1 according to the present invention, and FIG. 2 is a block diagram showing the functional configuration of the health condition determination system 1. As shown in FIG.

図１に示すように、健康状態判定システム１は、サーバ３とユーザ端末５とがネットワーク７を介して通信接続されて構成される。 As shown in FIG. 1 , the health condition determination system 1 is configured by connecting a server 3 and a user terminal 5 for communication via a network 7 .

サーバ３は、画像に含まれる顔画像からユーザの健康状態を解析し、健康度を算出するコンピュータである。図２に示すように、サーバ３は、受信部３１、解析部３２、送信部３３、データベース３４を有する。またサーバ３は付加的な機能として、グラフ作成部３５、相関画像作成部３６、アドバイス情報作成部３７、動画作成部３８等を備えるものとしてもよい。 The server 3 is a computer that analyzes the health condition of the user from the face image included in the image and calculates the health level. As shown in FIG. 2, the server 3 has a receiver 31, an analyzer 32, a transmitter 33, and a database . In addition, the server 3 may include a graph creation unit 35, a correlation image creation unit 36, an advice information creation unit 37, a moving image creation unit 38, and the like as additional functions.

サーバ３の受信部３１は、ユーザ端末５から送信された画像を受信する。
解析部３２は、受信した画像に含まれる顔画像に基づきユーザ（顔画像の人物）の健康状態を解析し、健康状態を示す値である健康度を算出する。解析部３２は、例えば肌の状態や美顔率に基づいてユーザの健康状態を分析する。そして健康状態を数値化し、健康度として表す。また、解析部３２は、顔画像からユーザを特定し、データベース３４に記憶されている該ユーザの過去の顔画像や健康状態（肌の状態、美顔率）を参照して健康度を算出するようにしてもよい。 The receiving unit 31 of the server 3 receives the image transmitted from the user terminal 5 .
The analysis unit 32 analyzes the health condition of the user (the person in the face image) based on the face image included in the received image, and calculates the health level, which is a value indicating the health condition. The analysis unit 32 analyzes the health condition of the user, for example, based on the skin condition and facial beauty ratio. Then, the health condition is quantified and expressed as a degree of health. In addition, the analysis unit 32 identifies the user from the face image, refers to the user's past face image and health condition (skin condition, facial beauty rate) stored in the database 34, and calculates the health level. can be

送信部３３は、解析部３２が算出した健康度を画像の送信元のユーザ端末５に送信する。 The transmission unit 33 transmits the health level calculated by the analysis unit 32 to the user terminal 5 which is the transmission source of the image.

データベース３４は、解析部３２が解析した健康状態に関する情報（健康度３４６、美顔率３４５、肌の状態３４４等）、ユーザの顔画像３４２、及び顔画像３４２の撮影日時情報３４３をユーザの識別情報（ユーザＩＤ）３４１と対応づけて蓄積記憶する。図３はデータベース３４の内容を示す図である。ユーザＩＤ３４１は予め登録されたユーザのユーザＩＤ３４１であり、例えば「０００１」、「０００２」のような識別情報が記憶される。顔画像３４２はユーザ端末５から送信された画像から顔領域を抽出した顔画像のファイル名または顔画像の格納先を示す情報が記憶される。撮影日時３４３は、顔画像３４２の撮影日時を示す情報である。肌の状態３４４は、顔画像３４２に含まれるシミや吹き出物の位置情報が格納される。シミや吹き出物の位置情報は、解析部３２により過去のユーザの顔画像またはユーザの基準画像との比較により求められる。美顔率３４５は、解析部３２により求められた美顔率の値が格納される。健康度は、解析部３２により求められた健康度の値が格納される。 The database 34 stores information about the health condition analyzed by the analysis unit 32 (health level 346, facial beauty rate 345, skin condition 344, etc.), the user's face image 342, and shooting date/time information 343 of the face image 342 as identification information of the user. (User ID) 341 is associated with and stored. FIG. 3 is a diagram showing the contents of the database 34. As shown in FIG. The user ID 341 is the user ID 341 of a user registered in advance, and identification information such as "0001" and "0002", for example, is stored. The face image 342 stores information indicating the file name of the face image obtained by extracting the face region from the image transmitted from the user terminal 5 or the storage location of the face image. The shooting date and time 343 is information indicating the shooting date and time of the face image 342 . The skin condition 344 stores position information of spots and pimples included in the face image 342 . The analysis unit 32 obtains the positional information of the blemish and pimples by comparing with the past user's face image or the user's reference image. The facial beauty rate 345 stores the value of the facial beauty rate obtained by the analysis unit 32 . As the health level, the value of the health level obtained by the analysis unit 32 is stored.

グラフ作成部３５は、データベース３４に記憶されている健康状態の推移を時系列に示すグラフを作成する。作成したグラフは、ユーザ端末５のＷＥＢブラウザ５５からサーバ３にログインした際に、閲覧可能に表示される。 The graph creating unit 35 creates a graph showing changes in the health condition stored in the database 34 in chronological order. The created graph is displayed so that it can be browsed when logging into the server 3 from the WEB browser 55 of the user terminal 5 .

相関画像作成部３６は、現在の美顔率と健康度との相関関係を示す画像（相関画像という）を作成する。作成した相関画像は、ユーザ端末５のＷＥＢブラウザ５５からサーバ３にログインした際に、閲覧可能に表示される。 The correlation image creation unit 36 creates an image (referred to as a correlation image) showing the correlation between the current facial beauty rate and the health level. The created correlation image is displayed so as to be viewable when the user logs in to the server 3 from the WEB browser 55 of the user terminal 5 .

アドバイス情報作成部３７は、顔画像に基づきアドバイス情報を生成する。アドバイス情報は、例えば、ユーザの健康状態に関するアドバイス情報としてもよいし、ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス情報としてもよい。作成したアドバイス情報は、ユーザ端末５のＷＥＢブラウザ５５からサーバ３にログインした際に、閲覧可能に表示されるか、或いは音声出力可能に提供される。 The advice information creating section 37 creates advice information based on the face image. The advice information may be, for example, advice information on the user's health condition, or advice information on an appropriate facial expression, makeup, or hairstyle based on the difference between the user's face image and a target face image. The created advice information is displayed so as to be browsable or is provided so as to be output by voice when the user logs in to the server 3 from the WEB browser 55 of the user terminal 5 .

動画作成部３８は、データベース３４に蓄積記憶した同じユーザの顔画像を連続的に再生する動画像を作成する。作成した動画像は、ユーザ端末５或いは任意の端末で再生可能に提供される。 The moving image creating unit 38 creates moving images in which facial images of the same user accumulated and stored in the database 34 are continuously reproduced. The created moving image is provided so as to be reproducible on the user terminal 5 or any terminal.

図４は、サーバ３のハードウェア構成の例を示す図である。図４に示すように、サーバ３は、制御部３０１、記憶部３０２、及び通信部３０３をバス３０９等により接続して構成したコンピュータにより実現できる。但し、これに限ることなく、適宜様々な構成をとることができる。 FIG. 4 is a diagram showing an example of the hardware configuration of the server 3. As shown in FIG. As shown in FIG. 4, the server 3 can be implemented by a computer configured by connecting a control unit 301, a storage unit 302, and a communication unit 303 via a bus 309 or the like. However, without being limited to this, various configurations can be appropriately adopted.

制御部３０１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等によって構成される。ＣＰＵは、記憶部３０２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス３０９を介して接続された各装置を駆動制御し、サーバ３が行う処理を実現する。 The control unit 301 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), and the like. The CPU calls a program stored in the storage unit 302, ROM, recording medium, or the like to a work memory area on the RAM and executes it, drives and controls each device connected via the bus 309, and performs processing performed by the server 3. Realize

記憶部３０２は、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等であり、制御部３０１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、健康状態を解析する処理をサーバ３に実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部３０１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。 The storage unit 302 is a flash memory, a HDD (Hard Disk Drive), or the like, and stores programs executed by the control unit 301, data necessary for executing the programs, an OS (Operating System), and the like. As for programs, a control program corresponding to the OS and an application program for causing the server 3 to execute processing for analyzing the health condition are stored. These program codes are read by the control unit 301 as necessary, transferred to the RAM, read by the CPU, and executed as various means.

通信部３０３は、通信制御装置、通信ポート等を有し、サーバ３とネットワーク７との間の通信を媒介する通信インタフェースであり、ネットワーク７を介して、ユーザ端末５や他のコンピュータとの通信制御を行うことが可能である。バス３０９は、各部間の制御信号、データ信号等の授受を媒介する経路である。 The communication unit 303 has a communication control device, a communication port, etc., and is a communication interface that mediates communication between the server 3 and the network 7 . control is possible. A bus 309 is a path through which control signals, data signals, and the like are transferred between units.

図１に説明に戻る。
ユーザ端末５は、サーバ３にネットワーク７を介して通信接続可能な端末であり、例えば、スマートフォン、ＡＩスピーカ、ゲーム機、ノート型ＰＣ、デスクトップＰＣ、その他の電子機器である。ユーザ端末５は、図２に示すように、カメラ（撮影手段）５１、送信部５２、健康度取得部５３、出力部５４、ＷＥＢブラウザ５５を備える。 Returning to the description of FIG.
The user terminal 5 is a terminal that can be communicatively connected to the server 3 via the network 7, and is, for example, a smart phone, an AI speaker, a game machine, a notebook PC, a desktop PC, or other electronic equipment. The user terminal 5 includes a camera (photographing means) 51, a transmission unit 52, a health level acquisition unit 53, an output unit 54, and a WEB browser 55, as shown in FIG.

カメラ（撮影手段）５１は、ユーザの画像を撮影するカメラであり、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子により構成される。
送信部５２は、カメラ５１により撮影した画像をサーバ３に送信する。
健康度取得部５３は、サーバ３において算出されたユーザの健康度３４６を取得（受信）する。
出力部５４は、健康度取得部５３により取得（受信）した健康度３４６を出力する。 A camera (capturing unit) 51 is a camera that captures an image of a user, and is configured by an imaging device such as a CCD (Charge Coupled Device) or a CMOS (Complementary Metal Oxide Semiconductor).
The transmission unit 52 transmits the image captured by the camera 51 to the server 3 .
The health level acquisition unit 53 acquires (receives) the user's health level 346 calculated by the server 3 .
The output unit 54 outputs the health level 346 acquired (received) by the health level acquisition unit 53 .

ＷＥＢブラウザ５５はネットワーク７を介してサーバ３にアクセスし、ログイン認証を行うことで、サーバ３のユーザの健康状態に関する情報を取得（ダウンロード）する。健康状態に関する情報には、解析部３２により求められた健康度３４６、肌の状態３４４、及び美顔率３４５の履歴、グラフ作成部３５により作成されたグラフ、相関画像作成部３６により作成された相関画像、アドバイス情報作成部３７により作成されたアドバイス情報、動画作成部３８により作成された動画等が含まれる。 The WEB browser 55 accesses the server 3 via the network 7 and obtains (downloads) information on the health condition of the user of the server 3 by performing login authentication. The information about the health condition includes the history of the health level 346, the skin condition 344, and the facial beauty ratio 345 obtained by the analysis unit 32, the graph created by the graph creation unit 35, and the correlation created by the correlation image creation unit 36. Images, advice information created by the advice information creating section 37, moving images created by the moving image creating section 38, and the like are included.

図５は、ユーザ端末５のハードウェア構成の例を示す図である。図５に示すように、ユーザ端末５は、制御部５０１、記憶部５０２、通信部５０３、表示部５０４、入力部５０５、カメラ５０６、及び音声処理部５０７をバス５０８等により接続して構成したコンピュータにより実現できる。但し、これに限ることなく、適宜様々な構成をとることができる。 FIG. 5 is a diagram showing an example of the hardware configuration of the user terminal 5. As shown in FIG. As shown in FIG. 5, the user terminal 5 is configured by connecting a control unit 501, a storage unit 502, a communication unit 503, a display unit 504, an input unit 505, a camera 506, and an audio processing unit 507 via a bus 508 or the like. It can be realized by a computer. However, without being limited to this, various configurations can be appropriately adopted.

制御部５０１、記憶部５０２、通信部５０３の機能は上述した制御部３０１、記憶部３０２、通信部３０３と略同様である。なお、ユーザ端末５の記憶部５０２には後述する処理をユーザ端末５に実行させるためのプログラムが格納される。 Functions of the control unit 501, the storage unit 502, and the communication unit 503 are substantially the same as those of the control unit 301, the storage unit 302, and the communication unit 303 described above. Note that the storage unit 502 of the user terminal 5 stores a program for causing the user terminal 5 to execute processing, which will be described later.

表示部５０４は、入力部５０５を兼ねたタッチパネル付ディスプレイ等により実現される。表示部５０４は、ユーザの操作・選択に係る各種の画面を表示し、画面上のタッチ操作によるユーザの指示入力等を受付ける。
入力部５０５は、タッチパネル及び各種のボタン等により構成され、入力された信号を制御部５０１に入力する。 The display unit 504 is implemented by a display with a touch panel that also serves as the input unit 505, or the like. The display unit 504 displays various screens related to user's operations and selections, and accepts user's input of instructions and the like by touch operations on the screen.
The input unit 505 includes a touch panel, various buttons, and the like, and inputs input signals to the control unit 501 .

音声処理部５０７は、マイク（音声入力部）、スピーカ（音声出力部）、音声認識部、音声合成部等を備え、マイクから入力された音声を認識して制御部５０１へ入力する。また、制御部５０１から出力された音声をスピーカから出力する。 The voice processing unit 507 includes a microphone (voice input unit), a speaker (voice output unit), a voice recognition unit, a voice synthesis unit, etc., recognizes voice input from the microphone, and inputs the voice to the control unit 501 . Also, the voice output from the control unit 501 is output from the speaker.

ネットワーク７は、ＬＡＮ（Local Area Network）や、より広域に通信接続されたＷＡＮ（Wide Area Network）、またはインターネット等の公衆の通信回線、基地局等を含む。ネットワーク７は有線、無線を問わない。 The network 7 includes a LAN (Local Area Network), a WAN (Wide Area Network) connected for communication over a wider area, a public communication line such as the Internet, a base station, and the like. The network 7 may be wired or wireless.

次に、図６～図９を参照して、健康状態判定システム１が実行する各処理について説明する。 Next, each process executed by the health condition determination system 1 will be described with reference to FIGS. 6 to 9. FIG.

まず、図６を参照して健康状態判定処理について説明する。
ユーザ端末５においてユーザから撮影指示が入力されると（ステップＳ１０１）、ユーザ端末５の制御部５０１は、カメラ５１を起動し撮影を行う（ステップＳ１０２）。ここで、ユーザの顔を含む画像が撮影されるものとする。ユーザ端末５（送信部５２）は、撮影した画像をサーバ３に送信する（ステップＳ１０３）。 First, the health condition determination process will be described with reference to FIG.
When the user inputs a photographing instruction to the user terminal 5 (step S101), the control unit 501 of the user terminal 5 activates the camera 51 to photograph (step S102). Here, it is assumed that an image including the user's face is captured. The user terminal 5 (transmitting unit 52) transmits the captured image to the server 3 (step S103).

図７（ａ）はユーザ端末５においてユーザを撮影した段階（ステップＳ１０２）での表示画面例である。表示部５０４には、撮影された画像６２が表示されるとともに、「キャンセル」ボタン６３及び「送信」ボタン６４が表示される。ユーザにより「送信」ボタン６４がタッチされると制御部５０１は、撮影画像６２をサーバ３に送信する。ユーザにより「キャンセル」ボタン６３がタッチされた場合は、制御部５０１は撮影画像を破棄し、再撮影を行う。 FIG. 7(a) is an example of a display screen when the user is photographed on the user terminal 5 (step S102). A captured image 62 is displayed on the display unit 504, and a “cancel” button 63 and a “send” button 64 are also displayed. When the user touches the “send” button 64 , the control unit 501 sends the captured image 62 to the server 3 . When the user touches the "cancel" button 63, the control unit 501 discards the captured image and performs re-capturing.

サーバ３（受信部３１）は、ユーザ端末５から送信された画像６２を受信する（ステップＳ１０４）。すると、サーバ３の制御部３０１（解析部３２）は受信した画像６２から顔領域を抽出し、顔画像３４２を取得する（ステップＳ１０５）。なお、顔画像３４２のサイズが所定の画像サイズとなるように処理されることが望ましい。これは、解析部３２が肌の状態（シミの位置や吹き出物の位置）３４４を求める際に過去の顔画像と比較するためである。そしてサーバ３の制御部３０１（解析部３２）は、取得した顔画像３４２に基づきユーザの健康状態を解析する（ステップＳ１０６）。 The server 3 (receiving unit 31) receives the image 62 transmitted from the user terminal 5 (step S104). Then, the control unit 301 (analysis unit 32) of the server 3 extracts the face area from the received image 62 and obtains the face image 342 (step S105). In addition, it is desirable that the size of the face image 342 be processed so as to have a predetermined image size. This is because the analysis unit 32 compares the skin condition (position of blemishes and position of pimples) 344 with past facial images. Then, the control unit 301 (analysis unit 32) of the server 3 analyzes the health condition of the user based on the acquired face image 342 (step S106).

図８は、ステップＳ１０６の健康状態解析処理を説明するフローチャートである。
図８に示すように、サーバ３の制御部３０１（解析部３２）は、顔画像３４２からユーザを特定する（ステップＳ２０１）。なお、ユーザの過去の顔画像３４２はサーバ３の記憶部３０２（データベース３４）にユーザを識別する情報であるユーザＩＤ３４１に対応付けて登録されているものとする。ステップＳ２０１においてユーザが特定できない場合は、未登録ユーザであるため、新規ユーザ登録処理へ移行する。新規ユーザ登録処理は、新規ユーザＩＤを発行し、顔画像、ユーザ情報（ユーザ名、年齢、性別等の属性情報、メールアドレス等の連絡先情報）の登録を受け付け、ユーザＩＤ、顔画像、ユーザ情報を記憶部３０２に登録する。 FIG. 8 is a flowchart for explaining the health condition analysis process in step S106.
As shown in FIG. 8, the control unit 301 (analysis unit 32) of the server 3 identifies the user from the face image 342 (step S201). It is assumed that the user's past face image 342 is registered in the storage unit 302 (database 34) of the server 3 in association with the user ID 341 that identifies the user. If the user cannot be specified in step S201, the user is an unregistered user, so the process shifts to new user registration processing. The new user registration process issues a new user ID, accepts registration of a face image and user information (attribute information such as user name, age, and gender, and contact information such as an email address). Register the information in the storage unit 302 .

ステップＳ２０１においてユーザを特定すると、次にサーバ３の制御部３０１はユーザの基準顔画像を記憶部３０２から読み出す（ステップＳ２０２）。ユーザの基準顔画像は、最初に登録した顔画像としてもよいし、複数の過去のユーザの顔画像の中からユーザが選択した顔画像としてもよいし、サーバ３の制御部３０１により生成したユーザの顔画像（例えば、顔のパーツを組み合わせた合成画像）を基準画像としてもよい。また、基準顔画像は、真顔のみとしてもよいが、笑顔、怒った顔、悲しい顔等の表情毎に用意しておくようにしてもよい。 After identifying the user in step S201, the control unit 301 of the server 3 reads out the reference face image of the user from the storage unit 302 (step S202). The user's reference face image may be the first registered face image, the face image selected by the user from among a plurality of past user face images, or the user's reference face image generated by the control unit 301 of the server 3 . (for example, a composite image obtained by combining facial parts) may be used as the reference image. The reference face image may be a straight face only, or may be prepared for each facial expression such as a smiling face, an angry face, a sad face, or the like.

サーバ３の制御部３０１（解析部３２）は、ユーザ端末５から受信したユーザの顔画像３４２とステップＳ２０２で読み出した基準顔画像とを比較して肌の状態（シミ、肌荒れの有無や位置等）３４４を判定する（ステップＳ２０３）。肌の状態判定では、基準顔画像と受信した顔画像３４２とを比較して、シミや肌荒れの位置を検出し、シミや肌荒れの個数や大きさ、位置から肌の状態３４４を示す指標値を求める。なお、肌荒れ（吹き出物やニキビ）ができる位置はその原因と関係があるとの見解もあるため、肌荒れの位置から原因を分析するようにしてもよい。例えば、額のニキビは赤身の肉や飽和脂肪酸、アルコールの摂り過ぎが原因、頬にできるニキビは肉、砂糖、乳製品の摂り過ぎが原因、フェイスラインのニキビは加工食品の摂り過ぎや大腸の消化不良等が原因等である。 The control unit 301 (analysis unit 32) of the server 3 compares the user's face image 342 received from the user terminal 5 with the reference face image read out in step S202, and determines the skin condition (presence and position of spots, rough skin, etc.). ) 344 (step S203). In skin condition determination, the reference face image and the received face image 342 are compared to detect the positions of blemishes and rough skin. demand. Since there is an opinion that the location of rough skin (pimples and pimples) is related to the cause, the cause may be analyzed from the location of rough skin. For example, pimples on the forehead are caused by eating too much red meat, saturated fatty acids, and alcohol, pimples on the cheeks are caused by eating too much meat, sugar, and dairy products, and pimples on the face line are caused by eating too much processed food and intestinal disorders. Indigestion is the cause.

また、サーバ３の制御部３０１（解析部３２）は、ユーザ端末５から受信したユーザの顔画像３４２とステップＳ２０２で読み出した基準顔画像とを比較して美顔率３４５を判定する（ステップＳ２０４）。図９は美顔率３４５の判定に用いる画像である。美顔率３４５は、例えば、顔の各部位（目、鼻、口、眉、頬、顎）の位置や大きさ等を基準顔画像と比較したり、各パーツの間隔や比率、左右比等に基づいて求められる値である。なお、美顔率３４５は、一般的な美人顔を基準画像とするのではなく、本人の過去の画像（若いころの画像）や本人が選択した本人の顔画像を基準顔画像とすることが望ましい。 Further, the control unit 301 (analysis unit 32) of the server 3 compares the user's face image 342 received from the user terminal 5 with the reference face image read in step S202 to determine the facial beauty rate 345 (step S204). . FIG. 9 is an image used for determining the facial beauty ratio 345. FIG. The facial beauty rate 345 is, for example, a comparison of the position and size of each part of the face (eyes, nose, mouth, eyebrows, cheeks, chin) with a reference face image, or a comparison of the intervals, ratios, left-right ratios, etc. of each part. It is a value obtained based on It should be noted that the facial beauty rate 345 should preferably use a past image of the person (an image of her when she was young) or a facial image of the person selected by the person instead of using a general beautiful face as the reference image. .

また、美顔率３４５の判定は、真顔の顔画像３４２で行ってもよいが、真顔の他に、笑顔、怒った顔、悲しい顔等、表情のある顔画像についても追加判定を行ってもよい。この場合、予めユーザ端末５は、真顔、笑顔、怒った顔、悲しい顔を順に撮影し、それらの画像をすべてサーバ３に送信し、サーバ３は、真顔の顔画像と真顔の基準顔画像、笑顔の顔画像と笑顔の基準顔画像、怒った顔の顔画像と怒った顔の基準顔画像、悲しい顔の顔画像と悲しい顔の基準顔画像をそれぞれ比較して、総合的な美顔率３４５を算出する。 Further, the determination of the facial beauty rate 345 may be performed on the face image 342 of a straight face, but besides the straight face, an additional determination may also be performed on a face image with expressions such as a smiling face, an angry face, a sad face, and the like. . In this case, the user terminal 5 shoots a serious face, a smiling face, an angry face, and a sad face in order in advance, and transmits all these images to the server 3. The server 3 receives the straight face image, the straight face reference face image, A smiling face image and a smiling reference face image, an angry face image and an angry face reference face image, and a sad face image and a sad face reference face image are compared, respectively, to obtain a comprehensive facial beauty rate of 345. Calculate

制御部３０１（解析部３２）は、ステップＳ２０３で求めた肌の状態３４４やステップＳ２０４で求めた美顔率３４５からユーザの健康度３４６を算出する（ステップＳ２０５）。健康度３４６は、例えば、肌の状態３４４が良好（シミや吹き出物の個数が少ない、大きさが小さい）であり、美顔率３４５が高いほど高い値となるように算出される。 The control unit 301 (analysis unit 32) calculates the user's health level 346 from the skin condition 344 obtained in step S203 and the facial beauty rate 345 obtained in step S204 (step S205). The degree of health 346 is calculated, for example, to have a higher value when the skin condition 344 is good (the number of spots and pimples is small and the size is small) and the beauty rate 345 is high.

制御部３０１（解析部３２）は、算出した健康度３４６、肌の状態３４４、美顔率３４５等を顔画像３４２、日時情報３４３とともにユーザＩＤ３４１と対応づけてデータベース３４（記憶部３０２）に保存する（ステップＳ２０６）。 The control unit 301 (analysis unit 32) stores the calculated health level 346, skin condition 344, facial beauty rate 345, etc. in the database 34 (storage unit 302) in association with the user ID 341 together with the face image 342 and date/time information 343. (Step S206).

上述のように健康状態の解析を行うと（図５のステップＳ１０６）、サーバ３の制御部３０１（送信部３３）は算出した健康度３４６をユーザ端末５に送信する（ステップＳ１０７）。 After analyzing the health condition as described above (step S106 in FIG. 5), the control unit 301 (transmitting unit 33) of the server 3 transmits the calculated health level 346 to the user terminal 5 (step S107).

ユーザ端末５（健康度取得部５３）は、健康度３４６を受信する（ステップＳ１０８）。そして、ユーザ端末５（出力部５４）は、取得した健康度３４６を表示部５０４に表示したり、音声処理部５０７のスピーカから音声出力する（ステップＳ１０９）。図７（ｂ）は、健康度６５（健康度３４６）を表示したユーザ端末５の表示画面例を示す図である。図７（ｂ）に示すように、ユーザ端末５の表示部５０４には例えば、顔画像６２（顔画像３４２）とともに受信した健康度６５（健康度３４６）の値が「９２」ポイントのように表示される。 The user terminal 5 (health degree acquisition unit 53) receives the health degree 346 (step S108). Then, the user terminal 5 (output unit 54) displays the acquired health level 346 on the display unit 504, or outputs voice from the speaker of the voice processing unit 507 (step S109). FIG. 7B is a diagram showing an example of a display screen of the user terminal 5 displaying a health level of 65 (health level of 346). As shown in FIG. 7B, the display unit 504 of the user terminal 5 displays, for example, the value of the health level 65 (health level 346) received together with the face image 62 (face image 342) as "92" points. Is displayed.

このように、健康状態判定処理では、ユーザの顔画像３４２から簡単に数値化されたユーザの健康状態（健康度３４６）を得ることが可能となる。また、ユーザは毎日、ユーザ端末５で顔画像を撮影し、サーバ３に送信するだけで、健康状態の記録をサーバ３に蓄積することが可能となる。 In this way, in the health condition determination process, it is possible to obtain the user's health condition (health level 346) simply quantified from the user's face image 342. FIG. In addition, the user can accumulate a record of the health condition in the server 3 simply by photographing a face image with the user terminal 5 and transmitting it to the server 3 every day.

次に、図１０、図１１を参照して、健康状態判定システム１において実行される健康状態分析処理について説明する。なお、図１０の処理において、ユーザ端末５は、音声操作を受け付けているものとする。 Next, referring to FIGS. 10 and 11, the health condition analysis process executed in the health condition determination system 1 will be described. 10, it is assumed that the user terminal 5 accepts voice operation.

ユーザ端末５に対してユーザが「健康アプリ」等のように当該アプリケーションを起動する音声を入力すると、ユーザ端末５は音声処理部５０７により入力された音声情報を認識し、ＷＥＢブラウザ５５を起動してサーバ３にアクセスし、ユーザの音声情報を送信する（ステップＳ３０１）。サーバ３はユーザ端末５から音声情報を受信すると、音声による認証処理を行い、ユーザを特定する。認証成功した場合はログイン処理を行う（ステップＳ３０２）。サーバ３はユーザ端末５に認証結果を送信する。ユーザ端末５は認証結果を受信する。認証失敗した場合は、音声の再入力や、ログイン画面を表示してログイン情報の入力を受け付ける。認証成功の場合は、トップ画面を表示する。 When the user inputs a voice for activating the application such as "Health application" to the user terminal 5, the user terminal 5 recognizes the voice information input by the voice processing unit 507, and activates the WEB browser 55. to access the server 3 and transmit the user's voice information (step S301). When the server 3 receives the voice information from the user terminal 5, it performs voice authentication processing to identify the user. If the authentication succeeds, login processing is performed (step S302). The server 3 transmits the authentication result to the user terminal 5 . The user terminal 5 receives the authentication result. If the authentication fails, re-input the voice or display the login screen to accept the input of the login information. If the authentication is successful, the top screen is displayed.

トップ画面（不図示）には、健康状態判定システム１で実行可能な各機能へ移行するためのボタンが表示される。ここでは、「健康状態の閲覧」メニューがユーザにより選択されるものとする。ユーザ端末５は、健康状態の閲覧要求をサーバ３に送信する（ステップＳ３０４）。メニューの選択は、画面のタッチ操作により行ってもよいし、音声入力により行ってもよい。 A top screen (not shown) displays buttons for transitioning to each function executable by the health condition determination system 1 . Here, it is assumed that the user selects the "view health condition" menu. The user terminal 5 transmits a health condition viewing request to the server 3 (step S304). Selection of the menu may be performed by a touch operation on the screen, or may be performed by voice input.

サーバ３は、ログインしたユーザ端末５から健康状態の閲覧要求を受信すると、データベース３４から当該ユーザ（音声により特定されたユーザ）の美顔率３４５、肌の状態３４４、健康度３４６等の健康状態に関する情報の履歴（過去の情報）を取得する（ステップＳ３０５）。サーバ３の制御部３０１は、取得した健康状態に関する情報の履歴（過去の情報）に基づいて健康状態の推移を示すグラフを作成する（ステップＳ３０６）。グラフは、例えば、図１１に示すような、美顔率３４５を時系列（週単位、月単位、または年単位）に示したグラフ８１、シミの個数を時系列（週単位、月単位、または年単位）に示したグラフ８２、肌荒れの個数を時系列（週単位、月単位、または年単位）に示したグラフ８３である。グラフ８１、８２、８３はダッシュボード８０にレイアウトされる。 When the server 3 receives a health condition viewing request from the logged-in user terminal 5, the server 3 receives information related to the health condition such as the facial beauty rate 345, the skin condition 344, and the health level 346 of the user (the user specified by the voice) from the database 34. An information history (past information) is acquired (step S305). The control unit 301 of the server 3 creates a graph showing the transition of the health condition based on the acquired history of information (past information) on the health condition (step S306). For example, as shown in FIG. 11, a graph 81 showing the facial beauty rate 345 in time series (weekly, monthly or yearly), the number of blemishes in time series (weekly, monthly or yearly). ), and a graph 83 showing the number of rough skin in chronological order (weekly, monthly, or yearly). Graphs 81 , 82 , 83 are laid out on dashboard 80 .

また、サーバ３の制御部３０１は、現在の顔画像３４２について美顔率３４５と健康度３４６との相関画像８４を作成する（ステップＳ３０７）。相関画像８４とは、美顔率３４５と健康度３４６との相関関係を示す画像である。例えば、図１１に示すように、ユーザの顔画像３４２の各パーツに美顔率３４５を算出するための補助線を重ね、各補助線の間隔の比率を各補助線の近傍に示すとともに、美顔率３４５と健康度３４６とを示した画像８４である。 Further, the control unit 301 of the server 3 creates a correlation image 84 between the facial beauty rate 345 and the health level 346 for the current facial image 342 (step S307). The correlation image 84 is an image showing the correlation between the facial beauty rate 345 and the health level 346 . For example, as shown in FIG. 11, an auxiliary line for calculating a facial beauty rate 345 is superimposed on each part of the user's face image 342, and the interval ratio of each auxiliary line is indicated near each auxiliary line. 345 and a health level 346 is an image 84 .

また、サーバ３の制御部３０１は、現在の顔画像３４２についてのアドバイス情報８５を作成する（ステップＳ３０８）。アドバイス情報８５は、ユーザの健康状態に関するアドバイスや、ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス等である。 Further, the control unit 301 of the server 3 creates advice information 85 regarding the current face image 342 (step S308). The advice information 85 is advice on the user's health condition, advice on an appropriate facial expression, makeup, or hairstyle based on the difference between the user's facial image and a target facial image.

健康状態に関するアドバイスは、肌荒れやシミ等の位置から分析される原因に基づき生活習慣や食事、睡眠等の改善点を提案する情報である。健康状態と肌荒れをリンクさせて、発生から完治までの状況から肌荒れに最適な食事や睡眠など健康へのアドバイスを行う。健康状態に関するアドバイスの情報は、サーバ３の記憶部３０２に予め記憶された複数パターンのアドバイス用の定型文や画像の中から、肌荒れやシミ等の位置と原因に基づいて適切ないくつかの情報を抽出し、組み合せて生成される。 The health advice is information that suggests improvements in lifestyle habits, diet, sleep, etc., based on the causes analyzed from the positions of rough skin, spots, and the like. By linking the health condition and rough skin, advice on health such as the best diet and sleep for rough skin is provided based on the situation from occurrence to complete recovery. Advice information on the health condition is selected from a plurality of patterns of fixed phrases and images for advice stored in advance in the storage unit 302 of the server 3. are extracted and combined.

また、ユーザの顔画像３４２と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイスは、テキストだけでなくアドバイス画像８６を作成してもよい。図１１のアドバイス画像８６は、左側領域に撮影された顔画像３４２の左側部分を表示し、右側領域に撮影された顔画像３４２の右側部分をメイクアップ加工した加工画像を表示したものである。メイクアップ加工は、一般的なメイクアプリにより実施できる。 Advice on an appropriate facial expression, makeup, or hairstyle based on the difference between the user's face image 342 and the target face image may be provided not only by text but also by the advice image 86 . The advice image 86 in FIG. 11 displays the left side of the photographed face image 342 in the left area, and displays a processed image obtained by applying makeup to the right side of the photographed face image 342 in the right area. Makeup processing can be performed using a general makeup application.

グラフ８１、８２、８３、相関画像８４、アドバイス情報８５、アドバイス画像８６等が作成されると、サーバ３の制御部３０１は、作成したグラフ８１、８２、８３、相関画像８４、アドバイス情報８５、アドバイス画像８６等をレイアウトしたダッシュボード８０を作成し（ステップＳ３０９）、ユーザ端末５に送信する（ステップＳ３１０）。 When the graphs 81, 82, 83, the correlation image 84, the advice information 85, the advice image 86, etc. are created, the control unit 301 of the server 3 generates the created graphs 81, 82, 83, the correlation image 84, the advice information 85, A dashboard 80 on which advice images 86 and the like are laid out is created (step S309) and transmitted to the user terminal 5 (step S310).

ユーザ端末５（ＷＥＢブラウザ５５）は、サーバ３からユーザの健康状態を示したダッシュボード８０を受信し（ステップＳ３１１）、表示部５０４に閲覧可能に表示する。また、このときアドバイス情報８５のテキストを音声で読み上げ（音声出力）するようにしてもよい（ステップＳ３１２）。ユーザは、表示されたダッシュボード８０を閲覧したり、読み上げられたアドバイス情報を聴取することで、健康状態の推移や健康や美容に関するアドバイスを得ることができる。以上が、健康状態解析処理（グラフ作成処理、相関画像作成処理、アドバイス情報作成処理を含む）の説明である。 The user terminal 5 (WEB browser 55) receives the dashboard 80 showing the health condition of the user from the server 3 (step S311), and displays it on the display unit 504 so that it can be browsed. At this time, the text of the advice information 85 may be read aloud (audio output) (step S312). By viewing the displayed dashboard 80 and listening to the advice information read aloud, the user can obtain health status transitions and advice on health and beauty. The above is the description of the health condition analysis processing (including graph creation processing, correlation image creation processing, and advice information creation processing).

なお、図１０に示す健康状態解析処理は、音声操作でログイン処理を行うものとしたが、音声によるログインに限定されず、ログイン画面を表示し、認証情報（ユーザＩＤ、パスワード）の入力を受け付けてログイン処理を行うものとしてもよい。また、上述したグラフ作成処理におけるグラフの作成方法、相関画像作成処理における相関画像の作成方法、アドバイス情報作成処理におけるアドバイス情報の作成方法は一例であり、本発明は上述の例に限定されず、その他の方法を用いてもよい。 Although the health condition analysis process shown in FIG. 10 performs the login process by voice operation, it is not limited to the login process by voice, and the login screen is displayed and the input of authentication information (user ID, password) is accepted. log-in processing may be performed. Further, the method of creating a graph in the graph creating process, the method of creating a correlation image in the process of creating a correlation image, and the method of creating advice information in the process of creating advice information are examples, and the present invention is not limited to the above examples. Other methods may be used.

次に、図１２を参照して動画作成部３８による動画作成について説明する。図１２は、動画作成処理について説明するフローチャートである。
図１２に示すように、ユーザ端末５に対してユーザが「健康アプリ」等のように当該アプリケーションを起動する音声を入力すると、ユーザ端末５は音声処理部５０７により入力された音声情報を認識し、ＷＥＢブラウザ５５を起動してサーバ３にアクセスし、ユーザの音声情報を送信する（ステップＳ４０１）。サーバ３はユーザ端末５から音声情報を受信すると、音声による認証処理を行い、ユーザを特定する。認証成功した場合はログイン処理を行う（ステップＳ４０２）。サーバ３はユーザ端末５に認証結果を送信する。ユーザ端末５は認証結果を受信する。認証失敗した場合は、音声の再入力や、ログイン画面を表示してログイン情報の入力を受け付ける。認証成功の場合は、トップ画面を表示する。 Next, animation creation by the animation creation unit 38 will be described with reference to FIG. 12 . FIG. 12 is a flowchart for explaining the moving image creation process.
As shown in FIG. 12 , when the user inputs a voice for activating the application such as “health app” to the user terminal 5 , the user terminal 5 recognizes the voice information input by the voice processing unit 507 . , the WEB browser 55 is activated, the server 3 is accessed, and the voice information of the user is transmitted (step S401). When the server 3 receives the voice information from the user terminal 5, it performs voice authentication processing to identify the user. If authentication succeeds, login processing is performed (step S402). The server 3 transmits the authentication result to the user terminal 5 . The user terminal 5 receives the authentication result. If the authentication fails, re-input the voice or display the login screen to accept the input of the login information. If the authentication is successful, the top screen is displayed.

トップ画面において、「動画作成」メニューがユーザにより選択されると、ユーザ端末５は、動画作成要求をサーバ３に送信する（ステップＳ４０４）。メニューの選択は、タッチ操作により行ってもよいし、音声入力により行ってもよい。 When the user selects the "movie creation" menu on the top screen, the user terminal 5 transmits a movie creation request to the server 3 (step S404). Menu selection may be performed by touch operation or by voice input.

サーバ３は、ログインしたユーザ端末５から動画作成要求を受信すると、データベース３４に記憶されている当該ユーザの顔画像３４２を複数読出し（ステップＳ４０５）、読み出した顔画像を時系列に再生する動画（フォトムービー）を作成する（ステップＳ４０６）。フォトムービーには、任意の音楽やユーザ端末５から受信した音声コメント等を付加してもよい。サーバ３は、作成した動画（フォトムービー）をユーザ端末５に送信する（ステップＳ４０７）。ユーザ端末５は、サーバ３から動画（フォトムービー）を受信（ダウンロード）し（ステップＳ４０８）、ユーザ端末５に保存する。これにより、ユーザ端末５において動画（フォトムービー）を再生したり、音声出力したりすることが可能となる（ステップＳ４０９）。またユーザ端末５は受信した動画（フォトムービー）をＳＮＳで共有することも可能である。 When the server 3 receives a video creation request from the logged-in user terminal 5, the server 3 reads a plurality of face images 342 of the user stored in the database 34 (step S405), and reproduces the read face images in chronological order ( photo movie) is created (step S406). Arbitrary music or voice comments received from the user terminal 5 may be added to the photomovie. The server 3 transmits the created moving image (photomovie) to the user terminal 5 (step S407). The user terminal 5 receives (downloads) the video (photomovie) from the server 3 (step S408) and stores it in the user terminal 5. FIG. This enables the user terminal 5 to reproduce moving images (photomovies) and output audio (step S409). The user terminal 5 can also share the received video (photomovie) on SNS.

なお、図１２に示す動画作成析処理は、音声操作でログイン処理を行うものとしたが、音声によるログインに限定されず、ログイン画面を表示し、認証情報（ユーザＩＤ、パスワード）の入力を受け付けてログイン処理を行うものとしてもよい。 In the video creation analysis process shown in FIG. 12, the login process is performed by voice operation, but the login process is not limited to voice operation. log-in processing may be performed.

以上説明したように、本発明の健康状態判定システム１によれば、ユーザ端末５において撮影したユーザの画像をサーバ３に送信すると、サーバ３は、画像に含まれる顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度３４６を算出し、ユーザ端末５に送信する。ユーザ端末５は、取得した健康度３４６を出力する。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。 As described above, according to the health condition determination system 1 of the present invention, when an image of the user captured by the user terminal 5 is transmitted to the server 3, the server 3 analyzes the health condition based on the face image included in the image. Then, the health level 346, which is a value indicating the health condition of the user, is calculated and transmitted to the user terminal 5. FIG. The user terminal 5 outputs the acquired health level 346 . This enables the user to easily obtain an evaluation of the health condition from the photographed image.

また、付加的な機能として、撮影された顔画像から健康度、肌の状態、美顔率を時系列に示したグラフや健康度との相関関係を示す相関画像、アドバイス情報、顔画像の動画（フォトムービー）をサーバ３で作成し、ユーザ端末５に提供することも可能である。また、ユーザ端末５で音声操作が行われた場合は、音声によりユーザを特定してサーバ３にログインし、特定したユーザについての健康状態に関する情報（グラフ、相関画像、アドバイス情報等）を取得できる。 Additional functions include graphs that show the health level, skin condition, and facial beauty rate from the captured face image in chronological order, correlation images that show the correlation with the health level, advice information, and facial image videos ( A photo movie) can be created by the server 3 and provided to the user terminal 5 . Also, when a voice operation is performed on the user terminal 5, the user can be identified by voice, logged into the server 3, and information about the health condition (graph, correlation image, advice information, etc.) of the identified user can be acquired. .

なお、上述の例では、ユーザ端末５で撮影した画像をサーバ３に送信してサーバ３により算出された健康度や健康状態に関する情報をユーザ端末５が受信し、出力する構成としたが、この処理をユーザ端末５単体で行う構成としてもよい。
すなわち、ユーザ端末５は、カメラ５１、送信部５２、出力部５４の他、解析部３２、データベース３４、グラフ作成部３５、相関画像作成部３６、アドバイス情報作成部３７、動画作成部３８の機能を備えるものとしてもよい。この場合、ユーザ端末５は、ネットワーク７を介してサーバ３に接続しなくても、撮影した顔画像３４２に基づき健康度３４６を算出して出力することが可能となる。 In the above example, the image captured by the user terminal 5 is transmitted to the server 3, and the user terminal 5 receives and outputs information regarding the health level and health condition calculated by the server 3. The processing may be performed by the user terminal 5 alone.
That is, in addition to the camera 51, the transmission unit 52, and the output unit 54, the user terminal 5 has the functions of the analysis unit 32, the database 34, the graph creation unit 35, the correlation image creation unit 36, the advice information creation unit 37, and the moving image creation unit 38. may be provided. In this case, the user terminal 5 can calculate and output the health level 346 based on the photographed face image 342 without connecting to the server 3 via the network 7 .

以上、添付図面を参照して、本発明に係る健康状態判定システム等の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。 Although the preferred embodiments of the health condition determination system and the like according to the present invention have been described above with reference to the accompanying drawings, the present invention is not limited to such examples. It is obvious that a person skilled in the art can conceive of various modifications or modifications within the scope of the technical ideas disclosed in the present application, and these also belong to the technical scope of the present invention. Understood.

１………………健康状態判定システム
３………………サーバ
５………………ユーザ端末
７………………ネットワーク
３１………………受信部
３２………………解析部
３３………………送信部
３４………………データベース
３５………………グラフ作成部
３６………………相関画像作成部
３７………………アドバイス情報作成部
３８………………動画作成部
５１………………カメラ（撮影手段）
５２………………送信部
５３………………健康度取得部
５４………………出力部
５５………………ＷＥＢブラウザ
６２………………顔画像
８０………………ダッシュボード
３４１……………ユーザＩＤ
３４２……………顔画像
３４３……………撮影日時
３４４……………肌の状態
３４５……………美顔率
３４６……………健康度
５０４……………表示部
1………………Health condition determination system 3………………Server 5………………User terminal 7………………Network 31………………Receiver 32………… ……Analyzing unit 33 …………Transmitting unit 34 ………………Database 35 ………………Graph creating unit 36 …………Correlation image creating unit 37 …………Advice Information creation unit 38 ………… Video creation unit 51 ………… Camera (shooting means)
52 ……………… Transmitter 53 ………… Health level acquisition unit 54 ……………… Output unit 55 ……………… WEB browser 62 ………… Face image 80 …… ………… Dashboard 341 ………… User ID
342 ………… Face image 343 ………… Date and time of photography 344 ………… Skin condition 345 ………… Facial beauty rate 346 …… Health level 504 ………… Display section

Claims

ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムであって、
前記ユーザ端末は、
ユーザの画像を撮影する撮影手段と、
前記撮影手段により撮影したユーザの画像を前記サーバに送信する送信手段と、
前記サーバからユーザの健康状態を示す値である健康度を取得する健康度取得手段と、
取得した健康度を出力する出力手段と、を備え、
前記サーバは、
前記ユーザ端末から送信された画像を受信する受信手段と、
受信した画像に含まれる顔画像に基づき健康状態を解析し、前記健康度を算出する解析手段と、
前記健康度を前記ユーザ端末に送信する送信手段と、
を備え、
前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、
前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される
ことを特徴とする健康状態判定システム。 A health condition determination system in which a user terminal and a server are connected for communication via a network,
The user terminal is
a photographing means for photographing an image of a user;
a transmitting means for transmitting an image of the user photographed by the photographing means to the server;
health level acquisition means for acquiring a health level, which is a value indicating the user's health condition, from the server;
and an output means for outputting the obtained health level,
The server is
receiving means for receiving an image transmitted from the user terminal;
analysis means for analyzing the health condition based on the face image included in the received image and calculating the health level;
a transmitting means for transmitting the health level to the user terminal;
with
The health condition is obtained based on the skin condition and the facial beauty rate calculated from the face image ,
The skin condition is calculated based on the number, size, and position of spots and rough skin detected from the face image ,
The facial beauty rate is comprehensively calculated from a straight face image and a facial image with an expression.
A health condition determination system characterized by:

前記サーバは、
前記健康状態をユーザの識別情報と対応づけてデータベースに蓄積記憶する記憶手段を更に備え、
前記解析手段は、前記顔画像からユーザを特定し、前記データベースに記憶されている特定したユーザの健康状態の履歴を参照して前記健康度を算出することを特徴とする請求項１に記載の健康状態判定システム。 The server is
Further comprising storage means for accumulating and storing the health condition in a database in association with the user's identification information,
2. The apparatus according to claim 1 , wherein said analysis means identifies a user from said face image, and calculates said health degree by referring to a history of the identified user's health condition stored in said database. Health condition determination system.

前記サーバは、
前記データベースに記憶した顔画像を連続的に再生する動画像を作成し、前記ユーザ端末にて再生可能に提供する動画作成手段を更に備えることを特徴とする請求項２に記載の健康状態判定システム。 The server is
3. The health condition determination system according to claim 2 , further comprising moving image creation means for creating a moving image for continuously reproducing the face images stored in the database and providing the moving image so as to be reproducible at the user terminal. .

前記出力手段は、
前記顔画像と前記健康度を示す値とを並べて表示することを特徴とする請求項１から請求項３のいずれかに記載の健康状態判定システム。 The output means is
4. The health condition determination system according to any one of claims 1 to 3 , wherein the face image and the value indicating the health level are displayed side by side.

前記サーバは、
前記健康状態の推移を示すグラフを作成し、前記ユーザ端末にて閲覧可能に提供するグラフ作成手段を更に備えることを特徴とする請求項１から請求項４のいずれかに記載の健康状態判定システム。 The server is
5. The health condition determination system according to any one of claims 1 to 4 , further comprising graph creation means for creating a graph showing the transition of the health condition and providing the graph so that it can be viewed on the user terminal. .

前記サーバは、
現在の美顔率と健康度との相関関係を示す画像を作成し、前記ユーザ端末にて閲覧可能に提供する相関画像作成手段を更に備えることを特徴とする請求項１に記載の健康状態判定システム。 The server is
2. The health condition determination system according to claim 1 , further comprising correlation image creation means for creating an image showing the correlation between the current facial beauty rate and the health level and providing the image so that it can be viewed on the user terminal. .

前記サーバは、
前記顔画像に基づきアドバイス情報を生成し、前記ユーザ端末にて閲覧または音声出力可能に提供するアドバイス情報生成部を更に備えることを特徴とする請求項１から請求項６のいずれかに記載の健康状態判定システム。 The server is
7. The health information according to any one of claims 1 to 6 , further comprising an advice information generation unit that generates advice information based on the face image and provides the advice information so that the user terminal can view or output the advice information. status determination system.

前記アドバイス情報はユーザの健康状態に関するアドバイス情報であることを特徴とする請求項７に記載の健康状態判定システム。 8. The health condition determination system according to claim 7 , wherein the advice information is advice information regarding the health condition of the user.

前記アドバイス情報は、前記ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス情報であることを特徴とする請求項７に記載の健康状態判定システム。 8. The health condition determination system according to claim 7 , wherein said advice information is advice information on an appropriate facial expression, makeup, or hairstyle based on a difference between said user's facial image and a target facial image.

前記ユーザ端末は、
ユーザの音声を入力する音声入力手段と、
前記音声入力手段により入力されたユーザの音声情報に基づいてユーザを特定する音声認識手段と、を備え、
前記健康度取得手段は、前記音声認識手段により特定したユーザについての健康度を前記サーバから取得し、
前記出力手段は、前記健康度を表示または音声出力する
ことを特徴とする請求項１から９のいずれかに記載の健康状態判定システム。 The user terminal is
voice input means for inputting user's voice;
voice recognition means for identifying a user based on the user's voice information input by the voice input means;
The health level acquisition means acquires the health level of the user identified by the voice recognition means from the server,
10. The health condition determination system according to any one of claims 1 to 9 , wherein the output means displays or outputs the health level by voice.

画像を撮影する撮影手段と、
前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段と、
前記健康度を出力する出力手段と、
を備え、
前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、
前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とする健康状態判定装置。 a photographing means for photographing an image;
analysis means for analyzing a health condition based on a face image included in the image and calculating a health degree, which is a value indicating the health condition;
an output means for outputting the health level;
with
The health condition is obtained based on the skin condition and the facial beauty rate calculated from the face image ,
The skin condition is calculated based on the number, size, and position of spots and rough skin detected from the face image ,
The health condition determination device , wherein the facial beauty rate is comprehensively calculated from a straight face image and a facial image with an expression .

ユーザ端末とネットワークを介して通信接続されたサーバであって、
前記ユーザ端末から送信された画像を受信する受信手段と、
受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段と、
前記健康度を前記ユーザ端末に送信する送信手段と、
を備え、
前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、
前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とするサーバ。 A server connected for communication with a user terminal via a network,
receiving means for receiving an image transmitted from the user terminal;
analysis means for analyzing the health condition based on the face image included in the received image and calculating the health level, which is a value indicating the health condition;
a transmitting means for transmitting the health level to the user terminal;
with
The health condition is obtained based on the skin condition and the facial beauty rate calculated from the face image ,
The skin condition is calculated based on the number, size, and position of spots and rough skin detected from the face image ,
The server according to claim 1, wherein the facial beauty rate is comprehensively calculated from a straight face image and a facial image with an expression .

ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムにおける健康状態判定方法であって、
前記ユーザ端末がユーザの画像を撮影するステップと、
前記ユーザ端末が撮影したユーザの画像を前記サーバに送信するステップと、
前記サーバが、前記ユーザ端末から送信された画像を受信するステップと、
前記サーバが、受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出するステップと、
前記サーバが、前記健康度を前記ユーザ端末に送信するステップと、
前記ユーザ端末が、前記サーバから前記健康度を取得するステップと、
前記ユーザ端末が、取得した健康度を出力するステップと、
を含み、
前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、
前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とする健康状態判定方法。 A health condition determination method in a health condition determination system in which a user terminal and a server are connected for communication via a network,
the user terminal capturing an image of the user;
sending an image of the user captured by the user terminal to the server;
the server receiving an image transmitted from the user terminal;
a step in which the server analyzes the health condition based on the face image included in the received image and calculates a health level, which is a value indicating the health condition;
the server transmitting the health level to the user terminal;
the user terminal acquiring the health level from the server;
a step in which the user terminal outputs the acquired health level;
including
The health condition is obtained based on the skin condition and the facial beauty rate calculated from the face image ,
The skin condition is calculated based on the number, size, and position of spots and rough skin detected from the face image ,
A health condition determination method , wherein the beauty rate is comprehensively calculated from a straight face image and a face image with an expression .

コンピュータを、
撮影した画像を取得する画像取得手段、
前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段、
前記健康度を出力する出力手段、
として機能させ、
前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、
前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される
ことを特徴とするプログラム。 the computer,
an image acquisition means for acquiring a photographed image;
analysis means for analyzing a health condition based on a face image included in the image and calculating a health degree, which is a value indicating the health condition;
output means for outputting the health level;
function as
The health condition is obtained based on the skin condition and the facial beauty rate calculated from the face image ,
The skin condition is calculated based on the number, size, and position of spots and rough skin detected from the face image ,
The facial beauty rate is comprehensively calculated from a straight face image and a facial image with an expression.
A program characterized by

ユーザ端末とネットワークを介して通信接続されたコンピュータを、
前記ユーザ端末から送信された画像を受信する受信手段、
受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段、
前記健康度を前記ユーザ端末に送信する送信手段、
として機能させ、
前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、
前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される
ことを特徴とするプログラム。 A computer connected to a user terminal via a network,
receiving means for receiving an image transmitted from the user terminal;
analysis means for analyzing the health condition based on the face image included in the received image and calculating the health level, which is a value indicating the health condition;
transmitting means for transmitting the health level to the user terminal;
function as
The health condition is obtained based on the skin condition and the facial beauty rate calculated from the face image ,
The skin condition is calculated based on the number, size, and position of spots and rough skin detected from the face image ,
The facial beauty rate is comprehensively calculated from a straight face image and a facial image with an expression.
A program characterized by