JP7206741B2

JP7206741B2 - 健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラム

Info

Publication number: JP7206741B2
Application number: JP2018178586A
Authority: JP
Inventors: 光宏柿沼
Original assignee: Dai Nippon Printing Co Ltd
Current assignee: Dai Nippon Printing Co Ltd
Priority date: 2018-09-25
Filing date: 2018-09-25
Publication date: 2023-01-18
Anticipated expiration: 2038-09-25
Also published as: JP2020052505A

Description

本発明は、健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラムに関し、詳細には、顔画像に基づく健康状態の判定に関する。

スマートフォン等のカメラ付き電子機器が普及し、ユーザが気軽に写真を撮影し、撮影画像を活用する機会が増えている。また、撮影した顔画像から本人を確認する技術や、顔の表情から感情を認識する技術等が提案されている。また、近年では顔画像を解析し、顔の美しさを数値化して出力するアプリケーションも開発されている（非特許文献１）。このアプリケーションでは、機械学習（Deep Learning）を利用して、人や物をはじめとした様々な「見た目」に対する抽象的な評価を、一般的な社会での評価に近い形で数値化している。

株式会社PARTY、２０１６年、"Deeplooks見えないものを見るテクノロジー"、[online]、[平成３０年８月２２日検索]、インターネット、<URL:https://deeplooks.com/>

しかしながら、ユーザの関心は美しさに限るものではない。例えば、自分の健康状態について客観的な評価を得たいユーザも多い。

本発明は、前述した問題点に鑑みてなされたものであり、その目的は、ユーザの健康状態の評価を簡単に得ることが可能な健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラムを提供することである。

前述した課題を解決するため第１の発明は、ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムであって、前記ユーザ端末は、ユーザの画像を撮影する撮影手段と、前記撮影手段により撮影したユーザの画像を前記サーバに送信する送信手段と、前記サーバからユーザの健康状態を示す値である健康度を取得する健康度取得手段と、取得した健康度を出力する出力手段と、を備え、前記サーバは、前記ユーザ端末から送信された画像を受信する受信手段と、受信した画像に含まれる顔画像に基づき健康状態を解析し、前記健康度を算出する解析手段と、前記健康度を前記ユーザ端末に送信する送信手段と、を備え、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とする健康状態判定システムである。

第１の発明によれば、ユーザ端末において撮影したユーザの画像をサーバに送信すると、サーバは、画像に含まれる顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度を算出し、ユーザ端末に送信する。ユーザ端末は、取得した健康度を出力する。前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。

また、前記サーバは、前記健康状態をユーザの識別情報と対応づけてデータベースに蓄積記憶する記憶手段を更に備え、前記解析手段は、前記顔画像からユーザを特定し、前記データベースに記憶されている特定したユーザの健康状態の履歴を参照して前記健康度を算出することが望ましい。これにより、ユーザの健康状態の履歴を参照して現在の健康状態を相対的に分析できる。
また、前記サーバは、前記データベースに記憶した顔画像を連続的に再生する動画像を作成し、前記ユーザ端末にて再生可能に提供する動画作成手段を更に備えることが望ましい。これにより、顔の変化を動画で確認することが可能となる。
また、前記出力手段は、前記顔画像と前記健康度を示す値とを並べて表示することが望ましい。

また、前記サーバは、前記健康状態の推移を示すグラフを作成し、前記ユーザ端末にて閲覧可能に提供するグラフ作成手段を更に備えることが望ましい。これによりユーザは健康状態の推移をグラフで分かりやすく確認できる。また、前記サーバは、現在の美顔率と健康度との相関関係を示す画像を作成し、前記ユーザ端末にて閲覧可能に提供する相関画像作成手段を更に備えることが望ましい。これによりユーザは、現在の美顔率と健康度との相関関係を分かりやすく確認できる。

また、前記サーバは、前記顔画像に基づきアドバイス情報を生成し、前記ユーザ端末にて閲覧または音声出力可能に提供するアドバイス情報生成部を更に備えることが望ましい。また、前記アドバイス情報はユーザの健康状態に関するアドバイス情報、または、前記ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス情報であることが望ましい。これによりユーザは、健康状態に関するアドバイスや適切な表情、化粧、または髪型のアドバイスを閲覧したり音声で聴取したりすることが可能となる。

前記ユーザ端末は、ユーザの音声を入力する音声入力手段と、前記音声入力手段により入力されたユーザの音声情報に基づいてユーザを特定する音声認識手段と、を備え、前記健康度取得手段は、前記音声認識手段により特定したユーザについての健康度を前記サーバから取得し、前記出力手段は、前記健康度を表示または音声出力することが望ましい。これにより、音声による操作でユーザの健康度を得ることができる。

第２の発明は、画像を撮影する撮影手段と、前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段と、前記健康度を出力する出力手段と、を備え、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とする健康状態判定装置である。

第２の発明によれば、撮影したユーザの顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度を算出し、出力する健康状態判定装置を提供できる。前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。

第３の発明は、ユーザ端末とネットワークを介して通信接続されたサーバであって、前記ユーザ端末から送信された画像を受信する受信手段と、受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段と、前記健康度を前記ユーザ端末に送信する送信手段と、を備え、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とするサーバである。

第３の発明により、第１の発明の健康状態判定システムにおけるサーバを提供できる。

第４の発明は、ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムにおける健康状態判定方法であって、前記ユーザ端末がユーザの画像を撮影するステップと、前記ユーザ端末が撮影したユーザの画像を前記サーバに送信するステップと、前記サーバが、前記ユーザ端末から送信された画像を受信するステップと、前記サーバが、受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出するステップと、前記サーバが、前記健康度を前記ユーザ端末に送信するステップと、前記ユーザ端末が、前記サーバから前記健康度を取得するステップと、前記ユーザ端末が、取得した健康度を出力するステップと、を含み、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とする健康状態判定方法である。

第４の発明によれば、ユーザ端末において撮影したユーザの画像をサーバに送信すると、サーバは、画像に含まれる顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度を算出し、ユーザ端末に送信する。ユーザ端末は、取得した健康度を出力する。前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。

第５の発明は、コンピュータを、撮影した画像を取得する画像取得手段、前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段、前記健康度を出力する出力手段、として機能させ、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とするプログラムである。
第５の発明により、コンピュータを第２の発明の健康状態判定装置として機能させることが可能となる。

第６の発明は、ユーザ端末とネットワークを介して通信接続されたコンピュータを、前記ユーザ端末から送信された画像を受信する受信手段、受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段、前記健康度を前記ユーザ端末に送信する送信手段、として機能させ、前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とするプログラムである。第６の発明により、コンピュータを第１の発明の健康状態判定システムにおけるサーバとして機能させることが可能となる。

本発明により、ユーザの健康状態の評価を簡単に得ることが可能な健康状態判定システム、健康状態判定装置、サーバ、健康状態判定方法、及びプログラムを提供できる。

本発明に係る健康状態判定システム１のシステム構成を示すブロック図健康状態判定システム１の機能構成を示すブロック図データベース３４の内容を示す図サーバ３のハードウェア構成の例を示す図ユーザ端末５のハードウェア構成の例を示す図健康状態判定処理の流れを示すフローチャートユーザ端末５の表示画面例。（ａ）ユーザを撮影した段階、（ｂ）健康度６５を表示した段階ステップＳ１０６の健康状態解析処理を説明するフローチャート美顔率の判定に用いる画像健康状態分析処理の流れを示すフローチャート健康状態分析処理において提供されるダッシュボード８０の例を示す図動画作成処理の流れを示すフローチャート

以下、図面に基づいて本発明の好適な実施形態について詳細に説明する。

図１は本発明に係る健康状態判定システム１のシステム構成を示すブロック図、図２は健康状態判定システム１の機能構成を示すブロック図である。

図１に示すように、健康状態判定システム１は、サーバ３とユーザ端末５とがネットワーク７を介して通信接続されて構成される。

サーバ３は、画像に含まれる顔画像からユーザの健康状態を解析し、健康度を算出するコンピュータである。図２に示すように、サーバ３は、受信部３１、解析部３２、送信部３３、データベース３４を有する。またサーバ３は付加的な機能として、グラフ作成部３５、相関画像作成部３６、アドバイス情報作成部３７、動画作成部３８等を備えるものとしてもよい。

サーバ３の受信部３１は、ユーザ端末５から送信された画像を受信する。
解析部３２は、受信した画像に含まれる顔画像に基づきユーザ（顔画像の人物）の健康状態を解析し、健康状態を示す値である健康度を算出する。解析部３２は、例えば肌の状態や美顔率に基づいてユーザの健康状態を分析する。そして健康状態を数値化し、健康度として表す。また、解析部３２は、顔画像からユーザを特定し、データベース３４に記憶されている該ユーザの過去の顔画像や健康状態（肌の状態、美顔率）を参照して健康度を算出するようにしてもよい。

送信部３３は、解析部３２が算出した健康度を画像の送信元のユーザ端末５に送信する。

データベース３４は、解析部３２が解析した健康状態に関する情報（健康度３４６、美顔率３４５、肌の状態３４４等）、ユーザの顔画像３４２、及び顔画像３４２の撮影日時情報３４３をユーザの識別情報（ユーザＩＤ）３４１と対応づけて蓄積記憶する。図３はデータベース３４の内容を示す図である。ユーザＩＤ３４１は予め登録されたユーザのユーザＩＤ３４１であり、例えば「０００１」、「０００２」のような識別情報が記憶される。顔画像３４２はユーザ端末５から送信された画像から顔領域を抽出した顔画像のファイル名または顔画像の格納先を示す情報が記憶される。撮影日時３４３は、顔画像３４２の撮影日時を示す情報である。肌の状態３４４は、顔画像３４２に含まれるシミや吹き出物の位置情報が格納される。シミや吹き出物の位置情報は、解析部３２により過去のユーザの顔画像またはユーザの基準画像との比較により求められる。美顔率３４５は、解析部３２により求められた美顔率の値が格納される。健康度は、解析部３２により求められた健康度の値が格納される。

グラフ作成部３５は、データベース３４に記憶されている健康状態の推移を時系列に示すグラフを作成する。作成したグラフは、ユーザ端末５のＷＥＢブラウザ５５からサーバ３にログインした際に、閲覧可能に表示される。

相関画像作成部３６は、現在の美顔率と健康度との相関関係を示す画像（相関画像という）を作成する。作成した相関画像は、ユーザ端末５のＷＥＢブラウザ５５からサーバ３にログインした際に、閲覧可能に表示される。

アドバイス情報作成部３７は、顔画像に基づきアドバイス情報を生成する。アドバイス情報は、例えば、ユーザの健康状態に関するアドバイス情報としてもよいし、ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス情報としてもよい。作成したアドバイス情報は、ユーザ端末５のＷＥＢブラウザ５５からサーバ３にログインした際に、閲覧可能に表示されるか、或いは音声出力可能に提供される。

動画作成部３８は、データベース３４に蓄積記憶した同じユーザの顔画像を連続的に再生する動画像を作成する。作成した動画像は、ユーザ端末５或いは任意の端末で再生可能に提供される。

図４は、サーバ３のハードウェア構成の例を示す図である。図４に示すように、サーバ３は、制御部３０１、記憶部３０２、及び通信部３０３をバス３０９等により接続して構成したコンピュータにより実現できる。但し、これに限ることなく、適宜様々な構成をとることができる。

制御部３０１は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等によって構成される。ＣＰＵは、記憶部３０２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス３０９を介して接続された各装置を駆動制御し、サーバ３が行う処理を実現する。

記憶部３０２は、フラッシュメモリ、ＨＤＤ（Hard Disk Drive）等であり、制御部３０１が実行するプログラム、プログラム実行に必要なデータ、ＯＳ（Operating System）等が格納される。プログラムに関しては、ＯＳに相当する制御プログラムや、健康状態を解析する処理をサーバ３に実行させるためのアプリケーションプログラムが格納されている。これらの各プログラムコードは、制御部３０１により必要に応じて読み出されてＲＡＭに移され、ＣＰＵに読み出されて各種の手段として実行される。

通信部３０３は、通信制御装置、通信ポート等を有し、サーバ３とネットワーク７との間の通信を媒介する通信インタフェースであり、ネットワーク７を介して、ユーザ端末５や他のコンピュータとの通信制御を行うことが可能である。バス３０９は、各部間の制御信号、データ信号等の授受を媒介する経路である。

図１に説明に戻る。
ユーザ端末５は、サーバ３にネットワーク７を介して通信接続可能な端末であり、例えば、スマートフォン、ＡＩスピーカ、ゲーム機、ノート型ＰＣ、デスクトップＰＣ、その他の電子機器である。ユーザ端末５は、図２に示すように、カメラ（撮影手段）５１、送信部５２、健康度取得部５３、出力部５４、ＷＥＢブラウザ５５を備える。

カメラ（撮影手段）５１は、ユーザの画像を撮影するカメラであり、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子により構成される。
送信部５２は、カメラ５１により撮影した画像をサーバ３に送信する。
健康度取得部５３は、サーバ３において算出されたユーザの健康度３４６を取得（受信）する。
出力部５４は、健康度取得部５３により取得（受信）した健康度３４６を出力する。

ＷＥＢブラウザ５５はネットワーク７を介してサーバ３にアクセスし、ログイン認証を行うことで、サーバ３のユーザの健康状態に関する情報を取得（ダウンロード）する。健康状態に関する情報には、解析部３２により求められた健康度３４６、肌の状態３４４、及び美顔率３４５の履歴、グラフ作成部３５により作成されたグラフ、相関画像作成部３６により作成された相関画像、アドバイス情報作成部３７により作成されたアドバイス情報、動画作成部３８により作成された動画等が含まれる。

図５は、ユーザ端末５のハードウェア構成の例を示す図である。図５に示すように、ユーザ端末５は、制御部５０１、記憶部５０２、通信部５０３、表示部５０４、入力部５０５、カメラ５０６、及び音声処理部５０７をバス５０８等により接続して構成したコンピュータにより実現できる。但し、これに限ることなく、適宜様々な構成をとることができる。

制御部５０１、記憶部５０２、通信部５０３の機能は上述した制御部３０１、記憶部３０２、通信部３０３と略同様である。なお、ユーザ端末５の記憶部５０２には後述する処理をユーザ端末５に実行させるためのプログラムが格納される。

表示部５０４は、入力部５０５を兼ねたタッチパネル付ディスプレイ等により実現される。表示部５０４は、ユーザの操作・選択に係る各種の画面を表示し、画面上のタッチ操作によるユーザの指示入力等を受付ける。
入力部５０５は、タッチパネル及び各種のボタン等により構成され、入力された信号を制御部５０１に入力する。

音声処理部５０７は、マイク（音声入力部）、スピーカ（音声出力部）、音声認識部、音声合成部等を備え、マイクから入力された音声を認識して制御部５０１へ入力する。また、制御部５０１から出力された音声をスピーカから出力する。

ネットワーク７は、ＬＡＮ（Local Area Network）や、より広域に通信接続されたＷＡＮ（Wide Area Network）、またはインターネット等の公衆の通信回線、基地局等を含む。ネットワーク７は有線、無線を問わない。

次に、図６～図９を参照して、健康状態判定システム１が実行する各処理について説明する。

まず、図６を参照して健康状態判定処理について説明する。
ユーザ端末５においてユーザから撮影指示が入力されると（ステップＳ１０１）、ユーザ端末５の制御部５０１は、カメラ５１を起動し撮影を行う（ステップＳ１０２）。ここで、ユーザの顔を含む画像が撮影されるものとする。ユーザ端末５（送信部５２）は、撮影した画像をサーバ３に送信する（ステップＳ１０３）。

図７（ａ）はユーザ端末５においてユーザを撮影した段階（ステップＳ１０２）での表示画面例である。表示部５０４には、撮影された画像６２が表示されるとともに、「キャンセル」ボタン６３及び「送信」ボタン６４が表示される。ユーザにより「送信」ボタン６４がタッチされると制御部５０１は、撮影画像６２をサーバ３に送信する。ユーザにより「キャンセル」ボタン６３がタッチされた場合は、制御部５０１は撮影画像を破棄し、再撮影を行う。

サーバ３（受信部３１）は、ユーザ端末５から送信された画像６２を受信する（ステップＳ１０４）。すると、サーバ３の制御部３０１（解析部３２）は受信した画像６２から顔領域を抽出し、顔画像３４２を取得する（ステップＳ１０５）。なお、顔画像３４２のサイズが所定の画像サイズとなるように処理されることが望ましい。これは、解析部３２が肌の状態（シミの位置や吹き出物の位置）３４４を求める際に過去の顔画像と比較するためである。そしてサーバ３の制御部３０１（解析部３２）は、取得した顔画像３４２に基づきユーザの健康状態を解析する（ステップＳ１０６）。

図８は、ステップＳ１０６の健康状態解析処理を説明するフローチャートである。
図８に示すように、サーバ３の制御部３０１（解析部３２）は、顔画像３４２からユーザを特定する（ステップＳ２０１）。なお、ユーザの過去の顔画像３４２はサーバ３の記憶部３０２（データベース３４）にユーザを識別する情報であるユーザＩＤ３４１に対応付けて登録されているものとする。ステップＳ２０１においてユーザが特定できない場合は、未登録ユーザであるため、新規ユーザ登録処理へ移行する。新規ユーザ登録処理は、新規ユーザＩＤを発行し、顔画像、ユーザ情報（ユーザ名、年齢、性別等の属性情報、メールアドレス等の連絡先情報）の登録を受け付け、ユーザＩＤ、顔画像、ユーザ情報を記憶部３０２に登録する。

ステップＳ２０１においてユーザを特定すると、次にサーバ３の制御部３０１はユーザの基準顔画像を記憶部３０２から読み出す（ステップＳ２０２）。ユーザの基準顔画像は、最初に登録した顔画像としてもよいし、複数の過去のユーザの顔画像の中からユーザが選択した顔画像としてもよいし、サーバ３の制御部３０１により生成したユーザの顔画像（例えば、顔のパーツを組み合わせた合成画像）を基準画像としてもよい。また、基準顔画像は、真顔のみとしてもよいが、笑顔、怒った顔、悲しい顔等の表情毎に用意しておくようにしてもよい。

サーバ３の制御部３０１（解析部３２）は、ユーザ端末５から受信したユーザの顔画像３４２とステップＳ２０２で読み出した基準顔画像とを比較して肌の状態（シミ、肌荒れの有無や位置等）３４４を判定する（ステップＳ２０３）。肌の状態判定では、基準顔画像と受信した顔画像３４２とを比較して、シミや肌荒れの位置を検出し、シミや肌荒れの個数や大きさ、位置から肌の状態３４４を示す指標値を求める。なお、肌荒れ（吹き出物やニキビ）ができる位置はその原因と関係があるとの見解もあるため、肌荒れの位置から原因を分析するようにしてもよい。例えば、額のニキビは赤身の肉や飽和脂肪酸、アルコールの摂り過ぎが原因、頬にできるニキビは肉、砂糖、乳製品の摂り過ぎが原因、フェイスラインのニキビは加工食品の摂り過ぎや大腸の消化不良等が原因等である。

また、サーバ３の制御部３０１（解析部３２）は、ユーザ端末５から受信したユーザの顔画像３４２とステップＳ２０２で読み出した基準顔画像とを比較して美顔率３４５を判定する（ステップＳ２０４）。図９は美顔率３４５の判定に用いる画像である。美顔率３４５は、例えば、顔の各部位（目、鼻、口、眉、頬、顎）の位置や大きさ等を基準顔画像と比較したり、各パーツの間隔や比率、左右比等に基づいて求められる値である。なお、美顔率３４５は、一般的な美人顔を基準画像とするのではなく、本人の過去の画像（若いころの画像）や本人が選択した本人の顔画像を基準顔画像とすることが望ましい。

また、美顔率３４５の判定は、真顔の顔画像３４２で行ってもよいが、真顔の他に、笑顔、怒った顔、悲しい顔等、表情のある顔画像についても追加判定を行ってもよい。この場合、予めユーザ端末５は、真顔、笑顔、怒った顔、悲しい顔を順に撮影し、それらの画像をすべてサーバ３に送信し、サーバ３は、真顔の顔画像と真顔の基準顔画像、笑顔の顔画像と笑顔の基準顔画像、怒った顔の顔画像と怒った顔の基準顔画像、悲しい顔の顔画像と悲しい顔の基準顔画像をそれぞれ比較して、総合的な美顔率３４５を算出する。

制御部３０１（解析部３２）は、ステップＳ２０３で求めた肌の状態３４４やステップＳ２０４で求めた美顔率３４５からユーザの健康度３４６を算出する（ステップＳ２０５）。健康度３４６は、例えば、肌の状態３４４が良好（シミや吹き出物の個数が少ない、大きさが小さい）であり、美顔率３４５が高いほど高い値となるように算出される。

制御部３０１（解析部３２）は、算出した健康度３４６、肌の状態３４４、美顔率３４５等を顔画像３４２、日時情報３４３とともにユーザＩＤ３４１と対応づけてデータベース３４（記憶部３０２）に保存する（ステップＳ２０６）。

上述のように健康状態の解析を行うと（図５のステップＳ１０６）、サーバ３の制御部３０１（送信部３３）は算出した健康度３４６をユーザ端末５に送信する（ステップＳ１０７）。

ユーザ端末５（健康度取得部５３）は、健康度３４６を受信する（ステップＳ１０８）。そして、ユーザ端末５（出力部５４）は、取得した健康度３４６を表示部５０４に表示したり、音声処理部５０７のスピーカから音声出力する（ステップＳ１０９）。図７（ｂ）は、健康度６５（健康度３４６）を表示したユーザ端末５の表示画面例を示す図である。図７（ｂ）に示すように、ユーザ端末５の表示部５０４には例えば、顔画像６２（顔画像３４２）とともに受信した健康度６５（健康度３４６）の値が「９２」ポイントのように表示される。

このように、健康状態判定処理では、ユーザの顔画像３４２から簡単に数値化されたユーザの健康状態（健康度３４６）を得ることが可能となる。また、ユーザは毎日、ユーザ端末５で顔画像を撮影し、サーバ３に送信するだけで、健康状態の記録をサーバ３に蓄積することが可能となる。

次に、図１０、図１１を参照して、健康状態判定システム１において実行される健康状態分析処理について説明する。なお、図１０の処理において、ユーザ端末５は、音声操作を受け付けているものとする。

ユーザ端末５に対してユーザが「健康アプリ」等のように当該アプリケーションを起動する音声を入力すると、ユーザ端末５は音声処理部５０７により入力された音声情報を認識し、ＷＥＢブラウザ５５を起動してサーバ３にアクセスし、ユーザの音声情報を送信する（ステップＳ３０１）。サーバ３はユーザ端末５から音声情報を受信すると、音声による認証処理を行い、ユーザを特定する。認証成功した場合はログイン処理を行う（ステップＳ３０２）。サーバ３はユーザ端末５に認証結果を送信する。ユーザ端末５は認証結果を受信する。認証失敗した場合は、音声の再入力や、ログイン画面を表示してログイン情報の入力を受け付ける。認証成功の場合は、トップ画面を表示する。

トップ画面（不図示）には、健康状態判定システム１で実行可能な各機能へ移行するためのボタンが表示される。ここでは、「健康状態の閲覧」メニューがユーザにより選択されるものとする。ユーザ端末５は、健康状態の閲覧要求をサーバ３に送信する（ステップＳ３０４）。メニューの選択は、画面のタッチ操作により行ってもよいし、音声入力により行ってもよい。

サーバ３は、ログインしたユーザ端末５から健康状態の閲覧要求を受信すると、データベース３４から当該ユーザ（音声により特定されたユーザ）の美顔率３４５、肌の状態３４４、健康度３４６等の健康状態に関する情報の履歴（過去の情報）を取得する（ステップＳ３０５）。サーバ３の制御部３０１は、取得した健康状態に関する情報の履歴（過去の情報）に基づいて健康状態の推移を示すグラフを作成する（ステップＳ３０６）。グラフは、例えば、図１１に示すような、美顔率３４５を時系列（週単位、月単位、または年単位）に示したグラフ８１、シミの個数を時系列（週単位、月単位、または年単位）に示したグラフ８２、肌荒れの個数を時系列（週単位、月単位、または年単位）に示したグラフ８３である。グラフ８１、８２、８３はダッシュボード８０にレイアウトされる。

また、サーバ３の制御部３０１は、現在の顔画像３４２について美顔率３４５と健康度３４６との相関画像８４を作成する（ステップＳ３０７）。相関画像８４とは、美顔率３４５と健康度３４６との相関関係を示す画像である。例えば、図１１に示すように、ユーザの顔画像３４２の各パーツに美顔率３４５を算出するための補助線を重ね、各補助線の間隔の比率を各補助線の近傍に示すとともに、美顔率３４５と健康度３４６とを示した画像８４である。

また、サーバ３の制御部３０１は、現在の顔画像３４２についてのアドバイス情報８５を作成する（ステップＳ３０８）。アドバイス情報８５は、ユーザの健康状態に関するアドバイスや、ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス等である。

健康状態に関するアドバイスは、肌荒れやシミ等の位置から分析される原因に基づき生活習慣や食事、睡眠等の改善点を提案する情報である。健康状態と肌荒れをリンクさせて、発生から完治までの状況から肌荒れに最適な食事や睡眠など健康へのアドバイスを行う。健康状態に関するアドバイスの情報は、サーバ３の記憶部３０２に予め記憶された複数パターンのアドバイス用の定型文や画像の中から、肌荒れやシミ等の位置と原因に基づいて適切ないくつかの情報を抽出し、組み合せて生成される。

また、ユーザの顔画像３４２と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイスは、テキストだけでなくアドバイス画像８６を作成してもよい。図１１のアドバイス画像８６は、左側領域に撮影された顔画像３４２の左側部分を表示し、右側領域に撮影された顔画像３４２の右側部分をメイクアップ加工した加工画像を表示したものである。メイクアップ加工は、一般的なメイクアプリにより実施できる。

グラフ８１、８２、８３、相関画像８４、アドバイス情報８５、アドバイス画像８６等が作成されると、サーバ３の制御部３０１は、作成したグラフ８１、８２、８３、相関画像８４、アドバイス情報８５、アドバイス画像８６等をレイアウトしたダッシュボード８０を作成し（ステップＳ３０９）、ユーザ端末５に送信する（ステップＳ３１０）。

ユーザ端末５（ＷＥＢブラウザ５５）は、サーバ３からユーザの健康状態を示したダッシュボード８０を受信し（ステップＳ３１１）、表示部５０４に閲覧可能に表示する。また、このときアドバイス情報８５のテキストを音声で読み上げ（音声出力）するようにしてもよい（ステップＳ３１２）。ユーザは、表示されたダッシュボード８０を閲覧したり、読み上げられたアドバイス情報を聴取することで、健康状態の推移や健康や美容に関するアドバイスを得ることができる。以上が、健康状態解析処理（グラフ作成処理、相関画像作成処理、アドバイス情報作成処理を含む）の説明である。

なお、図１０に示す健康状態解析処理は、音声操作でログイン処理を行うものとしたが、音声によるログインに限定されず、ログイン画面を表示し、認証情報（ユーザＩＤ、パスワード）の入力を受け付けてログイン処理を行うものとしてもよい。また、上述したグラフ作成処理におけるグラフの作成方法、相関画像作成処理における相関画像の作成方法、アドバイス情報作成処理におけるアドバイス情報の作成方法は一例であり、本発明は上述の例に限定されず、その他の方法を用いてもよい。

次に、図１２を参照して動画作成部３８による動画作成について説明する。図１２は、動画作成処理について説明するフローチャートである。
図１２に示すように、ユーザ端末５に対してユーザが「健康アプリ」等のように当該アプリケーションを起動する音声を入力すると、ユーザ端末５は音声処理部５０７により入力された音声情報を認識し、ＷＥＢブラウザ５５を起動してサーバ３にアクセスし、ユーザの音声情報を送信する（ステップＳ４０１）。サーバ３はユーザ端末５から音声情報を受信すると、音声による認証処理を行い、ユーザを特定する。認証成功した場合はログイン処理を行う（ステップＳ４０２）。サーバ３はユーザ端末５に認証結果を送信する。ユーザ端末５は認証結果を受信する。認証失敗した場合は、音声の再入力や、ログイン画面を表示してログイン情報の入力を受け付ける。認証成功の場合は、トップ画面を表示する。

トップ画面において、「動画作成」メニューがユーザにより選択されると、ユーザ端末５は、動画作成要求をサーバ３に送信する（ステップＳ４０４）。メニューの選択は、タッチ操作により行ってもよいし、音声入力により行ってもよい。

サーバ３は、ログインしたユーザ端末５から動画作成要求を受信すると、データベース３４に記憶されている当該ユーザの顔画像３４２を複数読出し（ステップＳ４０５）、読み出した顔画像を時系列に再生する動画（フォトムービー）を作成する（ステップＳ４０６）。フォトムービーには、任意の音楽やユーザ端末５から受信した音声コメント等を付加してもよい。サーバ３は、作成した動画（フォトムービー）をユーザ端末５に送信する（ステップＳ４０７）。ユーザ端末５は、サーバ３から動画（フォトムービー）を受信（ダウンロード）し（ステップＳ４０８）、ユーザ端末５に保存する。これにより、ユーザ端末５において動画（フォトムービー）を再生したり、音声出力したりすることが可能となる（ステップＳ４０９）。またユーザ端末５は受信した動画（フォトムービー）をＳＮＳで共有することも可能である。

なお、図１２に示す動画作成析処理は、音声操作でログイン処理を行うものとしたが、音声によるログインに限定されず、ログイン画面を表示し、認証情報（ユーザＩＤ、パスワード）の入力を受け付けてログイン処理を行うものとしてもよい。

以上説明したように、本発明の健康状態判定システム１によれば、ユーザ端末５において撮影したユーザの画像をサーバ３に送信すると、サーバ３は、画像に含まれる顔画像に基づき健康状態を解析し、ユーザの健康状態を示す値である健康度３４６を算出し、ユーザ端末５に送信する。ユーザ端末５は、取得した健康度３４６を出力する。これにより、ユーザは撮影した画像から簡単に健康状態の評価を得ることが可能となる。

また、付加的な機能として、撮影された顔画像から健康度、肌の状態、美顔率を時系列に示したグラフや健康度との相関関係を示す相関画像、アドバイス情報、顔画像の動画（フォトムービー）をサーバ３で作成し、ユーザ端末５に提供することも可能である。また、ユーザ端末５で音声操作が行われた場合は、音声によりユーザを特定してサーバ３にログインし、特定したユーザについての健康状態に関する情報（グラフ、相関画像、アドバイス情報等）を取得できる。

なお、上述の例では、ユーザ端末５で撮影した画像をサーバ３に送信してサーバ３により算出された健康度や健康状態に関する情報をユーザ端末５が受信し、出力する構成としたが、この処理をユーザ端末５単体で行う構成としてもよい。
すなわち、ユーザ端末５は、カメラ５１、送信部５２、出力部５４の他、解析部３２、データベース３４、グラフ作成部３５、相関画像作成部３６、アドバイス情報作成部３７、動画作成部３８の機能を備えるものとしてもよい。この場合、ユーザ端末５は、ネットワーク７を介してサーバ３に接続しなくても、撮影した顔画像３４２に基づき健康度３４６を算出して出力することが可能となる。

以上、添付図面を参照して、本発明に係る健康状態判定システム等の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１………………健康状態判定システム
３………………サーバ
５………………ユーザ端末
７………………ネットワーク
３１………………受信部
３２………………解析部
３３………………送信部
３４………………データベース
３５………………グラフ作成部
３６………………相関画像作成部
３７………………アドバイス情報作成部
３８………………動画作成部
５１………………カメラ（撮影手段）
５２………………送信部
５３………………健康度取得部
５４………………出力部
５５………………ＷＥＢブラウザ
６２………………顔画像
８０………………ダッシュボード
３４１……………ユーザＩＤ
３４２……………顔画像
３４３……………撮影日時
３４４……………肌の状態
３４５……………美顔率
３４６……………健康度
５０４……………表示部

Claims

ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムであって、
前記ユーザ端末は、
ユーザの画像を撮影する撮影手段と、
前記撮影手段により撮影したユーザの画像を前記サーバに送信する送信手段と、
前記サーバからユーザの健康状態を示す値である健康度を取得する健康度取得手段と、
取得した健康度を出力する出力手段と、を備え、
前記サーバは、
前記ユーザ端末から送信された画像を受信する受信手段と、
受信した画像に含まれる顔画像に基づき健康状態を解析し、前記健康度を算出する解析手段と、
前記健康度を前記ユーザ端末に送信する送信手段と、
を備え、
前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、
前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される
ことを特徴とする健康状態判定システム。
前記サーバは、
前記健康状態をユーザの識別情報と対応づけてデータベースに蓄積記憶する記憶手段を更に備え、
前記解析手段は、前記顔画像からユーザを特定し、前記データベースに記憶されている特定したユーザの健康状態の履歴を参照して前記健康度を算出することを特徴とする請求項１に記載の健康状態判定システム。
前記サーバは、
前記データベースに記憶した顔画像を連続的に再生する動画像を作成し、前記ユーザ端末にて再生可能に提供する動画作成手段を更に備えることを特徴とする請求項２に記載の健康状態判定システム。
前記出力手段は、
前記顔画像と前記健康度を示す値とを並べて表示することを特徴とする請求項１から請求項３のいずれかに記載の健康状態判定システム。
前記サーバは、
前記健康状態の推移を示すグラフを作成し、前記ユーザ端末にて閲覧可能に提供するグラフ作成手段を更に備えることを特徴とする請求項１から請求項４のいずれかに記載の健康状態判定システム。
前記サーバは、
現在の美顔率と健康度との相関関係を示す画像を作成し、前記ユーザ端末にて閲覧可能に提供する相関画像作成手段を更に備えることを特徴とする請求項１に記載の健康状態判定システム。
前記サーバは、
前記顔画像に基づきアドバイス情報を生成し、前記ユーザ端末にて閲覧または音声出力可能に提供するアドバイス情報生成部を更に備えることを特徴とする請求項１から請求項６のいずれかに記載の健康状態判定システム。
前記アドバイス情報はユーザの健康状態に関するアドバイス情報であることを特徴とする請求項７に記載の健康状態判定システム。
前記アドバイス情報は、前記ユーザの顔画像と目標とする顔画像との差分に基づく適切な表情、化粧、または髪型のアドバイス情報であることを特徴とする請求項７に記載の健康状態判定システム。
前記ユーザ端末は、
ユーザの音声を入力する音声入力手段と、
前記音声入力手段により入力されたユーザの音声情報に基づいてユーザを特定する音声認識手段と、を備え、
前記健康度取得手段は、前記音声認識手段により特定したユーザについての健康度を前記サーバから取得し、
前記出力手段は、前記健康度を表示または音声出力する
ことを特徴とする請求項１から９のいずれかに記載の健康状態判定システム。
画像を撮影する撮影手段と、
前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段と、
前記健康度を出力する出力手段と、
を備え、
前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、
前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とする健康状態判定装置。
ユーザ端末とネットワークを介して通信接続されたサーバであって、
前記ユーザ端末から送信された画像を受信する受信手段と、
受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段と、
前記健康度を前記ユーザ端末に送信する送信手段と、
を備え、
前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、
前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とするサーバ。
ユーザ端末とサーバとがネットワークを介して通信接続された健康状態判定システムにおける健康状態判定方法であって、
前記ユーザ端末がユーザの画像を撮影するステップと、
前記ユーザ端末が撮影したユーザの画像を前記サーバに送信するステップと、
前記サーバが、前記ユーザ端末から送信された画像を受信するステップと、
前記サーバが、受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出するステップと、
前記サーバが、前記健康度を前記ユーザ端末に送信するステップと、
前記ユーザ端末が、前記サーバから前記健康度を取得するステップと、
前記ユーザ端末が、取得した健康度を出力するステップと、
を含み、
前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、
前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出されることを特徴とする健康状態判定方法。
コンピュータを、
撮影した画像を取得する画像取得手段、
前記画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段、
前記健康度を出力する出力手段、
として機能させ、
前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、
前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される
ことを特徴とするプログラム。
ユーザ端末とネットワークを介して通信接続されたコンピュータを、
前記ユーザ端末から送信された画像を受信する受信手段、
受信した画像に含まれる顔画像に基づき健康状態を解析し、健康状態を示す値である健康度を算出する解析手段、
前記健康度を前記ユーザ端末に送信する送信手段、
として機能させ、
前記健康状態は、肌の状態と前記顔画像から算出される美顔率に基づいて求められ、
前記肌の状態は、前記顔画像から検出されるシミ及び肌荒れの個数、大きさ、及び位置に基づき算出され、
前記美顔率は、真顔の顔画像及び表情のある顔画像から総合的に算出される
ことを特徴とするプログラム。