JP2014180305A - 情報端末装置 - Google Patents

Abstract

【課題】ユーザが健康管理に関する自己診断を正確に行うことが可能な情報端末装置を提供する。
【解決手段】情報端末装置は、ユーザの顔画像を取得する撮像部と、顔画像から眼球部２ａおよび眼下領域２ｂの各々を抽出して記憶する主メモリと、撮像部により過去の時点で取得された眼球部２ａおよび眼下領域２ｂを含む顔画像３１全体に対する現在の時点で取得された眼球部２ａおよび眼下領域２ｂを含む顔画像３２全体の顔面皮膚色Ａ１からＢ１への色の変化を加味して、過去の時点での眼球部２ａの黒眼部の色Ａ２（白眼部の色Ａ３または眼下領域２ｂの眼下皮膚色Ａ４）に対する、現在の時点での黒眼部の色Ｂ２（白眼部の色Ｂ３または眼下領域２ｂの眼下皮膚色Ｂ４の色の変化量を検出する制御部とを備える。
【選択図】図５

Description

この発明は、情報端末装置に関し、特に、生体における診断対象部位を含む画像を取得する撮像部を備えた情報端末装置に関する。

従来、生体における診断対象部位を含む画像を取得する撮像部を備えた撮像装置などが知られている（たとえば、特許文献１参照）。

上記特許文献１には、ユーザの顔画像を取得するＣＣＤ（撮像部）を備えた撮像装置が開示されている。この撮像装置では、異なる日時で撮像された同じユーザの白目部や目下部などの特定領域の画像同士を比較することにより、そのユーザの体調や病状などの変化（改善度合い）を自己診断するための診断用データが生成されるように構成されている。なお、診断用データの生成には、過去の画像の白目部や目下部などの特定領域が有する色合いと、現在の画像の白目部や目下部などの特定領域が有する色合いとを比較した結果が用いられる。すなわち、画像中の特定領域が有するたとえば黄色成分に関する過去から現在への色の変動量に基づいて診断用データが生成される。そして、診断用データが表示部に表示されるように構成されている。

特開２００４−３２９６２０号公報

しかしながら、上記特許文献１に記載された撮像装置では、色合いの比較対象がＣＣＤにより取得された画像中の特定領域（白目部や目下部など）にのみ限定されているため、特定領域の色合いの変動量には、ユーザの体調や病状などに直接関係した変化（改善度合い）の要因に加えて、体調や病状に関係する要因以外のたとえば皮膚の日焼け効果や美容（スキンケア）に伴う美白効果などの要因も含まれる可能性がある。しかしながら、上記特許文献１では、この点を考慮に入れていないため、健康管理に関する正確な自己診断を行うことができないという問題点がある。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、ユーザが健康管理に関する自己診断を正確に行うことが可能な情報端末装置を提供することである。

この発明の一の局面による情報端末装置は、生体における診断対象部位を含む画像を取得する撮像部と、撮像部により取得された画像から診断対象部位の診断データを抽出する診断データ抽出部と、撮像部により取得された画像および診断データ抽出部により抽出された診断データを記憶する記憶部と、撮像部により過去の時点で取得された診断対象部位を含む画像全体に対する現在の時点で取得された診断対象部位を含む画像全体の色の変化を加味して、記憶部に記憶された第１の診断データと第１の診断データよりも新しい第２の診断データとから診断対象部位の色の変化量を検出する検出部とを備える。

この発明の一の局面による情報端末装置では、上記のように、撮像部により過去の時点で取得された診断対象部位を含む画像全体に対する現在の時点で取得された診断対象部位を含む画像全体の色の変化を加味して、記憶部に記憶された第１の診断データと第１の診断データよりも新しい第２の診断データとから診断対象部位の色の変化量を検出する検出部を備えることによって、診断対象部位の色の変化量は、診断対象部位を含む画像全体の過去から現在への色の変化が加味された上での色の変化量となるので、ユーザの体調や病状などに直接関係した色の変化の要因に加えて、これ以外の要因としてたとえば皮膚の日焼けや美容（スキンケア）に伴う美白などに由来する色の変化にも基づいて診断対象部位の色の変化量を検出することができる。したがって、診断対象部位の色の変化量に基づいて健康管理に関する情報などを生成する際の正確さおよび的確さが向上されるので、この情報端末装置を使用してユーザが健康管理に関する自己診断を正確に行うことができる。

上記一の局面による情報端末装置において、好ましくは、検出部により検出された色の変化量に基づいて生体の健康管理情報を生成する生成部をさらに備える。このように構成すれば、ユーザは、生成部により生成された健康管理情報に基づいて健康管理に関する自己診断を容易に行うことができる。

この場合、好ましくは、健康管理情報に基づいて健康状態を判定する判定部をさらに備える。このように構成すれば、ユーザ自身による自己診断のみならず健康管理情報に基づく判定部による健康状態の評価が加わる分、ユーザは、この情報端末装置を使用してより正確かつ的確な健康状態の診断結果を得ることができる。

上記健康管理情報を生成する生成部をさらに備える構成において、好ましくは、生成部は、過去の時点で取得された診断対象部位を含む画像全体に対する現在の時点で取得された診断対象部位を含む画像全体における生体の皮膚の色の変化を加味して第１の診断データに対する第２の診断データの診断対象部位の色の変化量が検出部により検出された結果に基づいて、生体の健康管理情報を生成するように構成されている。このように構成すれば、診断対象部位を含む画像全体の過去から現在への生体の皮膚の色の変化が加味された上で検出された診断対象部位の色の変化量に基づいて健康管理情報を生成することができる。すなわち、診断対象部位の色の変化には生体の皮膚の色の変化に関する諸要因が大きく関与する可能性があるので、皮膚の色の変化が加味される分、正確かつ的確な健康管理情報を生成することができる。

上記検出部が皮膚の色の変化を加味して診断対象部位の色の変化量を検出する構成において、好ましくは、検出部は、過去の時点で取得された診断対象部位を含む画像と、現在の時点で取得されるとともに過去の時点から現在の時点までの皮膚の色の変化に起因する診断対象部位の色の変化の影響を取り除くように補正した診断対象部位を含む画像とが比較されることにより、第１の診断データに対する第２の診断データの診断対象部位の色の変化量を検出するように構成されている。このように構成すれば、過去と現在とで互いに比較される診断対象部位を含む画像全体においては、皮膚の色の変化を起こす要因のうち、たとえば皮膚の日焼け効果や美容（スキンケア）に伴う美白効果などの諸要因が予め取り除かれるので、ユーザの健康管理に直接的に関与しない日焼けまたは美白などによる皮膚の色の変化に関する要因が除外された条件下で、過去の時点に対する現在の時点での診断対象部位の色の変化量（正味の色の変化量）を正確に把握することができる。これにより、自己診断を正確に行うことが可能な健康管理情報を容易に生成することができる。

上記検出部が皮膚の色の変化を加味して診断対象部位の色の変化量を検出する構成において、好ましくは、無彩色画像としての過去の時点での診断対象部位を含む画像全体と無彩色画像としての現在の時点での診断対象部位を含む画像全体とに基づいて、診断対象部位を含む画像全体における生体の皮膚の色の変化量が算出されるように構成されている。このように構成すれば、カラー成分が排除された白色と黒色とその中間色（灰色）とによって構成される無彩色からなる画像全体の明るさ（暗さ）に基づいて、生体の皮膚の色の変化量を容易に算出することができる。また、上記のような画像処理においては無彩色画像のデータが取り扱われるので、カラー画像のデータを取り扱う場合と比較して情報端末装置の処理負荷を格段に抑えることができる。

上記健康管理情報を生成する生成部をさらに備える構成において、好ましくは、生成部は、第１の診断データに対する第２の診断データの診断対象部位の色の変化量が所定の閾値を超えた場合に、診断対象部位の色の変化量に応じた健康管理情報を生成するように構成されている。このように構成すれば、診断対象部位の色の変化量が閾値に満たないような場合には健康管理情報を生成させることなく、診断対象部位の色の変化量が閾値を超えた場合にのみ健康管理情報を生成させることができる。すなわち、通常であれば無視し得るような診断対象部位の色の変化量に対して過剰に対応する（間違った健康管理情報を生成する）ことなく、無視し得ない診断対象部位の色の変化量に対して真に必要とされる健康管理情報のみを生成することができるので、より正確かつ的確な健康管理情報をユーザに対して提供することができる。

上記健康管理情報を生成する生成部をさらに備える構成において、好ましくは、検出部は、過去の時点で取得された診断対象部位における光の３原色に対応する各色階調値と、現在の時点で取得された診断対象部位における光の３原色に対応する各色階調値とを各色毎に比較することにより、第１の診断データに対する第２の診断データの診断対象部位の色の変化量を検出するように構成されている。このように構成すれば、過去と現在とでの診断対象部位における光の３原色に対応する赤色の変化量、緑色の変化量、および、青色の変化量の３つの変化量を指標として診断対象部位の画像の色の変化量を検出（把握）することができる。すなわち、情報端末装置が行う画像処理においては、このような色の変化量の把握を容易に行うことができる。

この場合、好ましくは、過去の時点で取得された診断対象部位における光の３原色に対応する各色階調値の各々の平均値と、現在の時点で取得された診断対象部位における光の３原色に対応する各色階調値の各々の平均値とが各色毎に比較されることにより、第１の診断データに対する第２の診断データの診断対象部位の色の変化量が検出部により検出されるように構成されている。このように構成すれば、診断対象部位（領域）が撮像された画像を構成する個々の画素単位で各色階調値（赤色、緑色および青色）の変化量が検出（把握）される場合と比較して、個々の画素が有する各色階調値の各々の平均値を用いる分、過去と現在とでの比較の対象となるデータ量を削減させることができる。これにより、情報端末装置の処理負荷を格段に抑えることができるとともに、処理を迅速に行うことができる。

上記健康管理情報を生成する生成部をさらに備える構成において、好ましくは、診断対象部位を含む画像において過去の時点で発生せずに現在の時点で生体に発生した色素斑または腫瘍状の部分が検出部により検出可能に構成されており、生成部は、検出部により検出された色素斑または腫瘍状の部分の情報を加味して生体の健康管理情報を生成するように構成されている。このように構成すれば、診断対象部位（領域）の単なる色の変化量を健康管理情報を生成するための判断材料とすることのみならず、色の変化量から生体に新たに発生した色素斑または腫瘍状の部分をも同時に検出（認識）した上で健康管理情報を生成することができる。これにより、ユーザの健康管理に関したより現実的（実用的）な健康管理情報をユーザに提供することができる。

この場合、好ましくは、撮像部により取得される診断対象部位を含む画像は、カラー画像であり、検出部は、カラー画像から無彩色画像に変換された過去の時点での診断対象部位を含む画像全体の白色部分および黒色部分を反転させた第１反転画像と、現在の時点での診断対象部位を含む画像全体の白色部分および黒色部分を反転させた第２反転画像とが重ね合わされた合成画像に基づいて、色素斑または腫瘍状の部分が生体に発生したことを検出するように構成されている。このように構成すれば、第１反転画像と第２反転画像とを重ね合わせた合成画像を用いた画像処理においては、生体に新たに発生する色素斑または腫瘍状の部分を容易にかつ精度よく特定することができる。

上記一の局面による情報端末装置において、好ましくは、撮像部が診断対象部位を含む画像を撮像する際の環境光の種類が入力可能に構成されており、検出部は、過去の時点で取得された診断対象部位を含む画像および現在の時点で取得された診断対象部位を含む画像の少なくとも一方に対して各々の時点において入力された環境光の種類に基づいた色補正が行われた上で、過去の時点で取得された診断対象部位を含む画像と現在の時点で取得された診断対象部位を含む画像とが比較されることにより、第１の診断データに対する第２の診断データの診断対象部位の色の変化量を検出するように構成されている。このように構成すれば、過去と現在とで互いに比較される診断対象部位を含む画像全体において、各々の時点における撮像時の環境光に関する条件（撮像条件）を同じ状態に揃えることができる。これにより、過去の時点での診断対象部位に対する現在の時点での診断対象部位の色の変化量を正確に把握することができる。

本発明によれば、上記のように、ユーザが健康管理に関する自己診断を正確に行うことができる。

本発明の一実施形態による情報端末装置を用いてユーザが健康管理を目的として自己の顔写真を撮像する様子を示した斜視図である。 本発明の一実施形態による情報端末装置の構成を示した平面図である。 本発明の一実施形態による情報端末装置の制御構成を示したブロック図である。 本発明の一実施形態による情報端末装置における撮像モードにおいて表示部にガイド画面が表示された状態を示した図である。 本発明の一実施形態による情報端末装置において、撮像された過去の顔画像と現在の顔画像との色の変化を把握する画像データ処理について説明するための模式図である。 本発明の一実施形態による情報端末装置において生成される健康管理情報の一例を示した図である。 本発明の一実施形態による情報端末装置において、撮像された過去の顔画像と現在の顔画像との色の変化に基づいて皮膚に発生する色素斑または腫瘍状の部分を認識する画像データ処理について説明するための模式図である。 本発明の一実施形態による情報端末装置に対して撮像時の環境光の種類を予め設定する際に使用される設定画面を示した図である。 本発明の一実施形態による情報端末装置において健康管理機能を有するアプリケーションソフトが実行される際の制御部の制御フローを説明するための図である。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

まず、図１〜図８を参照して、本発明の一実施形態による情報端末装置１００の構成について説明する。

本発明の一実施形態による情報端末装置１００は、図１に示すように、所定の厚み（Ｚ方向の厚み）を有して概略薄板形状に形成されたタブレット型の端末装置である。また、情報端末装置１００は、ユーザ１が容易に持ち運び可能な形状および重さを有しており、ユーザの居場所に合わせて屋内でも屋外でも使用することが可能に構成されている。この場合、ユーザ１が完全に把持して使用することも可能であるし、装置本体を机（図示せず）などの載置面上に載置した状態で使用することも可能とされている。なお、ユーザ１は、本発明の「生体」の一例である。

情報端末装置１００は、所定の形状に形成された樹脂製または金属製からなる筐体１０と、筐体１０の前面側（Ｚ２側）の枠状部１０ａの内側に嵌め込まれたＬＣＤ（液晶ディスプレイ）からなる表示部１１とを含んでいる。また、表示部１１の最表面には、透光性を有する樹脂製の保護フィルム（図示せず）が貼り付けられている。

また、情報端末装置１００は、図２に示すように、表示部１１の表面側（紙面手前側）に設けられた静電容量方式のタッチパネル部１１ａと、表示部１１の側方（Ｙ１側）に設けられるとともに内部にＣＣＤセンサまたはＣＭＯＳセンサ（撮像素子）が内蔵された撮像部１２と、撮像部１２の近傍（Ｘ１側）に設けられるとともに周囲の環境光を感知する照度センサ１３と、アンテナ１４ａ（図３参照）が内蔵されるとともに通信用電波の送受信を行う通信部１４（図３参照）と、筐体１０内部に内蔵され情報端末装置１００を制御する制御回路部１５（図３参照）と、制御回路部１５に電力を供給する電源部１６（図３参照）と、表示部１１の側方（Ｘ２側）に設けられた音声を出力するスピーカ１７と、表示部１１の側方（Ｘ１側）に設けられた操作ボタン群１８とを備えている。

操作ボタン群１８は、１つの十字キー１８ａおよび複数のボタンキー１８ｂを含んでいる。ユーザ１は、情報端末装置１００を操作する際、図２に示すように、十字キー１８ａを上下左右のいずれかの方向に倒しながら表示部１１内に表示されるカーソルを移動させて種々のボタン画像や画面などを選択し、その位置で十字キー１８ａを押下する。これにより、ユーザの意思決定がアプリケーションソフトの動作に反映される。また、複数のボタンキー１８ｂのいずれかを押下することにより、アプリケーションソフトの中断（終了）または切り換え操作などが行えるように構成されている。

また、制御回路部１５は、図３に示すように、ＣＰＵからなり情報端末装置１００の制御を司る制御部１５ａと、制御部１５ａが実行する制御プログラムなどが格納されたフラッシュメモリ（ＲＯＭ）１５ｂと、制御プログラムが実行される際に用いられる制御上のパラメータなどを一時的に保存する作業用メモリとして用いられる主メモリ（ＲＡＭ）１５ｃと、撮像部１２によって撮影された被写体の映像を画像信号に変換する撮像信号処理部１５ｄとを備えている。

ここで、本実施形態では、図１に示すように、ユーザ１が情報端末装置１００を把持した状態で表示部１１を手前側（ユーザ１に対面するＺ２側）に向けて所定の操作を行うことによって、撮像部１２を使用してユーザ１の顔２を撮像することが可能に構成されている。そして、制御部１５ａ（図３参照）による演算処理の結果、顔２が撮像された顔画像３０が有する色の検出結果（色の変化の検出結果）に基づいてユーザ１に対する健康管理情報が生成されるとともに、その内容がメッセージ９１（図６参照）のような態様で表示部１１に表示されるように構成されている。また、図６に示すように、メッセージ９１は、健康管理情報でありかつ制御部１５ａによる顔画像３０の色の変化量（演算処理結果）に基づいて健康状態が判定された判定結果を含んでいる。したがって、ユーザ１は、表示部１１に表示されたメッセージ９１（健康管理情報）を参考にして、自己の健康管理を継続することが可能とされている。なお、顔２は、本発明の「診断対象部位」の一例である。また、顔画像３０は、本発明の「診断対象部位を含む画像」の一例である。また、制御部１５ａは、本発明の「検出部」、「生成部」および「判定部」の一例であり、メッセージ９１は、本発明の「健康管理情報」の一例である。

また、本実施形態では、図１に示すように、顔画像３０に含まれる顔２を構成する眼球部（右眼球部および左眼球部）２ａの部分が撮像された画像３０ａや、眼下領域（右眼下領域および左眼下領域）２ｂの部分が撮像された画像３０ｂなどの特定の領域ごとの色（色の変化）が、制御部１５ａ（図３参照）により把握可能に構成されている。そして、画像３０ａ（眼球部２ａの部分）や画像３０ｂ（眼下領域２ｂの部分）などの特定の領域ごとに個別に把握された色情報（色変化情報）に基づいて、ユーザ１に対する健康管理情報が生成されるように構成されている。ここで、顔画像３０（画像３０ａおよび３０ｂ）については、任意のタイミング（図１参照）で撮像部１２により取得された画像を意味している。したがって、以降においては、顔画像３０を、相対的に過去のタイミングで撮像された場合の顔画像３１（画像３１ａおよび３１ｂ）と、相対的に現在のタイミングで撮像された顔画像３２（画像３２ａおよび３２ｂ）とに分類して説明を進める。なお、顔２を構成する眼球部２ａおよび眼下領域２ｂは、本発明の「診断対象部位」の一例である。また、画像３０ａおよび３０ｂは、本発明の「診断対象部位を含む画像」の一例である。

以下、撮像部１２による顔２の撮像（顔画像３０の取得）から健康管理情報が生成されてメッセージ９１などが表示部１１に表示されるまでの制御部１５ａによる演算内容（画像データ処理に関する制御内容）について詳細に説明する。

情報端末装置１００においては、種々のアプリケーションソフトが実行される。すなわち、フラッシュメモリ１５ｂ（図３参照）に記憶されているアプリケーションソフトの中に、ユーザ１の顔２を撮像して画像データとして取得される顔画像３０が有する色の変化に基づいてユーザ１に対して所定の健康管理情報を提供するアプリケーションソフトが含まれている。

まず、図２に示すように、ユーザ１（図１参照）がタッチパネル部１１ａ内の所定箇所を触れるかまたは操作ボタン群１８内の所定のボタンキーを押下することによって、健康管理情報を提供するアプリケーションソフト（健康管理アプリケーション）が起動される。そして、このアプリケーションソフトが起動されることによって、情報端末装置１００は、制御部１５ａにより撮像部１２が駆動されてユーザ１の顔２を撮像することが可能な撮像モードに移行される。

ここで、本実施形態では、図４に示すように、表示部１１中に、撮像される一般的な顔の大まかな構成を模したガイド画面２０が表示される。ガイド画面２０は、複数の直線および曲線からなる破線を用いて構成されている。また、ガイド画面２０は、ユーザ１の顔２の横（左右）方向の中心位置と撮像部１２による撮像画像の中心位置（表示部１１の中心位置）とを揃えるために縦方向（Ｙ方向）に描画されたセンターライン２１と、センターライン２１を中心としたユーザ１の右眼および左眼の位置（横方向位置および縦方向位置）を撮像画像内の適切な位置に誘導するために描画された一対のアイマーク２２とを有している。

また、表示部１１にガイド画面２０が表示された状態は、制御部１５ａ（図３参照）の指令に基づき撮像部１２が被写体となるユーザ１（図１参照）の顔２を静止画像として実際に撮像する直前の状態となる。したがって、図１に示すように、ユーザ１が撮像部１２の前方（Ｚ２側）に所定距離を隔てて顔２を近付けることによって、表示部１１には、顔２の撮影中のプレビュー画面がリアルタイムで表示されるように構成されている。また、ユーザ１は、顔２が写り込んだプレビュー画面を見ながら、ガイド画面２０とプレビュー画面中の顔２の画像（顔画像３０）とが重なる位置に自己の体勢（顔２の位置）を調整する。

そして、ユーザ１がタッチパネル部１１ａ内の所定箇所を触れるかまたは操作ボタン群１８内の所定のボタンキーを押下することによって、ユーザ１のその時点での顔２の撮像動作が実行されるように構成されている。また、顔２が撮像された画像データとしての顔画像３０は、主メモリ１５ｃ（図３参照）に即時に記憶される。この際、撮像の日時情報も記録される。なお、主メモリ１５ｃは、本発明の「記憶部」の一例である。

なお、図４に示すように、撮像時に表示部１１に表示されるガイド画面２０は、個々のユーザ１（図１参照）に応じてその大きさなどが設定可能となるように構成されている。すなわち、センターライン２１に対する一対のアイマーク２２の位置は、横方向および縦方向に移動可能とされている。また、アイマーク２２は同じ位置でガイド画面２０の面内方向にも回転（傾斜）することが可能であり、さらには、アイマーク２２の表示サイズも調整可能とされている。なお、図４においては、便宜的に、回転前（調整前）のアイマーク２２ａと回転後（調整後）のアイマーク２２ｂとを一度に図示しているが、実際には、右眼側および左眼側におけるアイマーク２２は１つである。また、このようなガイド画面２０の微調整は、ユーザ１が指などを使用してタッチパネル部１１ａのアイマーク２２が表示されている部分を軽く触れる（なぞる）操作によって行われる。あるいは、操作ボタン群１８内の十字キー１８ａを上下左右のいずれかの方向に倒す操作によってガイド画面２０の微調整が行われるように構成されていてもよい。

ここで、本実施形態では、情報端末装置１００においては、上記説明したアプリケーションソフトを使用して次のような情報をユーザ１に提供することが可能に構成されている。

具体的には、図５において模式的に示されるように、相対的に過去の時点で撮像された顔画像３１と過去の時点よりも相対的に新しい現在の時点で撮像された顔画像３２とが画像データの状態で比較されることにより、ユーザ１の過去の顔画像３１に対する現在の顔画像３２の色（色合い）の変化量が定量的に把握されるように構成されている。そして、このアプリケーションソフトでは、過去の顔画像３１から現在の顔画像３２への色の変化量に基づいてユーザ１（図１参照）の健康状態が推測されるとともに、推測された健康状態に応じた「健康管理情報」がメッセージ９１（図６参照）のような態様で表示部１１に表示されるように構成されている。

なお、現在を基準とした場合の過去とは、１日前であっても構わないし、１ヶ月前であっても構わない。また、１年前であっても構わない。健康状態の大きな変化が対象となる場合には、１年前の顔画像３１と現在の顔画像３２とが比較されてもよく、体調（病状）の細かな変化が対象となる場合には、１ヶ月前（１週間前、１日前）の顔画像３１と現在の顔画像３２とが比較されてもよい。この、いつの時点の顔画像３１と現在の顔画像３２とを比較するかについては、アプリケーション内で任意に設定可能に構成されている。

また、本実施形態では、図５に示すように、顔画像３１から顔画像３２への単なる色の変化量を把握するのではなく、過去の時点で取得された画像３１ａ（眼球部２ａの部分）および画像３１ｂ（眼下領域２ｂの部分）を含む顔画像３１全体に対する、現在の時点で取得された画像３２ａ（眼球部２ａの部分）および画像３２ｂ（眼下領域２ｂの部分）を含む顔画像３２全体の色の変化が、「健康管理情報」生成時の処理判断に加味されるように構成されている。そして、この過去の顔画像３１全体に対する現在の顔画像３２全体の色の変化が加味された上で、顔画像３１内の画像３１ａ（眼球部２ａの部分）や画像３１ｂ（眼下領域２ｂの部分）が有する色に対する顔画像３２の画像３２ａ（眼球部２ａの部分）や画像３２ｂ（眼下領域２ｂの部分）が有する色の変化量（色変化情報）が、制御部１５ａ（図３参照）によって把握されるように構成されている。なお、顔画像３１、画像３１ａおよび画像３１ｂは、本発明の「過去の時点で取得された診断対象部位を含む画像」の一例である。また、顔画像３２、画像３２ａおよび画像３２ｂは、本発明の「現在の時点で取得された診断対象部位を含む画像」の一例である。

この場合、過去の時点で取得された顔画像３１全体におけるユーザ１の顔２の皮膚の色（顔面皮膚色Ａ１）に対する、現在の時点で取得された顔画像３２全体におけるユーザ１の顔２の皮膚の色（顔面皮膚色Ｂ１）の変化量（＝ΔＣ１）が加味される制御処理が制御部１５ａによって行われる。ここで、過去から現在に至る顔２の皮膚の色の変化（顔面皮膚色Ａ１から顔面皮膚色Ｂ１への変化）の要因としては、たとえば、皮膚の日焼け効果や美容（スキンケア）に伴う美白効果などの諸要因が挙げられる。すなわち、ユーザ１によっては、顔２の皮膚の色が白色から小麦色へと変化するか、または、美白によって白色の度合いを増す場合などが想定される。

したがって、本実施形態では、過去の時点で取得された顔画像３１全体と、現在の時点で取得されるとともに過去の時点から現在の時点までのユーザ１の顔２の皮膚の色の変化（日焼け効果や美白効果など）に起因する各部（たとえば額２ｃや、眼球部２ａの周りや、眼下領域２ｂや、顎２ｄなど（図１参照））の色の変化の影響を取り除くように色補正がなされた顔画像３２全体とをデータ上で比較することにより、顔画像３１内の画像３１ａ（眼球部２ａの部分）や画像３１ｂ（眼下領域２ｂの部分）が有する以前の色に対する、色補正がなされた顔画像３２の画像３２ａ（眼球部２ａの部分）や画像３２ｂ（眼下領域２ｂの部分）が有する現在の色の「正味の変化量」が、制御部１５ａによって把握されるように構成されている。

すなわち、図５においては、顔画像３１全体の顔面皮膚色Ａ１から顔画像３２全体の顔面皮膚色Ｂ１への変化量ΔＣ１が予め加味された上で、眼球部２ａにおける黒眼部の色Ａ２から黒眼部の色Ｂ２への変化量ΔＣ２および眼球部２ａにおける白眼部の色Ａ３から白眼部の色Ｂ３への変化量ΔＣ３や、眼下領域２ｂにおける眼下皮膚色Ａ４から眼下皮膚色Ｂ４への変化量ΔＣ４などが把握されるように構成されている。たとえば、顔画像３１から３２への色変化に日焼け効果の要因が含まれている場合、顔画像３２に対して変化量ΔＣ１だけ画像全体の色を薄める（日焼けをしていない状態に戻す）処理が予め施され、その後、顔画像３１と、日焼けの影響が取り除かれた顔画像３２における各パーツ（眼球部２ａや眼下領域２ｂなど）の色の変化量が把握される。また、美白の場合は上記とは逆で、顔画像３２に対して変化量ΔＣ１だけ画像全体の色を濃くする（美白前の状態に戻す）処理が予め施され、その後、顔画像３１と、美白効果が生じていない顔画像３２における各パーツ（眼球部２ａや眼下領域２ｂなど）の色の変化量が把握される。なお、黒眼部の色Ａ２、白眼部の色Ａ３および眼下皮膚色Ａ４は、本発明の「第１の診断データ」の一例である。また、黒眼部の色Ｂ２、白眼部の色Ｂ３および眼下皮膚色Ｂ４は、本発明の「第２の診断データ」の一例である。

このように、情報端末装置１００において実行されるアプリケーションでは、ユーザ１の健康管理に直接的に関与しない日焼け効果または美白効果などによる皮膚の色の変化に関する要因（変化量ΔＣ１）が除外された条件下で、過去の時点に対する現在の時点での画像３２ａ（眼球部２ａの部分）や画像３２ｂ（眼下領域２ｂの部分）の色の正味の変化量ΔＣ２、ΔＣ３およびΔＣ４がそれぞれ正確に把握されるように構成されている。

なお、健康管理情報については、眼球部２ａにおける黒眼部の色Ａ２から黒眼部の色Ｂ２への変化量ΔＣ２に応じた診断基準に基づいて、眼球の健康に関する健康管理情報が生成されるとともに、眼球部２ａにおける白眼部の色Ａ３から白眼部の色Ｂ３への変化量ΔＣ３に応じた診断基準に基づいて、眼球の健康に関する別な健康管理情報が生成される。また、眼下領域２ｂにおける眼下皮膚色Ａ４から眼下皮膚色Ｂ４への変化量ΔＣ４に応じた診断基準に基づいて、皮膚の変色に関連する人体各部（内蔵など）の健康に関する健康管理情報が別途生成されるように構成されている。

また、本実施形態では、ユーザ１の健康管理に直接的に関与しない日焼け効果または美白効果などによる皮膚の色の変化量ΔＣ１を算出する際、次のような画像データ処理が適用されている。すなわち、制御部１５ａによる画像処理により無彩色画像（カラー成分が排除された白色と黒色とその中間色（灰色）とによって構成されるグレースケール画像）としての過去の時点での画像３１ａ（眼球部２ａの部分）および画像３１ｂ（眼下領域２ｂの部分）を含む顔画像３１全体と、制御部１５ａによる画像処理により無彩色画像（グレースケール画像）としての現在の時点での画像３２ａ（眼球部２ａの部分）および画像３２ｂ（眼下領域２ｂの部分）を含む顔画像３２全体とに基づいて、日焼け効果または美白効果などによる皮膚の色の変化量ΔＣ１が算出されるように構成されている。なお、このような無彩色画像同士での比較は、画像データ上の処理であり、無彩色画像が実際に表示部１１に表示されるわけではない。

また、本実施形態では、顔画像３１内の画像３１ａ（眼球部２ａの部分）や画像３１ｂ（眼下領域２ｂの部分）が有する色Ａ２、Ａ３およびＡ４と、日焼け効果などが排除された補正後の顔画像３２の画像３２ａ（眼球部２ａの部分）や画像３２ｂ（眼下領域２ｂの部分）が有する色Ｂ２、Ｂ３およびＢ４と比較した際、各々の部分の色の変化量（正味の変化量）が所定の閾値を超えた場合にのみ、色の変化量に応じた内容の健康管理情報（たとえばメッセージ９１（図６参照）など）が生成されるように構成されている。反対に、把握された色の変化量が所定の閾値に満たないと判断された場合には、健康管理情報は生成されないように構成されている。

また、本実施形態では、顔画像３１内の画像３１ａ（眼球部２ａの部分）や画像３１ｂ（眼下領域２ｂの部分）が有する色Ａ２、Ａ３およびＡ４と、日焼け効果などが排除された補正後の顔画像３２の画像３２ａ（眼球部２ａの部分）や画像３２ｂ（眼下領域２ｂの部分）が有する色Ｂ２、Ｂ３およびＢ４と比較する際、顔画像３１（過去）の画像３１ａ（３１ｂ）における光の３原色に対応する各色階調値（赤色階調値、緑色階調値および青色階調値）の各々と、顔画像３２（現在）の画像３２ａ（３２ｂ）における光の３原色に対応する各色階調値（赤色階調値、緑色階調値および青色階調値）の各々とが、赤色同士、緑色同士および青色同士で比較されることにより、画像３２ａおよび画像３２ｂの各々が有する色の変化量ΔＣ２、ΔＣ３およびΔＣ４がそれぞれ把握されるように構成されている。また、各色階調値（赤色階調値、緑色階調値および青色階調値）同士が比較される際、過去に取得された顔画像３１の画像３１ａ（３１ｂ）に含まれる複数の画素（個々のピクセル）の赤色階調値、緑色階調値および青色階調値の各々の平均値と、現在取得された顔画像３２の画像３２ａ（３２ｂ）に含まれる複数の画素（個々のピクセル）の赤色階調値、緑色階調値および青色階調値の各々の平均値とが、比較の際の演算に用いられるように構成されている。

また、本実施形態では、図５に示すように、顔画像３１における画像３１ａ（眼球部２ａの部分）は左右で一対存在する（右眼の眼球部２ａの画像３１ａおよび左眼の眼球部２ａの画像３１ａ）が、眼球部２ａにおける黒眼部の色Ａ２（赤色階調値、緑色階調値および青色階調値）は、左右の画像３１ａの平均値を用いて把握されるように構成されている。また、白眼部の色Ａ３（赤色階調値、緑色階調値および青色階調値）についても、左右の画像３１ａの平均値を用いて把握されるように構成されている。同様に、画像３１ｂ（眼下領域２ｂの部分）も左右で一対存在するが、眼下領域２ｂにおける眼下皮膚色Ａ４（赤色階調値、緑色階調値および青色階調値）は、左右の画像３１ｂの平均値を用いて把握されるように構成されている。また、この特徴点については、現在の時点で取得される顔画像３２についても同様である。

情報端末装置１００では、このような手法による画像データ処理が適用されてユーザ１の過去の顔画像３１に対する現在の顔画像３２の色の変化量が定量的に把握され、この色の変化量に基づいてユーザ１の健康状態が推測される。そして、推測された健康状態に応じた「健康管理情報」がメッセージ９１（図６参照）となって表示部１１に表示されるように構成されている。

また、情報端末装置１００においては、撮像された顔画像３０（過去の顔画像３１および現在の顔画像３２）に対する上記説明した画像データ処理に加えて、さらに次のような機能を出力させることが可能に構成されている。

具体的には、ユーザ１の過去の顔画像３１に対する現在の顔画像３２の色の変化量（正味の色の変化量）が把握された結果に基づき「健康管理情報」が生成される際、ユーザ１の画像３１ａ（眼球部２ａの部分）および画像３１ｂ（眼下領域２ｂの部分）を含む顔画像３０において過去の時点で発生せずに現在の時点で顔２に発生した色素斑（シミ、あざなど）または腫瘍状の部分（湿疹、せつ（おでき）、ほくろなど）５１（図７参照）を認識することが可能に構成されている。すなわち、過去の顔画像３１から現在の顔画像３２への単なる色の変化量に基づいた健康管理情報の生成のみならず、認識された色素斑または腫瘍状の部分の情報が加味された健康管理情報も生成されるように構成されている。したがって、表示部１１に表示される健康管理情報には、ユーザ１に対する現実的（実用的）な健康管理情報が含まれるように構成されている。

また、本実施形態では、過去の時点で発生せずに現在の時点でユーザ１の顔２に発生した色素斑または腫瘍状の部分５１を認識する際、次のような手法による画像データ処理が適用されるように構成されている。

すなわち、図７において模式的に示されるように、撮像直後のカラー画像の状態からから無彩色画像（グレースケール画像）に変換された過去の時点での画像３１ａ（眼球部２ａの部分）および画像３１ｂ（眼下領域２ｂの部分）を含む顔画像３１全体の白色部分および黒色部分を反転させた第１反転画像（画像データ）３５と、現在の時点での画像３０ａ（眼球部２ａの部分）および画像３０ｂ（眼下領域２ｂの部分）を含む顔画像３２全体の白色部分および黒色部分を反転させた第２反転画像（画像データ）３６とを重ね合わせて合成画像（画像データ）３７を作成するとともに、この合成画像（画像データ）３７において、色素斑または腫瘍状の部分５１がユーザ１（図１参照）の顔２に発生したか否かを判別する制御が制御部１５ａ（図３参照）により行われるように構成されている。なお、本実施形態では、第２反転画像３６は、上述のカラー画像における顔画像３１全体の顔面皮膚色Ａ１から顔画像３２全体の顔面皮膚色Ｂ１への変化量ΔＣ１が予め加味されて色補正が行われた画像データを元に作成される。

また、合成画像３７の作成においては、第１反転画像３５および第２反転画像３６の明るさ（輝度）をそれぞれ約５０％に減少させた状態で両者を重ね合わせる画像データ処理が行われるように構成されている。したがって、合成画像３７のうち、色素斑または腫瘍状の部分５１が発生していない領域は、２５６階調における第１２８階調目の一様な灰色になる一方、色素斑または腫瘍状の部分５１が発生した領域は、第１２８階調目の灰色とは異なる色データを有する領域として認識される。なお、このような第１反転画像３５および第２反転画像３６のデータ作成処理、および、第１反転画像３５および第２反転画像３６を重ね合わせた合成画像３７のデータ作成処理は、すべて画像データ上の処理である。このようにして、ユーザ１の顔２に新たに発生する色素斑または腫瘍状の部分５１を容易にかつ精度よく特定することが可能に構成されている。

また、本実施形態では、ユーザ１（図１参照）が撮像部１２（図１参照）を使用して自己の顔２を撮像する際、情報端末装置１００（図１参照）の周囲の環境光の種類が入力可能に構成されている。すなわち、ユーザ１がタッチパネル部１１ａ内の所定箇所を触れるかまたは操作ボタン群１８内の所定のボタンキーを押下することによって、図８に示すような設定画面６０が表示部１１に表示される。設定画面６０には、選択可能な複数の環境光の種類が設定されている。そして、ユーザ１がタッチパネル部１１ａまたは十字キー１８ａを操作して撮像時の環境光の種類を設定することが可能に構成されている。

したがって、撮像部１２を使用してユーザ１（図１参照）の顔２が撮像される際、予め設定された環境光の種類に対応した色補正処理が施された状態の顔画像３０（図１参照）が取得されるように構成されている。この色補正処理は、ユーザ１が過去の時点で顔２を撮像して顔画像３１（図５参照）を取得する際も、また、ユーザ１が現在の時点で顔２を撮像して顔画像３２（図５参照）を取得する際も、情報端末装置１００の周囲の環境（明るさ）に応じて任意に環境光の種類が設定されている場合に有効に機能する処理として構成されている。これにより、過去と現在とで互いに比較される顔画像３０（過去の顔画像３１および現在の顔画像３２）全体において、各々の時点における撮像時の環境光に関する条件（撮像条件）が同じ状態に揃えられるように構成されている。

また、図２に示すように、照度センサ１３によって情報端末装置１００の周囲の環境光の明るさが常に検出されるように構成されている。したがって、照度センサ１３の検出結果に基づき、環境光（明るさ）があまりにも小さい（暗すぎる）と判断された場合、「明るくしてください」というようなメッセージが表示部１１に表示されるように構成されている。反対に、環境光があまりにも大きい（明るすぎる）と判断された場合、「少し暗くしてください」というようなメッセージが表示部１１（図２参照）に表示されるように構成されている。これにより、情報端末装置１００では、環境光に起因した誤撮像が行われることが防止されるように構成されている。

このようにして、本実施形態による健康管理機能を有するアプリケーションソフトを備えた情報端末装置１００（図１参照）は構成されている。

次に、図１、図３および図４〜図９を参照して、本実施形態による情報端末装置１００において健康管理機能を有するアプリケーションソフトが実行される際の制御部１５ａの制御処理フローについて説明する。

図９に示すように、まず、ステップＳ１では、ユーザ１（図１参照）により健康管理機能を有するアプリケーションソフト（健康管理アプリケーション）を起動するための所定の操作が行われた否かが制御部１５ａ（図３参照）により判断されるとともに、このアプリケーションソフトを起動するための所定の操作が行われたと判断されるまでこの処理が繰り返される。ステップＳ１においては、ユーザ１がタッチパネル部１１ａ（図１参照）内の所定箇所を触れるかまたは操作ボタン群１８（図１参照）内の所定のボタンキーを押下したと判断された場合に「Ｙｅｓ判定」が下される。

ステップＳ１においてアプリケーションソフトを起動するための所定の操作が行われたと判断された場合、ステップＳ２において、撮像部１２（図１参照）が駆動される。そして、ステップＳ３では、表示部１１（図１参照）にガイド画面２０（図４参照）が表示される。したがって、図１に示すように、ユーザ１が撮像部１２の前方（Ｚ２側）に所定距離を隔てて顔２を近付けることによって、表示部１１には、顔２の撮影中のプレビュー画面がリアルタイムで表示されるようになる。

その後、ステップＳ４では、シャッターボタンの押下に相当する操作がユーザ１により行われたか否かが判断されるとともに、シャッターボタンの押下に相当する操作が行われたと判断されるまでこの処理が繰り返される。そして、ステップＳ４においてシャッターボタンの押下に相当する操作が行われたと判断された場合、ステップＳ５において、撮像部１２が駆動されて実際の撮像動作が行われる。これにより、その時点でのユーザ１の顔２が撮像された顔画像３０（現在の顔画像３２（図５参照））が取得される。その後、ステップＳ６において、顔画像３０（現在の顔画像３２）のデータが、主メモリ１５ｃ（図３参照）に記憶される。

その後、ステップＳ７では、制御部１５ａ（図３参照）により、主メモリ１５ｃ（図３参照）に過去に撮像された顔画像３１（図５参照）のデータが記憶されているか否かが判断されるとともに、主メモリ１５ｃに過去に撮像された顔画像３１のデータが記憶されていないと判断された場合、本制御が終了される。すなわち、制御部１５ａにより撮像部１２の駆動が停止されるとともに、本アプリケーションソフトが終了される。

また、ステップＳ７において、主メモリ１５ｃに過去に撮像された顔画像３１（図５参照）のデータが記憶されていると判断された場合、ステップＳ８において、その過去に撮像された顔画像３１のデータに含まれる色の情報が制御部１５ａ（図３参照）により取得される。この場合、図５に示すように、顔画像３１のデータに含まれる顔画像３１全体の顔面皮膚色Ａ１、眼球部２ａにおける黒眼部の色Ａ２、眼球部２ａにおける白眼部の色Ａ３および眼下領域２ｂにおける眼下皮膚色Ａ４が制御部１５ａ（図３参照）により取得される。

また、ステップＳ９において、主メモリ１５ｃに記憶されている現在撮像されたばかりの顔画像３２のデータに含まれる色の情報が制御部１５ａ（図３参照）により取得される。この場合、図５に示すように、顔画像３２のデータに含まれる顔画像３２全体の顔面皮膚色Ｂ１、眼球部２ａにおける黒眼部の色Ｂ２、眼球部２ａにおける白眼部の色Ｂ３および眼下領域２ｂにおける眼下皮膚色Ｂ４が制御部１５ａ（図３参照）により取得される。

そして、本実施形態では、ステップＳ１０において、顔画像３１内の画像３１ａ（眼球部２ａの部分）や画像３１ｂ（眼下領域２ｂの部分）が有する以前の色（黒眼部の色Ａ２、白眼部の色Ａ３または眼下皮膚色Ａ４）に対する、色補正がなされた顔画像３２の画像３２ａ（眼球部２ａの部分）や画像３２ｂ（眼下領域２ｂの部分）が有する現在の色（黒眼部の色Ｂ２、白眼部の色Ｂ３または眼下皮膚色Ｂ４）の変化量が、制御部１５ａによって把握される。すなわち、図５においては、顔画像３１全体の顔面皮膚色Ａ１から顔画像３２全体の顔面皮膚色Ｂ１への変化量ΔＣ１が予め加味された上で、眼球部２ａにおける黒眼部の色Ａ２から黒眼部の色Ｂ２への変化量ΔＣ２および眼球部２ａにおける白眼部の色Ａ３から白眼部の色Ｂ３への変化量ΔＣ３や、眼下領域２ｂにおける眼下皮膚色Ａ４から眼下皮膚色Ｂ４への変化量ΔＣ４などが把握される。

そして、ステップＳ１１では、ステップＳ１０で制御部１５ａにより算出された色の変化量に応じた健康管理情報が生成される。この場合、眼球部２ａにおける黒眼部の色Ａ２から黒眼部の色Ｂ２への変化量ΔＣ２に応じた診断基準に基づいて、眼球の健康に関する健康管理情報が生成されるとともに、眼球部２ａにおける白眼部の色Ａ３から白眼部の色Ｂ３への変化量ΔＣ３に応じた診断基準に基づいて、眼球の健康に関する別な健康管理情報が生成される。また、眼下領域２ｂにおける眼下皮膚色Ａ４から眼下皮膚色Ｂ４への変化量ΔＣ４に応じた診断基準に基づいて、皮膚の変色に関連する人体各部（内蔵など）の健康に関する健康管理情報が生成される。

なお、ステップＳ１０においては、ユーザ１の過去の顔画像３１から現在の顔画像３２への単なる色の変化量（正味の色の変化量）に基づいた健康管理情報の生成のみならず、図７に示すように、ユーザ１の画像３１ａ（眼球部２ａの部分）および画像３１ｂ（眼下領域２ｂの部分）を含む顔画像３２において過去の時点で発生せずに現在の時点で顔２（図１参照）に発生した色素斑（シミ、あざなど）または腫瘍状の部分（湿疹、せつ（おでき）、ほくろなど）５１についても認識する演算処理が行われる。すなわち、無彩色画像にデータ変換された顔画像３１全体の白黒部分を反転させた第１反転画像３５と、顔画像３２全体の白黒部分を反転させた第２反転画像３６とを重ね合わせて合成画像３７が内部的に作成されるとともに、合成画像３７において色素斑または腫瘍状の部分５１が存在するか否かが制御部１５ａ（図３参照）により判別される。したがって、ステップＳ１１においては、演算処理の結果、色素斑または腫瘍状の部分５１が発生したことが認識された場合には、この点に関する情報についても健康管理情報に付加される。

そして、ステップＳ１２では、ステップＳ１１で生成された健康管理情報（たとえばメッセージ９１（図６参照）など）が表示部１１（図６参照）に表示される。このようにして、本制御は終了される。

本実施形態では、上記のように、撮像部１２により過去の時点で取得された画像３１ａ（眼球部２ａの部分）および画像３１ｂ（眼下領域２ｂの部分）を含む顔画像３１全体の顔面皮膚色Ａ１に対する、現在の時点で取得された画像３２ａ（眼球部２ａの部分）および画像３２ｂ（眼下領域２ｂの部分）を含む顔画像３２全体の顔面皮膚色Ｂ１への色の変化（ΔＣ１）を加味して、主メモリ１５ｃに記憶された過去の時点での眼球部２ａの黒眼部の色Ａ２（白眼部の色Ａ３または眼下領域２ｂの眼下皮膚色Ａ４）に対する、現在の時点での黒眼部の色Ｂ２（白眼部の色Ｂ３または眼下領域２ｂの眼下皮膚色Ｂ４）の色の変化量（ΔＣ２、ΔＣ３およびΔＣ４）を検出する制御部１５ａを設ける。これにより、眼球部２ａ（または眼下領域２ｂ）の色の変化量は、眼球部２ａおよび眼下領域２ｂを含む顔画像３０全体の過去（＝顔画像３１）から現在（＝顔画像３２）への色の変化が加味された上での色の変化量となるので、ユーザ１の体調や病状などに直接関係した色の変化の要因に加えて、これ以外の要因としてたとえば皮膚の日焼けや美容（スキンケア）に伴う美白などに由来する色の変化にも基づいて上記した眼球部２ａまたは眼下領域２ｂの色の変化量を検出することができる。したがって、眼球部２ａまたは眼下領域２ｂの色の変化量に基づいて健康管理情報（メッセージ９１）などを生成する際の正確さおよび的確さが向上されるので、この情報端末装置１００を使用してユーザ１が健康管理に関する自己診断を正確に行うことができる。

また、本実施形態では、制御部１５ａにより検出された色の変化量に基づいてユーザ１の健康管理情報（メッセージ９１）が生成されて表示部１１に表示されるように構成する。これにより、ユーザ１は表示部１１に表示された健康管理情報（メッセージ９１）に基づいて健康管理に関する自己診断を容易に行うことができる。

また、本実施形態では、表示部１１に表示されるメッセージ９１は、制御部１５ａによる顔画像３０の色の変化量（演算処理結果）に基づいてユーザ１の健康状態が判定された判定結果を含んでいる。これにより、ユーザ１自身による自己診断のみならず健康管理情報（メッセージ９１）に基づく制御部１５ａによる健康状態の評価が加わる分、ユーザ１は、情報端末装置１００を使用してより正確かつ的確な健康状態の診断結果を得ることができる。

また、本実施形態では、過去の時点で取得された画像３１ａ（眼球部２ａの部分）および画像３１ｂ（眼下領域２ｂの部分）を含む顔画像３１全体に対する現在の時点で取得された画像３２ａ（眼球部２ａの部分）および画像３２ｂ（眼下領域２ｂの部分）を含む顔画像３２全体におけるユーザ１の顔２の皮膚の色の変化を加味して過去の時点での画像３１ａ（３１ｂ）に対する現在の時点での画像３２ａ（３２ｂ）の色の変化量が検出（把握）された結果（過去の時点での眼球部２ａの黒眼部の色Ａ２、白眼部の色Ａ３または眼下領域２ｂの眼下皮膚色Ａ４に対する、現在の時点での黒眼部の色Ｂ２、白眼部の色Ｂ３または眼下皮膚色Ｂ４の色の変化量をそれぞれ検出した結果）に基づいて、ユーザ１の健康管理情報（メッセージ９１）を生成する制御を行うように制御部１５ａを構成する。これにより、画像３０ａおよび３０ｂを含む顔画像３０全体の過去（＝顔画像３１）から現在（＝顔画像３２）への顔２の皮膚の色の変化が加味された上で検出（把握）された画像３１ａから３２ａ（画像３１ｂから３２ｂ）の色の変化量に基づいて健康管理情報（メッセージ９１）を生成することができる。すなわち、画像３０ａ（眼球部２ａの部分）および画像３０ｂ（眼下領域２ｂの部分）の色の変化にはユーザ１の顔２の皮膚の色の変化に関する諸要因が大きく関与する可能性があるので、顔２の皮膚の色の変化が加味される分、より正確かつ的確な健康管理情報（メッセージ９１）を生成することができる。

また、本実施形態では、過去の時点で取得された画像３１ａ（眼球部２ａの部分）および画像３１ｂ（眼下領域２ｂの部分）を含む顔画像３１と、現在の時点で取得されるとともに過去の時点から現在の時点までのユーザ１の顔２の皮膚の色の変化（顔面皮膚色Ａ１から顔面皮膚色Ｂ１への変化量ΔＣ１）に起因する眼球部２ａおよび眼下領域２ｂの色の変化の影響を取り除くように補正した画像３２ａ（眼球部２ａの部分）および画像３２ｂ（眼下領域２ｂの部分）を含む顔画像３２とが比較されることにより、過去の時点での眼球部２ａおよび眼下領域２ｂに対する現在の時点での眼球部２ａおよび眼下領域２ｂの色の変化量（過去の時点での眼球部２ａの黒眼部の色Ａ２、白眼部の色Ａ３または眼下領域２ｂの眼下皮膚色Ａ４に対する、現在の時点での黒眼部の色Ｂ２、白眼部の色Ｂ３または眼下皮膚色Ｂ４の色の変化量ΔＣ２、ΔＣ３およびΔＣ４）を検出（把握）するように制御部１５ａを構成する。これにより、過去と現在とで互いに比較される眼球部２ａおよび眼下領域２ｂを含む顔画像３０全体においては、皮膚の色の変化を起こす要因のうち、たとえば皮膚の日焼け効果や美容（スキンケア）に伴う美白効果などの諸要因が予め取り除かれるので、ユーザ１の健康管理に直接的に関与しない日焼けまたは美白などによる皮膚の色の変化に関する要因が除外された条件下で、過去の時点に対する現在の時点での眼球部２ａおよび眼下領域２ｂの色の変化量（正味の色の変化量）を正確に把握することができる。この結果、自己診断を正確に行うことが可能な健康管理情報（メッセージ９１）を容易に生成することができる。

また、本実施形態では、無彩色画像（グレースケール画像）としての過去の時点での画像３１ａ（眼球部２ａの部分）および画像３１ｂ（眼下領域２ｂの部分）を含む顔画像３１全体と無彩色画像（グレースケール画像）としての現在の時点での画像３２ａ（眼球部２ａの部分）および画像３２ｂ（眼下領域２ｂの部分）を含む顔画像３２全体とに基づいて、眼球部２ａおよび眼下領域２ｂを含む顔画像３０全体におけるユーザ１の顔２の皮膚の色の変化量ΔＣ１が算出されるように制御部１５ａを構成する。これにより、カラー成分が排除された白色と黒色とその中間色（灰色）とによって構成される無彩色からなる画像全体の明るさ（暗さ）に基づいて、ユーザ１の顔２の皮膚の色の変化量ΔＣ１を容易に算出することができる。また、制御部１５ａが行う画像処理においては無彩色画像のデータが取り扱われるので、カラー画像のデータを取り扱う場合と比較して制御部１５ａ（情報端末装置１００）の処理負荷を格段に抑えることができる。

また、本実施形態では、過去の時点での眼球部２ａ（黒眼部の色Ａ２または白眼部の色Ａ３）および眼下領域２ｂ（眼下皮膚色Ａ４）に対する現在の時点での眼球部２ａ（黒眼部の色Ｂ２または白眼部の色Ｂ３）および眼下領域２ｂ（眼下皮膚色Ｂ４）の色の変化量が所定の閾値を超えた場合に、眼球部２ａおよび眼下領域２ｂの色の変化量ΔＣ２、ΔＣ３およびΔＣ４に応じた健康管理情報（メッセージ９１）を生成するように制御部１５ａを構成する。これにより、眼球部２ａおよび眼下領域２ｂの色の変化量が閾値に満たないような場合には健康管理情報を生成させることなく、眼球部２ａおよび眼下領域２ｂの色の変化量が閾値を超えた場合にのみ健康管理情報（メッセージ９１）を生成させることができる。すなわち、通常であれば無視し得るような眼球部２ａおよび眼下領域２ｂの色の変化量に対して過剰に対応する（間違った健康管理情報を生成する）ことなく、無視し得ない眼球部２ａおよび眼下領域２ｂの色の変化量ΔＣ２、ΔＣ３およびΔＣ４に対して真に必要とされる健康管理情報のみを生成することができるので、より正確かつ的確な健康管理情報をユーザ１に対して提供することができる。

また、本実施形態では、過去の時点で取得された眼球部２ａおよび眼下領域２ｂにおける光の３原色に対応する各色階調値（赤色階調値、緑色階調値および青色階調値）と、現在の時点で取得された眼球部２ａおよび眼下領域２ｂにおける光の３原色に対応する各色階調値（赤色階調値、緑色階調値および青色階調値）とを、赤色同士、緑色同士および青色同士でそれぞれ比較することにより、眼球部２ａおよび眼下領域２ｂの色の変化量ΔＣ２、ΔＣ３およびΔＣ４を検出（把握）するように制御部１５ａを構成する。これにより、過去と現在とでの眼球部２ａおよび眼下領域２ｂにおける光の３原色に対応する赤色の変化量、緑色の変化量、および、青色の変化量の３つの変化量を指標として眼球部２ａおよび眼下領域２ｂの画像３０ａおよび画像３０ｂの色の変化量ΔＣ２、ΔＣ３およびΔＣ４を検出（把握）することができる。すなわち、制御部１５ａ（情報端末装置１００）が行う画像処理においては、このような色の変化量の把握を容易に行うことができる。

また、本実施形態では、過去の時点で取得された眼球部２ａ（画像３１ａ）および眼下領域２ｂ（画像３１ｂ）における光の３原色に対応する各色階調値（赤色階調値、緑色階調値および青色階調値）の各々の平均値と、現在の時点で取得された眼球部２ａ（画像３２ａ）および眼下領域２ｂ（画像３２ｂ）における光の３原色に対応する各色階調値（赤色階調値、緑色階調値および青色階調値）の各々の平均値とが各色（赤色、緑色および青色の）毎に比較されることにより、眼球部２ａおよび眼下領域２ｂの色の変化量ΔＣ２、ΔＣ３およびΔＣ４が検出（把握）されるように制御部１５ａを構成する。これにより、眼球部２ａおよび眼下領域２ｂ（画像３０ａおよび画像３０ｂ）が撮像された画像を構成する個々の画素単位で各色階調値（赤色、緑色および青色）の変化量を把握する場合と比較して、個々の画素が有する各色階調値の各々の平均値を用いる分、過去と現在とでの比較の対象となるデータ量を削減させることができる。したがって、制御部１５ａ（情報端末装置１００）の処理負荷を格段に抑えることができるとともに、処理を迅速に行うことができる。

また、本実施形態では、画像３０ａ（眼球部２ａの部分）および画像３０ｂ（眼下領域２ｂの部分）を含む顔画像３０において過去の時点で発生せずに現在の時点で顔２に発生した色素斑（シミ、あざなど）または腫瘍状の部分（湿疹、せつ（おでき）、ほくろなど）が制御部１５ａにより認識されるように構成されている。そして、認識された色素斑または腫瘍状の部分の情報を加味して生体の健康管理情報（メッセージ９１）を生成するように制御部１５ａを構成する。これにより、眼球部２ａおよび眼下領域２ｂ（画像３０ａおよび画像３０ｂ）の単なる色の変化量を健康管理情報を生成するための判断材料とすることのみならず、色の変化量から生体に新たに発生した色素斑または腫瘍状の部分をも同時に検出（認識）した上で健康管理情報（メッセージ９１）を生成することができるので、ユーザ１の健康管理に関したより現実的（実用的）な健康管理情報をユーザ１に提供することができる。

また、本実施形態では、撮像部１２により取得される画像３０ａ（眼球部２ａの部分）および画像３０ｂ（眼下領域２ｂの部分）を含む顔画像３０は、カラー画像であり、カラー画像から無彩色画像（グレースケール画像）に変換された過去の時点での画像３１ａ（眼球部２ａの部分）および画像３１ｂ（眼下領域２ｂの部分）を含む顔画像３１全体の白色部分および黒色部分を反転させた第１反転画像（画像データ）３５と、現在の時点での画像３２ａ（眼球部２ａの部分）および画像３２ｂ（眼下領域２ｂの部分）を含む顔画像３２全体の白色部分および黒色部分を反転させた第２反転画像（画像データ）３６とが重ね合わされた合成画像（画像データ）３７に基づいて、色素斑または腫瘍状の部分５１がユーザ１の顔２に発生したことを検出するように制御部１５ａを構成する。これにより、制御部１５ａによる第１反転画像３５と第２反転画像３６とを重ね合わせた合成画像３７を用いた画像処理においては、生体に新たに発生する色素斑または腫瘍状の部分５１を容易にかつ精度よく特定することができる。

また、本実施形態では、撮像部１２が眼球部２ａおよび眼下領域２ｂを含む顔画像３０を撮像する際の環境光の種類が入力可能に構成されており、過去の時点で取得された画像３１ａ（眼球部２ａの部分）および画像３１ｂ（眼下領域２ｂの部分）を含む顔画像３１および現在の時点で取得された画像３２ａ（眼球部２ａの部分）および画像３２ｂ（眼下領域２ｂの部分）を含む顔画像３２の少なくとも一方に対して各々の時点において入力された環境光の種類に基づいた色補正が行われた上で、過去の時点で取得された眼球部２ａおよび眼下領域２ｂを含む顔画像３１と現在の時点で取得された眼球部２ａおよび眼下領域２ｂを含む顔画像３２とが比較されることにより、眼球部２ａおよび眼下領域２ｂの色の変化量ΔＣ２、ΔＣ３およびΔＣ４を検出するように制御部１５ａを構成する。これにより、過去と現在とで互いに比較される眼球部２ａおよび眼下領域２ｂを含む顔画像３０全体において、各々の時点における撮像時の環境光に関する条件（撮像条件）を同じ状態に揃えることができる。したがって、過去の時点での眼球部２ａおよび眼下領域２ｂに対する現在の時点での眼球部２ａおよび眼下領域２ｂの色の変化量ΔＣ２、ΔＣ３およびΔＣ４を正確に把握することができる。

なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく特許請求の範囲によって示され、さらに特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれる。

たとえば、上記実施形態では、本発明の「診断対象部位」としてユーザ１の顔２（左右の眼球部２ａの部分および眼下領域２ｂの部分）を適用した例について示したが、本発明はこれに限られない。たとえば、顔２以外の手や足、腹部や胸部または背中部などを診断対象部位として撮像を行うことにより、ユーザ１の健康管理情報を生成するように構成してもよい。また、顔２においても、眼球部以外の、鼻部（鼻頭部、鼻尻部）、唇部、舌部、口端部などの部位が診断対象部位であってもよい。また、色素斑に加えて、皮膚の加齢に伴う皺（ほうれい線）などの判別にも、本発明を適用することが可能である。

また、上記実施形態では、過去の時点で取得された顔画像３１全体から現在の時点で取得された顔画像３２全体への皮膚の色の変化として皮膚の日焼け効果や美容（スキンケア）に伴う美白効果などの要因に関係する皮膚の色の変化を例示したが、本発明はこれに限られない。たとえば、アルコール類が体内に吸収されて皮膚の色が赤く変色したり、日常的（定期的）な医薬品類の服用に起因して皮膚が変色するような場合についても、本発明を適用することによってこのような皮膚の色の変化の影響を取り除いた状態で本発明の「診断対象部位」の色の変化量を正確に把握することが可能である。

また、上記実施形態では、過去の時点で取得された眼球部２ａ（画像３１ａ）および眼下領域２ｂ（画像３１ｂ）における光の３原色に対応する各色階調値（赤色階調値、緑色階調値および青色階調値）の各々の平均値と、現在の時点で取得された眼球部２ａ（画像３２ａ）および眼下領域２ｂ（画像３２ｂ）における光の３原色に対応する各色階調値（赤色階調値、緑色階調値および青色階調値）の各々の平均値とを各色（赤色、緑色および青色の）毎に比較することにより、眼球部２ａおよび眼下領域２ｂの色の変化量を把握する制御を行うように制御部１５ａを構成した例について示したが、本発明はこれに限られない。たとえば、各色階調値における撮像画像（ピクセル）内での平均値を求めない他の方法で撮像画像同士を各色（赤色、緑色および青色の）毎に比較してもよい。

また、上記実施形態では、画像３１ａ（眼球部２ａの部分）が有する色を右眼球部と左眼球部とで平均した値を使用するとともに、画像３１ｂ（眼下領域２ｂの部分）が有する色を右眼下領域と左眼下領域とで平均した値を使用した例について示したが、本発明はこれに限られない。たとえば、右側部位と左側部位とでこのような平均値を算出することなく、右眼球部（右眼下領域）に関する過去と現在との色の変化量、および、左眼球部（左眼下領域）に関する過去と現在との色の変化量を個別に把握してもよい。これにより、生成された健康管理情報が有効となる生体の診断対象部位がより明確に特定されるので、ユーザにとっても、健康管理情報がより有益なものとなる。

また、上記実施形態では、色の変化量を光の３原色に対応する各色階調値（Ｒ：赤色階調値、Ｇ：緑色階調値およびＢ：青色階調値）を用いて把握するように構成した例について示したが、本発明はこれに限られない。色データの定量的な評価手法として、ＲＧＢ階調値以外の減法混合の表現であるＣＭＹ（Ｋ）方式や、輝度信号と色差信号とからなるＹＵＶ方式を用いて色データを定量化してもよい。

また、上記実施形態では、メッセージ９１を表示部１１に表示させてユーザ１に健康管理情報を通知するように構成した例について示したが、本発明はこれに限られない。たとえば、メッセージ９１を音声データに変換した上でスピーカ１７から音声出力させることにより、ユーザ１に健康管理情報を通知するように構成してもよい。

また、上記実施形態では、表示部１１に一般的な顔の大まかな構成を模したガイド画面２０を表示してユーザ１の顔２の撮像時の体勢を誘導した例について示したが、本発明はこれに限られない。画像認識技術を用いてユーザ１の顔２の各要素（眉毛、目、鼻、口など）を認識するとともに、この認識結果に基づきスピーカ１７からガイド用の音声を出力してユーザ１の顔２の撮像時の体勢を誘導するように構成してもよい。

また、上記実施形態では、照度センサ１３の検出結果によって環境光（明るさ）があまりにも小さい（暗すぎる）と判断された場合、「明るくしてください」というようなメッセージが表示部１１に表示されるように構成した例について示したが、本発明はこれに限られない。情報端末装置１００にＬＥＤなどの光源部を設けておき、環境光が不足する場合には、光源部を発光させて撮像時の光量を補うように構成してもよい。この場合、照度センサ１３との制御を連携させることにより、光量の不足分に応じて光源部の光量が調整可能とされるのが好ましい。光量の調整可能な光源部を設けることにより、撮像時の光量をおおよそ一定に保つことが可能となるので、毎回撮像される画像（診断対象部位を含む画像全体）の質を安定して得ることができる。

また、上記実施形態では、人体（ユーザ１）を撮像した例について示したが、本発明はこれに限られない。人体以外の、犬や猫などのペット類や、研究目的で飼育されている犬、猫、猿、マウスなどを含めた動物（生体）を撮像することによってこれらの生体の健康管理を行う場合にも、本発明を適用することが可能である。

また、上記実施形態では、単に相対的に過去の時点で撮像された顔画像３１と現在の時点で撮像された顔画像３２とを比較した例について示したが、本発明はこれに限られない。すなわち、１年前の顔画像３１と現在の顔画像３２とを比較した結果、１ヶ月前の顔画像３１と現在の顔画像３２とを比較した結果、１週間前の顔画像３１と現在の顔画像３２とを比較した結果、１日前の顔画像３１と現在の顔画像３２とを比較した結果などを主メモリ１５ｃに逐次記憶させておき、各結果間での色の変化（トレンド）をグラフ化したデータに基づいて、本発明の「健康管理情報」が生成されるように構成してもよい。また、過去における新旧での顔画像同士の比較結果を順次主メモリ１５ｃに蓄積しておいて、健康状態の変遷を把握した上で、本発明の「健康管理情報」が生成されるように構成してもよい。この点については、何ら制限は設けられない。

また、上記実施形態では、説明の便宜上、情報端末装置１００の制御部１５ａの制御処理を、処理フローに沿って順番に処理を行うフロー駆動型のフローチャートを用いて説明したが、本発明はこれに限られない。本発明では、制御部１５ａの制御処理を、イベント単位で処理を実行するイベント駆動型（イベントドリブン型）の処理により行ってもよい。この場合、完全なイベント駆動型で行ってもよいし、イベント駆動およびフロー駆動を組み合わせて行ってもよい。

１ ユーザ（生体）
２ 顔（診断対象部位）
２ａ 眼球部（診断対象部位）
２ｂ 眼下領域（診断対象部位）
１２ 撮像部
１５ａ 制御部（検出部、生成部、判定部）
１５ｃ 主メモリ（記憶部）
３０ 顔画像（診断対象部位を含む画像）
３０ａ、３０ｂ 画像（診断対象部位を含む画像）
３１ 顔画像（過去の時点で取得された診断対象部位を含む画像）
３１ａ、３１ｂ 画像（過去の時点で取得された診断対象部位を含む画像）
３２ 顔画像（現在の時点で取得された診断対象部位を含む画像）
３２ａ、３２ｂ 画像（現在の時点で取得された診断対象部位を含む画像）
３５ 第１反転画像
３６ 第２反転画像
３７ 合成画像
５１ 色素斑または腫瘍状の部分
９１ メッセージ（健康管理情報）
１００ 情報端末装置

Claims (12)

1. 生体における診断対象部位を含む画像を取得する撮像部と、
   前記撮像部により取得された前記画像から診断対象部位の診断データを抽出する診断データ抽出部と、
   前記撮像部により取得された前記画像および診断データ抽出部により抽出された前記診断データを記憶する記憶部と、
   前記撮像部により過去の時点で取得された前記診断対象部位を含む画像全体に対する現在の時点で取得された前記診断対象部位を含む画像全体の色の変化を加味して、前記記憶部に記憶された第１の診断データと前記第１の診断データよりも新しい第２の診断データとから前記診断対象部位の色の変化量を検出する検出部とを備える、情報端末装置。
2. 前記検出部により検出された色の変化量に基づいて前記生体の健康管理情報を生成する生成部をさらに備える、請求項１に記載の情報端末装置。
3. 前記健康管理情報に基づいて健康状態を判定する判定部をさらに備える、請求項２に記載の情報端末装置。
4. 前記生成部は、過去の時点で取得された前記診断対象部位を含む画像全体に対する現在の時点で取得された前記診断対象部位を含む画像全体における前記生体の皮膚の色の変化を加味して前記第１の診断データに対する前記第２の診断データの前記診断対象部位の色の変化量が前記検出部により検出された結果に基づいて、前記生体の健康管理情報を生成するように構成されている、請求項２または３に記載の情報端末装置。
5. 前記検出部は、過去の時点で取得された前記診断対象部位を含む画像と、現在の時点で取得されるとともに過去の時点から現在の時点までの皮膚の色の変化に起因する前記診断対象部位の色の変化の影響を取り除くように補正した前記診断対象部位を含む画像とが比較されることにより、前記第１の診断データに対する前記第２の診断データの前記診断対象部位の色の変化量を検出するように構成されている、請求項４に記載の情報端末装置。
6. 無彩色画像としての過去の時点での前記診断対象部位を含む画像全体と無彩色画像としての現在の時点での前記診断対象部位を含む画像全体とに基づいて、前記診断対象部位を含む画像全体における前記生体の皮膚の色の変化量が算出されるように構成されている、請求項４または５に記載の情報端末装置。
7. 前記生成部は、前記第１の診断データに対する前記第２の診断データの前記診断対象部位の色の変化量が所定の閾値を超えた場合に、前記診断対象部位の色の変化量に応じた前記健康管理情報を生成するように構成されている、請求項２〜６のいずれか１項に記載の情報端末装置。
8. 前記検出部は、過去の時点で取得された前記診断対象部位における光の３原色に対応する各色階調値と、現在の時点で取得された前記診断対象部位における光の３原色に対応する各色階調値とを各色毎に比較することにより、前記第１の診断データに対する前記第２の診断データの前記診断対象部位の色の変化量を検出するように構成されている、請求項２〜７のいずれか１項に記載の情報端末装置。
9. 過去の時点で取得された前記診断対象部位における光の３原色に対応する各色階調値の各々の平均値と、現在の時点で取得された前記診断対象部位における光の３原色に対応する各色階調値の各々の平均値とが各色毎に比較されることにより、前記第１の診断データに対する前記第２の診断データの前記診断対象部位の色の変化量が前記検出部により検出されるように構成されている、請求項８に記載の情報端末装置。
10. 前記診断対象部位を含む画像において過去の時点で発生せずに現在の時点で前記生体に発生した色素斑または腫瘍状の部分が前記検出部により検出可能に構成されており、
    前記生成部は、前記検出部により検出された前記色素斑または腫瘍状の部分の情報を加味して前記生体の健康管理情報を生成するように構成されている、請求項２〜９のいずれか１項に記載の情報端末装置。
11. 前記撮像部により取得される前記診断対象部位を含む画像は、カラー画像であり、
    前記検出部は、前記カラー画像から無彩色画像に変換された過去の時点での前記診断対象部位を含む画像全体の白色部分および黒色部分を反転させた第１反転画像と、現在の時点での前記診断対象部位を含む画像全体の白色部分および黒色部分を反転させた第２反転画像とが重ね合わされた合成画像に基づいて、前記色素斑または腫瘍状の部分が前記生体に発生したことを検出するように構成されている、請求項１０に記載の情報端末装置。
12. 前記撮像部が前記診断対象部位を含む画像を撮像する際の環境光の種類が入力可能に構成されており、
    前記検出部は、過去の時点で取得された前記診断対象部位を含む画像および現在の時点で取得された前記診断対象部位を含む画像の少なくとも一方に対して各々の時点において入力された前記環境光の種類に基づいた色補正が行われた上で、過去の時点で取得された前記診断対象部位を含む画像と現在の時点で取得された前記診断対象部位を含む画像とが比較されることにより、前記第１の診断データに対する前記第２の診断データの前記診断対象部位の色の変化量を検出するように構成されている、請求項１〜１１のいずれか１項に記載の情報端末装置。

Images