JP2021016471A - Image display device and image display control method - Google Patents

Abstract

To provide an image display device that acquires stable color information by reducing influence of external light in an environment capturing a captured image and enables a disease of a user to be highly accurately estimated from color information on a skin, such as a face, of the user obtained from the captured image without requiring provision of a special device for a health management system.SOLUTION: An image display device of the present invention comprises: a display panel; an imaging unit; an imaging control unit making the imaging unit capture a captured image of a user; a face authentication processing unit extracting the image of the face of the user from the captured image thereby authenticating the face image; a video image processing unit that from the face image extracted from the captured image, extracts color information in each of element regions being regions of face components; an arithmetic processing unit determining whether or not a difference between respective color information on the element regions in a preset specific period exceeds a predetermined threshold; and a warning notification control unit notifying warning information when the difference exceeds the predetermined threshold. In capturing a captured image from which color information on the components is to be extracted, white display is performed on the display panel.SELECTED DRAWING: Figure 1

Description

本発明は、画像表示装置及び画像表示制御方法に関する。 The present invention relates to an image display device and an image display control method.

従来から、利用者の健康管理を行うため、様々な健康状態を示すデータである健康データを計測する電子機器が一般向けに市販されている。
例えば、利用者の体重を計測する対象とする場合に体重計、脈拍を計測する対象とする場合に脈拍計、血圧を計測する対象とする場合に血圧計などがある。 Conventionally, in order to manage the health of users, electronic devices that measure health data, which are data indicating various health conditions, have been commercially available to the general public.
For example, there are a weight scale when the target is to measure the weight of the user, a pulse meter when the target is to measure the pulse, and a sphygmomanometer when the target is to measure the blood pressure.

上述したように、電子機器のそれぞれは計測する対象が一つの機能であるため、利用者が計測した健康データにより、自身の病気の症状に対応した健康状態を明確に推定することが困難である。
そのため、利用者の顔色の撮像を行い、撮像した撮像画像から肌（皮膚）の色に基づき、この利用者の健康状態を病気の症状に対応して推定する健康管理システムがある（例えば、特許文献１参照）。 As described above, since each electronic device has one function to be measured, it is difficult to clearly estimate the health condition corresponding to the symptom of one's own disease from the health data measured by the user. ..
Therefore, there is a health management system that captures the complexion of the user and estimates the health condition of the user according to the symptoms of the disease based on the color of the skin (skin) from the captured image (for example, patent). Reference 1).

特開２０１８−０４２８１１号公報Japanese Unexamined Patent Publication No. 2018-042811

特許文献１の撮像画像を用いた病状の推定方法の場合、顔などの皮膚の色情報（例えば、測色値）は、撮像画像を撮像した環境下の光源における放射輝度の分光分布の違いにより大きく変動する。
このため、顔の皮膚の色情報により、利用者の病気の症状を精度良く推定するためには、一定の色温度（あるいは分光分布）の光源下で撮像画像を撮像する必要がある。 In the case of the method of estimating the medical condition using the captured image of Patent Document 1, the color information (for example, color measurement value) of the skin such as the face depends on the difference in the spectral distribution of the radiance in the light source under the environment in which the captured image is captured. It fluctuates greatly.
Therefore, in order to accurately estimate the symptom of the user's disease from the color information of the skin of the face, it is necessary to capture the captured image under a light source having a constant color temperature (or spectral distribution).

しかしながら、特許文献１においては、撮像を行う環境（撮像環境）における光源についての考慮がなされていない。
例えば、室内に配設された蛍光灯を光源とした撮像環境においては、外光（窓から入射する太陽光）の影響などによる色情報の変動により、撮像画像を用いた症病（病気などの症状）を推定する処理が、十分な精度で行えない。 However, in Patent Document 1, no consideration is given to the light source in the imaging environment (imaging environment).
For example, in an imaging environment using a fluorescent lamp arranged indoors as a light source, illnesses (illnesses, etc.) using captured images due to fluctuations in color information due to the influence of external light (sunlight incident from a window). The process of estimating the symptom) cannot be performed with sufficient accuracy.

また、特許文献１の場合には、利用者が健康管理システムを新たに導入する必要があり、利用者の負担となることが考えられる。
この健康管理システムをアプリケーションプログラムとして、パーソナルコンピュータにインストールして運用する構成も考えられる。
しかし、利用者がパーソナルコンピュータを所有していない場合、あるいは所有していたとしても操作の素養が無い場合、健康管理システムを利用した症病の推定を行うことが困難である。 Further, in the case of Patent Document 1, the user needs to newly introduce a health management system, which may be a burden on the user.
A configuration in which this health management system is installed and operated on a personal computer as an application program is also conceivable.
However, if the user does not own a personal computer, or even if he / she does have one, it is difficult to estimate the illness using the health management system.

本発明は、このような事情に鑑みてなされたもので、撮像画像を撮像する環境における外光の影響を低減して安定な色情報を取得し、かつ特別な健康管理システムの装置を設けずに、撮像画像から得られる利用者の顔などの皮膚の色情報から、この利用者の症病の推定を精度良く行う画像表示装置及び画像表示制御方法を提供する。 The present invention has been made in view of such circumstances, reduces the influence of external light in the environment in which the captured image is captured, acquires stable color information, and does not provide a special health management system device. Further, an image display device and an image display control method for accurately estimating a user's illness or illness from skin color information such as a user's face obtained from an captured image are provided.

上述した課題を解決するために、本発明の画像表示装置は、表示パネルと、撮像部と、前記撮像部に利用者の撮像画像を撮像させる撮像制御部と、前記撮像部が撮像する前記撮像画像から前記利用者の顔画像を抽出し、当該利用者の認証を行う顔認証処理部と、前記顔認証部が前記撮像画像から抽出した顔画像から、顔の構成要素の領域である要素領域の各々における色情報を抽出する映像処理部と、予め設定された特定の期間における、前記要素領域の各々の前記色情報の差分が所定の閾値を超えるか否かの判定を行う演算処理部と、前記差分が前記所定の閾値を超えた場合、警告情報を通知する警告通知制御部とを備え、前記顔認証処理部が構成要素の色情報を抽出する撮像画像を前記撮像部に撮像させる際、前記表示パネルを白表示とすることを特徴とする。 In order to solve the above-mentioned problems, the image display device of the present invention includes a display panel, an image pickup unit, an image pickup control unit that causes the image pickup unit to capture an image captured by a user, and the image pickup captured by the image pickup unit. An element area that is a component region of a face from a face recognition processing unit that extracts the user's face image from the image and authenticates the user and a face image that the face recognition unit extracts from the captured image. An image processing unit that extracts color information in each of the above, and an arithmetic processing unit that determines whether or not the difference of the color information in each of the element regions exceeds a predetermined threshold in a predetermined specific period. When the face recognition processing unit is provided with a warning notification control unit for notifying warning information when the difference exceeds the predetermined threshold value, and the face recognition processing unit causes the imaging unit to take an image for extracting color information of a component. , The display panel is white.

本発明の画像表示制御方法は、撮像制御部が撮像部に利用者の撮像画像を撮像させる撮像制御過程と、顔認証処理部が、前記撮像部が撮像する前記撮像画像から前記利用者の顔画像を抽出し、当該利用者の認証を行う顔認証処理過程と、映像処理部が、前記顔認証部が前記撮像画像から抽出した顔画像から、顔の構成要素の領域である要素領域の各々における色情報を抽出する映像処理過程と、演算処理部が、予め設定された特定の期間における、前記要素領域の各々の前記色情報の差分が所定の閾値を超えるか否かの判定を行う演算処理過程と、警告通知制御部が前記差分が前記所定の閾値を超えた場合、警告情報を通知する警告通知制御過程と、前記顔認証処理部が、構成要素の色情報を抽出する撮像画像を前記撮像部に撮像させる際、画像表示装置の表示パネルを白表示とする過程とを含むことを特徴とする。 The image display control method of the present invention includes an imaging control process in which an imaging control unit causes an imaging unit to image a user's image, and a face recognition processing unit uses the image captured by the imaging unit to capture the user's face. Each of the face recognition processing process of extracting an image and authenticating the user and the element area which is a component area of the face from the face image extracted by the face recognition unit from the captured image by the image processing unit. The image processing process for extracting the color information in the above, and the calculation processing unit determines whether or not the difference between the color information in each of the element regions exceeds a predetermined threshold in a predetermined specific period set in advance. The processing process, the warning notification control process for notifying the warning information when the difference exceeds the predetermined threshold, and the captured image in which the face recognition processing unit extracts the color information of the component. It is characterized by including a process of displaying a white display on the display panel of the image display device when the image pickup unit is made to take an image.

以上説明したように、本発明によれば、撮像画像を撮像する環境における外光の影響を低減して安定な色情報を取得し、かつ特別な健康管理システムの装置を設けずに、撮像画像から得られる利用者の顔などの皮膚の色情報から、この利用者の症病の推定を精度良く行う画像表示装置及び画像表示制御方法を提供することが可能となる。 As described above, according to the present invention, the influence of external light in the environment for capturing the captured image is reduced to obtain stable color information, and the captured image is captured without providing a special health management system device. It is possible to provide an image display device and an image display control method for accurately estimating the disease and illness of the user from the color information of the skin such as the face of the user obtained from the above.

本発明の一実施形態による画像表示装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image display apparatus by one Embodiment of this invention. 利用者データベースに書き込まれて記憶されている利用者データテーブルの構成例を示す図である。It is a figure which shows the configuration example of the user data table which is written and stored in a user database. 色情報データベースに書き込まれて記憶されている色情報データテーブルの構成例を示す図である。It is a figure which shows the configuration example of the color information data table which is written and stored in a color information database. 色情報データベースに書き込まれて記憶されている構成要素データテーブルの構成例を示す図である。It is a figure which shows the structural example of the component data table which is written and stored in a color information database. 症病データベースに書き込まれて記憶されている症病データテーブルの構成例を示す図である。It is a figure which shows the structural example of the illness data table written and stored in the illness database. 通知先データベースに書き込まれて記憶されている通知先データテーブルの構成例を示す図である。It is a figure which shows the configuration example of the notification destination data table which is written and stored in the notification destination database. 本発明の一実施形態による画像表示装置における撮像画像を用いた症病推定処理の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the disease-disease estimation process using the captured image in the image display apparatus by one Embodiment of this invention. 本発明の実施形態の概念を説明する図である。It is a figure explaining the concept of embodiment of this invention.

以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本発明の一実施形態による画像表示装置の構成例を示すブロック図である。図１において、本実施形態においては、画像表示装置１００が、例えば、画像表示制御部１０１、撮像制御部１０２、顔認証処理部１０３、映像処理部１０４、演算処理部１０５、警告通知制御部１０６、撮像部１０７、表示パネル１０８、利用者データベース１０９、色情報データベース１１０、症病データベース１１１及び通知先データベース１１２の各々を備えている。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration example of an image display device according to an embodiment of the present invention. In FIG. 1, in the present embodiment, the image display device 100 is, for example, an image display control unit 101, an image pickup control unit 102, a face recognition processing unit 103, a video processing unit 104, an arithmetic processing unit 105, and a warning notification control unit 106. The image pickup unit 107, the display panel 108, the user database 109, the color information database 110, the illness database 111, and the notification destination database 112 are provided.

画像表示制御部１０１は、不図示の映像出力装置から出力された映像信号を入力し、当該映像信号から表示パネルに表示する画像の生成、この画像の拡大及び縮小を行うスケーリング、その際の補間処理などの映像処理を行い、表示パネル１０８に画像を出力する。
また、画像表示制御部１０１は、所定の目標輝度値及び目標色度値に対応して、表示パネルの輝度値及び色度値を調整する。輝度値は、例えば、表示パネルのバックライトの輝度調整により行う。 The image display control unit 101 inputs a video signal output from a video output device (not shown), generates an image to be displayed on the display panel from the video signal, scales the image to be enlarged or reduced, and interpolates at that time. Video processing such as processing is performed, and an image is output to the display panel 108.
Further, the image display control unit 101 adjusts the brightness value and the chromaticity value of the display panel in accordance with the predetermined target brightness value and the target chromaticity value. The brightness value is determined, for example, by adjusting the brightness of the backlight of the display panel.

画像表示制御部１０１は、撮像制御部１０２が撮像部１０７に対して健康チェック用撮像画像を撮像させる際、表示パネル１０８のピクセルの全てを白表示とする制御を行う。例えば、画像表示制御部１０１は、表示パネル１０８の各ピクセルを白表示として、ｓＲＧＢ（standard RGB（Red、Green、Biue））モードで色温度６５００ｋとした表示色とする。本実施形態においては、表示パネル１０８を、後述する顔画像の色情報の経時変化を高い精度で検出するため、外光などの影響を低減する目的で、一定の色温度の光源として用いている。 The image display control unit 101 controls that when the image pickup control unit 102 causes the image pickup unit 107 to take an image of a health check image, all the pixels of the display panel 108 are displayed in white. For example, the image display control unit 101 sets each pixel of the display panel 108 as a white display and sets the display color as a color temperature of 6500 k in the sRGB (standard RGB (Red, Green, Biue)) mode. In the present embodiment, the display panel 108 is used as a light source having a constant color temperature for the purpose of reducing the influence of external light and the like in order to detect the time-dependent change of the color information of the face image described later with high accuracy. ..

撮像制御部１０２は、所定の撮像指示に対応して、撮像部１０７に撮像画像（健康チェック用撮像画像を含む）を撮像させ、顔認証処理部１０３に出力する。ここで、健康チェック用撮像画像は、利用者の健康チェックに用いる顔画像の色情報を取得するための撮像画像である（後述）。 The image pickup control unit 102 causes the image pickup unit 107 to take an image of an image (including an image for health check) in response to a predetermined image pickup instruction, and outputs the image to the face recognition processing unit 103. Here, the captured image for health check is an captured image for acquiring color information of the face image used for the health check of the user (described later).

ここで、撮像指示は、例えば、画像表示装置１００の制御を行うリモコンの操作ボタンにおける、健康チェックの機能を起動させるボタンが押下された際、あるいはボタンが押下された後に設定された所定の時間となった際、撮像部１０７に対して撮像画像を撮像させる制御を行う。するに、予め登録されている利用者が認証された場合に、健康チェック用撮像画像を撮像する。 Here, the imaging instruction is, for example, a predetermined time set when the button for activating the health check function in the operation button of the remote controller that controls the image display device 100 is pressed, or after the button is pressed. When the result becomes, the image pickup unit 107 is controlled to capture the captured image. In order to do so, when a pre-registered user is authenticated, a health check image is captured.

顔認証処理部１０３は、撮像部１０７が撮像した撮像画像から人間の顔の領域を検出し、この領域を顔画像として抽出する。
ここで、顔認証処理部１０３は、顔画像から顔の特徴データを抽出する。また、顔認証処理部１０３は、抽出した特徴データと、利用者データベース１０９に予め登録されている利用者の各々の顔の特徴データである参照特徴データとを比較する。 The face recognition processing unit 103 detects a human face region from the captured image captured by the imaging unit 107, and extracts this region as a face image.
Here, the face recognition processing unit 103 extracts face feature data from the face image. Further, the face recognition processing unit 103 compares the extracted feature data with the reference feature data which is the feature data of each face of the user registered in advance in the user database 109.

図２は、利用者データベースに書き込まれて記憶されている利用者データテーブルの構成例を示す図である。利用者データテーブルは、レコード毎に、利用者識別情報 参照特徴データインデックス 利用者属性情報の欄が設けられている。ここで、利用者識別情報は、利用者の個々を識別する情報である。参照特徴データインデックスは、登録されている利用者の各々の顔の特徴を示す参照特徴データの情報が記憶されている、利用者データベース１０９の記憶領域を示すアドレスなどの情報である。利用者属性情報は、利用者の性別、年齢、病歴、職業、好物などの情報である。 FIG. 2 is a diagram showing a configuration example of a user data table written and stored in the user database. The user data table is provided with a column for user identification information reference feature data index user attribute information for each record. Here, the user identification information is information that identifies each user. The reference feature data index is information such as an address indicating a storage area of the user database 109 in which information of reference feature data indicating the facial features of each registered user is stored. The user attribute information is information such as the user's gender, age, medical history, occupation, and favorite food.

そして、顔認証処理部１０３は、抽出した特徴データと一致すると判定された参照特徴データが存在した場合、撮像制御部１０２に対して健康チェック用撮像画像を、撮像部１０７に撮像させる制御情報を出力する。
また、顔認証処理部１０３は、撮像部１０７から供給される健康チェック用撮像画像から健康チェック用顔画像を抽出し、抽出した健康チェック用顔画像を映像処理部１０４に対して出力する。 Then, when the reference feature data determined to match the extracted feature data exists, the face recognition processing unit 103 causes the image pickup control unit 102 to take a health check image to the image pickup unit 107. Output.
Further, the face recognition processing unit 103 extracts a health check face image from the health check captured image supplied from the image pickup unit 107, and outputs the extracted health check face image to the image processing unit 104.

図１に戻り、映像処理部１０４は、顔認証処理部１０３から供給される健康チェック用顔画像から、顔の構成要素の領域である要素領域の各々を抽出する。ここで、顔の構成要素としては、鼻、口、眼球、唇及び皮膚（肌）の各々などである。
そして、映像処理部１０４は、抽出した要素領域のそれぞれにおける色情報（例えば、色度）を抽出する。
また、映像処理部１０４は、利用者単位に、要素領域毎の色情報に日時をタイムスタンプとして付与し、色情報データベース１１０に対して書き込んで記憶させる。すなわち、映像処理部は、構成要素の各々に対応する、顔画像における要素領域それぞれの色情報（例えば、ｘｙ色度）の抽出を行う。 Returning to FIG. 1, the image processing unit 104 extracts each of the element regions, which are the regions of the facial components, from the health check face image supplied from the face authentication processing unit 103. Here, the components of the face include the nose, mouth, eyeballs, lips, and skin (skin).
Then, the video processing unit 104 extracts color information (for example, chromaticity) in each of the extracted element regions.
Further, the video processing unit 104 assigns a date and time as a time stamp to the color information for each element area for each user, and writes and stores the date and time in the color information database 110. That is, the video processing unit extracts the color information (for example, xy chromaticity) of each element region in the face image corresponding to each of the constituent elements.

図３は、色情報データベース１１０に書き込まれて記憶されている色情報データテーブルの構成例を示す図である。色情報データテーブルは、利用者（利用者識別情報）毎に設けられており、レコード毎に、撮像日時及び色情報インデックスの欄が設けられている。撮像日時は、要素領域それぞれの色情報が抽出された健康チェック用撮像画像を撮像した日時である。色情報インデックスは、要素領域それぞれの色情報が示された構成要素データテーブルが記憶されている、色情報データベース１１０の記憶領域を示すアドレスなどの情報である。 FIG. 3 is a diagram showing a configuration example of a color information data table written and stored in the color information database 110. The color information data table is provided for each user (user identification information), and each record is provided with columns for the imaging date and time and the color information index. The imaging date and time is the date and time when the health check captured image from which the color information of each element region is extracted is captured. The color information index is information such as an address indicating a storage area of the color information database 110 in which a component data table showing color information of each element area is stored.

図４は、色情報データベース１１０に書き込まれて記憶されている構成要素データテーブルの構成例を示す図である。構成要素データテーブルはレコード毎に、撮像日時及び色情報インデックスの欄が設けられている。要素領域識別情報は、要素領域の個々を識別する情報である。要素領域名称は、構成要素の要素領域の名称であり、例えば、鼻、口、眼球、唇及び皮膚（肌）の各々などである。色度は、色情報の一例であり、ｘｙ色度における色度値ｘ及び色度値ｙである。 FIG. 4 is a diagram showing a configuration example of a component data table written and stored in the color information database 110. The component data table is provided with columns for imaging date and time and color information index for each record. The element area identification information is information for identifying each element area. The element area name is the name of the element area of the component, for example, each of the nose, mouth, eyeball, lips and skin (skin). The chromaticity is an example of color information, and is a chromaticity value x and a chromaticity value y in xy chromaticity.

図１に戻り、演算処理部１０５は、抽出した利用者の要素領域の各々の色情報と、利用者の過去（例えば、１ヶ月前、６ヶ月前など）における要素領域それぞれの色情報との比較を行う。そして、演算処理部１０５は、この比較において、色情報の差分、ｘｙ色度であれば、ｘｙ色度座標における色情報の色度値ｘ及び色度値ｙの各々の座標値の差分である差分Δｘ、差分Δｙそれぞれによる差分ベクトルを求める。
また、演算処理部１０５は、症病データベース１１１を参照し、差分Δｘ及びΔｙの差分ベクトルの変化方向に対応する症状の閾値（変化量）を検索して読み出す。変化方向と差分ベクトルの長さとが、症状を推定する色情報の変化傾向を示している。そして、演算処理部は、差分Δｘ及びΔｙの差分ベクトルの長さが、検索した閾値（変化量）を超えているか否かの判定を行う。 Returning to FIG. 1, the arithmetic processing unit 105 sets the color information of each of the extracted element areas of the user and the color information of each element area in the past (for example, one month ago, six months ago, etc.) of the user. Make a comparison. Then, in this comparison, the arithmetic processing unit 105 is the difference in color information, and in the case of xy chromaticity, the difference between the chromaticity value x and the chromaticity value y of the color information in the xy chromaticity coordinates. The difference vector based on each of the difference Δx and the difference Δy is obtained.
Further, the arithmetic processing unit 105 refers to the disease database 111, searches for and reads out the threshold value (change amount) of the symptom corresponding to the change direction of the difference vector of the difference Δx and Δy. The change direction and the length of the difference vector indicate the change tendency of the color information for estimating the symptom. Then, the arithmetic processing unit determines whether or not the length of the difference vector of the difference Δx and Δy exceeds the searched threshold value (change amount).

図５は、症病データベース１１１に書き込まれて記憶されている症病データテーブルの構成例を示す図である。症病データテーブルは、構成要素（要素領域識別情報）毎に設けられており、レコード毎に、症病識別情報、症病名称、変化方向、変化量の欄を備えている。ここで、症病識別情報は、症病（〜症、〜病など）の個々の症状や病気を識別する情報である。症病名称は、症病の個々の名称（例えば、肝臓病、感染症など）である。変化方向は、色空間における過去の色情報から現在の色情報への変化方向、例えばｘｙ色度で表す場合、経時変化のｘｙ色度の座標系における差分Δｘ及び差分Δｙによる差分ベクトルの向きである。変化量は、差分Δｘ及び差分Δｙによる差分ベクトルの長さが優位な病変を示すか否かを判定する閾値である。 FIG. 5 is a diagram showing a configuration example of a disease / disease data table written and stored in the disease / disease database 111. The disease data table is provided for each component (element area identification information), and each record is provided with columns for disease identification information, disease name, change direction, and change amount. Here, the disease / disease identification information is information for identifying individual symptoms or diseases of a disease (~ disease, ~ disease, etc.). The disease name is an individual name of the disease (for example, liver disease, infectious disease, etc.). The change direction is the direction of change from the past color information in the color space to the current color information, for example, the direction of the difference Δx due to the difference Δx and the difference Δy in the coordinate system of the xy chromaticity of the time change when expressed by xy chromaticity. is there. The amount of change is a threshold value for determining whether or not the length of the difference vector due to the difference Δx and the difference Δy indicates a dominant lesion.

図１に戻り、警告通知制御部１０６は、演算処理部１０５が差分Δｘ及び差分Δｙによる差分ベクトルの長さが、対応する構成要素の閾値を超えていると判定した場合、この閾値に対応する症病を示す警告情報を所定の通知先に通知する。通知先は、画像表示装置とネットワーク３００を介して接続された、図１における通知先端末２００である。ネットワーク３００は、例えば、インターネットを含む情報通信網である。
警告情報の通知先としては、利用者が通っている病院及び診療所、あるいは利用者を担当する医師、看護師、弁護士や、家族（親、子供、孫）、親戚などのなどであり、通知先データベース１１２の通知先データテーブルに予め書き込まれて記憶されている。 Returning to FIG. 1, when the arithmetic processing unit 105 determines that the length of the difference vector due to the difference Δx and the difference Δy exceeds the threshold value of the corresponding component, the warning notification control unit 106 corresponds to this threshold value. Notify the predetermined notification destination of the warning information indicating the illness. The notification destination is the notification destination terminal 200 in FIG. 1, which is connected to the image display device via the network 300. The network 300 is, for example, an information communication network including the Internet.
Warning information can be notified to hospitals and clinics where users go, doctors, nurses, lawyers, family members (parents, children, grandchildren), relatives, etc. who are in charge of users. It is written and stored in advance in the notification destination data table of the destination database 112.

撮像部１０７は、例えばデジタルカメラであり、画像表示装置１００の表示パネル１０８の周囲のいずれかの位置であり、かつ表示パネル１０８が白表示とされ撮像の際の照明となった際、この照明が照射される空間を撮像する位置に設けられている。
表示パネル１０８は、例えば、液晶パネルあるいは有機ＥＬ（Electro Luminescence）パネルである。 The image pickup unit 107 is, for example, a digital camera, and is located at any position around the display panel 108 of the image display device 100, and when the display panel 108 is displayed in white and serves as illumination for imaging, this illumination is used. It is provided at a position where the space to be irradiated is imaged.
The display panel 108 is, for example, a liquid crystal panel or an organic EL (Electro Luminescence) panel.

図６は、通知先データベース１１２に書き込まれて記憶されている通知先データテーブルの構成例を示す図である。通知先データテーブルは、利用者（利用者識別情報）毎に設けられており、レコード毎に、通知先識別情報、通知先名称、通知先の欄を備えている。ここで、通知先識別情報は、通知先の各々を識別する情報である。通知先名称は、通知先の名称（名前）、例えば、利用者が通っている病院及び診療所の名称や、利用者を担当する医師、看護師、介護士、弁護士、親、子供、孫、親戚などの名前である。通知先は、警告情報を通知する媒体の情報が記載されており、電話番号、メールアドレスなどである。 FIG. 6 is a diagram showing a configuration example of a notification destination data table written and stored in the notification destination database 112. The notification destination data table is provided for each user (user identification information), and each record is provided with columns for notification destination identification information, notification destination name, and notification destination. Here, the notification destination identification information is information that identifies each of the notification destinations. The notification destination name is the name (name) of the notification destination, for example, the name of the hospital or clinic that the user attends, or the doctor, nurse, caregiver, lawyer, parent, child, grandchild, who is in charge of the user. It is a name such as a relative. The notification destination contains information on the medium for notifying the warning information, such as a telephone number and an e-mail address.

図７は、本発明の一実施形態による画像表示装置における撮像画像を用いた症病推定処理の動作例を示すフローチャートである。以下の症病推定処理の動作は、画像表示装置１００の制御を行うリモコンにおける症病推定モードとするボタンを押下した後に、画像表示装置１００が症病推定モードとなっている状態において行われる。
ステップＳ１：撮像制御部１０２は、撮像部１０７に撮像画像を撮像させる。
顔認証処理部１０３は、撮像部１０７から供給される撮像画像から、人間の顔の領域を検出し、検出した領域を顔画像として抽出する。 FIG. 7 is a flowchart showing an operation example of a disease estimation process using an captured image in an image display device according to an embodiment of the present invention. The following operation of the disease estimation process is performed in a state where the image display device 100 is in the disease estimation mode after pressing the button for the disease estimation mode on the remote controller that controls the image display device 100.
Step S1: The image pickup control unit 102 causes the image pickup unit 107 to take an image.
The face recognition processing unit 103 detects a human face region from the captured image supplied from the imaging unit 107, and extracts the detected region as a face image.

ステップＳ２：顔認証処理部１０３は、抽出した顔画像から人間の顔の特徴を示す特徴データを抽出する。
顔認証処理部１０３は、利用者データベース１０９に記憶されている利用者の各々の参照特徴データを、順次読み出す。
そして、顔認証処理部１０３は、抽出した特徴データと、読み出される利用者の各々の参照特徴データとを比較する。 Step S2: The face recognition processing unit 103 extracts feature data indicating the features of a human face from the extracted face image.
The face recognition processing unit 103 sequentially reads out the reference feature data of each user stored in the user database 109.
Then, the face recognition processing unit 103 compares the extracted feature data with each reference feature data of the user to be read.

ステップＳ３：顔認証処理部１０３は、特徴データと一致する参照特徴データが検出されるか否かの判定を行う。すなわち、顔認証処理部１０３は、画像表示装置１００の表示パネルと対向する位置にいる人間が、症病推定の利用を行う利用者として登録されているか否かの判定を行う。 Step S3: The face recognition processing unit 103 determines whether or not the reference feature data that matches the feature data is detected. That is, the face recognition processing unit 103 determines whether or not a person at a position facing the display panel of the image display device 100 is registered as a user who uses the disease estimation.

このとき、顔認証処理部１０３は、特徴データと一致する参照特徴データが検出された場合、撮像された人間が症病推定を利用する利用者として登録されていると判定し、処理をステップＳ４へ進める。一方、顔認証処理部１０３は、特徴データと一致する参照特徴データが検出されない場合、撮像された人間が症病推定を利用する利用者として登録されていないと判定し、処理を終了する。 At this time, when the reference feature data matching the feature data is detected, the face recognition processing unit 103 determines that the imaged human being is registered as a user who uses the disease estimation, and performs the process in step S4. Proceed to. On the other hand, when the reference feature data matching the feature data is not detected, the face recognition processing unit 103 determines that the imaged human is not registered as a user who uses the disease estimation, and ends the process.

ステップＳ４：顔認証処理部１０３は、撮像画像に登録した利用者が撮像されているため、健康チェック用撮像画像の撮像を指示する撮像指示を、撮像制御部１０２及び撮像部１０７の各々に対して出力する。
これにより、撮像制御部１０２は、撮像指示が供給された場合、画像表示制御部１０１に対して、表示パネル１０８の表示画面におけるピクセルの全てを白表示とする。 Step S4: Since the face recognition processing unit 103 has captured the user registered in the captured image, the face recognition processing unit 103 issues an imaging instruction to each of the imaging control unit 102 and the imaging unit 107 to instruct the imaging of the captured image for health check. And output.
As a result, when the image pickup instruction is supplied, the image pickup control unit 102 displays all the pixels on the display screen of the display panel 108 in white to the image display control unit 101.

ステップＳ５：そして、撮像部１０７は、撮像制御部１０２が表示パネル１０８を白表示したタイミングに同期（例えば、撮像制御部１０２から供給される同期信号に同期）して、健康チェック用撮像画像を撮像する。 Step S5: Then, the image pickup unit 107 synchronizes with the timing when the image pickup control unit 102 displays the display panel 108 in white (for example, in synchronization with the synchronization signal supplied from the image pickup control unit 102) to display the image for health check. Take an image.

ステップＳ６：顔認証処理部１０３は、撮像部１０７より供給される健康チェック用撮像画像から、利用者の顔画像を抽出し、健康チェック用顔画像とする。
また、顔認証処理部１０３は、抽出した健康チェック用顔画像を、映像処理部１０４に対して出力する。
そして、映像処理部１０４は、健康チェック用顔画像から、顔の構成要素である鼻、口、眼球、唇及び皮膚などの各々の領域を要素領域として抽出する。映像処理部１０４は、健康チェック用顔画像から抽出した要素領域の各々のＲＧＢ値を、それぞれｘｙ色度の色度値ｘ、色度値ｙに変換する（要素領域の色情報の取得）。 Step S6: The face recognition processing unit 103 extracts the user's face image from the health check captured image supplied from the imaging unit 107 and uses it as the health check face image.
Further, the face recognition processing unit 103 outputs the extracted face image for health check to the video processing unit 104.
Then, the image processing unit 104 extracts each region such as the nose, mouth, eyeball, lips, and skin, which are the constituent elements of the face, as element regions from the face image for health check. The image processing unit 104 converts each RGB value of the element region extracted from the face image for health check into a chromaticity value x and a chromaticity value y of xy chromaticity (acquisition of color information of the element region).

ステップＳ７：映像処理部１０４は、要素領域の各々の色情報を、色情報データベース１１０に新たに生成する構成要素データテーブルに対して書き込んで記憶させる。
そして、映像処理部１０４は、この生成した構成要素データテーブルの記憶領域を示す色情報インデックスを、色情報データベース１１０における色情報データテーブルに新たなレコードを生成して、このレコードに対して撮像日時とともに書き込んで記憶させる。この色情報データテーブルは、健康チェック用撮像画像の利用者の利用者識別情報に対応している。
また、映像処理部１０４は、要素領域の各々の色情報を、演算処理部１０５に対して出力する。 Step S7: The video processing unit 104 writes and stores the color information of each element area in the component data table newly generated in the color information database 110.
Then, the video processing unit 104 generates a new record in the color information data table in the color information database 110 for the color information index indicating the storage area of the generated component data table, and the imaging date and time for this record. Write and memorize with. This color information data table corresponds to the user identification information of the user of the captured image for health check.
Further, the video processing unit 104 outputs the color information of each element region to the arithmetic processing unit 105.

ステップＳ８：演算処理部１０５は、所定の過去の日時（例えば、６ヶ月前）における要素領域の各々の色情報を過去色情報として読み出す。
そして、演算処理部１０５は、要素領域の各々の色情報と、要素領域の各々の過去色情報とを比較し、比較結果として色情報及び過去色情報の各々の差分を求める。色情報がｘｙ色度の場合、この色情報の差分は、差分Δｘ及び差分Δｙによる差分ベクトルである。ここで、演算処理部１０５は、登録された利用者に対応する、色情報データベース１１０の構成要素データテーブルを参照して、要素領域毎に差分ベクトルを求める。 Step S8: The arithmetic processing unit 105 reads out the color information of each element region at a predetermined past date and time (for example, 6 months ago) as the past color information.
Then, the arithmetic processing unit 105 compares each color information of the element area with each past color information of the element area, and obtains the difference between the color information and the past color information as the comparison result. When the color information is xy chromaticity, the difference of this color information is a difference vector due to the difference Δx and the difference Δy. Here, the arithmetic processing unit 105 refers to the component data table of the color information database 110 corresponding to the registered user, and obtains the difference vector for each element area.

ステップＳ９：演算処理部１０５は、要素領域の各々において、差分ベクトルの方向を変化方向とし、差分ベクトルの長さを変化量として、症病データベース１１１の症病データテーブルを参照して、利用者の健康チェック用撮像画像から疾病の推定を行う。
すなわち、演算処理部１０５は、要素領域毎に、評価対象の要素領域に対応する症病データテーブルを参照して、差分ベクトルの向きである変化方向と類似する変化方向の症病名称を抽出する。 Step S9: In each of the element regions, the arithmetic processing unit 105 refers to the disease data table of the disease database 111 with the direction of the difference vector as the change direction and the length of the difference vector as the change amount, and the user. The disease is estimated from the captured image for health check.
That is, the arithmetic processing unit 105 refers to the disease / disease data table corresponding to the element area to be evaluated for each element area, and extracts the disease / disease name in the change direction similar to the change direction which is the direction of the difference vector. ..

そして、演算処理部１０５は、差分ベクトルの長さが、抽出された症病名称における閾値としての変化量以上か否かの判定を行う。
このとき、演算処理部１０５は、差分ベクトルの長さが変化量以上である場合、その症病である疑いがあると推定する。一方、差分ベクトルの長さが変化量未満である場合、その症病である疑いがないと推定する。 Then, the arithmetic processing unit 105 determines whether or not the length of the difference vector is equal to or greater than the amount of change as the threshold value in the extracted disease / disease name.
At this time, if the length of the difference vector is greater than or equal to the amount of change, the arithmetic processing unit 105 presumes that the disease is suspected to be the disease. On the other hand, if the length of the difference vector is less than the amount of change, it is presumed that there is no suspicion of the disease.

ステップＳ１０：演算処理部１０５は、症病の疑いがあると推定された場合、推定された症病名を付加し、警告を通知する指示情報を警告通知制御部１０６に対して出力する。
そして、警告通知制御部１０６は、画像表示制御部１０１を介して、表示パネル１０８の表示画面に対して、推定された症病名を表示し、利用者に対して医者に行くように促す警告を示す警告画像を表示する。この警告画像は、例えば、症病名及び差分ベクトルの長さの各々に対応した画像として、症病データベース１１１に対して予め書き込まれている。これにより、警告通知制御部１０６は、症病名及び差分ベクトルの長さの組合せに対応した警告画像を読出し、表示パネル１０８の表示画面に表示する。 Step S10: When it is presumed that there is a suspicion of a disease, the arithmetic processing unit 105 adds the estimated disease name and outputs instruction information for notifying a warning to the warning notification control unit 106.
Then, the warning notification control unit 106 displays the estimated disease name on the display screen of the display panel 108 via the image display control unit 101, and warns the user to go to the doctor. Display the warning image to show. This warning image is pre-written in the disease database 111 as, for example, an image corresponding to each of the disease name and the length of the difference vector. As a result, the warning notification control unit 106 reads out the warning image corresponding to the combination of the disease name and the length of the difference vector, and displays it on the display screen of the display panel 108.

また、警告通知制御部１０６は、通知先データベース１１２における、利用者の利用者識別情報に対応した通知先データテーブルから通知先を読出し、読み出した通知先に対して、推定された症病名称及び差分ベクトルの長さを含む警告情報を通知する。
ここで、症病及び差分ベクトルの長さの組合せに対応して、通知先が設定されている構成としても良い。例えば、差分ベクトルの長さに応じて深刻度なども想定するようにしておくことにより、深刻度が所定の数値より低い場合に家族や介護士など、深刻度が所定の数値より高い場合に医師や看護師に通知するように設定しておく。 Further, the warning notification control unit 106 reads the notification destination from the notification destination data table corresponding to the user identification information of the user in the notification destination database 112, and for the read notification destination, the estimated disease name and disease name and Notify warning information including the length of the difference vector.
Here, the notification destination may be set according to the combination of the disease and the length of the difference vector. For example, by assuming the severity according to the length of the difference vector, a doctor when the severity is higher than the predetermined value, such as a family member or a caregiver when the severity is lower than the predetermined value. And set to notify the nurse.

上述した構成により、本実施形態によれば、表示パネル１０８の表示画面を白表示として、一定の照度の光源下により利用者の症病の推定を行う健康チェック用撮像画像を撮像するため、外光の影響を低減することができ、推定の精度を向上させることができる。
また、本実施形態によれば、不特定多数の利用者の症病の推定を行うため、いずれの利用者の症病の推定を行っているのかを、撮像画像から抽出した顔の特徴データと、参照特徴データとを比較しているため、利用者の特定を行うことができる。 With the above-described configuration, according to the present embodiment, the display screen of the display panel 108 is displayed in white, and a health check image for estimating the disease and illness of the user is captured under a light source having a constant illuminance. The influence of light can be reduced and the accuracy of estimation can be improved.
Further, according to the present embodiment, in order to estimate the illness of an unspecified number of users, it is possible to determine which user's illness is estimated with the facial feature data extracted from the captured image. , Since the reference feature data is compared, the user can be identified.

また、本実施形態によれば、利用者毎に、同一の利用者の過去の色情報との差分（個人の各々の顔画像の色情報の経時変化における差分）を求めて、この差分を用いて症病の推定を行うため、性別、年齢及び人種の違いによる影響を低減することができる。例えば、顔の皮膚の色が通常の色から青白くなる変化方向を有する差分ベクトルである場合に症病として貧血が推定され、顔の皮膚の色が通常の色からどす黒くなる変化方向を有する差分ベクトルである場合に腎臓病が推定され、眼球における白目の部分色が通常の色から黄色くなる（黄疸など）変化方向を有する差分ベクトルである場合に胆石あるいは肝臓病が推定される。 Further, according to the present embodiment, for each user, a difference from the past color information of the same user (difference in the time-dependent change of the color information of each individual's face image) is obtained, and this difference is used. Since the disease is estimated, the influence of gender, age, and race can be reduced. For example, when the facial skin color is a difference vector having a change direction from the normal color to pale, anemia is presumed as a disease, and the difference vector having a black change direction from the normal color to the facial skin color. If this is the case, kidney disease is presumed, and gallstones or liver disease is presumed when the partial color of the white of the eyeball is a difference vector having a change direction from the normal color to yellow (jaundice, etc.).

また、本実施形態によれば、利用者が単身世帯、特に単身の高齢者などの場合、他人と接触する機会が少ないため、顔色などを見て身体の変化を指摘されることがないため、本人に健康チェック用撮像画像により症病が推定された際に警告を表示パネル１０８に表示するとともに、かかりつけの医者や看護師、あるいは介護士、家族、親族などに警告を通知することにより、早期に利用者の症病を発見できる可能性を向上させることができる。 In addition, according to the present embodiment, when the user is a single-person household, especially a single elderly person, there are few opportunities to come into contact with other people, so that no physical change is pointed out by looking at the complexion or the like. By displaying a warning on the display panel 108 when the illness is presumed by the image taken for health check, and notifying the person's doctor, nurse, caregiver, family, relatives, etc. of the warning at an early stage. It is possible to improve the possibility of discovering a user's illness.

また、利用者が高齢者施設や介護施設に入所していると、特定の介護士や他の入所者の各々と毎日顔を合わせるため、利用者の顔の色の変化が徐々に少しずつである（例えば、黄疸）場合、介護士や他の入所者がこの変化を認知することができず、利用者の症病を発見することは難しいが、本実施形態によれば、健康チェック用撮像画像から抽出した色情報と、所定の期間をおいた過去の色情報とによる差分ベクトルにより症病を推定するため、顔色が少しずつ徐々に変化しても、高精度に症病を推定することができる。また、ここで、外光などの環境光の影響を低減するため、一年前の１ヶ月間の色情報の平均値と、直近の１ヶ月間の色情報の平均値とから差分データを求める構成としてもよい。
人間は、認知能力として、絶対評価が苦手であり、相対的評価が得意である特徴があるため、少しずつの変化に気づくことが困難である。 In addition, when a user is admitted to a facility for the elderly or a long-term care facility, the color of the user's face gradually changes little by little because he / she meets with a specific caregiver or each of the other residents every day. In some cases (eg, jaundice), caregivers and other residents may not be able to recognize this change and it is difficult to detect the user's illness, but according to this embodiment, imaging for health check Since the disease is estimated from the difference vector between the color information extracted from the image and the past color information after a predetermined period, the disease can be estimated with high accuracy even if the complexion gradually changes. Can be done. Further, here, in order to reduce the influence of ambient light such as outside light, the difference data is obtained from the average value of the color information for one month before one year and the average value of the color information for the latest one month. It may be configured.
Humans are not good at absolute evaluation and are good at relative evaluation as cognitive ability, so it is difficult to notice small changes.

また、本実施形態によれば、利用者がパーソナルコンピュータを有していなくても、また利用者がパーソナルコンピュータの操作が苦手でも、一般家庭に普及しているテレビ受像機（テレビジョンセット、television set）などの画像表示装置１００により、症病の推定が行えるため、高齢者でも容易に自身の健康管理を日々において行うことができる。 Further, according to the present embodiment, even if the user does not have a personal computer or the user is not good at operating the personal computer, a television receiver (television set, television) that is widely used in ordinary households. Since the disease and illness can be estimated by the image display device 100 such as set), even elderly people can easily manage their own health on a daily basis.

図８は、本発明の実施形態の概念を説明する図である。図８において、本発明の実施形態における画像表示装置１００Ａは、撮像制御部１０２、顔認証処理部１０３、映像処理部１０４、演算処理部１０５、警告通知制御部１０６、撮像部１０７及び表示パネル１０８の各々を備えている。
撮像制御部１０２は、利用者の撮像画像及び健康チェック用撮像画像を撮像部１０７に撮像させる。撮像制御部１０２は、健康チェック用撮像画像を撮像させる際、表示パネルの全画面を白表示とする。
顔認証処理部１０３は、撮像部１０７が撮像する撮像画像から、利用者の顔の認証に用いる顔画像を抽出する。
映像処理部１０４は、顔認証処理部１０３が健康チェック用撮像画像から抽出した健康チェック用顔画像から、顔の構成要素の領域である要素領域の各々における色情報を抽出する。
演算処理部１０５は、予め設定された特定の期間における、要素領域の各々の色情報の差分が所定の閾値を超えるか否かの判定を行う。
警告通知制御部１０６は、色情報の差分が所定の閾値を超えた場合、所定の通知先に対して警告情報を通知する。 FIG. 8 is a diagram illustrating a concept of an embodiment of the present invention. In FIG. 8, the image display device 100A according to the embodiment of the present invention includes an image pickup control unit 102, a face recognition processing unit 103, a video processing unit 104, an arithmetic processing unit 105, a warning notification control unit 106, an image pickup unit 107, and a display panel 108. It has each of.
The image pickup control unit 102 causes the image pickup unit 107 to take an image of the user and an image for health check. When the image pickup control unit 102 captures the image taken for health check, the entire screen of the display panel is displayed in white.
The face recognition processing unit 103 extracts a face image used for face authentication of the user from the captured image captured by the image pickup unit 107.
The image processing unit 104 extracts color information in each of the element regions, which are the regions of the constituent elements of the face, from the health check face image extracted by the face recognition processing unit 103 from the health check captured image.
The arithmetic processing unit 105 determines whether or not the difference of the color information of each element region exceeds a predetermined threshold value in a predetermined specific period.
When the difference in color information exceeds a predetermined threshold value, the warning notification control unit 106 notifies the predetermined notification destination of the warning information.

なお、本発明における図１の画像表示装置１００における症病の推定を行う機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、撮像した健康チェック用撮像画像における顔画像の色情報の変化から利用者の症病の推定処理の制御を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。 A program for realizing the function of estimating the disease or illness in the image display device 100 of FIG. 1 in the present invention is recorded on a computer-readable recording medium, and the program recorded on the recording medium is stored in the computer system. By reading and executing the program, the estimation process of the user's illness may be controlled from the change in the color information of the face image in the captured image for health check. The term "computer system" as used herein includes hardware such as an OS and peripheral devices.

また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。 Further, the "computer system" shall also include a WWW system provided with a homepage providing environment (or display environment). Further, the "computer-readable recording medium" refers to a portable medium such as a flexible disk, a magneto-optical disk, a ROM, or a CD-ROM, or a storage device such as a hard disk built in a computer system. Furthermore, a "computer-readable recording medium" is a volatile memory (RAM) inside a computer system that serves as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, it shall include those that hold the program for a certain period of time.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。 Further, the program may be transmitted from a computer system in which this program is stored in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the "transmission medium" for transmitting a program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. Further, the above program may be for realizing a part of the above-mentioned functions. Further, a so-called difference file (difference program) may be used, which can realize the above-mentioned functions in combination with a program already recorded in the computer system.

１００，１００Ａ…画像表示装置
１０１…画像表示制御部
１０２…撮像制御部
１０３…顔認証処理部
１０４…映像処理部
１０５…演算処理部
１０６…警告通知制御部
１０７…撮像部
１０８…表示パネル
１０９…利用者データベース
１１０…色情報データベース
１１１…症病データベース
１１２…通知先データベース
２００…通知先端末
３００…ネットワーク 100, 100A ... Image display device 101 ... Image display control unit 102 ... Imaging control unit 103 ... Face recognition processing unit 104 ... Video processing unit 105 ... Arithmetic processing unit 106 ... Warning notification control unit 107 ... Imaging unit 108 ... Display panel 109 ... User database 110 ... Color information database 111 ... Disease database 112 ... Notification destination database 200 ... Notification destination terminal 300 ... Network

Claims (6)

表示パネルと、
撮像部と、
前記撮像部に利用者の撮像画像を撮像させる撮像制御部と、
前記撮像部が撮像する前記撮像画像から前記利用者の顔画像を抽出し、当該利用者の認証を行う顔認証処理部と、
前記顔認証処理部が前記撮像画像から抽出した顔画像から、顔の構成要素の領域である要素領域の各々における色情報を抽出する映像処理部と、
予め設定された特定の期間における、前記要素領域の各々の前記色情報の差分が所定の閾値を超えるか否かの判定を行う演算処理部と、
前記差分が前記所定の閾値を超えた場合、警告情報を通知する警告通知制御部と
を備え、
前記撮像制御部が構成要素の色情報を抽出する撮像画像を前記撮像部に撮像させる際、前記表示パネルを白表示とする
ことを特徴とする画像表示装置。 Display panel and
Imaging unit and
An imaging control unit that causes the imaging unit to capture an image captured by the user,
A face recognition processing unit that extracts the user's face image from the captured image captured by the image pickup unit and authenticates the user.
A video processing unit that extracts color information in each of the element regions, which are regions of the face components, from the face image extracted by the face recognition processing unit from the captured image.
An arithmetic processing unit that determines whether or not the difference of the color information of each of the element regions in a specific period set in advance exceeds a predetermined threshold value.
It is provided with a warning notification control unit that notifies warning information when the difference exceeds the predetermined threshold value.
An image display device characterized in that the display panel is displayed in white when the image pickup unit captures an image captured by the image pickup control unit from which color information of a component is extracted. 症病の推定を行う処理に登録されている前記利用者の各々の顔の特徴データのそれぞれを参照特徴データとして記憶する利用者データベースをさらに備え、
前記顔認証処理部が、前記撮像画像における前記顔画像の特徴データを抽出し、当該特徴データと、前記参照特徴データの各々とを比較し、前記顔画像の利用者の認証を行う
ことを特徴とする請求項１に記載の画像表示装置。 Further provided with a user database that stores each of the facial feature data of each of the users registered in the process of estimating the disease as reference feature data.
The face recognition processing unit extracts the feature data of the face image in the captured image, compares the feature data with each of the reference feature data, and authenticates the user of the face image. The image display device according to claim 1. 前記利用者の各々の過去の前記撮像画像から抽出された前記色情報が、当該撮像画像が撮像された日時をタイムスタンプとしてそれぞれ付加し、前記利用者毎に履歴色情報として蓄積される色情報データベースをさらに備え、
前記演算処理部が、前記撮像画像における前記顔画像から抽出した色情報と、前記履歴色情報との差分を求め、当該差分が前記所定の閾値を超えるか否かの判定を行う
ことを特徴とする請求項１に記載の画像表示装置。 The color information extracted from the past captured images of each of the users adds the date and time when the captured image was captured as a time stamp, and the color information is accumulated as history color information for each user. With more databases
The arithmetic processing unit obtains a difference between the color information extracted from the face image in the captured image and the historical color information, and determines whether or not the difference exceeds the predetermined threshold value. The image display device according to claim 1. 前記所定の閾値が、推定する症病毎の前記色情報の変化量に対して設定されている
ことを特徴とする請求項１から請求項３のいずれか一項に記載の画像表示装置。 The image display device according to any one of claims 1 to 3, wherein the predetermined threshold value is set with respect to the amount of change in the color information for each estimated disease. 前記色情報がｘｙ色度の場合、ｘｙ色度座標における前記色情報の座標値と過去の履歴色情報の座標値との所定の変化方向における変化量を示す
ことを特徴とする請求項４に記載の画像表示装置。 The fourth aspect of claim 4 is characterized in that when the color information is xy chromaticity, the amount of change in a predetermined change direction between the coordinate value of the color information and the coordinate value of the past history color information in the xy chromaticity coordinates is shown. The image display device described. 撮像制御部が撮像部に利用者の撮像画像を撮像させる撮像制御過程と、
顔認証処理部が、前記撮像部が撮像する前記撮像画像から前記利用者の顔画像を抽出し、当該利用者の認証を行う顔認証処理過程と、
映像処理部が、前記顔認証処理部が前記撮像画像から抽出した顔画像から、顔の構成要素の領域である要素領域の各々における色情報を抽出する映像処理過程と、
演算処理部が、予め設定された特定の期間における、前記要素領域の各々の前記色情報の差分が所定の閾値を超えるか否かの判定を行う演算処理過程と、
警告通知制御部が前記差分が前記所定の閾値を超えた場合、警告情報を通知する警告通知制御過程と、
前記顔認証処理部が、構成要素の色情報を抽出する撮像画像を前記撮像部に撮像させる際、表示パネルを白表示とする過程と
を含むことを特徴とする画像表示制御方法。 An imaging control process in which the imaging control unit causes the imaging unit to capture a user's captured image,
A face recognition processing process in which the face recognition processing unit extracts the user's face image from the captured image captured by the imaging unit and authenticates the user.
A video processing process in which the image processing unit extracts color information in each of the element regions, which are regions of the facial components, from the face image extracted by the face recognition processing unit from the captured image.
An arithmetic processing process in which the arithmetic processing unit determines whether or not the difference of the color information of each of the element regions exceeds a predetermined threshold value in a predetermined specific period.
A warning notification control process in which the warning notification control unit notifies warning information when the difference exceeds the predetermined threshold value.
An image display control method, characterized in that the face recognition processing unit includes a process of displaying a white display on a display panel when the image pickup unit captures an image captured by extracting color information of a component.

Images