JP2008259676A - Information processing device and color determining method - Google Patents
Information processing device and color determining method Download PDFInfo
- Publication number
- JP2008259676A JP2008259676A JP2007104799A JP2007104799A JP2008259676A JP 2008259676 A JP2008259676 A JP 2008259676A JP 2007104799 A JP2007104799 A JP 2007104799A JP 2007104799 A JP2007104799 A JP 2007104799A JP 2008259676 A JP2008259676 A JP 2008259676A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- obstacle
- subject
- light source
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、液晶画面のバックライトのような光源手段とカメラ機能のような撮影手段とを備えた情報処理装置に関し、特に、撮影手段により撮影したユーザの顔などの画像に基づきユーザの健康状態などを推定し、通知する情報処理装置に関する。 The present invention relates to an information processing apparatus including light source means such as a backlight of a liquid crystal screen and photographing means such as a camera function, and in particular, a user's health state based on an image such as a user's face photographed by the photographing means. The present invention relates to an information processing apparatus that estimates and notifies the above.
このようなユーザの健康状態や心理状態を通知する機能を備えた情報処理装置として、従来、例えば、特許文献1の移動電話機のような技術が提案されている。
As such an information processing apparatus having a function of notifying the user's health state and psychological state, a technique such as a mobile phone disclosed in
このような、従来の移動電話機は、表示パネルと、入力された顔画像を顔画像特徴分析機能を用いて分析し、その結果に基づいてその心身状態を判定する状態判定手段と、判定結果を表示パネルに表示する表示制御手段とを有している。従来の移動電話機は、このような構成により、携帯電話により日常的に収集できる各種の情報を利用して、ユーザや通話相手の健康状態や心理状態をチェック可能としている。
しかしながら、例えば、従来例のようにユーザの顔画像を撮影し、その顔画像の特徴分析をするような場合、太陽光や照明などの外光により撮影する顔色や陰影などが変化するため、顔画像により正確に健康状態などを判断しにくいという課題があった。さらに、ユーザの顔画像を撮影しようとする場合、例えば、ユーザがマスクをかけていたり、顔に絆創膏などを貼ったりしている場合があり、これらが障害物となって顔画像の分析が正確に実施できない可能性もあった。 However, for example, when a face image of a user is photographed as in the conventional example and the feature analysis of the face image is performed, the face color or shadow to be photographed changes due to external light such as sunlight or lighting. There has been a problem that it is difficult to accurately determine the health condition from the image. Furthermore, when trying to capture a user's face image, for example, the user may be wearing a mask or sticking a plaster on the face, which becomes an obstacle and the analysis of the face image is accurate. There was a possibility that it could not be implemented.
本発明は、このような課題を解決するためになされたもので、ユーザの例えば顔画像において、外光の影響を受けることなく、また障害物の影響なども受けることなく顔色を取得でき、これによって精度よくユーザの健康状態などを推定し、通知する情報処理装置および色判定方法を提供することを目的とする。 The present invention has been made to solve such a problem. For example, in a face image of a user, the face color can be acquired without being affected by external light and without being affected by an obstacle. It is an object of the present invention to provide an information processing apparatus and a color determination method for accurately estimating and notifying a user's health condition.
上述したような目的を達成するために、本発明の情報処理装置は、被写体に対して光線を照射する光源手段と、被写体を撮影し、被写体の画像データを取得する撮影手段と、被写体の画像データにおいて、障害物の有無を判定するとともに、障害物の領域を検出する障害物判定部と、被写体の画像データにおける障害物を避けた領域を対象領域として判定する対象領域判定部と、光源手段から光線を照射して取得した画像データと、光源手段から光線を照射せずに取得した画像データとの差分画像データを生成する差分画像生成部と、差分画像生成部により生成された差分画像データの対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定する色判定部とを備えた構成である。 In order to achieve the above-described object, an information processing apparatus according to the present invention includes a light source unit that irradiates a subject with light rays, a photographing unit that photographs the subject and acquires image data of the subject, and an image of the subject. In the data, an obstacle determination unit that determines the presence or absence of an obstacle and detects an area of the obstacle, a target region determination unit that determines a region avoiding the obstacle in the image data of the subject as a target region, and a light source unit A difference image generation unit that generates difference image data between image data acquired by irradiating light from the image data acquired without irradiating light from the light source means, and difference image data generated by the difference image generation unit In the target area, a color determination unit that compares the expected value set in advance and determines the degree of change in the color of the subject is provided.
また、本発明の情報処理装置は、電話機能をさらに備え、電話機能による通話中において、差分画像生成部が差分画像データを生成し、色判定部が色の変化の度合いを判定する構成である。 The information processing apparatus according to the present invention further includes a telephone function, wherein the difference image generation unit generates difference image data and the color determination unit determines the degree of color change during a telephone call using the telephone function. .
また、本発明の情報処理装置は、電話機能をさらに備え、電話機能による通話の開始とともに、撮影手段が、光源手段から光線を照射した状態で撮影した画像データと光源手段から光線を照射しない状態で撮影した画像データとを取得し、差分画像生成部が、差分画像データを生成し、色判定部が、差分画像データを用いて、色の変化の度合いを判定する構成である。 In addition, the information processing apparatus of the present invention further includes a telephone function, and at the same time when the telephone function is started, the photographing unit shoots image data in a state in which light is emitted from the light source and a state in which light is not emitted from the light source The difference image generation unit generates difference image data, and the color determination unit uses the difference image data to determine the degree of color change.
また、本発明の情報処理装置は、障害物判定部が障害物有りと判定した場合には、障害物があることをユーザに通知する手段を有する構成である。 In addition, the information processing apparatus of the present invention has a configuration having means for notifying the user that there is an obstacle when the obstacle determination unit determines that there is an obstacle.
また、本発明の情報処理装置は、障害物有りと判定した場合、通話位置の変更を検出する機能を有した通話制御部をさらに備え、通話位置の変更を検出する機能により通話位置の変更を検出すると、再度、撮影手段が、光源手段から光線を照射した状態で撮影した画像データと光源手段から光線を照射しない状態で撮影した画像データとを取得し、差分画像生成部が、差分画像データを生成し、色判定部が、差分画像データを用いて、色の変化の度合いを判定するよう制御する構成である。 The information processing apparatus of the present invention further includes a call control unit having a function of detecting a change in the call position when it is determined that there is an obstacle, and the call position is changed by the function of detecting the change in the call position. When detected, the image capturing unit again acquires image data captured in a state in which light is emitted from the light source unit and image data captured in a state in which light is not irradiated from the light source unit, and the difference image generation unit receives the difference image data. And the color determination unit controls to determine the degree of color change using the difference image data.
また、本発明の情報処理装置は、障害物判定部が、画像データを、複数の画素で構成されるブロック単位で分割し、あらかじめ定めた所定の範囲の閾値と、ブロックにおける各画素の平均値とを比較し、平均値が所定の範囲の閾値の範囲外となるブロックを第1除外ブロックとし、第1除外ブロックであり、かつ周囲のブロックの中に連続した所定の個数以上の第1除外ブロックがある場合には、それぞれを第2除外ブロックとし、画像の最外周の各ブロックを第3除外ブロックとし、第2除外ブロックおよび第3除外ブロックを障害物領域とし、対象領域判定部が、画像データにおいて障害物領域を除外した領域を対象領域とする構成である。 In the information processing apparatus according to the present invention, the obstacle determination unit divides the image data in units of blocks including a plurality of pixels, a predetermined range of threshold values, and an average value of each pixel in the block And a block whose average value is outside the threshold range of a predetermined range is defined as a first excluded block, which is a first excluded block, and a predetermined number of first excluded blocks that are consecutive in the surrounding blocks. If there are blocks, each is a second exclusion block, each outermost block of the image is a third exclusion block, the second exclusion block and the third exclusion block are obstacle regions, the target region determination unit, In the image data, a region excluding an obstacle region is set as a target region.
また、本発明の情報処理装置は、期待値に対する補正値を生成する補正部をさらに備え、色判定部が、対象領域において、補正値で補正された期待値と比較し、被写体の色の変化の度合いを判定する構成である。 In addition, the information processing apparatus of the present invention further includes a correction unit that generates a correction value for the expected value, and the color determination unit compares the expected value corrected with the correction value in the target region and changes the color of the subject. It is the structure which determines the degree of.
また、本発明の情報処理装置は、補正部が、ユーザ入力に基づく補正値を生成する構成である。 The information processing apparatus according to the present invention is configured such that the correction unit generates a correction value based on a user input.
また、本発明の情報処理装置は、補正値を、ユーザの一時的な肌の色の変化に対応させた値とした構成である。 The information processing apparatus according to the present invention has a configuration in which the correction value is a value corresponding to a temporary change in the skin color of the user.
また、本発明の情報処理装置は、補正値を、日時、季節、生活パターンに応じた値とした構成である。 Further, the information processing apparatus of the present invention has a configuration in which the correction value is a value corresponding to the date and time, the season, and the life pattern.
また、本発明の色判定方法は、被写体に対して光線を照射する光源手段と、被写体を撮影し、被写体の画像データを取得する撮影手段とを備えた情報処理装置による色判定方法であって、光源手段から光線を照射して被写体を撮影し、画像データを取得するステップと、光源手段から光線を照射せずに被写体を撮影し、画像データを取得するステップと、被写体の画像データにおいて、障害物の有無を判定するとともに、障害物の領域を検出するステップと、被写体の画像データにおける障害物を避けた領域を対象領域として判定するステップと、光源手段から光線を照射して取得した画像データと、光源手段から光線を照射せずに取得した画像データとの差分画像データを生成するステップと、生成された差分画像データの対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定するステップとを備える。 The color determination method of the present invention is a color determination method by an information processing apparatus including light source means for irradiating a subject with light rays and photographing means for photographing the subject and acquiring image data of the subject. In the step of photographing the subject by irradiating light from the light source means and acquiring image data, in the step of photographing the subject without irradiating the light from the light source means and acquiring image data, and in the image data of the subject, An image obtained by irradiating light from the light source means, determining whether there is an obstacle, detecting the area of the obstacle, determining an area avoiding the obstacle in the image data of the subject as the target area, and Generating difference image data between the data and image data acquired without irradiating light from the light source means, and in the target area of the generated difference image data , Compared with the expected value set in advance, and a determining the degree of change in the color of the object.
また、本発明のプログラムは、被写体に対して光線を照射する光源手段と、被写体を撮影し、被写体の画像データを取得する撮影手段とを備えた情報処理装置のプログラムであって、光源手段から光線を照射して被写体を撮影し、画像データを取得するステップと、光源手段から光線を照射せずに被写体を撮影し、画像データを取得するステップと、被写体の画像データにおいて、障害物の有無を判定するとともに、障害物の領域を検出するステップと、被写体の画像データにおける障害物を避けた領域を対象領域として判定するステップと、光源手段から光線を照射して取得した画像データと、光源手段から光線を照射せずに取得した画像データとの差分画像データを生成するステップと、生成された差分画像データの対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定するステップとを備える。 The program of the present invention is a program for an information processing apparatus comprising light source means for irradiating a subject with light rays and photographing means for photographing the subject and acquiring image data of the subject. Shooting a subject by irradiating light and acquiring image data, capturing a subject without irradiating light from the light source means, obtaining image data, and whether there is an obstacle in the subject image data Detecting the area of the obstacle, determining the area avoiding the obstacle in the image data of the subject as the target area, image data acquired by irradiating light from the light source means, and a light source In the step of generating difference image data with image data acquired without irradiating light from the means, and in the target area of the generated difference image data, Luo compared to beforehand set expected value, and a step of determining the degree of change in the color of the object.
本発明の情報処理装置および色判定方法は、ユーザの例えば顔色判定のために、光源手段から光線を照射して取得した画像データと、光源手段から光線を照射せずに取得した画像データとの差分画像データを利用しているため、外光による影響を抑制することができる。さらに、本発明の情報処理装置および色判定方法は、ユーザの顔画像を撮影したとき、顔色判定のために障害となる障害物を避けた領域である対象領域において、ユーザの顔色を判定する。このため、本発明の情報処理装置あるいは色判定方法によれば、外光の影響を受けることなく、また、ユーザの顔画像において障害物がある場合であっても、障害物を避けた領域で健康状態などを判定でき、これによって、精度よくユーザの健康状態などを推定し、通知する情報処理装置および色判定方法を提供することができる。 The information processing apparatus and the color determination method according to the present invention include, for example, image data acquired by irradiating a light beam from a light source unit and image data acquired without irradiating a light beam from a light source unit for a user's face color determination. Since the difference image data is used, the influence of external light can be suppressed. Furthermore, the information processing apparatus and the color determination method of the present invention determine the user's face color in a target area that is an area that avoids an obstacle that is an obstacle for face color determination when a user's face image is captured. For this reason, according to the information processing apparatus or the color determination method of the present invention, it is not affected by outside light, and even in the case where there is an obstacle in the user's face image, the area where the obstacle is avoided. An information processing apparatus and a color determination method can be provided that can determine a health condition and the like, thereby accurately estimating and notifying a user's health condition.
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(実施の形態)
図1は、本発明の実施の形態における情報処理装置の構成を示すブロック図である。
(Embodiment)
FIG. 1 is a block diagram showing a configuration of an information processing apparatus according to an embodiment of the present invention.
本実施の形態では、電話機能を備え、表示機能のためのバックライトなどの光源を有するとともにカメラ機能を備えた携帯電話装置のような情報処理装置の一例を挙げて説明する。本情報処理装置は、ユーザの肌の色を判定する機能を備えたことを特徴としており、例えば、ユーザが通話を行っているときに、カメラ機能を利用して、カメラ機能に近接したユーザの顔の例えば頬部分を撮影し、ユーザの顔色を判定する。本実施の形態では、このようにユーザの肌の色として、頬部分などの顔色を判定するような一例を挙げて説明する。 In this embodiment, an example of an information processing device such as a mobile phone device that has a telephone function, a light source such as a backlight for a display function, and a camera function will be described. This information processing apparatus is characterized by having a function of determining the user's skin color. For example, when the user is making a call, the user can use the camera function to detect the user's skin color. For example, a cheek portion of the face is photographed, and the user's face color is determined. In the present embodiment, an example will be described in which a face color such as a cheek is determined as the user's skin color.
図1に示すように、本情報処理装置は、概略、被写体に対して光線を照射する光源手段としての光源部12と、被写体を撮影し、被写体の画像データを取得する撮影手段としてのカメラ部11と、撮影に関する処理を行う撮影部10と、カメラ部11で撮影した画像の画像データ処理を行う信号処理部21と、被写体の画像データにおいて、障害物の有無を判定するとともに、画像データにおける障害物の領域を検出する障害物判定部23と、被写体の画像データにおける障害物を避けた領域を対象領域として判定する対象領域判定部24と、光源部12から光線を照射して取得した画像データと、光源部12から光線を照射せずに取得した画像データとの差分画像データを生成する差分画像生成部25と、顔色判定のための期待値を生成する初期化部22と、差分画像生成部25により生成された差分画像データの対象領域において、あらかじめ初期化部22が生成した期待値と比較し、被写体の色の変化の度合いを判定する色判定部としての顔色判定部26と、初期化部22で生成された期待値に対して補正を行う補正部28と、電話での通話に関する処理を行う通話制御部27と、ユーザからの指示などを受け付けるとともに、ユーザに対して情報を通知するユーザインタフェース部(以下、ユーザIF部と呼ぶ)30と、ユーザに対する情報を表示する表示部31と、ユーザからの指示を受け付けるキー部32と、期待値や補正値を含め各種情報やデータを記憶するメモリ20とを備えている。なお、障害物判定部23は、障害物の領域の検出において、例えば、障害物の候補を検出するような構成であったり、誤検出する場合があってもよい。
As shown in FIG. 1, the information processing apparatus generally includes a
撮影部10は、通話制御部27からの指示に応じて、カメラ部11および光源部12を制御して、差分画像データを生成するための画像データを取得する。また、光源部12は、例えば、表示部31が液晶パネルによる表示の場合、液晶パネルの背面に配置したバックライトである。すなわち、本情報処理装置は、ユーザが通話を行っているときに、撮影部10が、カメラ部11に対し、ユーザの顔を撮影するよう制御する。特に、このような撮影において、まず、撮影部10は、光源部12による照射がない状態の頬の画像データが得られるようにカメラ部11を制御する。次に、撮影部10は、光源部12により照射された状態の頬の画像データが得られるようにカメラ部11を制御する。撮影部10は、このような撮影処理および光源制御処理を行うことで2種類の画像データを生成し、生成した2種類の画像データを信号処理部21に供給する。なお、このような2種類の画像を生成するのは、例えば、照明用蛍光灯などの外光の影響を抑制するために行っている。この原理については以下で詳細に説明する。
The
また、本実施の形態では、上述したように光源部12を液晶パネルなどのバックライトとして説明するが、例えば、有機ELなどのように自発光であるためバックライトを有していない情報処理装置の場合、例えば、白色の発光状態と発光を停止させた状態との条件で2種類の画像データを取得するような形態であってもよい。
In the present embodiment, the
2種類の画像データは、信号処理部21に供給される。信号処理部21は、データ処理するため、画像データそれぞれを、例えば、輝度データYと2つの色差データUVに変換する。
Two types of image data are supplied to the
初期化部22は、本情報処理装置における顔色判定の基準をあらかじめユーザに作成してもらうために設けている。すなわち、ユーザは、例えば健康な状態のときに、撮影により上述したような2種類の画像データを生成し、このとき、初期化部22が、両画像データの差分値を期待値として生成し、さらに期待値から顔色判定のための各種パラメータを生成しメモリ20に記録しておく。
The
障害物判定部23は、カメラ部11が撮影した頬の画像データにおいて、障害物の有無や、障害物があった場合、画像上におけるその領域を判定する。すなわち、本情報処理装置は、ユーザが通話中、ユーザの頬を自動的に撮影して顔色の判定を行うが、例えば、ユーザがかぜをひいてマスクをしていたり、けがをして絆創膏などを頬に貼っていた場合、これらが障害物となり正確に判定できない。このため、本情報処理装置は、まず、障害物判定部23により、このような画像上での障害物がある領域を判定する障害物判定処理を行っている。なお、障害物判定の手法については以下で詳細に説明する。また、障害物判定部23は、画像上における障害物が占める領域の割合を算出する処理なども行う。
The
また、対象領域判定部24は、障害物判定部23が判定した障害物の領域に関する情報を利用して、画像上での障害物を避けた領域を求め、画像データにおける対象領域として差分画像生成部25に通知する。
In addition, the target
差分画像生成部25は、上述したような2種類の画像データ、すなわち、光源部12から光線を照射して取得した画像データと、光源部12から光線を照射せずに取得した画像データとの差分を求め、対象領域における差分画像データを顔色判定部26に通知する。
The difference
顔色判定部26は、差分画像生成部25により生成された差分画像データにおいて、その対象領域における差分画像データの平均値を求め、その平均値とメモリ20に記憶した期待値に基づく閾値など各パラメータの値とを比較し、被写体の色の変化の度合いを判定する。また、顔色判定部26は、このような判定結果に基づき、色の変化に対応したメッセージを作成しユーザIF部30に通知する。また、ユーザIF部30から、例えば表示部31にこのようなメッセージを表示することで、ユーザに顔色の判定結果を通知する。すなわち、例えば、差分画像データの値が期待値に対して青色傾向にある場合には、顔色判定部26は、健康状態が良くないというようなメッセージを作成し、表示部31に表示する。
The face
補正部28は、顔色判定部26の判定処理に利用する補正値を生成する。すなわち、顔色は、例えば、夏などにおいては日焼けして黒っぽくなったりし、また、朝か夜かの違いや生活パターンの変化によっても変化する。このため、補正部28は、顔色判定部26の判定処理に利用する補正値を作成し、このような補正値をメモリ20に保存する。また、補正部28は、メモリ20に保存した補正値をクリアするような処理も行う。
The
通話制御部27は、電話での通話に関する処理を行うとともに、通話の開始および終了を判定し、撮影部10に通知する。さらに、通話制御部27は、本情報処理装置を顔の右側と左側のいずれの側に近接させて通話しているかを判定するような通話位置の判定処理なども行う。
The
次に、本実施の形態における情報処理装置の色判定としての顔色判定の原理について説明する。 Next, the principle of face color determination as color determination of the information processing apparatus in the present embodiment will be described.
図2は、本情報処理装置による顔色判定の原理を示す図である。図2において、図2(a)は、初期化部22により期待値を作成するときの概要を示しており、また、図2(b)は、顔色判定部26により顔色を判定するときの概要を示している。
FIG. 2 is a diagram illustrating the principle of face color determination by the information processing apparatus. 2A shows an outline when the expected value is generated by the
まず、本情報処理装置は毎回異なった光環境で使用される可能性が高いため、このような顔色を判定する場合、図2の光源1および光源2で示すような外光の影響を抑制する必要がある。このため、本情報処理装置では、図2に示すバックライトのような光源部12からの照射ありの画像データと照射なしの画像データとの差分画像データに基づき顔色を判定している。すなわち、図2(a)の場合、光源部12からの照射ありのときには、光源1と光源部12との光量が加算された光線が顔の頬に照射される。また、光源部12からの照射なしのときには、光源1のみの光量の光線が顔の頬に照射される。このような2種類の画像データの差分を求めることによって、光源1の光量分による画像成分は打ち消されるとともに、光源部12の光線の照射による顔の頬の画像データが抽出できることになる。図2(b)の場合も同様に、このような2種類の画像データの差分を求めることによって、光源2による画像成分を打ち消すことができる。本情報処理装置は、このようにして、外光の影響を抑制し、バックライトのような常に同じ条件である光源部12による顔の頬の画像データを取得している。このため、図2(a)で示すようにして生成した期待値を基準にして、各通話時における顔色の判定を行うことが可能となる。
First, since this information processing apparatus is likely to be used in a different light environment each time, when determining such a face color, the influence of external light as shown by the
次に、障害物判定部23により障害物の領域を検出し、対象領域判定部24により障害物を避けた対象領域を判定する手法について説明する。
Next, a method of detecting an obstacle area by the
図3は、本情報処理装置における対象領域を抽出する手順を説明するための図である。本実施の形態では、このような障害物は連続していることを想定し、その領域を求めている。また、障害物の領域を検出するため、本実施の形態では、画像を所定数の画素で構成されるブロックに分割している。図3では、1つのブロックがN×M画素のブロックで構成された一例を示している。 FIG. 3 is a diagram for explaining a procedure for extracting a target area in the information processing apparatus. In the present embodiment, such an obstacle is assumed to be continuous, and the area is obtained. In this embodiment, the image is divided into blocks each including a predetermined number of pixels in order to detect an obstacle area. FIG. 3 shows an example in which one block is composed of N × M pixel blocks.
まず、障害物判定部23は、あらかじめ決定しておいた障害物判定のための上限の閾値および下限の閾値と、信号処理部21から取り込んだ画像データのブロックごとの平均値とを比較する。そして、障害物判定部23は、平均値が両閾値の範囲外となるブロックを第1除外ブロックとする。図3の判定画像1は、このような第1除外ブロックを設定した一例を示している。判定画像1において、「0」は平均値が両閾値の範囲内となるブロックを示しており、また、「1」は平均値が両閾値の範囲外となるブロック、すなわち第1除外ブロックを示している。
First, the
次に、障害物判定部23は、第1除外ブロックであって、さらにその周囲のブロックの中に連続した所定の個数以上の第1除外ブロックがあるブロックを、第2除外ブロックとする。例えば、その周囲の8個のブロックの中に連続した3個以上の第1除外ブロックがある場合、それらのブロックを、第2除外ブロックとする。すなわち、障害物は、通常、ブロックよりも大きいので、第1除外ブロックが連続している領域を障害物と判断している。図3の判定画像2は、このような第2除外ブロックを設定した一例を示している。判定画像2において、「2」が第2除外ブロックを示している。
Next, the
次に、障害物判定部23は、画像上における最外周のブロックを第3除外ブロックとする。図3の判定画像3は、このような第3除外ブロックを設定した一例を示している。判定画像3において、「3」が第3除外ブロックを示している。
Next, the
以上のような手順により、障害物判定部23は、障害物の領域を判定している。また、障害物判定部23は、光源部12からの照射ありの画像データと照射なしの画像データとの輝度データおよび色差データそれぞれに対してこのような障害物の判定処理を行う。
The
次に、対象領域判定部24は、障害物判定部23で設定された第2除外ブロックおよび第3除外ブロックを除く領域を対象領域に設定する。すなわち、図3の判定画像3に例示するように、「2」および「3」以外のブロックがある領域を対象領域としている。顔色判定部26は、このような障害物の影響を受けない対象領域において、差分画像データの値と期待値とを比較し、顔色の判定を行うため、精度よく顔色を判定することが可能となる。
Next, the target
次に、以上のように構成された本実施の形態の情報処理装置の動作について説明する。図4は、本情報処理装置における色判定としての顔色判定のための各処理の手順を示すフローチャートである。また、図5は、本情報処理装置における顔色判定処理の手順を示すフローチャートである。また、図6は、本情報処理装置における顔色判定処理のための各パラメータの値を説明するための図である。以下、図4から図6までを参照しながら、本実施の形態の情報処理装置の詳細な動作について説明する。 Next, the operation of the information processing apparatus of the present embodiment configured as described above will be described. FIG. 4 is a flowchart showing the procedure of each process for face color determination as color determination in the information processing apparatus. FIG. 5 is a flowchart illustrating a procedure of face color determination processing in the information processing apparatus. FIG. 6 is a diagram for explaining the values of parameters for the face color determination process in the information processing apparatus. The detailed operation of the information processing apparatus according to the present embodiment will be described below with reference to FIGS.
本情報処理装置は、通話制御部27において通話が開始されたかどうかを判定し、本情報処理装置により通話が開始されたと判定すると、本情報処理装置は図4に示す手順に従った顔色判定のための処理を開始する。
The information processing apparatus determines whether or not a call is started in the
本情報処理装置は、このような処理を開始すると、まず、撮影部10の制御により、カメラ部11がバックライトなど光源部12からの照射なしの状態で撮影する。このとき、ユーザは本情報処理装置を用いて通話中であるため、カメラ部11は、ユーザの顔の頬を撮影することになる。撮影部10は、カメラ部11の撮影による画像データを取り込み、信号処理部21に供給する。信号処理部21は、画像データから、輝度データyおよび色差データu、vを生成し、さらに、ブロックごとの平均値を求める。すなわち、信号処理部21は、光源部12からの照射なしの状態での輝度データにおいて、そのブロックごとの平均値であるy0avg、および同色差データにおいての平均値u0avg、およびv0avgを求める(ステップS100)。
When the information processing apparatus starts such processing, first, under the control of the
次に、本情報処理装置は、撮影部10の制御により、カメラ部11がバックライトなど光源部12からの照射ありの状態で撮影する。信号処理部21は、画像データから、輝度データyおよび色差データu、vを生成し、さらに、ブロックごとの平均値を求める。すなわち、信号処理部21は、光源部12からの照射ありの状態での輝度データにおいて、そのブロックごとの平均値であるy1avg、および同色差データにおいての平均値u1avg、およびv1avgを求める(ステップS102)。
Next, in the information processing apparatus, under the control of the
次に、障害物判定部23は、図3を用いて説明したような手順に従って、障害物の判定処理を実行する。さらに、対象領域判定部24が、障害物の領域を除外した領域を判定し、これによって顔色を判定するための対象領域が設定される(ステップS104)。
Next, the
次に、本情報処理装置は、取得した画像に対して障害物が占める割合を算出する。すなわち、図3の判定画像3のような場合、例えば、「2」で示す第2除外ブロックの個数を、「0」、「1」および「2」で示すブロックの総個数で割ることにより、障害物ブロックの割合を算出する。この後、障害物ブロックの割合が所定の割合よりも大きい場合、ステップS110の処理に移る。また、障害物ブロックの割合が所定の割合よりも小さい場合、ステップS108の処理に移る(ステップS106)。
Next, the information processing apparatus calculates the ratio of the obstacle to the acquired image. That is, in the case of the
障害物ブロックの割合が所定の割合よりも小さい場合、差分画像生成部25は、対象領域における、光源部12から光線を照射して取得した画像データと照射せずに取得した画像データとの差分を求め、対象領域における差分画像データを求める。すなわち、差分画像生成部25は、輝度データにおける差分データydiff、および色差データにおける差分データudiffおよびvdiffを求める(ステップS108)。
When the ratio of the obstacle block is smaller than the predetermined ratio, the difference
この後、顔色判定部26が顔色判定処理を実行する(ステップS200)。顔色判定処理については、図5を用いて以下で詳細に説明する。
Thereafter, the face
また、ステップS106において、障害物ブロックの割合が所定の割合よりも大きいと判定した場合、ステップS110の処理に移る。本情報処理装置は、通話制御部27が通話位置の変更を検出する機能を有しており、ステップS110において、本情報処理装置は、通話制御部27により通話位置、すなわち、本情報処理装置を顔の右側と左側のいずれの側に近接させて通話しているかを判定する。本情報処理装置は、通話位置の判定に基づき、ユーザが本情報処理装置を近接させている耳の位置が変わったと判定すると、ステップS100の処理に戻る。また、本情報処理装置は、耳の位置が変わっていないと判定すると、ステップS112の処理に移る(ステップS110)。
If it is determined in step S106 that the obstacle block ratio is greater than the predetermined ratio, the process proceeds to step S110. The information processing apparatus has a function in which the
なお、通話位置の変更を検出する機能の一例として、本情報処理装置が地磁気センサを備えた構成とし、この地磁気センサで検出した方位が例えば120度以上変化したら、通話位置が変更されたと判定するような手段を設けることで、このような機能が実現できる。また、通話位置の変更を検出する機能の他の例として、本情報処理装置がモーションセンサを備えた構成とし、このモーションセンサが本情報処理装置の傾きを検出し、このモーションセンサで検出した傾きが例えば10度以上変化したら通話位置が変更されたと判定するような手段を設けてもよい。さらに、通話位置の変更を検出する機能のその他の例として、本情報処理装置が動き検出手段を備えた構成とし、この動き検出手段で動きを検出後に静止状態を検出したら通話位置が変更されたと判定するような手段を設けてもよい。さらに、通話位置の変更を検出する機能のその他の例として、本情報処理装置がタッチパネルを備えた構成とし、このタッチパネルが例えば「接触」、「非接触」、次に「接触」というような順で接触を検出したら通話位置が変更されたと判定するような手段を設けてもよい。 As an example of a function for detecting a change in the call position, the information processing apparatus is configured to include a geomagnetic sensor, and it is determined that the call position has been changed when the orientation detected by the geomagnetic sensor changes by, for example, 120 degrees or more. By providing such a means, such a function can be realized. In addition, as another example of the function for detecting the change of the call position, the information processing apparatus includes a motion sensor. The motion sensor detects the inclination of the information processing apparatus, and the inclination detected by the motion sensor. For example, there may be provided means for determining that the call position has been changed if it has changed by, for example, 10 degrees or more. Furthermore, as another example of the function for detecting a change in the call position, the information processing apparatus includes a motion detection unit, and the call position is changed when a stationary state is detected after the movement is detected by the motion detection unit. Means for determining may be provided. Furthermore, as another example of the function for detecting the change of the call position, the information processing apparatus includes a touch panel, and the touch panel is in the order of “contact”, “non-contact”, and then “contact”. A means may be provided for determining that the call position has been changed when contact is detected.
次に、本情報処理装置は、通話制御部27により、例えば1分間に1回というような所定の時間間隔をおいて、通話が終了したかどうかを判定する。通話が終了していない場合には、ステップS110の処理に戻る。また、通話が終了した場合、ステップS114の処理に移る(ステップS112)。
Next, in the information processing apparatus, the
通話が終了したと判定すると、本情報処理装置は、ユーザIF部30により、例えば、「障害物をはずしてください」というようなメッセージを提示する。すなわち、大きな障害部があり、かつユーザは本情報処理装置の通話位置を変えなかったため、顔色の判定が正確にできない可能性が高い。このため、このようなメッセージにより、ユーザに対して障害物を取り除くよう促す(ステップS114)。
When it is determined that the call has ended, the information processing apparatus presents a message such as “Please remove the obstacle” by the user IF
次に、本情報処理装置は、ステップS100と同様に、撮影部10の制御により、カメラ部11がバックライトなど光源部12からの照射なしの状態で撮影し(ステップS116)、さらに、ステップS102と同様に、カメラ部11が照射ありの状態で撮影する(ステップS118)。さらに、ステップS104と同様に、障害物判定部23が、障害物の判定処理を実行する(ステップS120)。この後、ステップS106と同様に、本情報処理装置は、取得した画像に対して障害物が占める割合を算出し、割合が大きい場合、ステップS124の処理に進み、また、割合が小さい場合、ステップS108の処理に進む(ステップS122)。すなわち、ステップS122において、割合が小さい場合、本情報処理装置は、ステップS114でのメッセージによりユーザが障害物を取り除き、これによって顔色を正確に判定できると判断し、ステップS108の処理へと移る。一方、ステップS122において、割合が大きい場合、本情報処理装置は、ユーザが障害物を取り除かなかったか、あるいは取り除いても障害物と判定するぐらい顔色が悪い可能性があると判断し、ステップS124の処理へと進む。
Next, in the same manner as step S100, the information processing apparatus controls the photographing
本情報処理装置は、ステップS122において、割合が大きいと判定すると、上述のような異常と判断し、次に、ユーザIF部30により、例えば、「障害物をはずしてないのであれば、健康状態が悪い可能性があります」というようなメッセージを提示し、その後、処理を終了する(ステップS124)。
When the information processing apparatus determines that the ratio is large in step S122, the information processing apparatus determines that the abnormality is as described above. Next, the user IF
なお、初期化部22により期待値を生成する場合、図4のステップS100からステップS108までを実行し、これによって期待値を生成する。
Note that, when the expected value is generated by the
次に、図4におけるステップS200で実行する顔色判定処理について、図5および図6を参照しながら詳細について説明する。 Next, the face color determination process executed in step S200 in FIG. 4 will be described in detail with reference to FIGS.
まず、顔色判定処理に利用する各パラメータについて、図6を用いて説明する。なお、図6では、輝度データYに対する各パラメータを例示しているが、色差データUおよびVに対しても同様である。本実施の形態では、顔色の判定を行うため、顔色が正常であるとする範囲や、一時的に正常であるとするような範囲をあらかじめ決定し、メモリ20に記憶している。
First, each parameter used for the face color determination process will be described with reference to FIG. In FIG. 6, parameters for the luminance data Y are illustrated, but the same applies to the color difference data U and V. In the present embodiment, in order to determine the face color, a range in which the face color is normal or a range in which the face color is temporarily normal is determined in advance and stored in the
顔色が正常であるとする範囲として、本実施の形態では、初期化部22により取得した期待値に対し、下方向の幅y0、および上方向の幅y1を設定し、これによって、下限の閾値1から上限の閾値2までを正常範囲としている。すなわち、対象領域における差分輝度データがこの範囲内の値である場合、顔色が正常であると判定する。
In the present embodiment, a lower width y0 and an upper width y1 are set with respect to the expected value acquired by the
また、顔色が一時的に正常であるとするような範囲として、本実施の形態では、閾値1の下方向に一時補正値y_tmp0、および閾値2の上方向に一時補正値y_tmp1を設定し、これによって、下限の閾値tmp1から上限の閾値tmp2までを一時的正常範囲としている。なお、このような、一時的正常範囲は、日焼け、飲酒あるいは入浴などの影響で顔色が変化したときにも許容する範囲として設定している。
Further, in the present embodiment, a temporary correction value y_tmp0 is set in the downward direction of the
次に、図6で示した各パラメータを用いて顔色を判定する顔色判定処理について説明する。 Next, the face color determination process for determining the face color using each parameter shown in FIG. 6 will be described.
図5に示すように、顔色判定処理が開始されると、まず、顔色判定部26は、差分輝度データおよび差分色差データの対象領域における平均値を算出する。さらに、顔色判定部26は、算出した平均値が、図6に示した閾値1から閾値2までの範囲内にあるかどうかを判定する。平均値が、閾値1から閾値2までの範囲内にある場合には、顔色判定部26は、ステップS212の処理に進む。また、平均値が閾値1から閾値2までの範囲内ではない場合には、顔色判定部26は、ステップS220の処理に進む(ステップS210)。
As shown in FIG. 5, when the face color determination process is started, the face
ステップS212の処理に進むと、顔色判定部26は、一時補正値がメモリ20に保存されているかどうかを判定する(ステップS212)。一時補正値が保存されている場合、顔色判定部26は、ステップS214の処理に進み、メモリ20に保存した一時補正値をクリアし、顔色判定処理を終了する(ステップS214)。また、一時補正値が保存されていない場合、顔色判定部26は、処理の終了に進み、顔色判定処理を終了する。以上、ステップS210からステップS214までの処理により、ユーザが通話中に取り込んだ顔の画像データの色が、閾値1から閾値2で示すような正常範囲であった場合には、本情報処理は、「顔色は正常」として処理を終了する。
When the process proceeds to step S212, the face
また、ステップS210において、平均値が閾値1から閾値2までの範囲内ではないと判定された場合、まず、顔色判定部26は、一時補正値がメモリ20に保存されているかどうかを判定する(ステップS220)。一時補正値が保存されている場合、顔色判定部26は、ステップS222の処理に進む。また、一時補正値が保存されていない場合、顔色判定部26は、ステップS240の処理に進む。
When it is determined in step S210 that the average value is not within the range from the
ステップS220において一時補正値が保存されていると判定すると、顔色判定部26は、次に、算出した平均値が、図6に示した閾値tmp1から閾値tmp2までの範囲内にあるかどうかを判定する。平均値が、閾値tmp1から閾値tmp2までの範囲内にある場合には、顔色判定部26は、処理の終了に進み、顔色判定処理を終了する。また、平均値が閾値tmp1から閾値tmp2までの範囲内ではない場合には、顔色判定部26は、ステップS224の処理に進む(ステップS222)。ステップS224の処理に進むと、本情報処理装置は、ユーザIF部30により、例えば、「体調は大丈夫か?」というようなメッセージを提示する(ステップS224)とともに、ユーザ入力を要求する(ステップS226)。ユーザから「YES」というような入力があった場合には、処理の終了に進み、顔色判定処理を終了する。また、ユーザから「NO」というような入力があった場合には、ステップS228の処理に進み、ユーザIF部30により、例えば、「健康診断をお勧めします」というようなメッセージを提示し(ステップS228)、顔色判定処理を終了する。
If it is determined in step S220 that the temporary correction value is stored, the face
また、ステップS220において一時補正値が保存されていないと判定すると、ユーザIF部30により、例えば、「顔色が悪いようですが、運動、入浴、飲酒のあとですか?」というようなメッセージを提示する(ステップS240)とともに、ユーザ入力を要求する(ステップS242)。ユーザから「YES」というような入力があった場合には、ステップS248の処理に進む。また、ユーザから「NO」というような入力があった場合には、ステップS244の処理に進み、ユーザIF部30により、例えば、「顔色が悪いようですが、日焼けしていますか?」というようなメッセージを提示し(ステップS244)、さらに、ユーザ入力を要求する(ステップS246)。ステップS246において、ユーザから「YES」というような入力があった場合には、ステップS248の処理に進む。また、ユーザから「NO」というような入力があった場合には、ステップS224の処理に進み、ステップS224やステップS228のような「顔色が悪い」ことに関するメッセージを提示した後、顔色判定処理を終了する。また、ステップS248の処理に進むと、現在の画像データが一時的正常な範囲内となるように、現在の画像データから一時補正値を決定し、メモリ20に保存する(ステップS248)。この後、顔色判定処理を終了する。
If it is determined in step S220 that the temporary correction value is not stored, the user IF
なお、以上の説明では、1度取得した期待値から算出した各パラメータを利用して、顔色の判定を行う一例を挙げて説明したが、顔色は上述したような、入浴や飲酒後、あるいは日焼けのような一時的な変化に加えて、例えば、季節、曜日、時間帯および気温や生活パターンなどによっても変化する可能性がある。図7は、本情報処理装置におけるこのような各変化にも対応させるために設定した各パラメータの一例を示している。すなわち、図7に示すように、季節、曜日、時間帯および気温における期待値を初期化部22により取得するとともに、それぞれの期待値から図6に示したような各パラメータを求め、メモリ20に保存する。そして、季節や曜日などに合わせて顔色判定処理を行うことにより、より精度よい顔色判定を行うことが可能となる。
In the above description, an example in which the facial color is determined using each parameter calculated from the expected value acquired once has been described. However, the facial color is as described above after bathing or drinking, or tanning. In addition to temporary changes such as the above, there is also a possibility that changes may occur depending on, for example, the season, day of the week, time zone, temperature, lifestyle pattern, and the like. FIG. 7 shows an example of each parameter set to cope with each change in the information processing apparatus. That is, as shown in FIG. 7, the
また、以上、図4および図5で説明したステップを実行することで本発明の色判定方法における各ステップの処理が実施される。 In addition, by executing the steps described above with reference to FIGS. 4 and 5, the processing of each step in the color determination method of the present invention is performed.
以上説明したように、本発明の情報処理装置は、被写体である顔に対して光線を照射する光源部12と、顔を撮影し、顔の画像データを取得するカメラ部11と、顔の画像データにおいて、障害物の有無を判定するとともに、障害物の領域を検出する障害物判定部23と、顔の画像データにおける障害物を避けた領域を対象領域として判定する対象領域判定部24と、光源部12から光線を照射して取得した画像データと照射せずに取得した画像データとの差分画像データを生成する差分画像生成部25と、差分画像生成部25により生成された差分画像データの対象領域において、あらかじめ設定した期待値に基づく閾値1および閾値2と比較し、顔色の変化の度合いを判定する顔色判定部26とを備えた構成である。このため、本発明の情報処理装置によれば、光源部12から光線を照射して取得した画像データと、光源部12から光線を照射せずに取得した画像データとの差分画像データを利用しているため、顔色など肌色の判定において、外光による影響を抑制することができる。さたに、本発明の情報処理装置によれば、ユーザの顔色判定のためユーザの顔画像を撮影したとき、障害物判定部23が顔色判定のために障害となる領域を判定し、対象領域判定部24が、障害物を避けた領域である対象領域を通知し、顔色判定部26が、この対象領域においてユーザの顔色を判定する。よって、本発明の情報処理装置によれば、外光の影響を受けることなく、また、ユーザの顔画像において障害物がある場合であっても、障害物を避けた領域で健康状態などを判定でき、これによって、精度よくユーザの健康状態などを推定し、通知する情報処理装置を提供することができる。また、同様に、本発明の色判定方法によっても、精度よくユーザの健康状態などを推定し、通知する色判定方法を提供することができる。
As described above, the information processing apparatus of the present invention includes the
なお、本発明を上記実施の形態に基づいて説明してきたが、本発明は、上記の実施の形態に限定されないのはもちろんである。以下のような場合も本発明に含まれる。 Although the present invention has been described based on the above embodiment, it is needless to say that the present invention is not limited to the above embodiment. The following cases are also included in the present invention.
すなわち、本情報処理装置を構成する構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)に含まれるとしてもよい。システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIである。 That is, some or all of the constituent elements constituting the information processing apparatus may be included in one system LSI (Large Scale Integration). The system LSI is an ultra-multifunctional LSI manufactured by integrating a plurality of components on a single chip.
また、上記の回路を構成する構成要素の各部は、個別に1チップ化されていてもよいし、一部またはすべてを含むように1チップ化されてもよい。 In addition, each part of the constituent elements constituting the above circuit may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
また、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。 Although the system LSI is used here, it may be called IC, LSI, super LSI, or ultra LSI depending on the degree of integration. Further, the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible. An FPGA (Field Programmable Gate Array) that can be programmed after manufacturing the LSI or a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応などが可能性としてありえる。 Furthermore, if integrated circuit technology comes out to replace LSI's as a result of the advancement of semiconductor technology or a derivative other technology, it is naturally also possible to carry out function block integration using this technology. Biotechnology can be applied as a possibility.
また、本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、上記コンピュータプログラムからなるデジタル信号であるとしてもよい。 Further, the present invention may be the method described above. Further, the present invention may be a computer program that realizes these methods by a computer, or may be a digital signal composed of the computer program.
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、BD(Blu−ray Disc)、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている上記デジタル信号であるとしてもよい。 The present invention also provides a computer-readable recording medium such as a flexible disk, hard disk, CD-ROM, MO, DVD, DVD-ROM, DVD-RAM, BD (Blu-ray Disc). ), Recorded in a semiconductor memory or the like. Further, the digital signal may be recorded on these recording media.
また、本発明は、上記コンピュータプログラムまたは上記デジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送などを経由して伝送するものとしてもよい。 In the present invention, the computer program or the digital signal may be transmitted via an electric communication line, a wireless or wired communication line, a network represented by the Internet, a data broadcast, or the like.
また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、上記メモリは、上記コンピュータプログラムを記憶しており、上記マイクロプロセッサは、上記コンピュータプログラムに従って動作するとしてもよい。 The present invention may be a computer system including a microprocessor and a memory, wherein the memory stores the computer program, and the microprocessor operates according to the computer program.
また、上記プログラムまたは上記デジタル信号を上記記録媒体に記録して移送することにより、または上記プログラムまたは上記デジタル信号を上記ネットワークなどを経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。 In addition, the program or the digital signal is recorded on the recording medium and transferred, or the program or the digital signal is transferred via the network or the like, and executed by another independent computer system. It is good.
また、上記実施の形態および上記変形例をそれぞれ組み合わせるとしてもよい。 Further, the above embodiment and the above modification examples may be combined.
本発明は、ユーザの顔画像において障害物がある場合であっても、精度よくユーザの健康状態などを推定し、通知できるため、例えば、携帯電話装置などのような情報処理装置に適用することが可能である。 Since the present invention can accurately estimate and notify a user's health state even when there are obstacles in the user's face image, the present invention can be applied to an information processing device such as a mobile phone device. Is possible.
10 撮影部
11 カメラ部
12 光源部
20 メモリ
21 信号処理部
22 初期化部
23 障害物判定部
24 対象領域判定部
25 差分画像生成部
26 顔色判定部
27 通話制御部
28 補正部
30 ユーザIF部
31 表示部
32 キー部
DESCRIPTION OF
Claims (12)
前記被写体を撮影し、前記被写体の画像データを取得する撮影手段と、
前記被写体の画像データにおいて、障害物の有無を判定するとともに、前記障害物の領域を検出する障害物判定部と、
前記被写体の画像データにおける前記障害物を避けた領域を対象領域として判定する対象領域判定部と、
前記光源手段から光線を照射して取得した画像データと、前記光源手段から光線を照射せずに取得した画像データとの差分画像データを生成する差分画像生成部と、
前記差分画像生成部により生成された前記差分画像データの前記対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定する色判定部とを備えたことを特徴とする情報処理装置。 Light source means for irradiating a subject with light rays;
Photographing means for photographing the subject and obtaining image data of the subject;
In the image data of the subject, an obstacle determining unit that determines the presence or absence of an obstacle and detects the area of the obstacle;
A target area determination unit that determines, as a target area, an area that avoids the obstacle in the image data of the subject;
A difference image generation unit that generates difference image data between image data obtained by irradiating light from the light source means and image data obtained without irradiating light from the light source means;
A color determination unit that compares the target area of the difference image data generated by the difference image generation unit with a preset expected value and determines the degree of color change of the subject. Information processing device.
前記画像データを、複数の画素で構成されるブロック単位で分割し、
あらかじめ定めた所定の範囲の閾値と、前記ブロックにおける各画素の平均値とを比較し、前記平均値が前記所定の範囲の閾値の範囲外となるブロックを第1除外ブロックとし、
第1除外ブロックであり、かつ周囲のブロックの中に連続した所定の個数以上の第1除外ブロックがある場合には、それぞれを第2除外ブロックとし、
画像の最外周の各ブロックを第3除外ブロックとし、
前記第2除外ブロックおよび前記第3除外ブロックを障害物領域とし、
前記対象領域判定部は、前記画像データにおいて前記障害物領域を除外した領域を対象領域とすることを特徴とする請求項1から3までのいずれか1項に記載の情報処理装置。 The obstacle determination unit
The image data is divided into blocks each composed of a plurality of pixels,
A predetermined threshold value in a predetermined range is compared with an average value of each pixel in the block, and a block in which the average value is outside the predetermined threshold value range is defined as a first exclusion block.
If there are more than a predetermined number of consecutive first excluded blocks in the surrounding blocks, each is a second excluded block,
Each outermost block of the image is a third excluded block,
The second exclusion block and the third exclusion block are obstacle regions,
The information processing apparatus according to any one of claims 1 to 3, wherein the target area determination unit sets a target area as an area excluding the obstacle area in the image data.
前記色判定部は、前記対象領域において、前記補正値で補正された期待値と比較し、被写体の色の変化の度合いを判定することを特徴とする請求項1から3までのいずれか1項に記載の情報処理装置。 A correction unit that generates a correction value for the expected value;
4. The color determination unit according to claim 1, wherein the color determination unit compares the expected value corrected with the correction value in the target area and determines the degree of change in the color of the subject. The information processing apparatus described in 1.
前記光源手段から光線を照射して前記被写体を撮影し、画像データを取得するステップと、
前記光源手段から光線を照射せずに前記被写体を撮影し、画像データを取得するステップと、
前記被写体の画像データにおいて、障害物の有無を判定するとともに、前記障害物の領域を検出するステップと、
前記被写体の画像データにおける前記障害物を避けた領域を対象領域として判定するステップと、
前記光源手段から光線を照射して取得した画像データと、前記光源手段から光線を照射せずに取得した画像データとの差分画像データを生成するステップと、
前記生成された差分画像データの前記対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定するステップとを備えたことを特徴とする色判定方法。 A color determination method by an information processing apparatus comprising light source means for irradiating a subject with light rays and photographing means for photographing the subject and acquiring image data of the subject,
Irradiating light from the light source means to photograph the subject and obtaining image data;
Photographing the subject without irradiating light from the light source means, and obtaining image data;
Determining the presence or absence of an obstacle in the image data of the subject and detecting the area of the obstacle;
Determining an area avoiding the obstacle in the image data of the subject as a target area;
Generating difference image data between image data acquired by irradiating light from the light source means and image data acquired without irradiating light from the light source means;
A color determination method comprising: a step of comparing the target area of the generated difference image data with a predetermined expected value to determine the degree of color change of the subject.
前記光源手段から光線を照射して前記被写体を撮影し、画像データを取得するステップと、
前記光源手段から光線を照射せずに前記被写体を撮影し、画像データを取得するステップと、
前記被写体の画像データにおいて、障害物の有無を判定するとともに、前記障害物の領域を検出するステップと、
前記被写体の画像データにおける前記障害物を避けた領域を対象領域として判定するステップと、
前記光源手段から光線を照射して取得した画像データと、前記光源手段から光線を照射せずに取得した画像データとの差分画像データを生成するステップと、
前記生成された差分画像データの前記対象領域において、あらかじめ設定した期待値と比較し、被写体の色の変化の度合いを判定するステップとを備えたことを特徴とするプログラム。 A program for an information processing apparatus comprising light source means for irradiating a subject with light rays and photographing means for photographing the subject and acquiring image data of the subject,
Irradiating light from the light source means to photograph the subject and obtaining image data;
Photographing the subject without irradiating light from the light source means, and obtaining image data;
Determining the presence or absence of an obstacle in the image data of the subject and detecting the area of the obstacle;
Determining an area avoiding the obstacle in the image data of the subject as a target area;
Generating difference image data between image data acquired by irradiating light from the light source means and image data acquired without irradiating light from the light source means;
A program comprising the step of comparing a target value of the generated difference image data with a predetermined expected value and determining a degree of color change of a subject.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007104799A JP2008259676A (en) | 2007-04-12 | 2007-04-12 | Information processing device and color determining method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007104799A JP2008259676A (en) | 2007-04-12 | 2007-04-12 | Information processing device and color determining method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008259676A true JP2008259676A (en) | 2008-10-30 |
Family
ID=39982644
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007104799A Pending JP2008259676A (en) | 2007-04-12 | 2007-04-12 | Information processing device and color determining method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2008259676A (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015085039A (en) * | 2013-10-31 | 2015-05-07 | シャープ株式会社 | Measuring device |
US9029481B2 (en) | 2011-07-29 | 2015-05-12 | Ricoh Company, Ltd. | Method for producing polymer, device for producing polymer, device for producing complex, and polymer product |
WO2018190403A1 (en) * | 2017-04-14 | 2018-10-18 | ダイキン工業株式会社 | Physiological state assessment apparatus |
CN109389775A (en) * | 2017-08-07 | 2019-02-26 | 青岛海尔洗衣机有限公司 | A kind of long-range control method of commercial clothing processing apparatus |
WO2020050295A1 (en) * | 2018-09-06 | 2020-03-12 | 株式会社資生堂 | Image analysis device, image analysis method and program |
US10912516B2 (en) | 2015-12-07 | 2021-02-09 | Panasonic Corporation | Living body information measurement device, living body information measurement method, and storage medium storing program |
JP7491527B2 (en) | 2020-05-20 | 2024-05-28 | 康 清木 | Object state determination device and object state management system |
JP7510051B2 (en) | 2020-08-12 | 2024-07-03 | 花王株式会社 | Skin imaging method |
-
2007
- 2007-04-12 JP JP2007104799A patent/JP2008259676A/en active Pending
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9029481B2 (en) | 2011-07-29 | 2015-05-12 | Ricoh Company, Ltd. | Method for producing polymer, device for producing polymer, device for producing complex, and polymer product |
JP2015085039A (en) * | 2013-10-31 | 2015-05-07 | シャープ株式会社 | Measuring device |
US10912516B2 (en) | 2015-12-07 | 2021-02-09 | Panasonic Corporation | Living body information measurement device, living body information measurement method, and storage medium storing program |
US11786165B2 (en) | 2017-04-14 | 2023-10-17 | Daikin Industries, Ltd. | Physiological state determination device |
WO2018190403A1 (en) * | 2017-04-14 | 2018-10-18 | ダイキン工業株式会社 | Physiological state assessment apparatus |
JP2018175507A (en) * | 2017-04-14 | 2018-11-15 | ダイキン工業株式会社 | Physical state determination device |
CN110520047A (en) * | 2017-04-14 | 2019-11-29 | 大金工业株式会社 | Physiological status decision maker |
CN109389775A (en) * | 2017-08-07 | 2019-02-26 | 青岛海尔洗衣机有限公司 | A kind of long-range control method of commercial clothing processing apparatus |
WO2020050295A1 (en) * | 2018-09-06 | 2020-03-12 | 株式会社資生堂 | Image analysis device, image analysis method and program |
US11494945B2 (en) | 2018-09-06 | 2022-11-08 | Shiseido Company, Ltd. | Image analysis device, image analysis method, and program |
JP7289308B2 (en) | 2018-09-06 | 2023-06-09 | 株式会社 資生堂 | Image analysis device, image analysis method and program |
JPWO2020050295A1 (en) * | 2018-09-06 | 2021-09-02 | 株式会社 資生堂 | Image analyzer, image analysis method and program |
JP7491527B2 (en) | 2020-05-20 | 2024-05-28 | 康 清木 | Object state determination device and object state management system |
JP7510051B2 (en) | 2020-08-12 | 2024-07-03 | 花王株式会社 | Skin imaging method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008259676A (en) | Information processing device and color determining method | |
US10097770B2 (en) | Image capturing apparatus and image processing method thereof | |
US8340417B2 (en) | Image processing method and apparatus for correcting skin color | |
US10799115B2 (en) | Through focus retinal image capturing | |
US11138732B2 (en) | Assessment of fundus images | |
JP6624459B2 (en) | Information processing apparatus, information processing system, and program | |
JP2008227569A (en) | Photographing device, electronic device, photography control method and photography control program | |
KR20120049230A (en) | Ambient correction in rolling image capture system | |
ATE403915T1 (en) | TWO-STAGE DETECTION OF PHOTOGRAPHIC EYE ARTIFACTS | |
JP2009171318A (en) | Image processor, image processing method, and imaging device | |
JP6096298B2 (en) | Backlight correction method, apparatus and terminal | |
KR102200999B1 (en) | Apparatus and method for evaluating periodontal disease prognosis based on tooth image | |
US20220245933A1 (en) | Method for neural network training, method for image segmentation, electronic device and storage medium | |
JP2013012941A (en) | Tracking apparatus, tracking method, and tracking program | |
KR20190056005A (en) | ear disease diagnosis system | |
JP2010220942A (en) | Pupil measuring device, pupil measuring method, and pupil measuring program | |
US20200121228A1 (en) | Bilirubin estimation using sclera color and accessories therefor | |
Inoue et al. | Vision-based bed detection for hospital patient monitoring system | |
JP6856017B2 (en) | Corneal reflex position detection device, line-of-sight detection device and corneal reflex position detection method | |
JP6664486B2 (en) | Image processing apparatus, operation method of image processing apparatus, and operation program of image processing apparatus | |
CN111698401B (en) | Apparatus, image processing apparatus, control method, and storage medium | |
JP2016197377A (en) | Computer program for image correction, image correction device, and image correction method | |
US20200145572A1 (en) | Stereoscopic apparatus and a method for determining exposure time | |
CN107728976B (en) | Picture adjusting method and device | |
KR102257998B1 (en) | Apparatus and method for cell counting |