JP7510051B2

JP7510051B2 - Skin imaging method

Info

Publication number: JP7510051B2
Application number: JP2020136445A
Authority: JP
Inventors: 健一郎吉田; 崇訓五十嵐
Original assignee: Kao Corp
Current assignee: Kao Corp
Priority date: 2020-08-12
Filing date: 2020-08-12
Publication date: 2024-07-03
Anticipated expiration: 2040-08-12
Also published as: JP2022032564A

Description

本発明は、皮膚に含まれる色素成分の濃度画像又は皮膚の表面反射光画像を形成する皮膚の画像形成方法及びシステムに関する。 The present invention relates to a method and system for forming an image of skin that forms a density image of pigment components contained in the skin or an image of the skin's surface reflected light.

皮膚の色がメラニン含量とヘモグロビン含量の影響を受けることが知られている。例えば、褐色の皮膚はメラニン含量が多く、白っぽい皮膚はメラニン含量が少ない。血色のよい皮膚はヘモグロビン含量が多く、血色の悪い皮膚はヘモグロビン含量が少ない。シミではメラニンが局所的に増加しており、紅斑ではヘモグロビンが局所的に増加している。 It is known that skin color is affected by melanin and hemoglobin content. For example, brown skin has a high melanin content, while pale skin has a low melanin content. Healthy skin has a high hemoglobin content, while pale skin has a low hemoglobin content. Age spots have a localized increase in melanin, while erythema has a localized increase in hemoglobin.

本出願人は、被験者の皮膚を撮影するにあたり、皮膚に照明用偏光板を通して照明光を照射し、該照明用偏光板と偏光方向の異なる受光用偏光板を通して反射光を受光することにより皮膚の表面で反射された光を除去し、皮膚の内部で反射された光を使用することで内部反射光画像を形成し、内部反射光画像に対して独立成分分析に基づく色素分析を行い、メラニンの濃度画像とヘモグロビンの濃度画像を形成することを提案している（特許文献１）。 The applicant proposes that, when photographing a subject's skin, the skin is irradiated with illumination light through an illumination polarizing plate, and the reflected light is received through a light-receiving polarizing plate with a different polarization direction from the illumination polarizing plate, thereby removing the light reflected from the surface of the skin, and an internal reflection image is formed using the light reflected inside the skin, and a pigment analysis based on independent component analysis is performed on the internal reflection image to form a melanin concentration image and a hemoglobin concentration image (Patent Document 1).

この独立成分分析に基づく色素分析は、皮膚の層構造を、メラニンを主な色素成分として含有する表皮層と、ヘモグロビンを主な色素成分として含有する真皮層と、その他の色素成分を含有する皮下組織との積層構造であるとしてモデル化し、各層から独立的にLambert－Beerの法則に基づいて色素成分の信号が発せられ、それらが混合したものが画像信号になっているとして、画像信号から各層の色素成分の信号を分離抽出する方法である（「肌画像の独立成分分析に基づく顔色の変化予測」1997年日本光学会講演予稿集30aE02および「肌の色素成分に基づく顔色合成とその評価」カラーフォーラムＪＡＰＡＮ２０００第５～８頁)。 This pigment analysis based on independent component analysis models the layered structure of the skin as a laminated structure consisting of the epidermis layer, which contains melanin as the main pigment component, the dermis layer, which contains hemoglobin as the main pigment component, and the subcutaneous tissue, which contains other pigment components. Each layer independently emits a pigment component signal based on the Lambert-Beer law, and these signals are mixed together to form an image signal. This method separates and extracts the pigment component signals of each layer from the image signal ("Prediction of changes in complexion based on independent component analysis of skin images," Abstracts of the 1997 Japan Optical Society Lecture Series 30aE02 and "Synthesis of complexion based on skin pigment components and its evaluation," Color Forum JAPAN 2000, pp. 5-8).

より具体的には、内部反射光画像におけるある点ｐの画素値Ｒ，Ｇ，Ｂの逆数の対数ｒ，ｇ，ｂ（即ち、ｒ＝log(1/R）、ｇ＝log(1/G)、ｂ＝log(1/B))をそれぞれ直交座標のｘ軸、ｙ軸、ｚ軸に割り当て、皮膚の平坦部分の肌色の画素値を色空間ｒ，ｇ，ｂにマッピングすると肌色分布面はほぼ平面状になる。この肌色分布面は、メラニンベクトルとヘモグロビンベクトルの合成ベクトルであると考えられる。そこで、個々の被験者の皮膚の内部反射光画像の信号からヘモグロビンベクトル又はメラニンベクトルを表す信号を抽出し、ヘモグロビン成分量又はメラニン成分量の分布を意味するヘモグロビンの濃度画像又はメラニンの濃度画像を出力する。 More specifically, when the logarithms r, g, and b (i.e. r = log(1/R), g = log(1/G), and b = log(1/B)) of the reciprocals of the pixel values R, G, and B of a certain point p in the internal reflection image are assigned to the x-axis, y-axis, and z-axis of the Cartesian coordinate system, respectively, and the pixel values of the skin color of the flat part of the skin are mapped to the color space r, g, and b, the skin color distribution surface becomes almost flat. This skin color distribution surface is considered to be a composite vector of the melanin vector and the hemoglobin vector. Therefore, a signal representing the hemoglobin vector or melanin vector is extracted from the signal of the internal reflection image of the skin of each subject, and a hemoglobin concentration image or melanin concentration image indicating the distribution of the amount of hemoglobin component or melanin component is output.

ここで、皮膚に起伏や照明ムラのある場合には、予め取得した光源成分のベクトルの方向に沿って、皮膚の肌色のベクトルをメラニンベクトル及びヘモグロビンベクトルの平面上に射影して陰影成分を除去し、ヘモグロビンの濃度画像又はメラニンの濃度画像を得る（特許文献２）。 Here, if the skin has undulations or uneven lighting, the skin's skin color vector is projected onto the plane of the melanin vector and hemoglobin vector along the direction of the vector of the light source component acquired in advance to remove the shadow components, and a hemoglobin concentration image or a melanin concentration image is obtained (Patent Document 2).

このような解析処理と画像処理の詳細はVol. 16, No. 9/ September 1999/ J. Opt. Soc. Am. A 2169に記載されており、パーソナルコンピュータに、市販の画像解析ソフト（例えば、AdobePhotoshop）を搭載することにより行うことができる。 Details of such analysis and image processing are described in Vol. 16, No. 9/ September 1999/ J. Opt. Soc. Am. A 2169, and can be performed by installing commercially available image analysis software (e.g. Adobe Photoshop) on a personal computer.

特許３８７７９５９号公報Patent No. 3877959 特許４０９８５４２号公報Patent No. 4098542

しかしながら、特許文献１に記載のように偏光板を用いて内部反射光画像を形成しても、さらには特許文献２に記載のように内部反射光画像から陰影成分を除去しても、内部反射光画像の形成時に照明光以外の光（以下、環境光という）が皮膚にあたると、皮膚の表面及び内部で反射した環境光由来の光の一部が受光用偏光板を通り抜けてしまい、内部反射光画像に環境光による反射光が映り込むという問題が生じる。 However, even if an internally reflected light image is formed using a polarizing plate as described in Patent Document 1, or even if shadow components are removed from the internally reflected light image as described in Patent Document 2, if light other than the illumination light (hereinafter referred to as ambient light) hits the skin when the internally reflected light image is being formed, some of the light originating from the ambient light reflected on and inside the skin passes through the light-receiving polarizing plate, causing the problem that the reflected light due to the ambient light is reflected in the internally reflected light image.

この映り込みを解消するためには、暗室や環境光を遮る筐体内で撮像することが必要となる。そのため、例えば、店頭で化粧アドバイザーが顧客の顔の内部反射光画像を撮り、メラニン濃度の分布を説明し、顧客に好適な化粧方法をアドバイスしようとしても、店頭には通常暗室や環境光を遮る筐体が無いため、皮膚の精確な内部反射光画像を提示することができない。 To eliminate this reflection, it is necessary to capture images in a darkroom or a case that blocks ambient light. For example, even if a makeup advisor at a store takes an internally reflected light image of a customer's face to explain the distribution of melanin concentration and give advice on the best makeup technique for the customer, an accurate internally reflected light image of the skin cannot be presented because stores usually do not have a darkroom or a case that blocks ambient light.

これに対し、本発明の課題は、偏光を用いて皮膚の内部反射光画像を形成するにあたり、暗室や環境光を遮る筐体の有無に関わらず、環境光の影響が内部反射光画像に現れないようにすること、より具体的には環境光の皮膚の表面及び内部での反射光が内部反射光画像に映り込まないようにすることに関する。 In contrast, the objective of the present invention is to prevent the influence of ambient light from appearing in an internally reflected light image when forming an internally reflected light image of skin using polarized light, regardless of the presence or absence of a darkroom or a housing that blocks ambient light, and more specifically, to prevent ambient light reflected on the surface and inside of the skin from appearing in the internally reflected light image.

本発明者は、環境光下で照明光として皮膚に特定の強さの偏光を照射し、偏光板を通して皮膚の偏光画像を形成すると共に、環境光下で照明光なしで前記偏光板を通して皮膚の偏光画像を形成し、照明光を用いて形成した偏光画像から、照明光なしで形成した偏光画像を差し引いて差分画像を形成すると、この差分画像では環境光の反射光の影響が相殺されて現れないこと、したがって、環境光による反射光の映り込みがない皮膚の内部反射光画像や表面反射光画像を形成するには、この差分画像を使用することが有効であることを想到し、本発明を完成させた。 The inventors have come up with the idea that if a polarized light of a specific strength is irradiated onto the skin as illumination light under ambient light, a polarized image of the skin is formed through a polarizing plate, and a polarized image of the skin is also formed through the polarizing plate under ambient light without illumination light, and a difference image is formed by subtracting the polarized image formed without illumination light from the polarized image formed using illumination light, the effect of reflected light of the ambient light is offset and does not appear in this difference image, and therefore, the use of this difference image is effective in forming an internal reflection light image or a surface reflection light image of the skin that is free of the reflection of light due to ambient light, and have completed the present invention.

即ち、本発明は、環境光下において照明用偏光フィルタを通して照明光を皮膚に照射し、受光用偏光フィルタを通して皮膚を撮像することにより偏光画像（以下、照明光有り偏光画像という）を形成し、
前記環境光下において照明光を照射せずに受光用偏光フィルタを通して前記皮膚を撮像することにより偏光画像（以下、照明光無し偏光画像という）を形成し、
照明光有り偏光画像と照明光無し偏光画像との差分画像を形成し、
該差分画像を用いて皮膚画像を形成する画像形成方法であって、
照明光有り偏光画像の関心領域における画素値が、照明光無し偏光画像の同領域における画素値の１１５％以上となるように照明光を照射する皮膚の画像形成方法を提供する。 That is, the present invention forms a polarized image (hereinafter referred to as a polarized image with illumination light) by irradiating illumination light onto skin through an illumination polarizing filter under ambient light and capturing an image of the skin through a light-receiving polarizing filter;
forming a polarized image (hereinafter referred to as a polarized image without illumination light) by capturing an image of the skin through a light-receiving polarizing filter under the ambient light;
forming a difference image between the polarized image with illumination light and the polarized image without illumination light;
An image forming method for forming a skin image using the difference image, comprising:
A method for imaging skin is provided in which illumination light is applied such that pixel values in a region of interest in a polarized image with illumination light are at least 115% of the pixel values in the same region in a polarized image without illumination light.

また本発明は、照明手段、デジタルカメラ、及び演算手段を備え、照明手段の前面に照明用偏光フィルタを有すると共に、デジタルカメラの撮像用レンズの前面に受光用偏光フィルタを有し、
デジタルカメラは、照明手段が皮膚に照明光を照射すると、受光用偏光フィルタを通して該皮膚を撮ることにより照明光有り偏光画像を形成すると共に、照明手段が照明光を照射しない状態で受光用偏光フィルタを通して該皮膚を撮ることにより照明光無し偏光画像を形成し、
演算手段が、照明光有り偏光画像と照明光無し偏光画像の差分画像を形成し、
該差分画像を用いて皮膚画像を形成する画像形成システムであって、
照明光有り偏光画像の関心領域における画素値が、照明光無し偏光画像の同領域における画素値の１１５％以上となるように照明手段が照明光を皮膚に照射する画像形成システムを提供する。 The present invention also provides a method for detecting a polarizing filter for illumination, comprising: an illumination unit; a digital camera; and a computing unit; the illumination unit has a polarizing filter for illumination in front of it; and the digital camera has a polarizing filter for receiving light in front of an imaging lens;
When the illumination means irradiates the skin with illumination light, the digital camera forms a polarized image with illumination light by photographing the skin through a light-receiving polarizing filter, and forms a polarized image without illumination light by photographing the skin through the light-receiving polarizing filter in a state in which the illumination means does not irradiate the illumination light;
A calculation means forms a difference image between the polarized image with illumination light and the polarized image without illumination light;
an imaging system for forming a skin image using the difference image,
The present invention provides an image forming system in which an illumination means irradiates the skin with illumination light so that pixel values in a region of interest in a polarized image with illumination light are 115% or more of pixel values in the same region in a polarized image without illumination light.

本発明によれば、環境光下において照明光を皮膚に照射して得た偏光画像と、環境光下において照明光を照射せずに得た偏光画像との差分画像を使用するので、皮膚の内部反射光画像や表面反射光画像において環境光による反射光の映り込みをなくすことができる。 According to the present invention, a difference image between a polarized image obtained by irradiating the skin with illumination light under ambient light and a polarized image obtained without irradiating the skin with illumination light under ambient light is used, so that the glare of reflected light due to ambient light can be eliminated in the internal reflection light image and surface reflection light image of the skin.

特に、内部反射光画像を得る場合には、照明用偏光フィルタと受光用偏光フィルタの偏光方向を異ならせた場合において、照明光を照射して得た偏光画像と、照明光を照射せずに得た偏光画像の差分画像があればよい。このため、内部反射光画像を得るための撮像行為としては照明光の照射の有無を切り替えるだけで足る。 In particular, when obtaining an internal reflection image, if the polarization directions of the illumination polarizing filter and the light-receiving polarizing filter are made different, all that is required is a differential image between a polarized image obtained by irradiating illumination light and a polarized image obtained without irradiating illumination light. Therefore, the imaging action required to obtain an internal reflection image is simply to switch between irradiating illumination light and not irradiating illumination light.

したがって、本発明によれば、店頭、化粧品ユーザーの自宅、会議室等の任意の場所で、暗室や環境光を遮る筐体を使用することなく、環境光による反射画像の映り込みの無い内部反射光画像に基づいてメラニン、ヘモグロビン等の皮膚の色素成分の濃度画像を精確にかつ簡便に形成することができ、また、表面反射光画像も同様に精確に形成することができる。よって、店頭等において美容アドバイザーが顧客に、メラニン、ヘモグロビン等の皮膚の色素成分の精確な濃度画像に基づいて美容アドバイスをすることが可能となり、また、顧客が自宅などで自らを撮影することで差分画像が形成され、差分画像に基づいて皮膚の色素成分の濃度画像が形成され、その濃度画像に基づいて美容アドバイザーが顧客に美容アドバイスを提供することも可能となる。 Therefore, according to the present invention, it is possible to accurately and easily form density images of skin pigment components such as melanin and hemoglobin based on an internal reflection light image that is free of reflection images caused by ambient light, at any location such as a storefront, the cosmetics user's home, or a conference room, without using a darkroom or a case that blocks ambient light, and it is also possible to form a surface reflection light image accurately as well. Therefore, it becomes possible for a beauty advisor to give beauty advice to a customer at a storefront or the like based on an accurate density image of skin pigment components such as melanin and hemoglobin, and it is also possible for a customer to take a picture of themselves at home or the like to form a difference image, and a density image of skin pigment components is formed based on the difference image, and the beauty advisor can provide beauty advice to the customer based on the density image.

図１は、実施例の画像形成方法の流れの概要を示す模式図である。FIG. 1 is a schematic diagram showing an outline of the flow of an image forming method according to an embodiment of the present invention. 図２は、実施例の画像形成システム１００Ａの模式的構成図である。FIG. 2 is a schematic diagram of an image forming system 100A according to the embodiment. 図３は、皮膚と照明手段と受光手段の好ましい位置関係の説明図である。FIG. 3 is an explanatory diagram of a preferred positional relationship between the skin, the illumination means, and the light receiving means. 図４は、スマートフォンを用いた画像形成システム１００Ｂの平面図である。FIG. 4 is a plan view of an image forming system 100B using a smartphone. 図５は、スマートフォンを用いた画像形成システム１００Ｃの平面図及び側面図である。FIG. 5 is a plan view and a side view of an image forming system 100C using a smartphone. 図６は、スマートフォンを用いた画像形成システム１００Ｄの平面図である。FIG. 6 is a plan view of an image forming system 100D using a smartphone. 図７は、スマートフォンを用いた画像形成システムにおけるフローチャートである。FIG. 7 is a flowchart of an image forming system using a smartphone. 図８Ａは、試験例で用いた装置の構成図である。FIG. 8A is a diagram showing the configuration of the device used in the test example. 図８Ｂは、関心領域を示した顔画像の正面図である。FIG. 8B is a front view of a face image showing the region of interest. 図９は、試験例で照明手段として用いた蛍光灯の点灯モードの説明図である。FIG. 9 is an explanatory diagram of the lighting modes of the fluorescent lamp used as the lighting means in the test example. 図１０は、試験例１における内部反射光画像、ヘモグロビン濃度画像、メラニン濃度画像である。FIG. 10 shows an internal reflection light image, a hemoglobin concentration image, and a melanin concentration image in Test Example 1. 図１１は、試験例２における内部反射光画像、ヘモグロビン濃度画像、メラニン濃度画像である。FIG. 11 shows an internal reflection light image, a hemoglobin concentration image, and a melanin concentration image in Test Example 2. 図１２Ａは、試験例３～試験例７における内部反射光画像である。FIG. 12A shows internal reflection light images in Test Examples 3 to 7. 図１２Ｂは、試験例３～試験例７におけるヘモグロビン濃度画像である。FIG. 12B is a hemoglobin concentration image in Test Examples 3 to 7. 図１２Ｃは、試験例３～試験例７におけるメラニン濃度画像である。FIG. 12C is a melanin concentration image in Test Examples 3 to 7.

以下、本発明を、図面を参照しつつ詳細に説明する。なお、各図中、同一符号は同一または同等の構成要素を表している。 The present invention will now be described in detail with reference to the drawings. Note that in each drawing, the same reference numerals represent the same or equivalent components.

（皮膚画像形成方法）
図１は、本発明の一実施例の画像形成方法の流れの概要を示しており、図２はこの画像形成方法を実施する画像形成システムの模式的構成図である。 Skin Imaging Method
FIG. 1 shows an outline of the flow of an image forming method according to an embodiment of the present invention, and FIG. 2 is a schematic diagram of an image forming system for carrying out this image forming method.

本発明の方法では、偏光を使用して皮膚の内部反射光画像を得、内部反射光画像から独立成分分析に基づく色素分析等などによりメラニン、ヘモグロビン等の皮膚の色素成分の濃度画像を形成する公知の手法と同様に、照明用偏光フィルタを通して皮膚に照明光を照射し、その皮膚を、受光用偏光フィルタを通してデジタルカメラで撮像する。しかし、本発明においては、皮膚の色素成分の濃度画像において環境光による皮膚の表面及び内部の反射光の映り込みをなくすため、内部反射光画像を、次のように差分画像として形成することを特徴としている。 In the method of the present invention, similar to known techniques of obtaining an internal reflection light image of the skin using polarized light and forming a concentration image of skin pigment components such as melanin and hemoglobin from the internal reflection light image by pigment analysis based on independent component analysis, the skin is irradiated with illumination light through an illumination polarizing filter and the skin is imaged by a digital camera through a light receiving polarizing filter. However, in the present invention, in order to eliminate the reflection of light reflected from the surface and inside of the skin due to ambient light in the concentration image of the skin pigment components, the internal reflection light image is formed as a difference image as follows.

本実施例の方法では、まず、図１の工程１に示すように、天井照明１等の室内照明や外光などにより形成される環境光の下で照明用偏光フィルタ２を通して照明手段３により照明光Ｌ1を皮膚Ｓに照射し、受光用偏光フィルタ４を通して皮膚Ｓをデジタルカメラ５で撮像することにより照明光有り偏光画像Ａを得る。 In the method of this embodiment, first, as shown in step 1 of FIG. 1, under ambient light formed by indoor lighting such as ceiling lighting 1 or external light, illumination light L1 is irradiated onto skin S by illumination means 3 through illumination polarizing filter 2, and skin S is imaged by digital camera 5 through light receiving polarizing filter 4 to obtain a polarized image A with illumination light.

この場合、照明光用偏光フィルタ２と受光用偏光フィルタ４の偏光方向を互いに異ならせておく。例えば図１の工程１に示すように、照明用偏光フィルタ２を通る光を縦偏光と（振動電場が鉛直方向に振動する偏光）し、受光用偏光フィルタ４を通る光を横偏光（振動電場が水平方向に振動する偏光）とする。なお、本発明において照明用偏光フィルタ２の偏光方向は縦偏光及び横偏光のいずれでもよい。 In this case, the polarization directions of the illumination polarizing filter 2 and the receiving polarizing filter 4 are made different from each other. For example, as shown in step 1 of FIG. 1, the light passing through the illumination polarizing filter 2 is made vertically polarized (polarized light whose oscillating electric field oscillates vertically), and the light passing through the receiving polarizing filter 4 is made horizontally polarized (polarized light whose oscillating electric field oscillates horizontally). Note that in the present invention, the polarization direction of the illumination polarizing filter 2 may be either vertical or horizontal.

また、照明手段３としては白色光源を使用することが好ましい。ここで、白色光源とはＲＧＢの各波長帯に成分を有する光を発する光源をいう。白色光源の使用により、皮膚画像の画素を形成するＲ、Ｇ、Ｂの光源ごとに環境光の影響を低減させる場合に比して極めて簡便に環境光の影響を皮膚画像からなくすことができる。白色光源としては、撮影した肌画像についてオーバーフローしない範囲でＲＧＢいずれの画素値についてもダイナミックレンジを有効に活用できるように、ＲＧＢの波長間のバランスがある程度揃っているものが好ましい。 It is also preferable to use a white light source as the illumination means 3. Here, a white light source refers to a light source that emits light having components in each of the RGB wavelength bands. By using a white light source, it is possible to eliminate the influence of environmental light from the skin image extremely easily compared to reducing the influence of environmental light for each of the R, G, and B light sources that form the pixels of the skin image. It is preferable for the white light source to have a certain degree of balance between the RGB wavelengths so that the dynamic range can be effectively utilized for each of the RGB pixel values without overflowing the captured skin image.

また、内部反射光画像から色素成分の濃度画像を得る場合には、皮膚Ｓにあたる照明光Ｌ1の強度にはムラがあってもよい。ホワイトバランスをとることで、色素成分の濃度画像に対する照明光の強度ムラの影響をなくすことができる。したがって、白色光源として、白色蛍光灯、白色ＬＥＤ等を関心領域の周囲に単数又は複数個を配置することができる。 When obtaining a pigment component density image from an internal reflection light image, the illumination light L1 that strikes the skin S may have uneven intensity. By achieving white balance, the effect of uneven illumination light intensity on the pigment component density image can be eliminated. Therefore, one or more white fluorescent lamps, white LEDs, etc. can be placed around the area of interest as a white light source.

照明手段３は、図３に示すように、皮膚Ｓに対する照明光Ｌ1の入射角ａが、好ましくは６０°以下となるように、より好ましくはできるだけ垂直入射に近くなるように設置する。これにより、皮膚Ｓを明るく照明することができ、皮膚Ｓの関心領域の色素成分の濃度画像をより精度良く形成することができる。これに対して、照明光Ｌ１の入射角ａが大きくなると色素成分の濃度画像において、色素の深さ情報のばらつきが大きくなりやすい。 As shown in FIG. 3, the illumination means 3 is installed so that the angle of incidence a of the illumination light L1 with respect to the skin S is preferably 60° or less, and more preferably as close to perpendicular incidence as possible. This allows the skin S to be brightly illuminated, and a density image of the pigment components in the region of interest of the skin S can be formed with greater accuracy. On the other hand, if the angle of incidence a of the illumination light L1 becomes larger, the variation in pigment depth information tends to become greater in the density image of the pigment components.

また、照明手段３では、照明光の光量が可変であることが好ましい。本発明では、工程２で説明するように、工程１で撮る照明光有り偏光画像Ａの関心領域における画素値を、工程２で撮る照明光無し偏光画像Ｘの同領域の画素値の１１５％以上、好ましくは１３０％以上に調整するので、照明手段３において照明光の光量が可変であると、この調整が容易となる。 It is also preferable that the amount of illumination light in the illumination means 3 is variable. In the present invention, as described in step 2, the pixel values in the region of interest in the polarized image A with illumination light taken in step 1 are adjusted to 115% or more, preferably 130% or more, of the pixel values in the same region in the polarized image X without illumination light taken in step 2. Therefore, if the amount of illumination light in the illumination means 3 is variable, this adjustment becomes easier.

デジタルカメラ５としては、絞りとシャッタースピードをマニュアルで設定でき、ガンマ補正等の加工を行う前の画像（いわゆるＲＡＷデータ）を出力できるものが好ましい。
また、図３に示すようにデジタルカメラ５は、皮膚Ｓの関心領域の法線に対する光軸の角度ｂが６０°以下となるように設置することが好ましい。上述のように照明光の皮膚Ｓに対する入射角ａも６０°以下とすることが好ましいことから、デジタルカメラ５と照明手段３とは近接して設置することが好ましい。 It is preferable that the digital camera 5 be one that allows manual setting of the aperture and shutter speed and that can output images before processing such as gamma correction (so-called RAW data).
3, the digital camera 5 is preferably installed so that the angle b of the optical axis with respect to the normal line of the region of interest of the skin S is 60° or less. As described above, the incident angle a of the illumination light with respect to the skin S is also preferably 60° or less, so that the digital camera 5 and the illumination means 3 are preferably installed close to each other.

一方、表面反射光画像を用いた評価を行う場合には、表面反射光は指向性が強いため、皮膚に光沢が現れる角度が含まれるように照明手段３とデジタルカメラ５を配置することが好ましい。 On the other hand, when performing an evaluation using surface reflected light images, since surface reflected light is highly directional, it is preferable to position the lighting means 3 and digital camera 5 so that the angles at which the skin appears glossy are included.

デジタルカメラ５の視野角に特に制限はない。画像の歪みを押さえる点では視野角が狭い方が好ましく、一方、カメラと測定対象の距離が近くても広い領域を撮影できるため装置を小型化できるという点では視野角が広い方が好ましい。 There are no particular limitations on the viewing angle of the digital camera 5. A narrower viewing angle is preferable in terms of minimizing image distortion, while a wider viewing angle is preferable in terms of miniaturizing the device since a wider area can be captured even if the camera is close to the object being measured.

図２に示すように、照明手段３から照明光が出射され、照明用偏光フィルタ２を通った照明光Ｌ1が縦偏光であるとき、皮膚Ｓに入射した光（縦偏光）Ｌ1は、皮膚Ｓの表面で反射すると共に、皮膚Ｓの内部で散乱する。皮膚Ｓの表面で反射した表面反射光Ｌ2は入射時の偏光を維持しているので受光用偏光フィルタ４でカットされる。 As shown in FIG. 2, when illumination light is emitted from the illumination means 3 and the illumination light L1 that passes through the illumination polarizing filter 2 is vertically polarized, the light (vertically polarized) L1 that is incident on the skin S is reflected by the surface of the skin S and scattered inside the skin S. The surface-reflected light L2 that is reflected by the surface of the skin S maintains the polarization at the time of incidence and is therefore cut by the receiving polarizing filter 4.

一方、皮膚Ｓの内部で散乱し、皮膚から出射した内部反射光Ｌ3は偏光が失われて無偏光となり、縦偏光と横偏光が半々で存在すると考えることができるので、内部反射光Ｌ3の１／２が受光用偏光フィルタ４を通ることになる。 On the other hand, the internally reflected light L3 that is scattered inside the skin S and exits the skin loses its polarization and becomes unpolarized, and can be thought of as being half vertically polarized and half horizontally polarized, so half of the internally reflected light L3 passes through the receiving polarizing filter 4.

また、環境光が皮膚Ｓに入射すると、皮膚Ｓにおける表面反射光と内部反射光を合わせた環境光由来の光Ｌ0が受光用偏光フィルタ４に入射する。そのうちα×Ｌ0が横偏光、（１－α）×Ｌ0が縦偏光だとすると、α×Ｌ0が受光用偏光フィルタ４を通る。なお、環境光由来の光Ｌ0を無偏光とみなす場合には、受光用偏光フィルタ４を通る光には縦偏光と横偏光が１／２ずつ含まれると考えることができるが、本発明においては、環境光由来の光の偏光を正しく評価するため、環境光由来の光Ｌ0における横偏光成分の割合αを考慮することが好ましい。 When ambient light is incident on the skin S, the light L0 originating from the ambient light, which is a combination of the surface reflected light and the internally reflected light from the skin S, is incident on the light receiving polarizing filter 4. If α×L0 of this light is horizontally polarized and (1-α)×L0 is vertically polarized, then α×L0 passes through the light receiving polarizing filter 4. If the light L0 originating from ambient light is considered to be unpolarized, it can be considered that the light passing through the light receiving polarizing filter 4 contains half vertically polarized light and half horizontally polarized light, but in the present invention, in order to correctly evaluate the polarization of the light originating from ambient light, it is preferable to take into account the proportion α of the horizontally polarized component in the light L0 originating from ambient light.

デジタルカメラ５で形成される画像の画素値は、受光用偏光フィルタ４を通る光の光量に比例すると考えて良いから、以下の計算では計算を簡単にするため、受光用偏光フィルタ４を通る光の光量をデジタルカメラ５で形成される画像の画素値とする。このようにしても、計算される画像の画素値は、実際のデジタルカメラで形成される画像の画素値の定数倍となるだけであるため、色素濃度の分布を得る点からは問題がない。 The pixel values of the image formed by digital camera 5 can be considered to be proportional to the amount of light passing through light-receiving polarizing filter 4, so in the following calculations, to simplify the calculations, the amount of light passing through light-receiving polarizing filter 4 is taken as the pixel value of the image formed by digital camera 5. Even in this way, the calculated pixel values of the image are simply a constant multiple of the pixel values of the image actually formed by the digital camera, so there is no problem in terms of obtaining the distribution of pigment concentrations.

内部反射光Ｌ3の強度をI₃、環境光由来の光Ｌ0の強度をＩ₀、環境光由来の光Ｌ0における横偏光成分の割合をαとすると、照明光有り偏光画像Ａの画素値Ｉ_Aは次式（１）で表される。
Ｉ_A＝(1/2)*Ｉ₃＋α*Ｉ₀ 式（１） If the intensity of the internally reflected light L3 is _I3 , the intensity of the light L0 originating from the ambient light is _I0 , and the proportion of the horizontally polarized component in the light L0 originating from the ambient light is α, then the pixel value I _A of the polarized image A with illumination light is expressed by the following equation (1).
I _A =(1/2)*I ₃ +α*I ₀ Equation (1)

次に、図１の工程２に示すように、工程１と同じ環境光の下で、照明手段３のスイッチをＯＦＦとして照明光を照射せず、前記受光用偏光フィルタ４を通して皮膚Ｓをデジタルカメラ５で撮像することにより照明光無し偏光画像Ｘを得る。この照明光無し偏光画像Ｘは、上述の環境光由来の光Ｌ0が受光用偏光フィルタ４を通ることにより形成される画像であり、その画素値Ｉ_X は次式（２）で表される。
Ｉ_X＝α*Ｉ₀ 式（２） 1, under the same ambient light as in step 1, the illumination means 3 is switched off to not irradiate illumination light, and the skin S is imaged by the digital camera 5 through the light-receiving polarizing filter 4 to obtain a no-illumination-light polarized image X. This no-illumination-light polarized image X is an image formed when light L0 originating from the above-mentioned ambient light passes through the light-receiving polarizing filter 4, and its pixel value _Ix is expressed by the following equation (2).
I _x =α*I ₀ Equation (2)

そこで、同図の工程３に示すように、照明光有り偏光画像Ａと照明光無し偏光画像Ｘの差分画像Ｐを形成する。即ち、
差分画像Ｐ＝照明光有り偏光画像Ａ－照明光無し偏光画像Ｘ
である。この場合、照明光有り偏光画像Ａと照明光なし偏光画像Ｘとの位置合わせは、テンプレートマッチングなど画像処理の手法により行う。この照明光有り偏光画像Ａと照明光なし偏光画像Ｘは、照明手段３のＯＮ、ＯＦＦが異なるだけで、他の設定は変更することなく連続的に形成できるので、位置合わせも容易である。なお、位置合わせの精度を高める点から、照明光無し偏光画像Ｘを照明光有り偏光画像Ａに合わせることが好ましい。 Therefore, as shown in step 3 of the figure, a difference image P between the polarized image A with illumination light and the polarized image X without illumination light is formed. That is,
Difference image P = polarized image A with illumination light - polarized image X without illumination light
In this case, the alignment of the polarized image A with illumination light and the polarized image X without illumination light is performed by an image processing technique such as template matching. The polarized image A with illumination light and the polarized image X without illumination light can be formed consecutively without changing any other settings, with the only difference being that the illumination means 3 is turned on or off, so alignment is easy. Note that, from the viewpoint of improving the accuracy of alignment, it is preferable to align the polarized image X without illumination light with the polarized image A with illumination light.

差分画像Ｐの画素値をＩ_Pとすると
Ｉ_P＝(1/2)*Ｉ₃ 式（３）
よって、
I₃＝2*Ｉ_P If the pixel value of the difference image P is I _P , then I _P = (1/2) * I ₃ (Equation 3)
Therefore,
_I3 = 2* _Ip

こうして、差分画像Ｐを形成することにより、環境光の影響を受けない内部反射光画像を形成することができる。 In this way, by forming a difference image P, an internal reflection image that is not affected by ambient light can be formed.

本発明においては、このように差分画像Ｐを形成するにあたり、照明光有り偏光画像Ａの関心領域における画素値が、工程２で撮る照明光無し偏光画像Ｘの同領域の画素値の１１５％以上、好ましくは１３０％以上となるように、工程１の照明光の光量を調整する。これにより、工程３で形成する差分画像Ｐにおいて、環境光による反射光の映り込みを低減ないし解消することができる。これに対し、この画素値の割合が小さすぎると、照明光有り偏光画像Ａと照明光無し偏光画像Ｘとの差分画像形成時に、これらの画像の微妙な位置ずれのために除去できなかった環境光の影響が相対的に大きくなり、環境光による反射光の映り込みを十分に解消することができない。一方、照明光が環境光に対して充分強い場合、環境光の寄与が相対的に小さくなるので差分画像を形成しなくても内部反射光画像における環境光の反射光の映り込みを実質的になくすことができ、差分画像を形成しない従来技術に対して本発明の優位性が発揮されにくくなる。したがって、差分画像を形成しない従来技術に対して本発明の優位性が発揮されるようにする点から上述の画素値の割合は、５００％以下とすることが好ましい。 In the present invention, when forming the difference image P in this way, the amount of illumination light in step 1 is adjusted so that the pixel value in the region of interest in the polarized image A with illumination light is 115% or more, preferably 130% or more, of the pixel value of the same region in the polarized image X without illumination light taken in step 2. This makes it possible to reduce or eliminate the reflection of reflected light due to ambient light in the difference image P formed in step 3. On the other hand, if the ratio of pixel values is too small, the influence of ambient light that could not be removed due to the subtle positional shift of these images during the formation of the difference image between the polarized image A with illumination light and the polarized image X without illumination light becomes relatively large, and the reflection of reflected light due to ambient light cannot be sufficiently eliminated. On the other hand, if the illumination light is sufficiently strong compared to the ambient light, the contribution of the ambient light becomes relatively small, so that the reflection of reflected light of ambient light in the internal reflection light image can be substantially eliminated without forming a difference image, and the advantage of the present invention over the conventional technology that does not form a difference image is difficult to demonstrate. Therefore, in order to ensure that the advantages of the present invention are realized over conventional techniques that do not form differential images, it is preferable that the ratio of the above pixel values be 500% or less.

ここで関心領域の選び方に特に制限はなく、例えば顔全体を関心領域としても構わないが、撮影条件の工夫などにより、関心領域の中に環境光による光沢が生じないようにしておくことが好ましい。 There are no particular limitations on how the region of interest can be selected; for example, the entire face can be selected as the region of interest, but it is preferable to prevent any gloss caused by ambient light from appearing within the region of interest by adjusting the shooting conditions, etc.

差分画像Ｐは、特許文献１に記載の内部反射光画像から環境光による反射光の映り込みをなくしたものに相当する。そこで、工程４では、演算手段６を用いて、差分画像に対して公知の独立成分分析、主成分分析等に基づいた色素分析を行うことによりメラニン、ヘモグロビン等の色素成分の濃度画像を形成する。こうして、本発明によれば色素成分の濃度画像において、環境光による反射光の映り込みをなくすことができる。 The difference image P corresponds to the internal reflection light image described in Patent Document 1 with the glare of reflected light due to ambient light removed. Therefore, in step 4, a calculation means 6 is used to perform pigment analysis on the difference image based on known independent component analysis, principal component analysis, etc., to form a concentration image of pigment components such as melanin and hemoglobin. In this way, according to the present invention, it is possible to remove the glare of reflected light due to ambient light in the concentration image of the pigment components.

なお、工程４で色素成分の濃度画像を形成するときには、内部反射光画像における或点ｐの画素値Ｒ，Ｇ，Ｂの逆数の対数ｒ，ｇ，ｂをそれぞれ直交座標のｘ軸、ｙ軸、ｚ軸に割り当てるから、環境光の影響を受けない内部反射光画像を形成するために、Ｒ、Ｇ、Ｂごとに照明光有り偏光画像と照明光無し偏光画像を形成し、それらの差分画像を形成することも可能である。しかしながら、白色光源を使用すると、照明光有り偏光画像Ａの形成と、照明光無し偏光画像Ｘの形成を１回ずつ行って差分画像Ｐを形成するだけで環境光による反射光の影響を受けない内部反射光画像を形成することができる。したがって、照明光として白色光を使用することにより、環境光による反射光の影響を受けない内部反射光画像の形成が極めて容易となる。 When forming the density image of the pigment components in step 4, the logarithms r, g, and b of the reciprocals of the pixel values R, G, and B of a certain point p in the internal reflection image are assigned to the x-axis, y-axis, and z-axis of the Cartesian coordinates, respectively. Therefore, in order to form an internal reflection image that is not affected by ambient light, it is also possible to form a polarized image with illumination and a polarized image without illumination for each of R, G, and B, and form a difference image between them. However, if a white light source is used, it is possible to form an internal reflection image that is not affected by reflected light from ambient light by simply forming a polarized image A with illumination and a polarized image X without illumination once each, and forming a difference image P. Therefore, by using white light as the illumination light, it becomes extremely easy to form an internal reflection image that is not affected by reflected light from ambient light.

一方、本発明において表面反射光画像を形成する場合には、工程１～工程３に加えて工程５～工程８を行う。工程５では、照明用偏光フィルタ２と受光用偏光フィルタ４の偏光方向を揃える。例えば、受光用偏光フィルタ４の偏光方向を横偏光から縦偏光に変更し、偏光フィルタ２、４が通す光を縦偏光とする。そして、照明用偏光フィルタ２と受光用偏光フィルタ４の偏光方向を揃える以外は、上述の照明光有り偏光画像Ａの形成と同様にして、工程１と同じ環境光の下で、照明光有り偏光画像Ｂを形成する。 On the other hand, when forming a surface reflected light image in the present invention, in addition to steps 1 to 3, steps 5 to 8 are performed. In step 5, the polarization directions of the illumination polarizing filter 2 and the light receiving polarizing filter 4 are aligned. For example, the polarization direction of the light receiving polarizing filter 4 is changed from horizontal polarization to vertical polarization, and the light passed by the polarizing filters 2 and 4 is made vertically polarized. Then, except for aligning the polarization directions of the illumination polarizing filter 2 and the light receiving polarizing filter 4, an illumination polarized image B is formed under the same environmental light as in step 1 in the same manner as in forming the illumination polarized image A described above.

なお、本発明では照明用偏光フィルタ２と受光用偏光フィルタ４の偏光方向を揃えた偏光画像を形成する場合に、縦偏光として揃えてもよく、横偏光として揃えてもよい。ただし、偏光方向の切替操作は、照明光の偏光方向を一定に保持する点から、受光用偏光フィルタで行うことが好ましい。 In the present invention, when forming a polarized image in which the polarization directions of the illumination polarizing filter 2 and the light-receiving polarizing filter 4 are aligned, the polarization directions may be aligned as vertical polarization or horizontal polarization. However, it is preferable to switch the polarization direction using the light-receiving polarizing filter in order to keep the polarization direction of the illumination light constant.

工程５において、皮膚の表面反射光（縦偏光）Ｌ2、内部反射光（無偏光）Ｌ3、環境光由来の光Ｌ0は図２に示したのと同様に形成される。ただし、図１に示した工程１では受光用偏光フィルタ４が通す光が横偏光であるのに対し、工程５では縦偏光であるため、表面反射光Ｌ2の強度をI₂、内部反射光Ｌ3の強度をI₃とし、前述と同様に環境光由来の光Ｌ0の強度をＩ₀、環境光由来の光Ｌ0における横偏光成分の割合をαとすると、照明光有り偏光画像Ｂの画素値Ｉ_B（ここでも、照明光有り偏光画像Ａの場合と同様に、受光用偏光フィルタ４を通る光の光量をデジタルカメラ５で形成される画像の画素値とする）は次式（４）で表される。

Ｉ_B＝Ｉ₂＋(1/2)*Ｉ₃＋(１－α)*Ｉ₀ 式（４）
この(１－α)*Ｉ₀が、照明光有り偏光画像Ｂに占める環境光由来の光の強度である。 In step 5, the skin's surface reflected light (vertical polarized light) L2, internally reflected light (unpolarized light) L3, and light L0 derived from ambient light are formed in the same manner as shown in Fig. 2. However, whereas the light passed by the light-receiving polarized filter 4 in step 1 shown in Fig. 1 is horizontally polarized light, in step 5 it is vertically polarized light, so if the intensity of the surface reflected light L2 is _I2 , the intensity of the internally reflected light L3 is _I3 , and as before, the intensity of the light L0 derived from ambient light is _I0 and the proportion of the horizontally polarized component in the light L0 derived from ambient light is α, then the pixel value _IB of the illumination-present polarized image B (again, as in the case of illumination-present polarized image A, the amount of light passing through the light-receiving polarized filter 4 is taken to be the pixel value of the image formed by digital camera 5) is expressed by the following equation (4):

I _B = I ₂ + (1/2) * I ₃ + (1 - α) * I ₀ Equation (4)
This (1-α)*I ₀ is the intensity of the light originating from the ambient light in the polarized image B with illumination light.

次に、工程６において、工程１と同じ環境光の下で、照明手段３のスイッチをＯＦＦとして照明光を照射せず、工程５で用いた受光用偏光フィルタ４を通して皮膚Ｓをデジタルカメラ５で撮像することにより照明光無し偏光画像Ｙを得、工程７において照明光有り偏光画像Ｂと照明光無し偏光画像Ｙの差分画像Ｑを得る。 Next, in step 6, under the same ambient light as in step 1, the illumination means 3 is switched off so that illumination light is not irradiated, and the skin S is imaged by the digital camera 5 through the light-receiving polarizing filter 4 used in step 5 to obtain a polarized image Y without illumination light, and in step 7, a difference image Q between the polarized image B with illumination light and the polarized image Y without illumination light is obtained.

工程７で得る差分画像Ｑの画素値をＩ_Qとすると、Ｉ_Qは次式（５）で表される。
Ｉ_Q＝Ｉ₂＋(1/2)*Ｉ₃ 式（５） If the pixel value of the difference image Q obtained in step 7 is _IQ , _IQ is expressed by the following equation (5).
_IQ = _I2 + (1/2)* _I3 Equation (5)

工程８では式（５）と前述の式（３）から表面反射光の強度Ｉ₂を次式で得る。
Ｉ₂＝Ｉ_Q－(1/2)*Ｉ₃＝Ｉ_Q－I_P In step 8, the intensity _I2 of the surface reflected light is obtained from equation (5) and the above-mentioned equation (3) as follows:
I ₂ = I _Q - (1/2) * I ₃ = I _Q - I _P

こうして本発明によれば、環境光の影響を受けない表面反射光画像も容易かつ簡便に形成することができる。 In this way, the present invention makes it possible to easily and simply form surface reflected light images that are not affected by ambient light.

（画像形成システム）
本発明の画像形成システムは、上述の工程１～工程４により皮膚の色素濃度画像を形成し、さらには工程５～工程８により皮膚の表面反射光画像を形成することを可能とする。図２に示した実施例の画像形成システム１００Ａは、上述した照明手段３、デジタルカメラ５、照明用偏光フィルタ２、受光用偏光フィルタ４を備え、さらにパーソナルコンピュータ等の演算手段６を備える。 (Image forming system)
The image forming system of the present invention is capable of forming a pigment density image of the skin through the above-mentioned steps 1 to 4, and further forming a surface reflected light image of the skin through steps 5 to 8. The image forming system 100A of the embodiment shown in Figure 2 comprises the above-mentioned illumination means 3, digital camera 5, illumination polarizing filter 2, light receiving polarizing filter 4, and further comprises calculation means 6 such as a personal computer.

なお、受光用偏光フィルタ４は装着の向きが可変であり、それにより照明用偏光フィルタ２の偏光方向に対して受光用偏光フィルタ４の偏光方向を異ならせたり、揃えたりすることができる。図２には、照明用偏光フィルタ２が縦偏光を通し、受光用偏光フィルタ４が横偏光を通す状態を示している。これに対し、照明用偏光フィルタ２の偏光方向を横とし、受光用偏光フィルタ４の偏光方向を縦としてもよい。 The orientation of the receiving polarizing filter 4 can be changed, allowing the polarization direction of the receiving polarizing filter 4 to be made different from or the same as the polarization direction of the illumination polarizing filter 2. Figure 2 shows a state in which the illumination polarizing filter 2 passes vertically polarized light, and the receiving polarizing filter 4 passes horizontally polarized light. Alternatively, the polarization direction of the illumination polarizing filter 2 may be horizontal, and the polarization direction of the receiving polarizing filter 4 may be vertical.

演算手段６は画像処理を行うアプリケーションを搭載しており、差分画像Ｐ、差分画像Ｑの形成や、差分画像Ｐ、差分画像Ｑから算出される内部反射光画像、表面反射光画像を形成することができる。 The calculation means 6 is equipped with an application for performing image processing, and can form difference images P and Q, as well as internal reflection light images and surface reflection light images calculated from the difference images P and Q.

また、演算装置６には、独立成分分析、主成分分析等に基づいて色素分析を行うアプリケーションも搭載しており、内部反射光画像に対して色素分析を行うことにより色素成分の濃度画像としてヘモグロビン濃度画像、メラニン濃度画像等を形成することができる。 The computing device 6 is also equipped with an application that performs pigment analysis based on independent component analysis, principal component analysis, etc., and can perform pigment analysis on the internal reflection light image to form a hemoglobin concentration image, melanin concentration image, etc., as a concentration image of the pigment component.

さらに、演算手段６が画像情報の記憶手段及び通信手段を備え、演算手段６で形成されたヘモグロビン濃度画像、メラニン濃度画像等を外部の美容アドバイザー等に送信できるようにしてもよい。 Furthermore, the calculation means 6 may be provided with a storage means and a communication means for image information, so that the hemoglobin concentration image, melanin concentration image, etc. formed by the calculation means 6 can be transmitted to an external beauty advisor, etc.

また、演算装置６が、前述の工程１～工程４で色素成分の濃度画像を形成する演算処理及び工程５～工程８で表面反射光画像を形成する演算処理を自動で行えるように、照明手段３及びデジタルカメラ５の動作、並びに照明用偏光フィルタ２または受光用偏光フィルタ４の偏光方向を演算手段６が制御してもよい。 The calculation device 6 may also control the operation of the illumination means 3 and the digital camera 5, and the polarization direction of the illumination polarizing filter 2 or the light receiving polarizing filter 4, so that the calculation device 6 can automatically perform the calculation process for forming the density image of the pigment components in steps 1 to 4 and the calculation process for forming the surface reflected light image in steps 5 to 8.

この場合、照明手段３が発する照明光の強度と、照明光有り偏光画像Ａの関心領域における画素値との関係、及び照明光無し偏光画像Ｂの同領域における画素値は予め調べられており、照明光有り偏光画像Ａの関心領域における画素値が、照明光無し偏光画像Ｂの同領域における画素値の１１５％以上、好ましくは１３０％以上となるように、予め照明手段３が発する照明光の強度を演算手段６に記憶させておき、演算装置６はその強度となるように照明手段３を点灯する。 In this case, the relationship between the intensity of the illumination light emitted by the illumination means 3 and the pixel values in the region of interest in the polarized image A with illumination light, and the pixel values in the same region in the polarized image B without illumination light, is examined in advance, and the intensity of the illumination light emitted by the illumination means 3 is stored in advance in the calculation means 6 so that the pixel values in the region of interest in the polarized image A with illumination light are 115% or more, preferably 130% or more, of the pixel values in the same region in the polarized image B without illumination light, and the calculation device 6 turns on the illumination means 3 to that intensity.

（画像形成システムの変形態様）
図４に示す本発明の画像形成システム１００Ｂは、照明手段３、デジタルカメラ及び演算装置として、これらが一体化されているスマートフォン７を使用し、スマートフォン７に照明用偏光フィルタ２と受光用偏光フィルタ４を着脱自在に装着したものである。 (Modifications of the Image Forming System)
The image forming system 100B of the present invention shown in Figure 4 uses a smartphone 7 in which the lighting means 3, digital camera and computing device are integrated, and an illumination polarizing filter 2 and a light receiving polarizing filter 4 are detachably attached to the smartphone 7.

図４において、符号４は、デジタルカメラの撮像用レンズ５ａの前面に装着された受光用偏光フィルタであり、符号２はデジタルカメラのライト３ａ（照明手段）の前面に装着された照明用偏光フィルタである。 In FIG. 4, reference numeral 4 denotes a light receiving polarizing filter attached to the front of the imaging lens 5a of the digital camera, and reference numeral 2 denotes an illumination polarizing filter attached to the front of the light 3a (illumination means) of the digital camera.

図５に示す画像形成システム１００Ｃは、デジタルカメラ及び演算装置としてこれらが一体化されているスマートフォン７を使用し、照明手段として、デジタルカメラの撮像用レンズ５ａを囲むリング状照明３ｂを設け、撮像用レンズ５ａの前面に受光用偏光フィルタ４を設けたものである。リング状照明３ｂの前面にはリング状照明を覆うリング状の照明用偏光フィルタ２が設けられている。このように外付けの照明を使用することにより容易に照明光の光量を高めることができるので、照明光有り偏光画像の関心領域における画素値を、照明光無し偏光画像の同領域における画素値の１１５％以上、好ましくは１３０％以上とすることが容易となる。 The image forming system 100C shown in FIG. 5 uses a smartphone 7 in which a digital camera and a computing device are integrated, and as a lighting means, a ring-shaped light 3b is provided surrounding the imaging lens 5a of the digital camera, and a light receiving polarizing filter 4 is provided in front of the imaging lens 5a. A ring-shaped illumination polarizing filter 2 that covers the ring-shaped light is provided in front of the ring-shaped light 3b. By using external lighting in this way, the amount of illumination light can be easily increased, making it easy to make the pixel value in the region of interest in the polarized image with illumination light 115% or more, preferably 130% or more, of the pixel value in the same region in the polarized image without illumination light.

図６に示す画像形成システム１００Ｄは、図５に示した画像形成システム１００Ｃのリング状照明３ｂに代えて、矩形の外付け照明３ｃを使用し、その前面に照明用偏光フィルタ２を設けたものである。このような外付け照明３ｃとしては携帯性に優れたものを使用できるので、可搬性に優れたシステムを構築することができる。 Image forming system 100D shown in FIG. 6 uses a rectangular external light 3c instead of the ring-shaped light 3b of image forming system 100C shown in FIG. 5, and has a polarizing filter 2 for illumination provided in front of it. Such an external light 3c can be one that is highly portable, so a highly portable system can be constructed.

図４～図６に示したスマートフォン７を用いた画像形成システム１００Ｂ、１００Ｃ、１００Ｄにおいて本発明の画像形成方法を実施する場合、スマートフォン７に本発明の画像形成方法を行うためのアプリケーションをインストールしておくことが好ましい。 When implementing the image forming method of the present invention in the image forming systems 100B, 100C, and 100D using the smartphone 7 shown in Figures 4 to 6, it is preferable to install an application for implementing the image forming method of the present invention on the smartphone 7.

図７は、スマートフォン７を用いた画像形成システム１００Ｂにおいて、アプリケーションを用いて皮膚の色素成分の濃度画像を得る場合の動作のフローチャートの例である。 Figure 7 is an example of a flowchart of the operation of an image forming system 100B using a smartphone 7 when obtaining a density image of skin pigment components using an application.

このフローチャートでは、まず、アプリケーションが起動されると、カメラ及び照明の設定が初期化され、撮影フローに入る。初期化の工程中に、照明用偏光フィルタと受光用偏光フィルタの装着、カメラの絞り、及びシャッタースピードの設定の確認が行われる。そして、操作者が撮影スタートのボタンをクリックすることを待機する撮影スタートの待機状態となる。 In this flowchart, first, when the application is launched, the camera and lighting settings are initialized and the shooting flow begins. During the initialization process, the installation of the polarizing filter for lighting and the polarizing filter for receiving light, and the settings of the camera aperture and shutter speed are checked. Then, the system enters a standby state for the start of shooting, waiting for the operator to click the button to start shooting.

操作者がスタートボタンをクリックすると、ライト３ａがつき、皮膚Ｓが撮影され照明光有り偏光画像Ａが形成される。引き続きライト３ａが消灯し、再度皮膚Ｓが撮影されて照明光無し偏光画像Ｘが形成される。次に、こうして形成された照明光有り偏光画像Ａと照明光無し偏光画像Ｘの関心領域の画素値のレンジ判定（即ち、照明光有り偏光画像Ａの関心領域における画素値が、照明光無し偏光画像Ｘの同領域における画素値の１１５％以上であるか否か）が行われる。このレンジ判定で、「不適」となった場合には、再撮影のメッセージがスマートフォンに表示され、露出条件が変更され、カメラ及び照明の設定が初期化され、再度撮影スタートの待機状態となる。
一方、レンジ判定で「適」となると画像処理フローに進む。 When the operator clicks the start button, the light 3a is turned on, the skin S is photographed, and a polarized image A with illumination is formed. The light 3a is then turned off, and the skin S is photographed again to form a polarized image X without illumination. Next, a range determination is made of the pixel values of the regions of interest of the polarized image A with illumination and the polarized image X without illumination thus formed (i.e., whether the pixel values in the region of interest of the polarized image A with illumination are 115% or more of the pixel values in the same region of the polarized image X without illumination). If this range determination is "inappropriate," a message to retake the image is displayed on the smartphone, the exposure conditions are changed, the camera and lighting settings are initialized, and the smartphone is put into a standby state for the start of photographing again.
On the other hand, if the range determination is "suitable," the process proceeds to the image processing flow.

画像処理フローでは、撮影した画像の画素値が受光用偏光フィルタ４を通った光の光量に比例した値になるように、照明光有り偏光画像Ａと照明光無し偏光画像Ｘの画素値を変換するリニア変換を行う。 In the image processing flow, a linear conversion is performed to convert the pixel values of the polarized image A with illumination light and the polarized image X without illumination light so that the pixel values of the captured image are proportional to the amount of light that passed through the light-receiving polarizing filter 4.

次に、照明光有り偏光画像Ａと照明光無し偏光画像Ｘの位置合わせを行う。この場合、補間により生じる誤差を最小化する観点から、照明光無し偏光画像Ｘを照明光有り偏光画像Ａに合わせることが好ましく、位置合わせ後の照明光無し偏光画像Ｘ’を形成する。 Next, the polarized image A with illumination light and the polarized image X without illumination light are aligned. In this case, from the viewpoint of minimizing errors caused by interpolation, it is preferable to align the polarized image X without illumination light with the polarized image A with illumination light, and a post-alignment polarized image X' without illumination light is formed.

次に、差分画像Ｐ、即ち、［照明光有り偏光画像Ａ－位置合わせ後の照明光無し偏光画像Ｘ’］を形成する。そして、差分画像Ｐに対してホワイトバランス補正を行い、このホワイトバランス補正後の差分画像Ｐ’の画素値Ｒ，Ｇ，Ｂの逆数の対数ｒ，ｇ，ｂに対して独立成分分析に基づく色素分析を行うことによりヘモグロビン濃度画像、メラニン濃度画像等の色素成分濃度画像が形成される。 Next, a difference image P is formed, that is, [polarized image A with illumination light - polarized image X' without illumination light after alignment]. Then, white balance correction is performed on the difference image P, and pigment analysis based on independent component analysis is performed on the logarithms r, g, b of the reciprocals of the pixel values R, G, B of the difference image P' after white balance correction, to form pigment component concentration images such as a hemoglobin concentration image and a melanin concentration image.

こうして形成されたヘモグロビン濃度画像、メラニン濃度画像がディスプレイに結果表示される。結果表示画面では、美容アドバイスが表示されるようにしてもよい。美容アドバイスの表示は、予め構築しておいたヘモグロビン濃度画像又はメラニン濃度画像と美容アドバイスとを対応づけるデータベースに基づいて行う。 The hemoglobin concentration image and melanin concentration image thus formed are displayed on the display. Beauty advice may be displayed on the result display screen. The beauty advice is displayed based on a database that has been constructed in advance and that associates the hemoglobin concentration image or melanin concentration image with the beauty advice.

なお、スマートフォンを用いて表面反射光画像もディスプレイに表示させる場合には、上述の照明光無し偏光画像Ｘの形成後に受光用偏光フィルタの偏光方向を横偏光から縦偏光に変更する。この受光用偏光フィルタの偏光方向の変更は、撮影者が偏光フィルタを手動で付け替える方法、２種の偏光板を電動でスライドさせる等のメカニカルな方法、偏光ローテーターの利用等により行う。 When using a smartphone to display the surface reflected light image on a display, the polarization direction of the light-receiving polarizing filter is changed from horizontal to vertical polarization after the above-mentioned illumination-free polarized image X is formed. The polarization direction of the light-receiving polarizing filter can be changed by the photographer manually replacing the polarizing filter, by a mechanical method such as electrically sliding two types of polarizing plates, or by using a polarization rotator, etc.

次に、照明用偏光フィルタの偏光方向を縦偏光とし、受光用偏光フィルタの偏光方向を横偏光とした場合と、照明用偏光フィルタと受光用偏光フィルタの双方とも縦偏光とした場合のそれぞれについて画素値のレンジ判定を行い、適となった場合に撮影条件を確定し、照明用偏光フィルタの偏光方向を縦偏光とし、受光用偏光フィルタの偏光方向を横偏光とした場合と、照明用偏光フィルタと受光用偏光フィルタの双方とも縦偏光とした場合のそれぞれについて前述と同様に画像処理フローを進行させ、ホワイトバランス補正後の差分画像Ｐ’、Ｑ’を形成し、差分画像Ｐ’から色素成分画像を形成し、差分画像Ｐ’、Ｑ’から表面反射光画像を形成し、色素成分画像と表面反射光画像をディスプレイに表示させる。 Next, the range of pixel values is determined for each of the cases where the polarization direction of the illumination polarizing filter is vertical and the polarization direction of the light receiving polarizing filter is horizontal, and where both the illumination polarizing filter and the light receiving polarizing filter are vertical. If the range is suitable, the shooting conditions are confirmed, and the image processing flow is carried out in the same manner as described above for each of the cases where the polarization direction of the illumination polarizing filter is vertical and the polarization direction of the light receiving polarizing filter is horizontal, and where both the illumination polarizing filter and the light receiving polarizing filter are vertical. Difference images P' and Q' after white balance correction are formed, a pigment component image is formed from the difference image P', a surface reflected light image is formed from the difference images P' and Q', and the pigment component image and the surface reflected light image are displayed on the display.

以下、実施例に基づいて本発明を具体的に説明する。
照明光の強度と環境光の強度の好ましい比率を調べるため、図８Ａに示すように、被験者の着座部８の前方にデジタルカメラ５と照明用偏光板９を設置し、照明用偏光板９の背面に照明手段３を取り付けた装置１０を室内に設けた。この場合、デジタルカメラの撮像用レンズ５ａが被験者の顔の関心領域Ｓの正面になるように配置し、その撮像用レンズ５ａと関心領域Ｓとの距離ｘを６８ｃｍとした。また、関心領域Ｓは、図８Ｂに示すように被験者の目の下と頬の境目付近の１０ｍｍ×１０ｍｍの領域とした。 The present invention will be specifically described below based on examples.
In order to investigate the preferable ratio of the intensity of the illumination light to the intensity of the ambient light, a digital camera 5 and a polarizing plate for illumination 9 were placed in front of the seat 8 of the subject, and an apparatus 10 having an illumination means 3 attached to the back of the polarizing plate for illumination 9 was placed indoors, as shown in Fig. 8A. In this case, the imaging lens 5a of the digital camera was placed so as to be in front of the region of interest S on the face of the subject, and the distance x between the imaging lens 5a and the region of interest S was set to 68 cm. The region of interest S was set to a 10 mm x 10 mm area near the border between the subject's eyes and cheeks, as shown in Fig. 8B.

照明手段３としては、撮像用レンズ５ａの周りに４本の直管型の白色蛍光灯（４０Ｗ）３ｄを矩形に配置したものを三重に設け（合計１２本）、撮像用レンズ５ａを挟んで対向する白色蛍光灯同士の距離ｙを７７ｃｍとした。また、撮像用レンズ５ａの真上にある白色蛍光灯３ｄの中心から皮膚の関心領域Ｓに向かう線と撮像用レンズ５ａから皮膚の関心領域Ｓに向かう線の成す角ａを３０°とした。 The illumination means 3 consisted of four straight-tube white fluorescent lamps (40 W) 3d arranged in a rectangle around the imaging lens 5a in triplicate (12 lamps in total), with the distance y between the white fluorescent lamps facing each other across the imaging lens 5a being 77 cm. The angle a between the line extending from the center of the white fluorescent lamp 3d directly above the imaging lens 5a toward the area of interest S on the skin and the line extending from the imaging lens 5a toward the area of interest S on the skin was 30°.

この１２本の蛍光灯３ｄは、図９に示すように（１）～（５）の５通りのモードで点灯させた。なお、同図において実線で示した蛍光灯３ｄは点灯している蛍光灯、破線で示した蛍光灯３ｄは消灯している蛍光灯を表している。 These 12 fluorescent lamps 3d were lit in five different modes, (1) to (5), as shown in Figure 9. Note that in the figure, the fluorescent lamps 3d shown with solid lines represent lit fluorescent lamps, and the fluorescent lamps 3d shown with dashed lines represent extinguished fluorescent lamps.

（１）１２本の全ての蛍光灯を点灯
（２）外側の２重の蛍光灯（合計８本）を点灯
（３）最も外側の蛍光灯（合計４本）を点灯
（４）最も外側の蛍光灯であって、撮像用レンズ５ａの左右両側にあるもの（合計２本）を点灯
（５）最も外側の蛍光灯であって、撮像用レンズ５ａの真上にある１本を点灯 (1) All 12 fluorescent lights are turned on. (2) The outermost two fluorescent lights (8 lights in total) are turned on. (3) The outermost fluorescent lights (4 lights in total) are turned on. (4) The outermost fluorescent lights on both the left and right sides of the imaging lens 5a (2 lights in total) are turned on. (5) The outermost fluorescent light directly above the imaging lens 5a is turned on.

照明用偏光板９の偏光方向は縦偏光とし、撮像用レンズ５ａの前面には横偏光を通す受光用偏光フィルタ４を設けた。 The polarization direction of the illumination polarizing plate 9 is vertical, and a receiving polarizing filter 4 that passes horizontally polarized light is provided in front of the imaging lens 5a.

また、環境光としてスポットライト１１を用意し、スポットライト１１の光が顏正面にあたるように設置した。 In addition, a spotlight 11 was provided as ambient light, and was positioned so that the light from the spotlight 11 hit the front of the face.

環境光の有無、照明手段を構成する１２本の蛍光灯３ｄの点灯モードを変えて次の試験例１～７を、外光を遮蔽した撮影ブース内で行った。 The following test examples 1 to 7 were carried out in a photography booth that was shielded from external light, with and without ambient light, and by changing the lighting mode of the 12 fluorescent lamps 3d that make up the lighting means.

試験例１
環境光（スポットライト１１）を点灯した状態で、照明手段３の点灯モードを（１）として被験者の顔画像を撮り、内部反射光画像を形成し、さらに内部反射光画像から独立成分分析に基づく色素分析によりヘモグロビン濃度画像及びメラニン濃度画像を形成した。結果を図１０に示す。 Test Example 1
With the ambient light (spotlight 11) turned on, the lighting mode of the lighting means 3 was set to (1), and an image of the subject's face was taken, an internal reflection image was formed, and further, a hemoglobin concentration image and a melanin concentration image were formed from the internal reflection image by pigment analysis based on independent component analysis. The results are shown in FIG.

内部反射光画像に、環境光が皮膚表面で反射していることによる光沢が見られ、内部反射光画像におけるこの光沢部分がメラニン画像で白抜けになっていることがわかる。 The internal reflected light image shows a glossy appearance caused by ambient light reflecting off the skin surface, and this glossy area in the internal reflected light image appears as white space in the melanin image.

試験例２
スポットライト１１を消灯して環境光が無い状態とし、試験例１と同様にして内部反射光画像、ヘモグロビン濃度画像、メラニン濃度画像を形成した。結果を図１１に示す。
この内部反射光画像には環境光による光沢部分が無く、ヘモグロビン濃度画像にもメラニン濃度画像にも環境光による影響が現れていない。このようなヘモグロビン濃度画像やメラニン濃度画像を、環境光が存在する状況下で簡便に取得できるようにすることが以下の試験例での目標となる。 Test Example 2
The spotlight 11 was turned off to create a state in which there was no ambient light, and an internal reflection light image, a hemoglobin concentration image, and a melanin concentration image were formed in the same manner as in Test Example 1. The results are shown in FIG.
This internal reflection light image does not have any glossy areas due to ambient light, and the hemoglobin concentration image and melanin concentration image are not affected by ambient light. The goal of the following test example is to easily obtain such hemoglobin concentration images and melanin concentration images in the presence of ambient light.

試験例３～７
環境光がある状態で照明光の点灯モードを（１）～（５）とし、本発明の方法により差分画像を形成し、差分画像から内部反射光画像、ヘモグロビン濃度画像、メラニン濃度画像を形成した。結果を図１２Ａ、図１２Ｂ、図１２Ｃに示す。 Test Examples 3 to 7
With ambient light present, the illumination light was switched to one of modes (1) to (5), and a difference image was formed using the method of the present invention. From the difference image, an internal reflection image, a hemoglobin concentration image, and a melanin concentration image were then formed. The results are shown in Figures 12A, 12B, and 12C.

図１２Ａから、試験例３（照明光の点灯モード(1)）、試験例４（照明光の点灯モード(2)）の内部反射光画像は、環境光が無い試験例２の内部反射光画像と略同様の画像となっており、試験例５（照明光の点灯モード(3）)の内部反射光画像も、環境光による反射が強い部分を除くと試験例２の内部反射光画像と略同様となっている。これに対し、試験例６（照明光の点灯モード(4)）では瞼で環境光によるノイズが大きくなり、試験例７（照明光の点灯モード(5)）ではノイズが関心領域を含む顔全体に及び、特に瞼におけるノイズが細かく激しい明暗の変化となって強く現れていることがわかる。 From FIG. 12A, the internal reflection light images of Test Example 3 (illumination light mode (1)) and Test Example 4 (illumination light mode (2)) are almost similar to the internal reflection light image of Test Example 2 in which there is no ambient light, and the internal reflection light image of Test Example 5 (illumination light mode (3)) is also almost similar to the internal reflection light image of Test Example 2, except for the areas where reflection due to ambient light is strong. In contrast, in Test Example 6 (illumination light mode (4)), noise due to ambient light is large at the eyelids, and in Test Example 7 (illumination light mode (5)), noise extends over the entire face including the area of interest, and the noise in particular at the eyelids is strongly manifested as fine and intense changes in light and dark.

図１２Ｂから、ヘモグロビン濃度画像におけるノイズは、内部反射光画像に生じていたノイズと略一致している。試験例６のノイズは実際上の許容範囲内であるが、試験例７（照明光の点灯モード(5)）にはそれを越える強いノイズが現れていることがわかる。 Figure 12B shows that the noise in the hemoglobin concentration image is roughly consistent with the noise in the internal reflection image. The noise in test example 6 is within the practically acceptable range, but test example 7 (illumination light mode (5)) shows stronger noise than this.

図１２Ｃから、メラニン濃度画像におけるノイズも、内部反射光画像に生じていたノイズと略一致している。試験例６のノイズは実際上の許容範囲内であるが、試験例７（照明光の点灯モード(5)）には強いノイズが現れていることがわかる。 Figure 12C shows that the noise in the melanin concentration image is roughly consistent with the noise in the internal reflection image. The noise in test example 6 is within the practically acceptable range, but strong noise appears in test example 7 (illumination light mode (5)).

試験例３～７について、図８Ｂに示した関心領域Ｓにおける、照明光有り偏光画像Ａと、照明光無し偏光画像Ｘの画素値Ｒ、Ｇ、Ｂの平均値を求めた。結果を表１に示す。 For test examples 3 to 7, the average pixel values R, G, and B of polarized image A with illumination light and polarized image X without illumination light were calculated for the region of interest S shown in Figure 8B. The results are shown in Table 1.

また、試験例３～試験例７において、照明手段３で照射されている関心領域Ｓの照度を計測し、内部反射光画像（図１２Ａ）の画質と色素成分濃度画像（図１２Ｂ、図１２Ｃ）の解析品質とを次の基準で評価した。結果を表２に示す。
なお、試験例３～７において、照明手段３を消灯し、関心領域Ｓが環境光だけで照らされている状態の照度も測定した。その平均は４６１Ｌｘであった。 In addition, in Test Examples 3 to 7, the illuminance of the region of interest S illuminated by the illumination means 3 was measured, and the image quality of the internal reflection light image (FIG. 12A) and the analysis quality of the dye component concentration images (FIGS. 12B and 12C) were evaluated according to the following criteria. The results are shown in Table 2.
In addition, in Test Examples 3 to 7, the illumination was also measured when the illumination means 3 was turned off and the region of interest S was illuminated only by ambient light. The average was 461 Lx.

内部反射光画像の画質の評価基準
○：ノイズは抑制されており目視では試験例２の内部反射光画像との相違を確認できない
△：試験例２の内部反射光画像に対してノイズが若干のっているのが目視で確認できる
×：ノイズが大きく試験例２の内部反射光画像との乖離が認められる Evaluation criteria for image quality of internal reflected light images: ◯: Noise is suppressed and no difference from the internal reflected light image of Test Example 2 can be visually confirmed. Δ: Slight noise is visually confirmed in the internal reflected light image of Test Example 2. ×: There is a lot of noise and a deviation from the internal reflected light image of Test Example 2 is observed.

色素成分濃度画像の解析品質の評価基準
○：ノイズは抑制されており目視では試験例２のヘモグロビン濃度画像又はメラニン濃度画像との相違を確認できない
△：試験例２のヘモグロビン濃度画像又はメラニン濃度画像に対してノイズが若干のっているのが目視で確認できる
×：ノイズが大きく試験例２のヘモグロビン濃度画像又はメラニン濃度画像との乖離が認められる Evaluation criteria for analysis quality of pigment component concentration images: ○: Noise is suppressed, and no difference from the hemoglobin concentration image or melanin concentration image of Test Example 2 can be visually confirmed. △: Slight noise is visually confirmed in the hemoglobin concentration image or melanin concentration image of Test Example 2. ×: There is a lot of noise, and a deviation from the hemoglobin concentration image or melanin concentration image of Test Example 2 is observed.

表２の試験例３～試験例７における照度の大小関係は、表１の試験例３～７の照明光有り偏光画像の画素値における大小関係と整合する。さらに表２によると、照明手段による照度が低下するにしたがって画質、解析品質が低下していることがわかる。 The magnitude relationship of the illuminance in Test Examples 3 to 7 in Table 2 is consistent with the magnitude relationship of the pixel values of the polarized images with illumination light in Test Examples 3 to 7 in Table 1. Furthermore, Table 2 shows that the image quality and analysis quality decrease as the illuminance from the lighting means decreases.

したがって、表１及び表２の結果から、照明光有り偏光画像Ａと、照明光無し偏光画像Ｘの比率Ａ／Ｘ（＝（Ａ－Ｘ）／Ｘ＋１００％）が、Ｒ、Ｇ、Ｂのそれぞれで１１５％以上、好ましくは１３０％以上であると内部反射光画像から環境光の影響を除去することができ、画質や解析品質が向上することがわかる。 Therefore, from the results in Tables 1 and 2, it can be seen that when the ratio A/X (= (A-X)/X+100%) of the polarized image A with illumination light to the polarized image X without illumination light is 115% or more for each of R, G, and B, and preferably 130% or more, the effects of ambient light can be removed from the internally reflected light image, improving image quality and analysis quality.

１天井照明
２照明用偏光フィルタ
３照明手段
３ａライト
３ｂリング状照明
３ｃ外付け照明
３ｄ蛍光灯
４受光用偏光フィルタ
５デジタルカメラ
５ａ撮像用レンズ
６演算手段
７スマートフォン
８着座部
９照明用偏光板
１０装置
１１スポットライト
１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ画像形成システム
Ｌ0 環境光由来の光
Ｌ1 照明光
Ｌ2 表面反射光
Ｌ3 内部反射光
Ｓ皮膚、関心領域 Reference Signs List 1 Ceiling light 2 Illumination polarizing filter 3 Illumination means 3a Light 3b Ring-shaped light 3c External light 3d Fluorescent lamp 4 Light receiving polarizing filter 5 Digital camera 5a Imaging lens 6 Calculation means 7 Smartphone 8 Seating section 9 Illumination polarizing plate 10 Device 11 Spotlight 100A, 100B, 100C, 100D Image forming system L0 Light from ambient light L1 Illumination light L2 Surface reflected light L3 Internal reflected light S Skin, area of interest

Claims

環境光下において照明用偏光フィルタを通して照明光を皮膚に照射し、受光用偏光フィルタを通して皮膚を撮像することにより偏光画像（以下、照明光有り偏光画像という）を形成し、
前記環境光下において照明光を照射せずに受光用偏光フィルタを通して前記皮膚を撮像することにより偏光画像（以下、照明光無し偏光画像という）を形成し、
照明光有り偏光画像と照明光無し偏光画像との差分画像を形成し、
該差分画像を用いて皮膚画像を形成する画像形成方法であって、
照明光として白色光を使用し、照明光有り偏光画像の関心領域における画素値が、照明光無し偏光画像の同領域における画素値の１１５％以上となるように照明光を照射する皮膚の画像形成方法。 A polarized image (hereinafter, referred to as a polarized image with illumination light) is formed by irradiating the skin with illumination light through a polarized filter under ambient light and capturing an image of the skin through a polarized filter for receiving light;
forming a polarized image (hereinafter referred to as a polarized image without illumination light) by capturing an image of the skin through a light-receiving polarizing filter under the ambient light;
forming a difference image between the polarized image with illumination light and the polarized image without illumination light;
An image forming method for forming a skin image using the difference image, comprising:
A method for forming an image of skin , using white light as illumination light, and irradiating the region of interest with the illumination light such that the pixel values in the region of interest in the polarized image with illumination light are 115% or more of the pixel values in the same region in the polarized image without illumination light.

照明光有り偏光画像を、照明用偏光フィルタと受光用偏光フィルタの偏光方向を異ならせて形成し、
該照明光有り偏光画像の形成に使用した受光用偏光フィルタを使用して照明光無し偏光画像を形成し、
差分画像から皮膚の色素成分の濃度画像を形成する請求項１記載の画像形成方法。 A polarized image with illumination is formed by making the polarization directions of the illumination polarizing filter and the light receiving polarizing filter different from each other;
forming a polarized image without illumination light using the light-receiving polarizing filter used to form the polarized image with illumination light;
2. The image forming method according to claim 1, wherein a density image of the pigment components of the skin is formed from the difference image.

照明用偏光フィルタと受光用偏光フィルタの偏光方向を異ならせた場合と揃えた場合のそれぞれで差分画像を形成し、
これらの差分画像を用いて皮膚の色素成分の濃度画像と表面反射光画像を形成する請求項１又は２記載の画像形成方法。 A difference image is formed when the polarization directions of the illumination polarizing filter and the light receiving polarizing filter are made different and when they are made the same;
3. The image forming method according to claim 1, wherein a density image and a surface reflected light image of the pigment components of the skin are formed by using these difference images.

受光用偏光フィルタの偏光方向を異ならせることにより、照明用偏光フィルタと受光用偏光フィルタの偏光方向を異ならせた場合と揃えた場合を形成する請求項３記載の画像形成方法。 The image forming method according to claim 3, in which the polarization directions of the light receiving polarizing filters are made different, thereby forming a case where the polarization directions of the illumination polarizing filter and the light receiving polarizing filter are made different and a case where the polarization directions are made the same.

照明光がＲＧＢの各波長帯に成分を有する光である請求項１～４のいずれかに記載の画像形成方法。 The image forming method according to any one of claims 1 to 4, wherein the illumination light is light having components in each of the RGB wavelength bands.

皮膚の色素成分の濃度画像としてヘモグロビン又はメラニンの濃度画像を形成する請求項２～５のいずれかに記載の画像形成方法。 The image forming method according to any one of claims 2 to 5, in which a density image of hemoglobin or melanin is formed as a density image of skin pigment components.

照明光有り偏光画像の関心領域における画素値が、照明光無し偏光画像の同領域における画素値の１３０％以上となるように照明光の光量を調整する請求項１～６のいずれかに記載の画像形成方法。 The image forming method according to any one of claims 1 to 6, in which the amount of illumination light is adjusted so that the pixel value in the region of interest of the polarized image with illumination light is 130% or more of the pixel value in the same region of the polarized image without illumination light.

照明手段、デジタルカメラ、及び演算手段を備え、照明手段の前面に照明用偏光フィルタを有すると共に、デジタルカメラの撮像用レンズの前面に受光用偏光フィルタを有し、照明手段は照明光として白色光を出射し、デジタルカメラは、照明手段が皮膚に照明光を照射すると、受光用偏光フィルタを通して該皮膚を撮ることにより照明光有り偏光画像を形成すると共に、照明手段が照明光を照射しない状態で受光用偏光フィルタを通して該皮膚を撮ることにより照明光無し偏光画像を形成し、
演算手段が、照明光有り偏光画像と照明光無し偏光画像の差分画像を形成し、
該差分画像を用いて皮膚画像を形成する画像形成システムであって、
照明光有り偏光画像の関心領域における画素値が、照明光無し偏光画像の同領域における画素値の１１５％以上となるように照明手段が照明光を皮膚に照射する画像形成システム。 The device comprises an illumination means, a digital camera, and a computing means, and has an illumination polarizing filter in front of the illumination means and a light-receiving polarizing filter in front of the imaging lens of the digital camera, the illumination means emits white light as illumination light, and when the illumination means irradiates the skin with illumination light, the digital camera takes an image of the skin through the light-receiving polarizing filter to form a polarized image with illumination light, and also takes an image of the skin through the light-receiving polarizing filter when the illumination means is not irradiating illumination light, to form a polarized image without illumination light,
A calculation means forms a difference image between the polarized image with illumination light and the polarized image without illumination light;
an imaging system for forming a skin image using the difference image,
An image forming system in which an illumination means irradiates the skin with illumination light so that pixel values in a region of interest in the polarized image with illumination light are 115% or more of pixel values in the same region in the polarized image without illumination light.

照明用偏光フィルタと受光用偏光フィルタの偏光方向が異なる場合に、
演算手段が、皮膚画像として、皮膚の色素成分の濃度画像を形成する請求項８記載の画像形成システム。 When the polarization directions of the illumination polarizing filter and the receiving polarizing filter are different,
9. The image forming system according to claim 8, wherein the computing means forms a density image of pigment components of the skin as the skin image.

照明手段が、デジタルカメラの撮像用レンズを囲むリング状照明である請求項８又は９記載の画像形成システム。 The image forming system according to claim 8 or 9, wherein the illumination means is a ring-shaped illumination that surrounds the imaging lens of the digital camera.

受光用偏光フィルタの偏光方向が可変であり、
演算手段が、照明用偏光フィルタと受光用偏光フィルタの偏光方向が異なる場合と揃っている場合のそれぞれにおいて差分画像を形成し、
これらの差分画像を用いて皮膚画像として皮膚の色素成分の濃度画像と表面反射光画像を形成する請求項８～１０のいずれかに記載の画像形成システム。 The polarization direction of the receiving polarizing filter is variable,
a calculation means for forming a difference image when the polarization directions of the illumination polarizing filter and the light receiving polarizing filter are different and when the polarization directions are the same;
11. The image forming system according to claim 8, further comprising a skin image forming unit for forming a skin image including a density image of skin pigment components and a surface reflected light image using these difference images.

演算手段が、皮膚の色素成分の濃度画像としてヘモグロビン又はメラニンの濃度画像を形成する請求項９～１１のいずれかに記載の画像形成システム。 An image forming system according to any one of claims 9 to 11, wherein the computing means forms a density image of hemoglobin or melanin as a density image of skin pigment components.

照明光有り偏光画像の関心領域における画素値が、照明光無し偏光画像の同領域における画素値の１３０％以上となるように照明手段が照明光を皮膚に照射する請求項８～１２のいずれかに記載の画像形成システム。 An image forming system according to any one of claims 8 to 12, in which the illumination means irradiates the skin with illumination light so that the pixel value in the region of interest in the polarized image with illumination light is 130% or more of the pixel value in the same region in the polarized image without illumination light.