JPH06105826A - Extractor for feature of skin surface shape based on restoration of three-dimensional shape from image pertaining to skin surface - Google Patents

Abstract

PURPOSE:To enable accurate extraction of features of a skin surface by enabling the restoration of a three-dimensional shape of the skin surface. CONSTITUTION:A CPU8 controls a switch 6 through a bus 7 and a replica surface is lighted sequentially by a first light source 2A, a second light source 2B and a third light source 2C sequentially to pick up three image data to be obtained from an magnification optical system 3, a camera 4 and an A/D converter 5 into a memory 9 through the bus 7 sequentially corresponding to respective lighting operations. The CPU8 calculates a gradient of the replica surface 1 at the positions of pixels of an image of the replica surface from a lightness value of the pixels of the three image data thereby extracting feature parameters pertaining to a three-dimensional shape of a skin surface based on the gradient.

Description

【発明の詳細な説明】Detailed Description of the Invention

【０００１】[0001]

【産業上の利用分野】本発明は、皮膚表面の微細な形状
を抽出して、皮膚の性状、肌質、それらの加齢による変
化を判定するための指標となる特徴情報を抽出する装置
に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device for extracting a fine shape on the surface of skin to extract characteristic information as an index for judging the property of the skin, the quality of the skin, and changes due to aging thereof. .

【０００２】[0002]

【従来の技術】皮膚表面には、皮溝と呼ばれる多数の細
い溝、皮溝によって区画分けされる皮丘と呼ばれる小
丘、皮溝の交差部分に存在する毛孔などが存在し、それ
らは皮膚の代謝等の生理的な影響を受けて変化する。2. Description of the Related Art On the surface of the skin, there are many fine grooves called skin grooves, hills called cuticles divided by the skin grooves, and pores existing at the intersections of the skin grooves. It changes due to physiological effects such as metabolism.

【０００３】従って、皮膚表面形状からの特徴抽出は、
皮膚の性状、肌質、それらの加齢による変化を判定する
ための指標となり、その指標は、皮膚の治療、診断、美
容衛生などの分野において有用な情報を提供する。Therefore, the feature extraction from the skin surface shape is
It serves as an index for determining properties of the skin, skin quality, and changes due to aging thereof, and the index provides useful information in fields such as skin treatment, diagnosis, and beauty hygiene.

【０００４】皮膚表面形状の特徴抽出の第１の従来例と
して、皮膚表面をシリコンラバーなどによって型取りし
て皮膚表面レプリカ（ネガティブレプリカ）を作成し、
それを人間が光学顕微鏡で観察する方法がある。As a first conventional example of extracting features of the skin surface shape, a skin surface replica (negative replica) is prepared by molding the skin surface with silicon rubber or the like.
There is a method for humans to observe it with an optical microscope.

【０００５】皮膚表面形状の特徴抽出の第２の従来例と
して、皮膚表面レプリカを表面粗さ計を用いて触針によ
り走査し、その結果得られた起伏値信号から起伏のピー
クの高さや数、ピーク面積などを求めて、皮膚表面レプ
リカ面の凹凸の程度を判定する方法がある。As a second conventional example of feature extraction of the skin surface shape, a skin surface replica is scanned with a stylus using a surface roughness meter, and the height and number of the undulation peak are determined from the undulation value signal obtained as a result. There is a method of determining the degree of unevenness of the skin surface replica surface by obtaining the peak area and the like.

【０００６】皮膚表面形状の特徴抽出の第３の従来例と
して次のような方法がある。即ち、まず、皮膚表面又は
皮膚表面レプリカ面を複数方向例えば３方向から照明す
る。次に、各照明毎に面を光学顕微鏡を介してテレビカ
メラで撮像し、その撮像信号をディジタル画像データに
変換することによって、各照明画像についてその画像を
構成する各画素毎の明度値を求める。そして、そのよう
にして得られた明度データに対して、ディジタル画像処
理を施すことにより、幾何学的な特徴パラメータを抽出
し、それを皮膚表面形状の特徴情報とする。The following method is known as a third conventional example for extracting the characteristics of the skin surface shape. That is, first, the skin surface or the skin surface replica surface is illuminated from a plurality of directions, for example, three directions. Next, the surface of each illumination is imaged by a television camera through an optical microscope, and the image pickup signal is converted into digital image data, whereby the brightness value of each pixel constituting the image is obtained for each illumination image. . Then, the lightness data thus obtained is subjected to digital image processing to extract geometrical characteristic parameters, which are used as the characteristic information of the skin surface shape.

【０００７】[0007]

【発明が解決しようとする課題】しかし、前述した第１
の従来例では、皮膚表面形状の特徴の評価が目視の所見
による主観的な評価であるため、評価が定量性に欠け、
評価に熟練を要するという問題点を有している。However, the above-mentioned first problem
In the conventional example of, since the evaluation of the characteristics of the skin surface shape is a subjective evaluation by visual observation, the evaluation lacks quantitativeness,
There is a problem that evaluation requires skill.

【０００８】また、前述した第２の従来例では、観察す
ることのできる領域が局所にかたよってしまい面の全体
の特徴を抽出するには必ずしも十分でなく、更に、特別
な計測装置も必要になってしまうという問題点を有して
いる。Further, in the above-mentioned second conventional example, the observable region is locally entangled, which is not always sufficient to extract the entire feature of the surface, and a special measuring device is also required. There is a problem that it becomes.

【０００９】更に、前述した第３の従来例では、面の全
体的な特徴を定量的な特徴パラメータとして抽出するこ
とができるが、その特徴パラメータは明度値の分布のみ
に基づいて抽出されるため、例えば皮溝の深さに関する
情報は明度分布から間接的に推定するしかない。Further, in the above-mentioned third conventional example, the overall feature of the surface can be extracted as a quantitative feature parameter, but since the feature parameter is extracted only based on the distribution of lightness values. For example, information about the depth of the skin groove can only be indirectly estimated from the lightness distribution.

【００１０】従って、皮溝の幅や方向性と皮溝の深さと
の関係、又は皮溝の交点が本当に毛孔に対応しているか
否かなどの判定結果を詳細に求めることは難しく、皮膚
表面形状の特徴を必ずしも正確に抽出できないという問
題点を有している。Therefore, it is difficult to obtain detailed determination results such as the relationship between the width and direction of the skin groove and the depth of the skin groove, or whether the intersection of the skin grooves really corresponds to the pores. There is a problem that the shape features cannot always be extracted accurately.

【００１１】本発明は、皮膚表面の３次元の形状を復元
することを可能にし、それによってより正確な皮膚表面
形状の特徴を抽出可能とすることを目的とする。An object of the present invention is to make it possible to restore the three-dimensional shape of the skin surface, and thereby to extract more accurate features of the skin surface shape.

【００１２】[0012]

【課題を解決するための手段】本発明は、まず、皮膚表
面又は皮膚表面レプリカなどの皮膚表面形状を照明する
照明手段を有する。The present invention firstly has illumination means for illuminating a skin surface shape such as a skin surface or a skin surface replica.

【００１３】次に、皮膚表面又は皮膚表面レプリカなど
の皮膚表面形状を撮像し、その皮膚表面形状の各平面位
置に対応する各画素位置の明度値を表すディジタル画像
データを出力する拡大光学系、ＣＣＤカメラ、及びＡ／
Ｄ変換器などから構成される撮像手段を有する。Next, a magnifying optical system for imaging a skin surface shape such as a skin surface or a skin surface replica and outputting digital image data representing the lightness value of each pixel position corresponding to each plane position of the skin surface shape, CCD camera and A /
It has an image pickup means composed of a D converter or the like.

【００１４】次に、照明手段による複数の光源方向から
の照明に対応して撮像手段からそれぞれ得られる複数枚
のディジタル画像データを記憶するＲＡＭ又はディスク
記憶装置などの画像データ記憶手段を有する。Next, it has an image data storage means such as a RAM or a disk storage device for storing a plurality of pieces of digital image data obtained from the image pickup means in correspondence with the illumination by the illumination means from a plurality of light source directions.

【００１５】更に、複数の光源方向の情報と複数枚のデ
ィジタル画像データから得られる明度値に基づいて、各
画素位置における皮膚表面形状の勾配（グラディエン
ト）を抽出する、例えば所定の制御プログラムにより動
作するマイクロプロセッサなどで構成される勾配抽出手
段を有する。この勾配抽出手段は、例えば、各画素位置
毎に、複数の光源方向の情報と複数枚のディジタル画像
データから得られる現在の画素位置に対応する複数個の
明度値に基づき皮膚表面形状の勾配を推定し、その後、
隣接する画素位置間で推定された勾配が最も滑らかにな
るという条件と、皮膚表面形状を実際に撮像して得られ
る複数の光源方向に対応する複数の明度値と推定された
勾配に基づいて計算される複数の光源方向に対応する複
数の反射強度との各画素位置毎の誤差が最小となるとい
う条件の下で、各画素位置毎に推定された勾配を修正
し、その結果得られる勾配を出力する。Furthermore, the gradient of the skin surface shape at each pixel position is extracted based on the information of a plurality of light source directions and the brightness value obtained from a plurality of digital image data, for example, operated by a predetermined control program. It has a gradient extracting means composed of a microprocessor or the like. This gradient extraction means, for example, for each pixel position, based on a plurality of light source direction information and a plurality of brightness values corresponding to the current pixel position obtained from a plurality of digital image data, the skin surface shape gradient Estimate and then
Calculated based on the condition that the estimated gradient between adjacent pixel positions is the smoothest, and multiple brightness values corresponding to multiple light source directions obtained by actually imaging the skin surface shape and the estimated gradient The gradient estimated for each pixel position is corrected under the condition that the error for each pixel position with the plurality of reflection intensities corresponding to the plurality of light source directions is minimized, and the resulting gradient is Output.

【００１６】そして、勾配抽出手段により抽出された各
画素位置毎における皮膚表面形状の勾配に基づいて、皮
膚表面形状に関する特徴情報を抽出する上記マイクロプ
ロセッサなどで構成される特徴情報抽出手段を有する。Further, it has a feature information extracting means composed of the above-mentioned microprocessor or the like for extracting feature information relating to the skin surface shape based on the gradient of the skin surface shape at each pixel position extracted by the gradient extracting means.

【００１７】特徴情報抽出手段は、より具体的には、勾
配抽出手段により抽出された各画素位置毎における皮膚
表面形状の勾配に基づいて、皮膚表面形状の１つである
皮溝の形状に関する特徴情報と、皮膚表面形状の１つで
ある皮溝の交点領域の形状に関する特徴情報のうち、少
なくとも１つ以上を抽出する。More specifically, the characteristic information extraction means is based on the gradient of the skin surface shape at each pixel position extracted by the gradient extraction means, and is related to the shape of the skin groove, which is one of the skin surface shapes. At least one or more of the information and the characteristic information on the shape of the intersection region of the skin groove, which is one of the skin surface shapes, is extracted.

【００１８】皮溝の形状に関する特徴情報とは、皮溝の
形状の領域に関する特徴情報、皮溝の形状の面積に関す
る特徴情報、皮溝の形状の方向に関する特徴情報、皮溝
の形状の深さに関する特徴情報、皮溝の形状の幅に関す
る特徴情報、皮溝の形状の長さに関する特徴情報、又は
皮溝の形状の数に関する特徴情報などである。The feature information on the shape of the skin groove is the feature information on the area of the shape of the skin groove, the feature information on the area of the shape of the skin groove, the feature information on the direction of the shape of the skin groove, the depth of the shape of the skin groove. Characteristic information regarding the width of the shape of the skin groove, characteristic information regarding the length of the shape of the skin groove, or characteristic information regarding the number of the shape of the skin groove.

【００１９】皮溝の交点領域の形状に関する特徴情報と
は、皮溝の交点領域の形状の領域に関する特徴情報、皮
溝の交点領域の形状における毛孔の存在する割合に関す
る特徴情報、皮溝の交点領域の形状における毛孔の深さ
に関する特徴情報、皮溝の交点領域の形状における毛孔
の大きさに関する特徴情報などである。The characteristic information on the shape of the intersection area of the skin groove is the characteristic information on the area of the shape of the intersection area of the skin groove, the characteristic information on the ratio of pores in the shape of the intersection area of the skin groove, and the intersection point of the skin groove. It is characteristic information about the depth of the pores in the shape of the region, characteristic information about the size of the pores in the shape of the intersection region of the skin groove, and the like.

【００２０】そして、特徴情報抽出手段は、勾配抽出手
段により抽出された各画素位置毎における皮膚表面形状
の勾配、その勾配の強度、その勾配の方向、又はその勾
配の変化の程度の少なくとも１つ以上の情報に基づい
て、特徴情報を抽出する。The feature information extracting means is at least one of the gradient of the skin surface shape, the intensity of the gradient, the direction of the gradient, or the degree of change of the gradient at each pixel position extracted by the gradient extracting means. The characteristic information is extracted based on the above information.

【００２１】[0021]

【作用】皮膚表面形状の３次元形状を各画素位置での勾
配を介して抽出できるため、皮溝の形状の領域、面積、
方向、深さ、幅、長さ、又は数に関する特徴情報、或い
は、皮溝の交点領域の形状の領域、そこでの毛孔の存在
する割合、毛孔の深さ、又は大きさに関する特徴情報な
どを詳細に評価することができる。[Function] Since the three-dimensional shape of the skin surface shape can be extracted through the gradient at each pixel position, the skin groove shape area, area,
Detailed information about the direction, depth, width, length, or number of features, or the region of the shape of the intersection region of the skin groove, the percentage of pores present, the depth or size of the pores, etc. Can be evaluated.

【００２２】[0022]

【実施例】以下、図面を参照しながら本発明の実施例に
つき詳細に説明する。 ＜皮膚表面形状の特徴抽出装置の構成＞図１は、本発明
による皮膚表面形状の特徴抽出装置の構成図である。Embodiments of the present invention will now be described in detail with reference to the drawings. <Structure of Skin Surface Shape Feature Extraction Device> FIG. 1 is a block diagram of a skin surface shape feature extraction device according to the present invention.

【００２３】まず、レプリカ面１は、皮膚表面をシリコ
ンラバーなどによって型取りして皮膚表面レプリカ（ネ
ガティブレプリカ）の表面部分である。第１光源２Ａ、
第２光源２Ｂ、及び第３光源２Ｃは、レプリカ面１を選
択的に照明し、仰角は例えば３０度、照明方位は例えば
相互に１２０度ずつずらされている。First, the replica surface 1 is a surface portion of a skin surface replica (negative replica) obtained by molding the skin surface with silicon rubber or the like. The first light source 2A,
The second light source 2B and the third light source 2C selectively illuminate the replica surface 1, and the elevation angle is shifted by 30 degrees, and the illumination directions are shifted by 120 degrees from each other.

【００２４】スイッチ６は、バス７を介してＣＰＵ８に
よって制御され、第１光源２Ａ、第２光源２Ｂ、及び第
３光源２Ｃを順次選択的に点灯させる。拡大光学系３
は、低倍率顕微鏡又は接写レンズによって構成され、所
定の倍率のレプリカ面画像が得られるように構成され
る。The switch 6 is controlled by the CPU 8 via the bus 7 and selectively turns on the first light source 2A, the second light source 2B, and the third light source 2C. Magnifying optical system 3
Is a low-magnification microscope or a close-up lens, and is configured to obtain a replica plane image with a predetermined magnification.

【００２５】撮像装置４は、例えばＣＣＤ撮像素子であ
り、拡大光学系３を介して得られたレプリカ面画像を走
査し、各画素位置の明度に従って振幅が変化するアナロ
グ電気信号を発生する。The image pickup device 4 is, for example, a CCD image pickup device, scans the replica surface image obtained through the magnifying optical system 3, and generates an analog electric signal whose amplitude changes according to the brightness of each pixel position.

【００２６】Ａ／Ｄ変換器５は、撮像装置４から発生さ
れたアナログ電気信号をディジタル画像データに変換す
る。メモリ９は、主記憶装置である半導体メモリを含
み、画像データの記憶量に応じて補助記憶装置であるハ
ードディスク装置又は光磁気ディスク装置などを含むよ
うに構成することもできる。The A / D converter 5 converts the analog electric signal generated from the image pickup device 4 into digital image data. The memory 9 includes a semiconductor memory that is a main storage device, and may be configured to include a hard disk device or a magneto-optical disk device that is an auxiliary storage device according to the storage amount of image data.

【００２７】ＣＰＵ８は、ＲＯＭ９に記憶された制御プ
ログラムに従って装置全体を制御する例えばマイクロプ
ロセッサであり、まず、バス７を介してスイッチ６を制
御することによって、レプリカ面１を第１光源２Ａ、第
２光源２Ｂ、及び第３光源２Ｃによって順次照明させ、
各照明動作に対応してＡ／Ｄ変換器５から得られる３枚
のディジタル画像データを、バス７を介してメモリ９に
順次取り込む。The CPU 8 is, for example, a microprocessor that controls the entire apparatus according to a control program stored in the ROM 9. First, by controlling the switch 6 via the bus 7, the replica surface 1 is moved to the first light source 2A and the first light source 2A. The two light sources 2B and the third light source 2C are sequentially illuminated,
Three pieces of digital image data obtained from the A / D converter 5 corresponding to each illumination operation are sequentially taken into the memory 9 via the bus 7.

【００２８】次に、ＣＰＵ８は、メモリ９に取り込んだ
３枚のディジタル画像データの各画素の明度値から、レ
プリカ面画像の各画素位置におけるレプリカ面１のグラ
ディエント（勾配）を計算し、その計算結果をメモリ９
に格納する。Next, the CPU 8 calculates the gradient (gradient) of the replica surface 1 at each pixel position of the replica surface image from the brightness value of each pixel of the three digital image data loaded in the memory 9, and the calculation is performed. Memory of result 9
To store.

【００２９】続いて、ＣＰＵ８は、メモリ９に得られた
上述のグラディエントに基づいて、皮膚表面の３次元形
状に関する種々の特徴パラメータを抽出し、その特徴パ
ラメータをメモリ９に記憶すると共に、プリンタ１２又
はＣＲＴディスプレイ１２などに出力する。Subsequently, the CPU 8 extracts various characteristic parameters relating to the three-dimensional shape of the skin surface based on the above-mentioned gradient obtained in the memory 9, stores the characteristic parameters in the memory 9, and also the printer 12 Alternatively, it is output to the CRT display 12 or the like.

【００３０】また、ユーザは、キーボード１０からＣＰ
Ｕ８に対して各種指示を行うことができる。 ＜３次元形状復元の原理＞本発明では、レプリカ面１の
各位置でのグラディエント（勾配）を得ることにより、
レプリカ面１の各位置における深さ情報を得ること、即
ち、レプリカ面１の３次元形状を復元することを可能と
している。The user can also use the keyboard 10
Various instructions can be issued to U8. <Principle of three-dimensional shape restoration> In the present invention, by obtaining the gradient (gradient) at each position of the replica surface 1,
It is possible to obtain the depth information at each position of the replica surface 1, that is, to restore the three-dimensional shape of the replica surface 1.

【００３１】そこで、上述の構成を有する皮膚表面形状
の特徴抽出装置の具体的動作について説明する前に、３
次元形状復元の原理について説明する。撮像方向の決定 今、レプリカ面１に関して、図２に示されるように３次
元のｘｙｚ座標を定義し、レプリカ面１上の任意の微小
領域において、当該微小領域に垂直な方向を有する単位
ベクトルを表面法線ベクトルｎ（下線は、それが付され
た記号がベクトル量であることを示す。以下同じ。）、
当該微小領域から１つの光源に向かう方向を有する単位
ベクトルを光源方向ベクトルｎ_s 、当該微小領域からそ
れを撮像するカメラの焦点に向かう方向を有する単位ベ
クトルを撮像方向ベクトルｎ₀ とする。また光源方向ベ
クトルｎ_s と表面法線ベクトルｎのなす角を入射角ｉ、
撮像方向ベクトルｎ₀ と表面法線ベクトルｎのなす角を
反射角ｅ、撮像方向ベクトルｎ₀ と光源方向ベクトルｎ
_s のなす角を位相角ｇとする。Therefore, before explaining the specific operation of the feature extracting apparatus for the skin surface shape having the above-mentioned configuration, 3
The principle of dimensional shape restoration will be described. Determination of Imaging Direction Now, with respect to the replica surface 1, three-dimensional xyz coordinates are defined as shown in FIG. 2, and in an arbitrary minute area on the replica surface 1, a unit vector having a direction perpendicular to the minute area is defined. Surface normal vector n (the underline indicates that the symbol with it is a vector quantity. The same applies hereinafter),
A unit vector having a direction from the minute region to one light source is a light source direction vector n _s , and a unit vector having a direction from the minute region to the focus of a camera capturing the image is an imaging direction vector n ₀ . In addition, the angle formed by the light source direction vector n _s and the surface normal vector n is the incident angle i,
The angle formed by the imaging direction vector n ₀ and the surface normal vector n is the reflection angle e, and the imaging direction vector n ₀ and the light source direction vector n
The angle formed by _s is the phase angle g.

【００３２】なお、本実施例ではレプリカ面１はネガテ
ィブレプリカ面であるため、例えば皮溝は図面の上方向
に盛り上がる形状として表され、皮溝の深さ方向は−ｚ
方向となる。In this embodiment, since the replica surface 1 is a negative replica surface, for example, the skin groove is expressed as a shape that rises upward in the drawing, and the depth direction of the skin groove is -z.
Direction.

【００３３】今、レプリカ面１が理想的な乱反射面（ラ
ンバート面と呼ばれる）であると仮定する。皮膚表面レ
プリカは、皮膚表面をシリコンラバーによって型取りし
たものであるため、レプリカ面１はランバート面として
の特性を十分に備えていると仮定できる。Now, assume that the replica surface 1 is an ideal irregular reflection surface (called a Lambertian surface). Since the skin surface replica is obtained by molding the skin surface with silicone rubber, it can be assumed that the replica surface 1 has sufficient characteristics as a Lambertian surface.

【００３４】この場合、レプリカ面１上の任意の微小領
域における光の反射強度は、光源からの入射光（一様
光）の入射角ｉの余弦 cosｉにのみ比例する。即ち、ラ
ンバート面と仮定できるレプリカ面１上の任意の微小領
域は、当該微小領域がどの反射角ｅで撮像されても同じ
明るさに撮像される。これは、レプリカ面１で単位面積
あたりに反射される光量は、反射角ｅの余弦値に比例し
て減少するが、ある任意の立体角内で撮像される当該微
小領域の表面積は反射角ｅの余弦値に反比例して増加す
るため、結果的に、撮像される当該微小領域の明るさは
撮像方向を示す反射角ｅによらず一定となるからであ
る。In this case, the reflection intensity of light in an arbitrary minute area on the replica surface 1 is proportional only to the cosine cos i of the incident angle i of the incident light (uniform light) from the light source. That is, an arbitrary minute area on the replica surface 1 that can be assumed to be a Lambertian surface is imaged with the same brightness regardless of the reflection angle e of the minute area. This means that the amount of light reflected by the replica surface 1 per unit area decreases in proportion to the cosine value of the reflection angle e, but the surface area of the minute area imaged within a certain solid angle is the reflection angle e. This is because it increases in inverse proportion to the cosine value of, and as a result, the brightness of the minute area to be imaged is constant regardless of the reflection angle e indicating the imaging direction.

【００３５】従って、ランバート面と仮定できるレプリ
カ面１の各点を撮像する場合には、各点に対する反射角
ｅは考慮する必要はなく、図１の拡大光学系３の光軸
は、例えばレプリカ面１が置かれている面に対しほぼ直
交する方向に定めればよい。グラディエントと表面法線ベクトルとの関係 レプリカ面１の３次元形状を復元するためには、レプリ
カ面１を撮像して得たレプリカ面画像の各画素位置での
レプリカ面１のグラディエント（勾配）を求めることが
できればよい。各画素位置におけるグラディエントを求
めることができれば、それらを一定の方向に積分するこ
とによって、レプリカ面１の３次元形状を復元できるか
らである。Therefore, when imaging each point on the replica surface 1 that can be assumed to be a Lambertian surface, it is not necessary to consider the reflection angle e for each point, and the optical axis of the magnifying optical system 3 in FIG. It may be set in a direction substantially orthogonal to the surface on which the surface 1 is placed. Relationship between Gradient and Surface Normal Vector In order to restore the three-dimensional shape of the replica surface 1, the gradient of the replica surface 1 at each pixel position of the replica surface image obtained by imaging the replica surface 1 is calculated. All you have to do is ask. This is because if the gradient at each pixel position can be obtained, the three-dimensional shape of the replica surface 1 can be restored by integrating them in a fixed direction.

【００３６】今、図２で定義されるｘｙｚ座標中のレプ
リカ面１を次式で表す。Now, the replica plane 1 in the xyz coordinates defined in FIG. 2 is represented by the following equation.

【００３７】[0037]

【数１】 [Equation 1]

【００３８】この数式で表わされるレプリカ面１のグラ
ディエントは、各要素が次式で示されるベクトル（ｐ，
ｑ）によって表すことができる。In the gradient of the replica surface 1 represented by this equation, each element has a vector (p,
q).

【００３９】[0039]

【数２】 [Equation 2]

【００４０】ここで、図２に示されるｘｙｚ座標中のレ
プリカ面１上の任意の微小領域は、次式で示される平面
で近似することができる。Here, an arbitrary minute area on the replica surface 1 in the xyz coordinates shown in FIG. 2 can be approximated by the plane shown by the following equation.

【００４１】[0041]

【数３】 [Equation 3]

【００４２】数式２と数式３から、当該微小領域におけ
るグラディエントの要素ｐ，ｑは、次式で表すことがで
きる。From the equations 2 and 3, the gradient elements p and q in the minute region can be expressed by the following equations.

【００４３】[0043]

【数４】 [Equation 4]

【００４４】従って、数式３と数式４より、当該微小領
域の平面は次式で表わされる。Therefore, from the formulas 3 and 4, the plane of the minute region is expressed by the following formula.

【００４５】[0045]

【数５】 [Equation 5]

【００４６】今、所定の点(0,0,K) は、数式５の方程式
を満足するため、この点は当該微小領域の平面上の点で
ある。そして、この点から当該微小領域の平面上の任意
の点(x,y,z) へのベクトル(x,y,z-k) は、当該微小領域
の表面法線ベクトルｎと直交するため、これらのベクト
ルの内積は０である。Now, since the predetermined point (0,0, K) satisfies the equation of Equation 5, this point is a point on the plane of the minute area. Then, since the vector (x, y, zk) from this point to any point (x, y, z) on the plane of the micro area is orthogonal to the surface normal vector n of the micro area, The dot product of the vector is zero.

【００４７】ここで、図２では、表面法線ベクトルｎは
−ｚ方向に向かうベクトルであるため、次式で表すこと
ができる。Here, in FIG. 2, since the surface normal vector n is a vector directed in the −z direction, it can be expressed by the following equation.

【００４８】[0048]

【数６】 [Equation 6]

【００４９】但し、ｎ₃ ＞０である。数式６で示される
表面法線ベクトルｎと微小領域上のベクトル(x,y,z-k)
の内積が０であることより、次式が成立する。However, n ₃ > 0. Surface normal vector n shown in Equation 6 and vector (x, y, zk) on the small area
Since the inner product of is 0, the following equation holds.

【００５０】[0050]

【数７】 [Equation 7]

【００５１】数式５と数式７より、次式が成立する。From the equations 5 and 7, the following equation is established.

【００５２】[0052]

【数８】 [Equation 8]

【００５３】従って、数式８の関係より、レプリカ面１
上の各微小領域での表面法線ベクトルｎ＝（ｎ₁ ，
ｎ₂ ，−ｎ₃ ）を求めることができれば、当該微小領域
でのグラディエント（ｐ，ｑ）を求めることができる。Therefore, from the relation of Expression 8, the replica surface 1
Surface normal vector n = (n ₁ ,
n _2, if it is possible to obtain the -n _3), it can be obtained gradient (p, q) in the micro-region.

【００５４】ここで、レプリカ面１上の各微小領域をレ
プリカ面画像の各画素位置(x,y) に対応させ、その位置
でのグラディエントを（ｐ(x,y) ，ｑ(x,y) ）とし、ま
た、数式６より、表面法線ベクトルを次式で表す。Here, each minute area on the replica surface 1 is made to correspond to each pixel position (x, y) of the replica surface image, and the gradient at that position is (p (x, y), q (x, y). )), And from the equation 6, the surface normal vector is expressed by the following equation.

【００５５】[0055]

【数９】 [Equation 9]

【００５６】但し、表面法線ベクトルｎは単位ベクトル
であるから、次式が成立する。However, since the surface normal vector n is a unit vector, the following equation holds.

【００５７】[0057]

【数１０】 [Equation 10]

【００５８】数式８、数式９、及び数式１０より、次式
が成立する。From Equations 8, 9, and 10, the following equation is established.

【００５９】[0059]

【数１１】 [Equation 11]

【００６０】従って、数式１１の関係より、レプリカ面
画像の各画素位置(x,y) での表面法線ベクトルｎ(x,y)
を求めることができるならば、その位置でのグラディエ
ント（ｐ(x,y) ，ｑ(x,y) ）を求めることができる。そ
して、各画素位置におけるグラディエントを一定の画素
方向に積分すれば、各画素位置毎にｚ座標の値を推定す
ることができ、レプリカ面１の３次元形状を復元でき
る。各画素位置での表面法線ベクトルの推定 前述のように、レプリカ面１をランバート面と仮定する
と、レプリカ面１上の任意の微小領域における光の反射
強度は、光源からの入射光（一様光）の入射角ｉの余弦
cosｉにのみ比例する。レプリカ面画像上でも同じ関係
が成立し、各画素(x,y) における光の反射強度Ｒ(x,y)
は、光源からの入射光の入射角ｉ(x,y)の余弦 cosｉ(x,
y) にのみ比例し、従って、次式が成立する。Therefore, from the relationship of the equation 11, the surface normal vector n (x, y) at each pixel position (x, y) of the replica surface image
If it is possible to obtain, the gradient (p (x, y), q (x, y)) at that position can be obtained. Then, if the gradient at each pixel position is integrated in the fixed pixel direction, the value of the z coordinate can be estimated at each pixel position, and the three-dimensional shape of the replica surface 1 can be restored. Estimation of Surface Normal Vector at Each Pixel Position As described above, assuming that the replica surface 1 is a Lambertian surface, the reflection intensity of light in an arbitrary minute area on the replica surface 1 is equal to the incident light from the light source (uniform Cosine of incident angle i of light)
Only proportional to cosi. The same relationship holds on the replica surface image, and the light reflection intensity R (x, y) at each pixel (x, y)
Is the cosine of the incident angle i (x, y) of the incident light from the light source, cosi (x,
y), and therefore the following equation holds.

【００６１】[0061]

【数１２】 [Equation 12]

【００６２】但し、ｒ₀ (x,y) は、画素位置(x,y) に対
応するレプリカ面１における反射率である。今、１つの
光源方向ベクトルｎ_s （画素位置(x,y) には依存しな
い）が決定されれば、図２に示される関係より、次式が
成立する。However, r ₀ (x, y) is the reflectance on the replica surface 1 corresponding to the pixel position (x, y). Now, if one light source direction vector n _s (which does not depend on the pixel position (x, y)) is determined, the following equation holds based on the relationship shown in FIG.

【００６３】[0063]

【数１３】 [Equation 13]

【００６４】従って、数式１２と数式１３より、次式が
成立する。Therefore, the following equation is established from the equations 12 and 13.

【００６５】[0065]

【数１４】 [Equation 14]

【００６６】ここで、レプリカ面１を実際に撮像して得
られる各画素位置(x,y) での明度値をＩ(x,y) とすれ
ば、次の方程式が成立する。Here, if the lightness value at each pixel position (x, y) obtained by actually imaging the replica surface 1 is I (x, y), the following equation holds.

【００６７】[0067]

【数１５】 [Equation 15]

【００６８】但し、ｃ(x,y) は、画素位置(x,y) での正
規化定数である。よって、数式１４と数式１５より、次
の方程式が成立する。However, c (x, y) is a normalization constant at the pixel position (x, y). Therefore, the following equation is established from the equations 14 and 15.

【００６９】[0069]

【数１６】 [Equation 16]

【００７０】[0070]

【数１７】 [Equation 17]

【００７１】数式１６において、α(x,y) と表面法線ベ
クトルｎ(x,y) が未知数であり、数式９と数式１０よ
り、ｎ(x,y) は２つの未知数ｎ₁ (x,y) とｎ₂ (x,y) を
含む。従って、数式１６は３つの未知数を含み、これら
の未知数を決定するためには、３個の方程式が必要であ
る。In Expression 16, α (x, y) and the surface normal vector n (x, y) are unknowns. From Expressions 9 and 10, n (x, y) is two unknowns n ₁ (x , y) and n ₂ (x, y). Therefore, Equation 16 contains three unknowns, and three equations are needed to determine these unknowns.

【００７２】そこで、図１に示されるように、３つの方
向に配置された第１光源２Ａ、第２光源２Ｂ、及び第３
光源２Ｃでレプリカ面１を別々に照明し、各光源からの
照明に対応してレプリカ面１を実際に撮像して得られる
各画素位置(x,y) での３つの明度値と、上記３つの光源
の光源方向ベクトルとについて、数式１６の方程式を解
くことによって、係数α(x,y) 及び表面法線ベクトルｎ
(x,y) を決定することができる。Therefore, as shown in FIG. 1, the first light source 2A, the second light source 2B, and the third light source 2A arranged in three directions.
Three brightness values at each pixel position (x, y) obtained by illuminating the replica surface 1 separately with the light source 2C and actually capturing an image of the replica surface 1 corresponding to the illumination from each light source, and the above 3 With respect to the light source direction vector of one light source, the coefficient α (x, y) and the surface normal vector n
(x, y) can be determined.

【００７３】まず、３つの光源方向ベクトルｎ_s1 、
ｎ_s2 、及びｎ_s3 は、それぞれ−ｚ方向に向かう単位ベク
トルであるため、数式６、数式１０と同様の考えによ
り、次式の行列Ｎで表すことができる。First, three light source direction vectors n _s1 ,
Since n _s2 and n _s3 are unit vectors directed in the −z direction, respectively, they can be represented by a matrix N of the following equation, based on the same idea as in equations 6 and 10.

【００７４】[0074]

【数１８】 [Equation 18]

【００７５】また、各画素位置(x,y) における３つの明
度値Ｉ₁ (x,y) 、Ｉ₂ (x,y) 、及びＩ₃ (x,y) を次式の
転置ベクトルＩ(x,y) で表す。Further, three lightness values I ₁ (x, y), I ₂ (x, y), and I ₃ (x, y) at each pixel position (x, y) are transposed to the transposed vector I ( Expressed as x, y) .

【００７６】[0076]

【数１９】 [Formula 19]

【００７７】但し、数式１９の右辺の括弧の右肩のＴ
は、転置を示す。数式１６、数式１８、及び数式１９よ
り、次式が成立する。However, T on the right shoulder of the parenthesis on the right side of Expression 19
Indicates transposition. The following equation is established from the equations 16, 18, and 19.

【００７８】[0078]

【数２０】 [Equation 20]

【００７９】３つの光源方向ベクトルｎ_s1 、ｎ_s2 、及び
ｎ_s3 が同一平面上になければ、数式１８で示される行列
Ｎの逆行列Ｎ^-1が存在する。そこで、まず、表面法線ベ
クトルｎ(x,y) が単位ベクトルであることと、数式１８
及び数式１９を用いて、係数α(x,y) を、次式により求
めることができる。Three light source direction vectors n _s1 , n _s2 , and
If n _s3 is not on the same plane, the inverse matrix N ^{−1 of the} matrix N shown in Expression 18 exists. Therefore, first, the surface normal vector n (x, y) is a unit vector, and
Using Equation 19 and Equation 19, the coefficient α (x, y) can be obtained by the following equation.

【００８０】[0080]

【数２１】 [Equation 21]

【００８１】更に、数式２１で求まった係数α(x,y) 、
数式９、数式１０、数式１８、及び数式１９を用いて、
表面法線ベクトルｎ(x,y) を、次式により求めることが
できる。Further, the coefficient α (x, y) obtained by Equation 21 is
Using Equation 9, Equation 10, Equation 18, and Equation 19,
The surface normal vector n (x, y) can be obtained by the following equation.

【００８２】[0082]

【数２２】 [Equation 22]

【００８３】各画素位置でのグラディエントの推定 数式２２で各画素位置(x,y) での表面法線ベクトルｎ
(x,y) が求まったら、数式１１により、各画素位置(x,
y) でのグラディエント（ｐ(x,y) ，ｑ(x,y) ）を求め
ることができる。緩和法によるグラディエントの修正 上述の原理に基づいて推定されたグラディエント（ｐ
(x,y) ，ｑ(x,y) ）は、３つの光源からの照明に対応し
てレプリカ面１を実際に撮像して得られるレプリカ面画
像の各画素位置(x,y) での３つの明度値から推定された
値であるため、多くの誤差を含んでいる。各画素位置
(x,y) での誤差Ｅ(x,y) は、次式のように定義すること
ができる。 Estimating the Gradient at Each Pixel Position In Equation 22, the surface normal vector n at each pixel position (x, y)
Once (x, y) is obtained, the pixel position (x,
The gradient (p (x, y), q (x, y)) at y) can be obtained. Modification of the gradient by the relaxation method The gradient (p
(x, y), q (x, y)) is at each pixel position (x, y) of the replica surface image obtained by actually capturing the image of the replica surface 1 corresponding to the illumination from the three light sources. Since it is a value estimated from three brightness values, it contains many errors. Each pixel position
The error E (x, y) at (x, y) can be defined by the following equation.

【００８４】[0084]

【数２３】 [Equation 23]

【００８５】数式２３において、まず、ｓ_e (x,y) は、
画素位置(x,y) におけるレプリカ面１の滑らかさの誤差
を示しており、次式で定義される。In equation 23, first, s _e (x, y) is
The error of the smoothness of the replica surface 1 at the pixel position (x, y) is shown and defined by the following equation.

【００８６】[0086]

【数２４】 [Equation 24]

【００８７】ここで、ｐx(x,y)はグラディエントｐ(x,
y) のｘ座標方向の１次偏微分であり、ｐx(x,y)² はグ
ラディエントｐ(x,y) のｘ座標方向の２乗誤差を示す。
この値が小さければグラディエントｐ(x,y) がｘ座標方
向に滑らかであることを示している。同様に、ｐy(x,y)
とｐy(x,y)² はグラディエントｐ(x,y) のｙ座標方向の
１次偏微分と２乗誤差を示し、ｑx(x,y)とｑx(x,y)² は
グラディエントｑ(x,y) のｘ座標方向の１次偏微分と２
乗誤差を示し、ｑy(x,y)とｑy(x,y)² はグラディエント
ｑ(x,y) のｙ座標方向の１次偏微分と２乗誤差を示す。Where px (x, y) is the gradient p (x, y
y) is the first partial differential in the x-coordinate direction, and px (x, y) ² represents the squared error of the gradient p (x, y) in the x-coordinate direction.
If this value is small, it means that the gradient p (x, y) is smooth in the x coordinate direction. Similarly, py (x, y)
And py (x, y) ² indicate the first partial differential and the square error of the gradient p (x, y) in the y coordinate direction, and qx (x, y) and qx (x, y) ² are the gradient q ( x, y) first-order partial differential in the x-coordinate direction and 2
Qy (x, y) and qy (x, y) ² represent the squared error and the first partial differential of the gradient q (x, y) in the y coordinate direction.

【００８８】皮膚表面に対応するレプリカ面１は局所的
には滑らかであるというヒューリスティックな要請があ
るために、結局、数式２３における誤差ｓ_e (x,y) が小
さければ、画素位置(x,y) においてレプリカ面１は滑ら
かであるという条件を満足することになる。Since there is a heuristic request that the replica surface 1 corresponding to the skin surface is locally smooth, after all, if the error s _e (x, y) in Expression 23 is small, the pixel position (x, In y), the replica surface 1 satisfies the condition that it is smooth.

【００８９】次に、数式２３において、ｒ_e (x,y) は、
画素位置(x,y) において、レプリカ面１を実際に撮像し
て得られる３つの光源方向に対応する３つの明度値と、
推定により得られたグラディエント（ｐ(x,y) ，ｑ(x,
y) ）に基づいて計算される３つの光源方向に対応する
３つの正規化された光の反射強度との２乗誤差の線形結
合を示しており、数式１５の方程式に基づけば、次式で
定義される。Next, in equation 23, r _e (x, y) is
At the pixel position (x, y), three brightness values corresponding to the three light source directions obtained by actually imaging the replica surface 1, and
Gradients (p (x, y), q (x,
y)) shows the linear combination of the squared error with the three normalized light reflection intensities corresponding to the three light source directions calculated based on y)). Is defined.

【００９０】[0090]

【数２５】 [Equation 25]

【００９１】ここで、Ｉ₁ (x,y) 、Ｉ₂ (x,y) 、及びＩ
₃ (x,y) は、画素位置(x,y) においてレプリカ面１を実
際に撮像して得られる３つの光源方向に対応する３つの
明度値であり（数式１９参照）、また、ｃ(x,y) Ｒ
₁ (x,y) 、ｃ(x,y) Ｒ₂ (x,y) 、及びｃ(x,y) Ｒ₃ (x,
y) は、画素位置(x,y) において数式２１により推定さ
れる係数α(x,y) と数式２２により推定されるグラディ
エント（ｐ(x,y) ，ｑ(x,y) ）に基づいて計算される３
つの光源方向に対応する３つの正規化された光の反射強
度である。また、λ₁ 、λ₂ 、及びλ₃ は、それぞれが
乗算される各光源方向の２乗誤差項の誤差Ｅ(x,y) に対
する寄与率を定める定数であり、それぞれ経験的に定め
られる。Where I ₁ (x, y), I ₂ (x, y), and I
₃ (x, y) are three lightness values corresponding to three light source directions obtained by actually imaging the replica surface 1 at the pixel position (x, y) (see Formula 19), and c ( x, y) R
₁ (x, y), c (x, y) R ₂ (x, y), and c (x, y) R ₃ (x,
y) is based on the coefficient α (x, y) estimated by Equation 21 and the gradient (p (x, y), q (x, y)) estimated by Equation 22 at the pixel position (x, y). Calculated by 3
It is three normalized light reflection intensities corresponding to one light source direction. Further, λ ₁ , λ ₂ , and λ ₃ are constants that determine the contribution rate to the error E (x, y) of the squared error term in each light source direction by which they are multiplied, and are empirically determined.

【００９２】数式２３での誤差ｒ_e (x,y) が十分に小さ
いならば、前述した数式１５で示される反射率に関する
方程式が成立することになり、グラディエント（ｐ(x,
y) ，ｑ(x,y) ）の推定値が正しいことになる。If the error r _e (x, y) in the equation 23 is sufficiently small, the equation for the reflectance shown in the above equation 15 holds, and the gradient (p (x, y)
The estimated values of y) and q (x, y)) are correct.

【００９３】画素位置(x,y) 毎に、数式２３〜２５で定
義される誤差Ｅ(x,y) を最小にするために、誤差Ｅ(x,
y) をグラディエントｐ(x,y) で偏微分して得た式を０
とおくと、次式が得られる。For each pixel position (x, y), the error E (x, y) is defined in order to minimize the error E (x, y) defined by the equations 23 to 25.
y) is partially differentiated by the gradient p (x, y)
Then, the following equation is obtained.

【００９４】[0094]

【数２６】 [Equation 26]

【００９５】数式２６の右辺第１項は、数式２４より、
次式のように計算される。From the equation 24, the first term on the right side of the equation 26 is
It is calculated as

【００９６】[0096]

【数２７】 [Equation 27]

【００９７】ここで、ｐxx(x,y) は画素位置(x,y) での
グラディエントｐ(x,y) のｘ座標方向の２次偏微分、ｐ
yy(x,y) は画素位置(x,y) でのグラディエントｐ(x,y)
のｙ座標方向の２次偏微分であって、近似的に、それぞ
れ次式で示される。Here, pxx (x, y) is the second partial differential in the x coordinate direction of the gradient p (x, y) at the pixel position (x, y), p
yy (x, y) is the gradient p (x, y) at pixel position (x, y)
Is a second partial differential in the y-coordinate direction and is approximately represented by the following equations.

【００９８】[0098]

【数２８】 [Equation 28]

【００９９】即ち、ｐxx(x,y) は近似的に、画素位置
(x,y) でのグラディエントｐ(x,y) と、画素位置(x,y)
にｘ方向に隣接する画素位置(x+1,y) 及び(x-1,y) での
グラディエントｐ(x+1,y) 及びｐ(x-1,y) のそれぞれと
で差分値を計算し、得られた２つの差分値の更に差分値
を計算することによって求めることができる。ｙ方向に
関するｐyy(x,y) についても同様に求めることができ
る。That is, pxx (x, y) is approximately the pixel position
Gradient p (x, y) at (x, y) and pixel position (x, y)
The difference value between the gradients p (x + 1, y) and p (x-1, y) at pixel positions (x + 1, y) and (x-1, y) that are adjacent to each other in the x direction. It can be obtained by calculating and further calculating the difference value of the two obtained difference values. The same can be obtained for pyy (x, y) in the y direction.

【０１００】数式２７と数式２８より、次式が得られ
る。From the equations 27 and 28, the following equation is obtained.

【０１０１】[0101]

【数２９】 [Equation 29]

【０１０２】但し、ｐav(x,y) は、次式で表されるよう
に、画素位置(x,y) の上下左右に隣接する４つの画素位
置でのグラディエントの平均値である。However, pav (x, y) is an average value of gradients at four pixel positions adjacent to the pixel position (x, y) in the vertical and horizontal directions, as expressed by the following equation.

【０１０３】[0103]

【数３０】 [Equation 30]

【０１０４】一方、前述した数式２６の右辺第２項は、
数式２５より、次式のように計算される。On the other hand, the second term on the right-hand side of the above equation 26 is
From Equation 25, the following equation is calculated.

【０１０５】[0105]

【数３１】 [Equation 31]

【０１０６】数式２６、数式２９、及び数式３１より、
次の方程式が成立する。From Equations 26, 29 and 31,
The following equation holds.

【０１０７】[0107]

【数３２】 [Equation 32]

【０１０８】従って、グラディエントｐ(x,y) は、次式
によって修正される。Therefore, the gradient p (x, y) is modified by the following equation.

【０１０９】[0109]

【数３３】 [Expression 33]

【０１１０】数式３３で、ｐav(x,y) は、数式３０で表
されるように、画素位置(x,y) の上下左右に隣接する４
つの画素位置でのグラディエントの平均値として計算す
ることができる。In Equation 33, pav (x, y) is 4 adjacent to the pixel position (x, y) in the vertical and horizontal directions as expressed in Equation 30.
It can be calculated as the average value of the gradients at one pixel position.

【０１１１】次に、数式３３で、定数λ₁ 、λ₂ 、及び
λ₃ は、前述したように、経験的に定められる。また、
数式３３で、Ｉ₁ (x,y) 、Ｉ₂ (x,y) 、及びＩ₃ (x,y)
は、前述したように、画素位置(x,y) においてレプリカ
面１を、図１の第１光源２Ａ、第２光源２Ｂ、及び第３
光源２Ｃの３つの光源によって実際に撮像して得られる
３つの光源方向に対応する３つの明度値である。Next, in Expression 33, the constants λ ₁ , λ ₂ , and λ ₃ are empirically determined as described above. Also,
In Equation 33, I ₁ (x, y), I ₂ (x, y), and I ₃ (x, y)
As described above, the replica plane 1 at the pixel position (x, y) is set to the first light source 2A, the second light source 2B, and the
It is three brightness values corresponding to three light source directions obtained by actually capturing images with the three light sources of the light source 2C.

【０１１２】更に、数式３３において、ｃ(x,y) Ｒ
₁ (x,y) は、数式１４と数式１７、更に数式１８、数式
９、及び数式１０より、次式によって表される。Further, in Expression 33, c (x, y) R
₁ (x, y) is represented by the following equation from the equations 14 and 17, and the equations 18, 9, and 10.

【０１１３】[0113]

【数３４】 [Equation 34]

【０１１４】ここで、数式１１より、次式が成立する。Here, the following equation is established from the equation 11.

【０１１５】[0115]

【数３５】 [Equation 35]

【０１１６】数式３５を数式１１に代入することによ
り、次式が得られる。By substituting the equation 35 into the equation 11, the following equation is obtained.

【０１１７】[0117]

【数３６】 [Equation 36]

【０１１８】数式３４と数式３６より、数式３３におけ
る項ｃ(x,y) Ｒ₁ (x,y) は、光源方向ベクトルｎ_s1 の要
素ｎ_s11 、ｎ_s12 と、画素位置(x,y) における係数α
(x,y) 及びグラディエント（ｐ(x,y) ，ｑ(x,y) ）を用
いて、次式により計算できる。From the equations 34 and 36, the term c (x, y) R ₁ (x, y) in the equation 33 is the element n _s11 , n _s12 of the light source direction vector n _s1 and the pixel position (x, y). Coefficient α at
Using (x, y) and the gradient (p (x, y), q (x, y)), it can be calculated by the following equation.

【０１１９】[0119]

【数３７】 [Equation 37]

【０１２０】[0120]

【数３８】 [Equation 38]

【０１２１】[0121]

【数３９】 [Formula 39]

【０１２２】数式３７と全く同様にして、数式３３にお
ける項ｃ(x,y) Ｒ₂ (x,y) は、光源方向ベクトルｎ_s2 の
要素ｎ_s21 、ｎ_s22 と、画素位置(x,y) における係数α
(x,y)及びグラディエント（ｐ(x,y) ，ｑ(x,y) ）を用
い、次式と数式３８により計算できる。In exactly the same manner as in Expression 37, the term c (x, y) R ₂ (x, y) in Expression 33 is the element n _s21 , n _s22 of the light source direction vector n _s2 and the pixel position (x, y). ) Coefficient α
Using (x, y) and the gradient (p (x, y), q (x, y)), the following formula and Formula 38 can be used for calculation.

【０１２３】[0123]

【数４０】 [Formula 40]

【０１２４】[0124]

【数４１】 [Formula 41]

【０１２５】同様に、数式３３における項ｃ(x,y) Ｒ₃
(x,y) は、光源方向ベクトルｎ_s3 の要素ｎ_s31 、ｎ_s32
と、画素位置(x,y) における係数α(x,y) 及びグラディ
エント（ｐ(x,y) ，ｑ(x,y) ）を用い、次式と数式３８
により計算できる。Similarly, the term c (x, y) R ₃ in equation 33
(x, y) is the element n _s31 , n _s32 of the light source direction vector n _s3
And the coefficient α (x, y) at the pixel position (x, y) and the gradient (p (x, y), q (x, y)),
Can be calculated by

【０１２６】[0126]

【数４２】 [Equation 42]

【０１２７】[0127]

【数４３】 [Equation 43]

【０１２８】更に、数式３３において、項∂｛ｃ(x,y)
Ｒ₁ (x,y) ｝／∂ｐ(x,y) 、∂｛ｃ(x,y) Ｒ₂ (x,y) ｝
／∂ｐ(x,y) 、及び∂｛ｃ(x,y) Ｒ₁ (x,y) ｝／∂ｐ
(x,y)は、それぞれ数式３７、数式４０、及び数式４２
をｐ(x,y) で偏微分することにより、次の数式４４〜４
６と、数式３８、３９、４１、及び４３によって計算で
きる。Further, in Expression 33, the term ∂ {c (x, y)
R ₁ (x, y)} / ∂p (x, y), ∂ {c (x, y) R ₂ (x, y)}
/ ∂p (x, y) and ∂ {c (x, y) R ₁ (x, y)} / ∂p
(x, y) are the equations 37, 40 and 42, respectively.
Is partially differentiated by p (x, y),
6 and equations 38, 39, 41, and 43.

【０１２９】[0129]

【数４４】 [Equation 44]

【０１３０】[0130]

【数４５】 [Equation 45]

【０１３１】[0131]

【数４６】 [Equation 46]

【０１３２】以上、数式３０、数式３７〜４３、及び数
式４４〜４６を用いることにより、数式３３で示される
方程式によってグラディエントｐ(x,y) を修正すること
ができる。As described above, the gradient p (x, y) can be corrected by the equation shown in the equation 33 by using the equation 30, the equations 37 to 43, and the equations 44 to 46.

【０１３３】一方、数式２３〜２５で定義される誤差Ｅ
(x,y) を最小にするために、数式２６〜３６の場合と同
様に、誤差Ｅ(x,y) がグラディエントｑ(x,y) で偏微分
される。この結果、上述のグラディエントｐ(x,y) の場
合と同様に、前述した数式３７〜４３と、以下に示され
る数式４８、及び数式４９〜５１を用いることによっ
て、次の数式４７で示される方程式によってグラディエ
ントｑ(x,y) を修正することができる。On the other hand, the error E defined by the equations 23 to 25 is
In order to minimize (x, y), the error E (x, y) is partially differentiated by the gradient q (x, y) as in the case of the equations 26 to 36. As a result, similarly to the case of the gradient p (x, y) described above, by using the above-described formulas 37 to 43 and the formulas 48 and 49 to 51 shown below, the formula 47 is obtained. The equation can modify the gradient q (x, y).

【０１３４】[0134]

【数４７】 [Equation 47]

【０１３５】[0135]

【数４８】 [Equation 48]

【０１３６】[0136]

【数４９】 [Equation 49]

【０１３７】[0137]

【数５０】 [Equation 50]

【０１３８】[0138]

【数５１】 [Equation 51]

【０１３９】上述の数式３３及び数式４７で示されるグ
ラディエントｐ(x,y) 及びｑ(x,y)の修正方程式は、右
辺のｐav(x,y) 、ｑav(x,y) 、Ｒ₁ (x,y) 、Ｒ₂ (x,y)
、及びＲ₃ (x,y) が修正済のグラディエントに基づい
て計算されている場合に成立する。ところが、各画素位
置でグラディエントが推定された直後の初期状態におい
ては、修正済のグラディエントは存在しない。The modified equations of the gradients p (x, y) and q (x, y) shown in the above equations 33 and 47 are pav (x, y), qav (x, y), R _{1 on the} right side. (x, y), R ₂ (x, y)
, And R ₃ (x, y) are calculated based on the modified gradient. However, in the initial state immediately after the gradient is estimated at each pixel position, there is no corrected gradient.

【０１４０】そこで、本発明の実施例においては、グラ
ディエントの修正に緩和法を採用する。即ち、グラディ
エントの推定値を初期値として計算されるｐav(x,y) 、
ｑav(x,y) 、Ｒ₁ (x,y) 、Ｒ₂ (x,y) 、及びＲ₃ (x,y)
に基づいて数式３３及び数式４７を計算することによ
り、各画素位置(x,y) でのグラディエント（ｐ(x,y) 、
ｑ(x,y) ）を修正し、その修正されたグラディエントか
ら計算されるｐav(x,y)、ｑav(x,y) 、Ｒ₁ (x,y) 、Ｒ
₂ (x,y) 、及びＲ₃ (x,y) に基づいて、数式３３及び数
式４７で、各画素位置(x,y) でのグラディエントｐ(x,
y) 及びｑ(x,y) を更に修正するという処理を繰り返
す。Therefore, in the embodiment of the present invention, the relaxation method is adopted to correct the gradient. That is, pav (x, y) calculated with the gradient estimated value as the initial value,
qav (x, y), R ₁ (x, y), R ₂ (x, y), and R ₃ (x, y)
By calculating Equation 33 and Equation 47 based on, the gradient (p (x, y) at each pixel position (x, y),
q (x, y)) and pav (x, y), qav (x, y), R ₁ (x, y), R calculated from the modified gradient
_{Based on 2} (x, y) and R ₃ (x, y), the gradient p (x, y at each pixel position (x, y) is calculated by Equation 33 and Equation 47.
The process of further modifying y) and q (x, y) is repeated.

【０１４１】この結果、各画素位置(x,y) でのグラディ
エント（ｐ(x,y) 、ｑ(x,y) ）は、徐々に妥当な値に収
束する。このとき、各繰り返しに先立って、前回修正さ
れたグラディエント（ｐ(x,y) 、ｑ(x,y) ）に基づい
て、数式２３によって各画素位置(x,y) での誤差Ｅ(x,
y) を計算し、この誤差の全画素の和が十分に小さくな
った時点で、グラディエント（ｐ(x,y) 、ｑ(x,y) ）の
値が収束したと判定すればよい。As a result, the gradient (p (x, y), q (x, y)) at each pixel position (x, y) gradually converges to an appropriate value. At this time, prior to each iteration, the error E (x at each pixel position (x, y) is calculated by Equation 23 based on the previously modified gradient (p (x, y), q (x, y)). ,
y) may be calculated, and when the sum of all pixels of this error becomes sufficiently small, it may be determined that the values of the gradient (p (x, y), q (x, y)) have converged.

【０１４２】なお、数式２３の誤差Ｅ(x,y) の計算にお
いて、ｓ_e (x,y) は数式２４によって計算でき、このと
き、ｐx(x,y)、ｐy(x,y)、ｑx(x,y)、及びｑy(x,y)は、
次式によって計算できる。In the calculation of the error E (x, y) in Expression 23, s _e (x, y) can be calculated by Expression 24. At this time, px (x, y), py (x, y), qx (x, y) and qy (x, y) are
It can be calculated by the following formula.

【０１４３】[0143]

【数５２】 [Equation 52]

【０１４４】また、数式２３の誤差Ｅ(x,y) の計算にお
いて、ｒ_e (x,y) は数式２５によって計算できる。この
とき、前述したように、Ｉ₁ (x,y) 、Ｉ₂ (x,y) 、及び
Ｉ₃(x,y) は、前述したように、画素位置(x,y) におい
てレプリカ面１を図１の第１光源２Ａ、第２光源２Ｂ、
及び第３光源２Ｃの３つの光源により実際に撮像して得
られる３つの光源方向に対応する３つの明度値であり、
λ₁ 、λ₂ 、及びλ₃はそれぞれ経験的に定められる定
数であり、ｃ(x,y) Ｒ₁ (x,y) 、ｃ(x,y) Ｒ₂(x,y) 、
及びｃ(x,y) Ｒ₃ (x,y) は、数式３７〜４３により計算
できる。 ＜本発明による皮膚表面形状の特徴抽出装置の具体的動
作＞上述の３次元形状復元の原理に基づく図１の皮膚表
面形状の特徴抽出装置の具体的動作について、以下に順
次説明する。なお、以下の動作フローチャートは、図１
のＣＰＵ８がＲＯＭ１０に記憶された制御プログラムを
実行する動作として実現される。全体動作 図３は、皮膚表面形状の特徴抽出装置の全体的な処理を
示す動作フローチャートである。Further, in the calculation of the error E (x, y) in Expression 23, r _e (x, y) can be calculated by Expression 25. At this time, as described above, I ₁ (x, y), I ₂ (x, y), and I ₃ (x, y) have the replica plane 1 at the pixel position (x, y) as described above. The first light source 2A, the second light source 2B of FIG.
And three brightness values corresponding to three light source directions obtained by actually capturing images with the three light sources of the third light source 2C,
λ ₁ , λ ₂ , and λ ₃ are empirically determined constants, and c (x, y) R ₁ (x, y), c (x, y) R ₂ (x, y),
And _{c (x, y) R 3} (x, y) can be calculated by Equation 37-43. <Specific Operation of Skin Surface Shape Feature Extraction Device According to the Present Invention> A specific operation of the skin surface shape feature extraction device of FIG. 1 based on the above-described principle of three-dimensional shape restoration will be sequentially described below. In addition, the following operation flowchart is shown in FIG.
The CPU 8 is realized as an operation of executing the control program stored in the ROM 10. Overall Operation FIG. 3 is an operational flowchart showing overall processing of the skin surface shape feature extraction apparatus.

【０１４５】まず、ステップＳ３０１で、３枚のレプリ
カ面画像が入力され、メモリ９に取り込まれる。次に、
ステップＳ３０２で、メモリ９に取り込まれた３枚のデ
ィジタル画像データの各画素位置の明度値から、レプリ
カ面画像の各画素位置(x,y) でのレプリカ面１のグラデ
ィエント（ｐ(x,y) 、ｑ(x,y) ）が計算される。First, in step S301, three replica surface images are input and stored in the memory 9. next,
In step S302, the gradient (p (x, y) ), Q (x, y)) is calculated.

【０１４６】そして、ステップＳ３０３で、上述のグラ
ディエント（ｐ(x,y) 、ｑ(x,y) ）から、皮膚表面形状
の特徴パラメータが抽出される。レプリカ面画像の入力 図４は、図３のステップＳ３０１のレプリカ面画像の入
力処理の動作フローチャートである。Then, in step S303, the characteristic parameter of the skin surface shape is extracted from the gradient (p (x, y), q (x, y)). Input of Replica Surface Image FIG. 4 is an operation flowchart of the input processing of the replica surface image in step S301 of FIG.

【０１４７】まず、ステップＳ４０１で、ＣＰＵ８はバ
ス７を介してスイッチ６を制御し、第１光源２Ａを点灯
させる。次に、ステップＳ４０２で、Ａ／Ｄ変換器５か
ら得られるディジタル画像データを、バス７を介してメ
モリ９の第１の画像格納領域に順次取り込む。First, in step S401, the CPU 8 controls the switch 6 via the bus 7 to turn on the first light source 2A. Next, in step S402, the digital image data obtained from the A / D converter 5 is sequentially loaded into the first image storage area of the memory 9 via the bus 7.

【０１４８】次に、ステップＳ４０３で、ＣＰＵ８はバ
ス７を介してスイッチ６を制御し、第２光源２Ｂを点灯
させる。そして、ステップＳ４０４で、Ａ／Ｄ変換器５
から得られるディジタル画像データを、バス７を介して
メモリ９の第２の画像格納領域に順次取り込む。Next, in step S403, the CPU 8 controls the switch 6 via the bus 7 to turn on the second light source 2B. Then, in step S404, the A / D converter 5
The digital image data obtained from the above are sequentially loaded into the second image storage area of the memory 9 via the bus 7.

【０１４９】更に、ステップＳ４０５で、ＣＰＵ８はバ
ス７を介してスイッチ６を制御し、第３光源２Ｃを点灯
させる。そして、ステップＳ４０６で、Ａ／Ｄ変換器５
から得られるディジタル画像データを、バス７を介して
メモリ９の第３の画像格納領域に順次取り込む。Further, in step S405, the CPU 8 controls the switch 6 via the bus 7 to turn on the third light source 2C. Then, in step S406, the A / D converter 5
The digital image data obtained from the above is sequentially loaded into the third image storage area of the memory 9 via the bus 7.

【０１５０】以上の処理によって、メモリ９には、レプ
リカ面１上の撮像領域の各画素位置(x,y) 毎に、３つの
明度値Ｉ₁ (x,y) 、Ｉ₂ (x,y) 、及びＩ₃ (x,y) のデー
タが得られる。各画素位置でのグラディエントの計算 図５は、図３のステップＳ３０２の、レプリカ面画像の
各画素位置(x,y) でのレプリカ面１のグラディエント
（ｐ(x,y) 、ｑ(x,y) ）の計算処理の動作フローチャー
トである。As a result of the above processing, three brightness values I ₁ (x, y) and I ₂ (x, y) are stored in the memory 9 for each pixel position (x, y) of the imaging area on the replica surface 1. ), And I ₃ (x, y) data are obtained. Calculation of Gradient at Each Pixel Position FIG. 5 shows the gradient (p (x, y), q (x, x) of the replica surface 1 at each pixel position (x, y) of the replica surface image in step S302 of FIG. It is an operation | movement flowchart of the calculation process of y)).

【０１５１】まず、ステップＳ５０１で、数式１８及び
数式１９を用いて数式２１を計算することにより、各画
素位置(x,y) での係数α(x,y) が推定される。なお、数
式１８で示される３つの光源方向ベクトルｎ_s1 、ｎ_s2 、
及びｎ_s3 は、第１光源２Ａ、第２光源２Ｂ、及び第３光
源２Ｃが設置された時点で決定することができ、予めメ
モリ９に記憶されている。また、数式１９で示される各
画素位置(x,y) の３つの明度値Ｉ₁ (x,y) 、Ｉ₂ (x,y)
、及びＩ₃ (x,y) は、図３のステップＳ３０３（図４
参照）の処理でメモリ９の第１〜第３の画像領域に得ら
れている。First, in step S501, the coefficient α (x, y) at each pixel position (x, y) is estimated by calculating the expression 21 using the expressions 18 and 19. The three light source direction vectors n _s1 , n _s2 ,
And n _s3 can be determined when the first light source 2A, the second light source 2B, and the third light source 2C are installed, and are stored in the memory 9 in advance. In addition, three lightness values I ₁ (x, y) and I ₂ (x, y) at each pixel position (x, y) shown in Equation 19 are used.
, And I ₃ (x, y) correspond to step S303 (FIG. 4) of FIG.
In the processing (refer to FIG. 3), it is obtained in the first to third image areas of the memory 9.

【０１５２】次に、ステップＳ５０２で、ステップＳ５
０１で得られた各画素位置(x,y) での係数α(x,y) と、
数式９、数式１０、数式１８、及び数式１９を用いて数
式２２を計算することによって、各画素位置(x,y) での
表面法線ベクトルｎ(x,y) が推定される。Next, in step S502, step S5
The coefficient α (x, y) at each pixel position (x, y) obtained in 01,
The surface normal vector n (x, y) at each pixel position (x, y) is estimated by calculating Equation 22 using Equation 9, Equation 10, Equation 18, and Equation 19.

【０１５３】次に、ステップＳ５０３で、ステップＳ５
０２で求まった各画素位置(x,y) での表面法線ベクトル
ｎ(x,y) に基づいて、数式１１により、各画素位置(x,
y) でのグラディエント（ｐ(x,y) ，ｑ(x,y) ）が推定
される。Next, in step S503, step S5
Surface normal vector at each pixel position (x, y) obtained in 02
Based on n (x, y) , each pixel position (x,
The gradient (p (x, y), q (x, y)) at y) is estimated.

【０１５４】続いて、ステップＳ５０４〜Ｓ５０９の緩
和法の処理が実行される。まず、ステップＳ５０４で、
ステップＳ５０３で求まった各画素位置(x,y) でのグラ
ディエント（ｐ(x,y) ，ｑ(x,y) ）が、緩和法の繰り返
し演算のｐ(x,y)及びｑ(x,y) の初期値として、メモリ
９の適当な変数領域に設定される。Subsequently, the relaxation method processing of steps S504 to S509 is executed. First, in step S504,
The gradients (p (x, y), q (x, y)) at each pixel position (x, y) obtained in step S503 are p (x, y) and q (x, As an initial value of y), it is set in an appropriate variable area of the memory 9.

【０１５５】次に、ステップＳ５０５で、上述のグラデ
ィエント（ｐ(x,y) 、ｑ(x,y) ）の前回の値（初回の場
合はステップＳ５０４で設定された初期値、それ以後は
ステップＳ５０８とＳ５０９で計算された値）に基づい
て、数式２４、数式５２、数式２５、及び数式３７〜４
３を用いて数式２３を計算することにより、各画素位置
(x,y) での誤差Ｅ(x,y) が計算される。ここで、数式５
２の右辺は、各画素位置(x,y) の上下左右に隣接する４
つの画素位置でのグラディエントの前回の値に基づいて
計算される。また、数式３８の右辺は、グラディエント
（ｐ(x,y) ，ｑ(x,y) ）の前回の値に基づいて計算さ
れ、数式３９、４１、４３の右辺はグラディエント（ｐ
(x,y) 、ｑ(x,y) ）の前回の値と、予めメモリ９に記憶
されている３つの光源方向ベクトルｎ_s1 、ｎ_s2 、及びｎ
_s3 の各要素に基づいて計算され、更に、数式３７、４
０、４２の右辺は、上述の数式３８、３９、４１、及び
４３の計算結果と、ステップＳ５０１で計算された係数
α(x,y) に基づき計算される。また、数式２５で、定数
λ₁ 、λ₂ 、及びλ₃ は、前述したように経験的に定め
られて予めメモリ９に得られており、Ｉ₁ (x,y) 、Ｉ₂
(x,y) 、及びＩ₃ (x,y)は、図３のステップＳ３０３
（図４参照）の処理でメモリ９の第１〜第３の画像領域
に得られている。Next, in step S505, the previous value of the above-mentioned gradient (p (x, y), q (x, y)) (the initial value set in step S504 in the case of the first time, and the steps thereafter). Equation 24, Equation 52, Equation 25, and Equations 37 to 4 based on the values calculated in S508 and S509).
By calculating Equation 23 using
The error E (x, y) at (x, y) is calculated. Where Equation 5
The right side of 2 is adjacent to the top, bottom, left and right of each pixel position (x, y).
Calculated based on the previous value of the gradient at one pixel location. The right side of the equation 38 is calculated based on the previous value of the gradient (p (x, y), q (x, y)), and the right sides of the equations 39, 41, and 43 are the gradient (p
(x, y), q (x, y)), and the three light source direction vectors n _s1 , n _s2 , and n stored in the memory 9 in advance.
Calculating based on each element of _s3 ,
The right sides of 0 and 42 are calculated based on the calculation results of the above-mentioned formulas 38, 39, 41 and 43 and the coefficient α (x, y) calculated in step S501. Further, in Expression 25, the constants λ ₁ , λ ₂ , and λ ₃ are empirically determined as described above and are obtained in advance in the memory 9, and I ₁ (x, y), I ₂
(x, y) and I ₃ (x, y) are obtained in step S303 of FIG.
It has been obtained in the first to third image areas of the memory 9 by the processing (see FIG. 4).

【０１５６】続いて、ステップＳ５０６においては、ス
テップＳ５０５で計算された各画素位置(x,y) での誤差
Ｅ(x,y) の全画素についての総和が計算される。そし
て、ステップＳ５０７では、ステップＳ５０６で計算さ
れた誤差の総和が所定の閾値以下になったか否かが判定
される。Subsequently, in step S506, the total sum of all the pixels of the error E (x, y) at each pixel position (x, y) calculated in step S505 is calculated. Then, in step S507, it is determined whether or not the total sum of the errors calculated in step S506 is equal to or less than a predetermined threshold value.

【０１５７】ステップＳ５０７の判定がＮＯなら、ステ
ップＳ５０８とＳ５０９で、グラディエント（ｐ(x,y)
、ｑ(x,y) ）が修正される。即ち、ステップＳ５０８
では、ステップＳ５０５における数式３７〜４３の計算
結果と、数式３０、及び数式４４〜４６を用いて数式３
３が計算されることにより、グラディエントｐ(x,y) が
修正される。ここで、数式３０の右辺は、各画素位置
(x,y) の上下左右に隣接する４つの画素位置でのグラデ
ィエントの前回値の平均値として計算される。また、数
式４４〜４６の右辺は、ステップＳ５０５で計算された
数式３８、３９、４１、及び４３の計算結果と、グラデ
ィエントｐ(x,y) の前回値と、予めメモリ９に記憶され
ている３つの光源方向ベクトルｎ_s1 、ｎ_s2 、及びｎ_s3 の
各第１要素と、ステップＳ５０１で計算された係数α
(x,y)に基づいて計算される。更に、数式３３で、定数
λ₁ 、λ₂ 、及びλ₃ は、前述したように経験的に定め
られて予めメモリ９に得られており、Ｉ₁ (x,y) 、Ｉ
₂(x,y) 、及びＩ₃ (x,y) は、図３のステップＳ３０３
（図４参照）の処理でメモリ９の第１〜第３の画像領域
に得られている。If the determination in step S507 is NO, in steps S508 and S509, the gradient (p (x, y)
, Q (x, y)) is modified. That is, step S508
Then, using the calculation results of Expressions 37 to 43 in Step S505 and Expressions 30 and 44 to 46, Expression 3
By calculating 3, the gradient p (x, y) is modified. Here, the right side of Equation 30 is the pixel position
It is calculated as the average of the previous values of the gradient at four pixel positions adjacent to the top, bottom, left, and right of (x, y). Further, the right sides of the equations 44 to 46 are stored in the memory 9 in advance, with the calculation results of the equations 38, 39, 41, and 43 calculated in step S505, the previous value of the gradient p (x, y). The first elements of the three light source direction vectors n _s1 , n _s2 , and n _s3 and the coefficient α calculated in step S501
Calculated based on (x, y). Further, in Expression 33, the constants λ ₁ , λ ₂ , and λ ₃ are empirically determined as described above and are obtained in advance in the memory 9, and I ₁ (x, y), I
₂ (x, y) and I ₃ (x, y) are obtained in step S303 of FIG.
It has been obtained in the first to third image areas of the memory 9 by the processing (see FIG. 4).

【０１５８】また、ステップＳ５０９では、ステップＳ
５０５における数式３７〜４３の計算結果と、数式４
８、及び数式４９〜５１を用いて数式４７が計算される
ことにより、グラディエントｑ(x,y) が修正される。こ
こで、数式４８の右辺は、各画素位置(x,y) の上下左右
に隣接する４つの画素位置でのグラディエントの前回値
の平均値として計算される。また、数式４９〜５１の右
辺は、ステップＳ５０５で計算された数式３８、３９、
４１、及び４３の計算結果と、グラディエントｑ(x,y)
の前回値と、予めメモリ９に記憶されている３つの光源
方向ベクトルｎ_s1 、ｎ_s2 、及びｎ_s3 の各第２要素と、ス
テップＳ５０１で計算された係数α(x,y)に基づいて計
算される。更に、数式４７で、定数λ₁ 、λ₂ 、及びλ
₃ は、前述したように経験的に定められて予めメモリ９
に予め得られており、Ｉ₁ (x,y) 、Ｉ₂ (x,y) 、及びＩ
₃ (x,y) は、図３のステップＳ３０３（図４参照）の処
理でメモリ９の第１〜第３の画像領域に得られている。Further, in step S509, step S
Mathematical Expressions 37 to 43 in 505 and Expression 4
The gradient q (x, y) is corrected by calculating Equation 47 using Equation 8 and Equations 49 to 51. Here, the right side of Expression 48 is calculated as the average value of the previous values of the gradient at four pixel positions adjacent to each pixel position (x, y) in the vertical and horizontal directions. Further, the right sides of the equations 49 to 51 are the equations 38 and 39 calculated in step S505,
The calculation results of 41 and 43 and the gradient q (x, y)
Based on the previous value of, the second element of each of the three light source direction vectors n _s1 , n _s2 , and n _s3 stored in advance in the memory 9, and the coefficient α (x, y) calculated in step S501. Calculated. Further, in Equation 47, constants λ ₁ , λ ₂ , and λ
₃ is empirically determined as described above, and is stored in the memory 9 in advance.
, I ₁ (x, y), I ₂ (x, y), and I
₃ (x, y) has been obtained in the first to third image areas of the memory 9 by the processing of step S303 (see FIG. 4) in FIG.

【０１５９】その後、ステップＳ５０５、Ｓ５０６が再
び実行されて各画素位置(x,y) での誤差Ｅ(x,y) 及びそ
の誤差の全画素位置についての総和が計算され、ステッ
プＳ５０７でその誤差の総和が所定の閾値以下になって
いないと判定される間はステップＳ５０８〜Ｓ５０７の
処理が繰り返される。Thereafter, steps S505 and S506 are executed again to calculate the error E (x, y) at each pixel position (x, y) and the total sum of the errors at all pixel positions, and the error is calculated at step S507. The processing of steps S508 to S507 is repeated while it is determined that the total sum of the above is not less than or equal to the predetermined threshold value.

【０１６０】そして、ステップＳ５０７で上述の誤差の
総和が所定の閾値以下になったと判定されると、各画素
位置(x,y) でのグラディエント（ｐ(x,y) 、ｑ(x,y) ）
は妥当な値に収束したといえるため、ステップＳ５１０
で、最終的に得られた各画素位置(x,y) でのグラディエ
ント（ｐ(x,y) 、ｑ(x,y) ）がメモリ９に格納され、こ
れにより、図３のステップＳ３０２の処理を終了する。鳥瞰図による考察 次に、図３のステップＳ３０３の皮膚表面形状の特徴パ
ラメータの抽出処理について説明する前に、上述の処理
によって得られた各画素位置(x,y) におけるグラディエ
ント（ｐ(x,y) 、ｑ(x,y) ）に基づいて復元されるレプ
リカ面１の３次元形状の例について説明する。When it is determined in step S507 that the sum of the above-mentioned errors is equal to or less than the predetermined threshold value, the gradient (p (x, y), q (x, y) at each pixel position (x, y) is determined. ))
Can be said to have converged to an appropriate value, so step S510
Then, the finally obtained gradients (p (x, y), q (x, y)) at each pixel position (x, y) are stored in the memory 9, whereby the gradient of step S302 in FIG. The process ends. Consideration from Bird's-Eye View Next, before explaining the extraction processing of the characteristic parameters of the skin surface shape in step S303 of FIG. 3, the gradient (p (x, y) at each pixel position (x, y) obtained by the above processing is described. ), Q (x, y)), an example of the three-dimensional shape of the replica surface 1 restored will be described.

【０１６１】各画素位置(x,y) でのグラディエント（ｐ
(x,y) 、ｑ(x,y) ）を求めることができれば、それらを
レプリカ面画像上で一定の方向に積分することによっ
て、各画素位置(x,y) におけるｚ座標の値を求めること
ができ、レプリカ面１の３次元形状を復元することがで
きる。At each pixel position (x, y), the gradient (p
If (x, y) and q (x, y)) can be obtained, the z-coordinate value at each pixel position (x, y) is obtained by integrating them in a fixed direction on the replica surface image. Therefore, the three-dimensional shape of the replica surface 1 can be restored.

【０１６２】図６は、そのようにして復元されたレプリ
カ面１の３次元形状を鳥瞰図として示した図である。こ
の図からわかるように、皮溝領域では、グラディエント
が大きく変化することにより、−ｚ方向にＶ字型に切れ
込んでいることがわかる。FIG. 6 is a bird's-eye view showing the three-dimensional shape of the replica surface 1 thus restored. As can be seen from this figure, in the skin groove region, the gradient is greatly changed, so that it is cut into a V shape in the −z direction.

【０１６３】また、皮溝と皮溝の交点付近においても、
グラディエントが大きく変化することにより、−ｚ方向
に特徴的な形状を呈することがわかる。これに対して、
皮丘領域ではグラディエントの変化が少なく、平面に近
い形状を呈する。皮膚占有率の抽出 以上の考察に基づく、図３のステップＳ３０３の皮膚表
面形状の特徴パラメータの抽出処理について、図７の動
作フローチャートに沿って説明する。Also, in the vicinity of the intersection of the skin groove,
It can be seen that a large change in the gradient presents a characteristic shape in the −z direction. On the contrary,
In the cuticle region, there is little change in the gradient, and the shape is almost flat. Extraction of Skin Occupancy The extraction process of the characteristic parameters of the skin surface shape in step S303 of FIG. 3 based on the above consideration will be described with reference to the operation flowchart of FIG.

【０１６４】まず、ステップＳ７０１では、皮溝占有率
が抽出される。皮溝占有率は、皮溝領域のレプリカ面画
像全体に対する面積率で定義され、皮溝と皮溝の交点
（毛孔を含む）の領域も皮溝に含まれる。First, in step S701, the skin groove occupancy rate is extracted. The skin groove occupancy rate is defined by the area ratio of the skin groove area to the entire replica surface image, and the area of the intersection (including pores) of the skin groove is also included in the skin groove.

【０１６５】ここでの処理の動作フローチャートを図８
に示す。図８において、まず、ステップＳ８０１で、各
画素位置(x,y) 毎に、図３のステップＳ３０２で計算さ
れたグラディエント（ｐ(x,y) 、ｑ(x,y) ）を用いて、
次式によりグラディエント強度が計算される。この物理
量は、各画素位置(x,y)でのレプリカ面１の傾きの強さ
を示している。FIG. 8 is an operation flowchart of the processing here.
Shown in. In FIG. 8, first, in step S801, the gradient (p (x, y), q (x, y)) calculated in step S302 of FIG. 3 is used for each pixel position (x, y).
The gradient intensity is calculated by the following formula. This physical quantity indicates the strength of inclination of the replica surface 1 at each pixel position (x, y).

【０１６６】[0166]

【数５３】 [Equation 53]

【０１６７】次に、ステップＳ８０２で、所定の閾値以
上のグラディエント強度を有する画素位置(x,y) が抽出
され、その画素に当該画素が皮溝であることを示すラベ
ルが付与される。この結果、レプリカ面画像において皮
溝領域の画素が抽出される。なお、数式５３で用いられ
る各画素位置(x,y) でのグラディエント（ｐ(x,y) 、ｑ
(x,y) ）は、前述したように緩和法のアルゴリズムによ
って決定された値であるため、上述のような簡単な閾値
処理によって容易に皮溝領域を検出できる。Next, in step S802, a pixel position (x, y) having a gradient intensity equal to or higher than a predetermined threshold value is extracted, and a label indicating that the pixel is a skin groove is given to the pixel position. As a result, pixels in the skin groove region are extracted from the replica surface image. Note that the gradient (p (x, y), q at each pixel position (x, y) used in Equation 53
Since (x, y)) is a value determined by the relaxation algorithm as described above, the skin groove region can be easily detected by the above-described simple threshold processing.

【０１６８】最後に、ステップＳ８０３で、次式により
皮溝占有率が計算され、その計算結果が、メモリ９に格
納されると共にプリンタ１１又はＣＲＴディスプレイ１
２に出力される。Finally, in step S803, the skin groove occupancy rate is calculated by the following equation, and the calculation result is stored in the memory 9 and the printer 11 or the CRT display 1
2 is output.

【０１６９】[0169]

【数５４】 [Equation 54]

【０１７０】以上のようにして計算される皮溝占有率
は、皮溝と皮溝の交点（毛孔を含む）の領域の広さを示
す特徴パラメータとなる。一般に、人間の皮膚は、加齢
と共に、皮溝の密度が減少するため、上述のようにして
皮溝占有率を直接評価できることは重要である。皮溝方向の標準偏差及びヒストグラムの抽出 図７のステップＳ７０２では、皮溝方向の標準偏差及び
ヒストグラムが抽出される。皮溝方向は皮溝の長手方向
として定義される。The skin groove occupancy rate calculated as described above is a characteristic parameter indicating the size of the area of the intersection (including pores) of skin grooves. In general, human skin has a decrease in the density of the sulcus with aging, so it is important to be able to directly evaluate the sulcus occupancy as described above. Extraction of standard deviation and histogram in the skin groove direction In step S702 of FIG. 7, the standard deviation and histogram in the skin groove direction are extracted. The skin groove direction is defined as the longitudinal direction of the skin groove.

【０１７１】ここでの処理の動作フローチャートを図９
に示す。図９において、まず、ステップＳ９０１で、図
８のステップＳ８０２で求まった皮溝領域の画素(x,y)
について、次式によってグラディエント方向が計算され
る。このグラディエント方向は、例えば−π／２からπ
／２［ｒａｄ］の範囲で計算される。FIG. 9 is an operation flowchart of the processing here.
Shown in. In FIG. 9, first, in step S901, the pixel (x, y) in the skin groove region obtained in step S802 of FIG.
For, the gradient direction is calculated by This gradient direction is, for example, -π / 2 to π
It is calculated in the range of / 2 [rad].

【０１７２】[0172]

【数５５】 [Equation 55]

【０１７３】皮溝領域におけるグラディエント方向は、
皮溝方向に垂直な方向、即ち皮溝の幅方向を示す。従っ
て、ステップＳ９０２で、次式により上述のグラディエ
ント方向にπ／２［ｒａｄ］が加算され、その結果、皮
溝方向が抽出される。The gradient direction in the skin groove region is
The direction perpendicular to the skin groove direction, that is, the width direction of the skin groove is shown. Therefore, in step S902, π / 2 [rad] is added to the gradient direction by the following equation, and as a result, the skin groove direction is extracted.

【０１７４】[0174]

【数５６】 [Equation 56]

【０１７５】そして、ステップＳ９０３では、このよう
にして求まった各画素位置(x,y) における皮溝方向につ
いて、皮溝領域全体の標準偏差及びヒストグラムが計算
されて、その計算結果が、メモリ９に格納されると共に
プリンタ１１又はＣＲＴディスプレイ１２に出力され
る。Then, in step S903, the standard deviation and histogram of the entire skin groove area are calculated for the skin groove direction at each pixel position (x, y) thus obtained, and the calculation result is stored in the memory 9 And is output to the printer 11 or the CRT display 12.

【０１７６】以上のようにして求まる皮溝方向の標準偏
差が小さい場合、レプリカ面画像全体において皮溝が一
定方向に流れていることを示し、標準偏差が大きい場
合、レプリカ面画像全体において皮溝が縦横に走ってい
ることを示している。また、ヒストグラムを検査するこ
とにより、皮溝方向の分布も抽出することができる。When the standard deviation in the skin groove direction obtained as described above is small, it indicates that the skin groove flows in a fixed direction in the entire replica surface image, and when the standard deviation is large, the skin groove in the entire replica surface image. Indicates that they are running vertically and horizontally. In addition, by examining the histogram, the distribution in the sulcus direction can also be extracted.

【０１７７】一般に、人間の皮膚は、加齢と共に、皮溝
に関する放射状の均質性が失われ、皮溝が一定方向に流
れる傾向を呈するため、上述のようにして皮溝方向を直
接評価できることは重要である。皮溝底の深さの平均と標準偏差及びヒストグラムの抽出 図７のステップＳ７０３では、皮溝底の深さの平均と標
準偏差及びヒストグラムが抽出される。皮溝底の深さは
皮溝の形状を決定する最も重要なパラメータである。Generally, human skin loses radial homogeneity with respect to the sulcus with aging, and the sulcus tends to flow in a certain direction. Therefore, it is not possible to directly evaluate the sulcus direction as described above. is important. Extraction of Average and Standard Deviation of Depth of Groove and Histogram In step S703 of FIG. 7, the average and standard deviation of depth of crevice and a histogram are extracted. The depth of the skin groove is the most important parameter that determines the shape of the skin groove.

【０１７８】今、図２より、レプリカ面１に関する座標
は図１０のように定義されるため、例えば皮溝領域にお
ける深さの空間１次微分であるグラディエント（ｐ(x,
y) 、ｑ(x,y) ）の符号及び深さの空間２次微分である
ラプラシアンは図面のようになる。このような性質を利
用して、図１１の動作フローチャートで示されるアルゴ
リズムにより皮溝底の画素とその深さに関する情報が抽
出される。Now, from FIG. 2, since the coordinates relating to the replica surface 1 are defined as shown in FIG. 10, for example, the gradient (p (x,
y), q (x, y)) and the Laplacian which is the spatial second derivative of the depth are as shown in the drawing. Utilizing such a property, the information on the pixel at the skin groove bottom and its depth is extracted by the algorithm shown in the operation flowchart of FIG.

【０１７９】図１１において、まず、ステップＳ１１０
１で、レプリカ面画像の各画素位置(x,y) 毎にレプリカ
面１の深さの空間２次微分、即ち、ラプラシアンが計算
される。ここで、深さ値は直接には求まっていないた
め、グラディエントｐ(x,y) 及びｑ(x,y) の空間１次微
分ｐx(x,y)及びｑy(x,y)を計算し、それらの線形結合を
求めることにより、ラプラシアンを計算することができ
る。なお、ｐx(x,y)及びｑy(x,y)は、図３のステップＳ
３０２に関する図５のステップＳ５０５で数式５２によ
り計算されるため、ステップＳ５０５の計算時に次式を
同時に計算し、その計算結果をラプラシアンとしてメモ
リ９に記憶させておけばよい。In FIG. 11, first, step S110.
At 1, the spatial quadratic differential of the depth of the replica surface 1, that is, the Laplacian is calculated for each pixel position (x, y) of the replica surface image. Here, since the depth value is not directly obtained, the spatial first derivatives px (x, y) and qy (x, y) of the gradients p (x, y) and q (x, y) are calculated. , Laplacian can be calculated by finding their linear combination. Note that px (x, y) and qy (x, y) are determined by step S in FIG.
Since the calculation is performed by the numerical formula 52 in step S505 of FIG. 5 regarding 302, the following formula may be calculated at the same time as the calculation of step S505, and the calculation result may be stored in the memory 9 as Laplacian.

【０１８０】[0180]

【数５７】 [Equation 57]

【０１８１】次に、ステップＳ１１０２で、レプリカ面
画像全体で、ラプラシアンが所定の閾値以上の正の極大
値となる画素が探索され、それを満たす１つの画素が皮
溝底の画素候補として抽出される。Next, in step S1102, a pixel whose Laplacian has a positive maximum value equal to or larger than a predetermined threshold value is searched for in the entire replica plane image, and one pixel satisfying that value is extracted as a pixel candidate for the skin groove bottom. It

【０１８２】皮溝底の画素候補が見つかると、ステップ
Ｓ１１０３の判定がＹＥＳとなり、次に、ステップＳ１
１０４において、皮溝底の画素候補の周囲の直近画素内
に、図７のステップＳ７０１に関する図８のステップＳ
８０２で求まっている皮溝領域が存在するか否かが探索
される。If a pixel candidate for the bottom of the skin groove is found, the determination in step S1103 is YES, and then step S1.
In 104, the step S of FIG. 8 related to the step S701 of FIG.
It is searched whether or not the skin groove region obtained in 802 exists.

【０１８３】皮溝領域が見つからない場合には、当該皮
溝底の画素候補は皮溝底の画素ではないと判定できるた
め、ステップＳ１１０５の判定結果がＮＯとなってステ
ップＳ１１０２に戻る。一方、皮溝領域が見つかった場
合には、当該皮溝底の画素候補は皮溝底の画素であると
判定できるため、ステップＳ１１０５の判定結果がＹＥ
Ｓとなって、ステップＳ１１０６に進む。If the skin groove area is not found, it is possible to determine that the pixel candidate for the skin groove bottom is not the pixel for the skin groove bottom, so the result of the determination in step S1105 is NO and the process returns to step S1102. On the other hand, when the skin groove area is found, it can be determined that the pixel candidate of the skin groove bottom is the pixel of the skin groove bottom, and therefore the determination result of step S1105 is YE.
Then, the process proceeds to S and proceeds to step S1106.

【０１８４】ステップＳ１１０６では、上述の皮溝画素
候補が皮溝画素としてラベル付けされる。続いて、ステ
ップＳ１１０７とＳ１１０８において、積分に関する処
理が実行される。今、図１０に示されるように、皮溝底
の画素での深さは、皮溝底の画素から、それが含まれる
皮溝の端の画素までの高さであると定義できる。そこ
で、皮溝底の画素から皮溝の端の画素までグラディエン
トを積分することにより、皮溝底の画素の深さを求める
ことができる。In step S1106, the above-described skin groove pixel candidates are labeled as skin groove pixels. Subsequently, in steps S1107 and S1108, a process regarding integration is executed. Now, as shown in FIG. 10, the depth at the pixel of the skin groove bottom can be defined as the height from the pixel at the skin groove bottom to the pixel at the edge of the skin groove including it. Therefore, the depth of the pixel at the bottom of the skin groove can be obtained by integrating the gradient from the pixel at the bottom of the skin groove to the pixel at the end of the skin groove.

【０１８５】まず、ステップＳ１１０７で、積分方向を
ｘ方向とするかｙ方向とするかが決定される。即ち、ス
テップＳ１１０４において検出された皮溝領域内の所定
範囲の画素のグラディエント（ｐ(x,y) 、ｑ(x,y) ）の
平均値が計算され、ｐ(x,y)の平均値の方が大きけれ
ば、その皮溝底の画素が含まれる皮溝領域の皮溝方向は
図１２に示されるようにｙ方向に近い方向を向いている
と推定できるため、探索が皮溝の幅方向に近い方向に対
して行われるように、ｘ方向が探索方向として決定され
る。逆に、ｑ(x,y) の平均値の方が大きければ、その皮
溝底の画素が含まれる皮溝領域の皮溝方向は図１３に示
されるようにｘ方向に近い方向を向いていると推定でき
るため、探索が皮溝の幅方向に近い方向に対して行われ
るように、ｙ方向が探索方向として決定される。これに
より、皮溝方向に積分が行われてしまい、積分路が皮溝
から抜け出せなくなってしまうという事態を防ぐことが
できる。First, in step S1107, it is determined whether the integration direction is the x direction or the y direction. That is, the average value of the gradients (p (x, y), q (x, y)) of the pixels in the predetermined range within the skin groove region detected in step S1104 is calculated, and the average value of p (x, y) is calculated. Is larger, it can be estimated that the skin groove direction of the skin groove area including the pixel at the bottom of the skin groove is in the direction close to the y direction as shown in FIG. The x direction is determined as the search direction, as is done for directions close to the direction. On the contrary, if the average value of q (x, y) is larger, the skin groove direction of the skin groove area including the pixel at the skin groove bottom is oriented in the direction close to the x direction as shown in FIG. Therefore, the y direction is determined as the search direction so that the search is performed in the direction close to the width direction of the skin groove. As a result, it is possible to prevent a situation in which integration is performed in the skin groove direction and the integration path cannot be pulled out from the skin groove.

【０１８６】また、ステップＳ１１０７では、上述のよ
うに決定されたｘ方向又はｙ方向において、有効な明度
値が得られている正又は負の何れかの方向を積分方向と
する判別も行われる。これは、光源の照明方向と皮溝方
向との関係で、照明の影になる部分が生じる可能性があ
り、その影の部分ではグラディエントが正しく求まって
いない可能性があるため、そのような影の部分が含まれ
る方向を避けるためである。有効な明度値が得られてい
るか否かは、例えば、第１光源２Ａ、第２光源２Ｂ、及
び第３光源２Ｃによるレプリカ面１の各照明動作に対応
してメモリ９に格納された３枚の画像データのそれぞれ
につき、画像全体の明度値の分布を調べ閾値処理を行う
ことにより、各画素毎に有効な明度値が得られているか
否かを予めラベル付けしておく等の処理を行うことで、
判別することができる。Further, in step S1107, in the x-direction or the y-direction determined as described above, it is determined whether the positive or negative direction in which the effective brightness value is obtained is the integration direction. This is because there is a possibility that a shadow of the illumination may occur due to the relationship between the illumination direction of the light source and the skin groove direction, and the gradient may not have been calculated correctly in that shadow, so such a shadow may occur. This is to avoid the direction including the part of. Whether or not an effective brightness value is obtained is determined by, for example, three sheets stored in the memory 9 corresponding to each illumination operation of the replica surface 1 by the first light source 2A, the second light source 2B, and the third light source 2C. For each of the image data, the distribution of the brightness value of the entire image is checked, and the threshold value process is performed to pre-label whether or not an effective brightness value is obtained for each pixel. By that,
Can be determined.

【０１８７】ステップＳ１１０８では、ステップＳ１１
０７で決定された積分方向に、図７のステップＳ７０１
に関する図８のステップＳ８０２で求まっている皮溝領
域の範囲で積分処理が実行される。この場合、ｘ方向に
積分が行われる場合にはグラディエントｐ(x,y) が積分
され、ｙ方向に積分が行われる場合にはグラディエント
ｑ(x,y) が積分される。In step S1108, step S11
In the integration direction determined in 07, step S701 in FIG.
The integration process is executed in the range of the skin groove area obtained in step S802 of FIG. In this case, the gradient p (x, y) is integrated when the integration is performed in the x direction, and the gradient q (x, y) is integrated when the integration is performed in the y direction.

【０１８８】積分の結果得られた積分値は、ステップＳ
１１０９で、当該皮溝底の画素での深さとしてメモリ９
に記憶される。その後、再びステップＳ１１０２に戻
り、レプリカ面画像上で、ラプラシアンが所定の閾値以
上の正の極大値となる画素が更に探索され、それを満た
す１つの画素が皮溝底の画素候補として抽出され、それ
に対してステップＳ１１０４〜Ｓ１１０９の処理が繰り
返される。The integrated value obtained as a result of the integration is calculated in step S
At 1109, the memory 9 is set as the depth of the pixel at the bottom of the skin groove.
Memorized in. After that, the process returns to step S1102 again, and a pixel whose Laplacian has a positive maximum value equal to or larger than a predetermined threshold value is further searched for on the replica surface image, and one pixel satisfying the search is extracted as a pixel candidate for the skin groove bottom On the other hand, the processes of steps S1104 to S1109 are repeated.

【０１８９】ラプラシアンが所定の閾値以上の正の極大
値となる画素が見つからなくなったら、ステップＳ１１
０３の判定がＮＯとなり、ステップＳ１１１０に進む。
ステップＳ１１１０では、ラベル付けされた皮溝底の画
素の深さのレプリカ面画像全体での平均と標準偏差及び
ヒストグラムが計算され、その計算結果が、メモリ９に
格納されると共にプリンタ１１又はＣＲＴディスプレイ
１２に出力される。If no pixel whose Laplacian has a positive maximum value equal to or larger than a predetermined threshold value is found, step S11 is performed.
The determination result in 03 is NO, and the process proceeds to step S1110.
In step S1110, an average, a standard deviation, and a histogram of the labeled pixel depth of the skin groove bottom in the entire replica plane image are calculated, and the calculation result is stored in the memory 9 and is also stored in the printer 11 or the CRT display. 12 is output.

【０１９０】一般に、人間の皮膚は、加齢と共に、皮溝
の深さは浅くなり皮溝が不鮮明となるため、上述のよう
にして皮溝の深さを直接評価できることは重要である。皮溝幅の平均と標準偏差及びヒストグラムの抽出 図７のステップＳ７０４では、皮溝幅の平均と標準偏差
及びヒストグラムが抽出される。Generally, as human skin ages, the skin groove depth becomes shallow and the skin groove becomes unclear. Therefore, it is important to be able to directly evaluate the skin groove depth as described above. Extraction of Average, Standard Deviation, and Histogram of Skin Groove Width In step S704 of FIG. 7, the average, standard deviation, and histogram of skin groove width are extracted.

【０１９１】ここでの処理の動作フローチャートを図１
４に示す。まず、ステップＳ１４０１で、前述した図７
のステップＳ７０３に関する図１１のステップＳ１１０
６で抽出された皮溝底の画素毎に、前述した図１１のス
テップＳ１１０８で実行された積分処理における積分画
素数が抽出される。なお、積分画素数は、例えば、ステ
ップＳ１１０８の積分処理が実行されるときにカウント
し、積分終了時にステップＳ１１０９において、皮溝底
の画素に対応させてメモリ９に記憶させておけばよい。FIG. 1 is an operation flowchart of the processing here.
4 shows. First, in step S1401, FIG.
11 regarding step S703 of FIG.
For each pixel on the bottom of the skin groove extracted in 6, the number of integrated pixels in the integration process executed in step S1108 of FIG. 11 described above is extracted. It should be noted that the number of integrated pixels may be counted, for example, when the integration process of step S1108 is executed, and may be stored in the memory 9 in step S1109 at the end of integration in association with the pixel of the bottom of the skin groove.

【０１９２】次に、ステップＳ１４０２で、上述の積分
画素数に基づいて、皮溝底の画素毎に皮溝幅が計算され
る。前述した図１１のステップＳ１１０８でｘ方向に積
分が実行された場合、皮溝底の画素での積分画素数と、
そこでの皮溝幅との関係は、図１５に示される。そこ
で、次式により皮溝底の画素での皮溝幅が計算される。Next, in step S1402, the skin groove width is calculated for each pixel at the bottom of the skin groove based on the number of integrated pixels described above. When the integration is executed in the x direction in step S1108 of FIG. 11 described above, the number of integrated pixels in the pixel at the bottom of the skin groove,
The relationship with the skin groove width there is shown in FIG. Therefore, the skin groove width at the pixel at the bottom of the skin groove is calculated by the following formula.

【０１９３】[0193]

【数５８】 [Equation 58]

【０１９４】また、図１１のステップＳ１１０８でｙ方
向に積分が実行された場合、皮溝底の画素での積分画素
数と、そこでの皮溝幅との関係は、図１６に示される。
そこで、次式により皮溝底の画素での皮溝幅が計算さ
れ、その計算結果が、メモリ９に格納されると共にプリ
ンタ１１又はＣＲＴディスプレイ１２に出力される。Further, when the integration is executed in the y direction in step S1108 of FIG. 11, the relationship between the number of integrated pixels in the pixel at the bottom of the skin groove and the skin groove width there is shown in FIG.
Therefore, the skin groove width at the pixel at the bottom of the skin groove is calculated by the following formula, and the calculation result is stored in the memory 9 and output to the printer 11 or the CRT display 12.

【０１９５】[0195]

【数５９】 [Equation 59]

【０１９６】ここで、数式５８又は数式５９で使用され
る積分路上の平均のグラディエント方向は、例えば、ス
テップＳ１１０８の積分処理が実行されるときに、積分
される画素について図７のステップＳ７０２に関する図
９のステップＳ９０１で計算されているグラディエント
方向を加算し、積分終了時にステップＳ１１０９におい
てその加算値を積分画素数で除算することにより求める
ことができ、ステップＳ１１０９において、そのように
して求まったグラディエント方向の平均値を皮溝底の画
素に対応させてメモリ９に記憶させておけばよい。Here, the average gradient direction on the integration path used in Expression 58 or Expression 59 is, for example, a diagram relating to step S702 in FIG. 7 regarding pixels to be integrated when the integration processing in step S1108 is executed. The gradient direction calculated in step S901 of 9 can be obtained by dividing the added value by the number of integrated pixels in step S1109 at the end of integration. In step S1109, the gradient direction thus obtained can be obtained. It suffices to store the average value of 1 in the memory 9 in association with the pixel at the bottom of the skin groove.

【０１９７】皮溝幅は、皮溝底の深さと共に、人間の皮
膚の加齢状態を知るための指標となるため、上述のよう
にして皮溝幅を直接評価できることは重要である。皮溝セグメントの抽出 図７のステップＳ７０５では、皮溝底の画素を結ぶ線
分、即ち、皮溝セグメントが抽出される。The skin groove width, together with the depth of the skin groove bottom, serves as an index for knowing the aging state of human skin, so it is important to be able to directly evaluate the skin groove width as described above. Extraction of Skin Groove Segment In step S705 of FIG. 7, a line segment connecting pixels at the bottom of the skin groove, that is, a skin groove segment is extracted.

【０１９８】ここでの処理の動作フローチャートを図１
７に示す。まず、ステップＳ１７０１で、前述した図７
のステップＳ７０３に関する図１１のステップＳ１１０
６で抽出された皮溝底の画素毎に皮溝セグメントのラベ
ルが付与される。FIG. 1 is an operation flowchart of the processing here.
7 shows. First, in step S1701, FIG.
11 regarding step S703 of FIG.
A label of the skin groove segment is given to each pixel of the skin groove bottom extracted in 6.

【０１９９】この場合、図１８又は図１９に示されるよ
うな各種オペレータの中央の黒丸で示される画素を現在
着目している皮溝底の画素に合わせ、その周辺の白丸で
示される画素のみに皮溝底の画素が存在するか否かを判
別することにより、ラベル付けが行われる。In this case, the pixel indicated by the black circle in the center of each operator as shown in FIG. 18 or 19 is aligned with the pixel at the bottom of the skin groove which is currently under consideration, and only the pixels indicated by the white circles around it are adjusted. Labeling is performed by determining whether or not a pixel at the bottom of the skin groove is present.

【０２００】ここで、図１８に示される何れかのオペレ
ータが適合した場合、現在着目している皮溝底の黒丸画
素は、皮溝セグメントの途中の画素である。そして、白
丸の何れの画素にもラベルが付与されていない場合は、
現在着目している皮溝底の黒丸画素及び白丸で示される
他の皮溝底の画素に、新たな共通のラベルが付与され
て、その情報をメモリ９に記憶される。また、白丸の何
れかの画素にラベルが付与されている場合は、そのラベ
ルを現在着目している皮溝底の黒丸画素及び他の白丸で
示される皮溝底の画素に付与され、その情報がメモリ９
に記憶される。If any operator shown in FIG. 18 is matched, the black circle pixel at the bottom of the skin groove that is currently focused is a pixel in the middle of the skin groove segment. If no label is attached to any of the white circles,
A new common label is given to the black circle pixel at the bottom of the skin groove and the other pixels at the bottom of the skin groove indicated by white circles, and the information is stored in the memory 9. If a label is attached to any pixel of the white circle, the label is attached to the black circle pixel at the bottom of the furrow and the other pixels at the bottom of the furrow indicated by the white circle that are currently focused on. Memory 9
Memorized in.

【０２０１】一方、図１９に示される何れかのオペレー
タが適合した場合、現在着目している皮溝底の黒丸画素
は、皮溝セグメントの端点の画素である。そして、白丸
の画素にラベルが付与されていない場合は、現在着目し
ている皮溝底の黒丸画素と白丸で示される他の皮溝底の
画素に、新たな共通のラベルが付与され、その情報がメ
モリ９に記憶される。また、白丸の画素にラベルが付与
されている場合は、そのラベルを現在着目している皮溝
底の黒丸画素に付与され、その情報がメモリ９に記憶さ
れる。更に、現在着目している皮溝底の黒丸画素に付与
されたラベルに対応させて、当該黒丸画素の位置と、そ
の位置が当該ラベルが付与されている皮溝セグメントの
端点であることを示す情報がメモリ９に記憶される。On the other hand, when any of the operators shown in FIG. 19 matches, the black circle pixel at the bottom of the skin groove that is currently focused is the pixel at the end point of the skin groove segment. Then, if no label is given to the white circle pixels, a new common label is given to the black circle pixel at the current skin groove bottom pixel and the other skin groove bottom pixels indicated by the white circle, Information is stored in the memory 9. If a white circle pixel has a label, the label is given to the black circle pixel at the bottom of the skin groove that is currently focused, and the information is stored in the memory 9. Furthermore, the position of the black circle pixel corresponding to the label currently attached to the black circle pixel at the bottom of the skin groove and the position thereof are shown as the end points of the skin groove segment to which the label is attached. Information is stored in the memory 9.

【０２０２】次に、ステップＳ１７０２で、各ラベルの
種類毎に、当該ラベルに対応する皮溝セグメントの両端
の端点位置の情報がメモリ９から読み出されて、２つの
端点位置間の直線距離が計算され、その計算結果が当該
ラベルに対応する皮溝セグメントの長さ（皮溝セグメン
ト長）として抽出され、当該ラベルに対応させてメモリ
９に記憶される。Next, in step S1702, for each label type, information on the end point positions at both ends of the skin groove segment corresponding to the label is read out from the memory 9, and the linear distance between the two end point positions is calculated. The calculated result is extracted as the length of the skin groove segment (skin groove segment length) corresponding to the label and stored in the memory 9 in association with the label.

【０２０３】続いて、ステップＳ１７０３で、メモリ９
から、ラベルの種類の数が読み出され、その数がレプリ
カ面画像中の皮溝セグメントの本数として抽出され、そ
の結果が、メモリ９に格納されると共にプリンタ１１又
はＣＲＴディスプレイ１２に出力される。Subsequently, in step S1703, the memory 9
, The number of label types is read out, the number is extracted as the number of skin groove segments in the replica surface image, and the result is stored in the memory 9 and output to the printer 11 or the CRT display 12. .

【０２０４】更に、ステップＳ１７０４で、メモリ９か
ら、ステップＳ１７０２で抽出された皮溝セグメント長
が読み出され、それらの平均と標準偏差及びヒストグラ
ムが抽出され、その結果が、メモリ９に格納されると共
にプリンタ１１又はＣＲＴディスプレイ１２に出力され
る。Furthermore, in step S1704, the skin groove segment lengths extracted in step S1702 are read from the memory 9, their average, standard deviation, and histogram are extracted, and the results are stored in the memory 9. It is output together with the printer 11 or the CRT display 12.

【０２０５】一般に、人間の皮膚は、加齢と共に、皮溝
の数は減少し、皮溝の長さは長くなるため、上述のよう
にして皮溝セグメントの本数及び皮溝セグメント長を直
接評価できることは重要である。毛孔の存在率、深さ、及び大きさの抽出 最後に、図７のステップＳ７０６では、皮溝セグメント
の交点における毛孔の存在率、深さ、及び大きさが抽出
される。In general, since the number of skin grooves decreases and the length of the skin grooves increases with age of human skin, the number of skin groove segments and the skin groove segment length are directly evaluated as described above. What you can do is important. Extraction of Porosity , Depth, and Size Finally, in step S706 of FIG. 7, the presence, depth, and size of pores at the intersections of the skin groove segments are extracted.

【０２０６】ここでの処理の動作フローチャートを図２
０に示す。始めに、ステップＳ２００１では、皮溝セグ
メントの交点の領域（交点領域）が抽出される。FIG. 2 is a flowchart showing the operation of the processing here.
It shows in 0. First, in step S2001, a region (intersection region) at the intersection of the skin groove segments is extracted.

【０２０７】そのために、まず、図７のステップＳ７０
１で抽出された皮溝領域の画素のうち、図７のステップ
Ｓ７０３に関する図１１のステップＳ１１０６で抽出さ
れた皮溝底画素について図１１のステップＳ１１０８で
実行された積分処理の対象とならなかった画素が、交点
領域の候補として抽出される。今、図２１の斜線部とし
て示されるように、皮溝の交点領域は皮溝底の積分処理
の対象とならない可能性が強い。従って、上述のように
抽出された交点領域の候補に交点領域が含まれると推定
することができる。Therefore, first, step S70 in FIG.
Among the pixels in the skin groove area extracted in step 1, the skin groove bottom pixel extracted in step S1106 in FIG. 11 related to step S703 in FIG. 7 was not the target of the integration processing executed in step S1108 in FIG. Pixels are extracted as candidates for the intersection area. Now, as shown by the shaded area in FIG. 21, there is a strong possibility that the intersection region of the skin groove will not be the target of the integration processing of the skin groove bottom. Therefore, it can be estimated that the candidate of the intersection area extracted as described above includes the intersection area.

【０２０８】次に、交点領域の候補が連続する領域毎に
分割されてそれぞれにラベルが付され、その情報がメモ
リ９に記憶される。続いて、図７のステップＳ７０５で
抽出されメモリ９に記憶されている各皮溝セグメントの
各端点位置毎に、その端点位置から所定範囲内に上述の
交点領域の候補が存在するか否かが判定され、存在する
場合には、当該交点領域の候補のラベルに当該皮溝セグ
メントのラベルが対応付けられ、その情報がメモリ９に
記憶される。Next, the candidates of the intersection area are divided into continuous areas, each area is labeled, and the information is stored in the memory 9. Then, for each end point position of each skin groove segment extracted in step S705 of FIG. 7 and stored in the memory 9, whether or not the above-described intersection region candidate exists within a predetermined range from the end point position. If determined and present, the label of the skin groove segment is associated with the label of the candidate of the intersection region, and the information is stored in the memory 9.

【０２０９】上述の処理の後、２つ以上の皮溝セグメン
トのラベルが付与されている交点領域の候補が交点領域
として抽出され、その情報（ラベル）がメモリ９に記憶
される。[0209] After the above-mentioned processing, the candidate of the intersection area to which the labels of two or more skin groove segments are given is extracted as the intersection area, and the information (label) is stored in the memory 9.

【０２１０】ステップＳ２００２では、ステップＳ２０
０１で抽出された各交点領域の深さが抽出される。ま
ず、各交点領域毎に、それに接続されている１つの皮溝
セグメントが決定される。In step S2002, step S20
The depth of each intersection area extracted in 01 is extracted. First, for each intersection area, one skin groove segment connected to it is determined.

【０２１１】そして、決定された皮溝セグメントの当該
交点領域側の端点位置の皮溝底画素について、図７のス
テップＳ７０３で抽出された当該皮溝底画素の深さ情報
がメモリ９から読み出され、その深さを初期値として、
当該皮溝底画素から交点領域の側に向かって、各画素位
置のグラディエントが積分される。Then, the depth information of the skin groove bottom pixel extracted in step S703 of FIG. 7 is read from the memory 9 for the skin groove bottom pixel at the end point position on the intersection area side of the determined skin groove segment. Is set as the initial value,
The gradient of each pixel position is integrated from the skin groove bottom pixel toward the intersection region side.

【０２１２】この場合に各画素位置では、ｐ(x,y) 及び
ｑ(x,y) のうち、負の符号を有し絶対値が大きい方のグ
ラディエントが選択されて積分され、ｐ(x,y) が積分さ
れた場合には＋ｘ方向に１画素移動し、ｑ(x,y) が積分
された場合には＋ｙ方向に１画素移動して、更に積分処
理が繰り返される。In this case, at each pixel position, one of p (x, y) and q (x, y) having a negative sign and having a larger absolute value is selected and integrated to obtain p (x , y) is moved by 1 pixel in the + x direction, and q (x, y) is moved by 1 pixel in the + y direction, and the integration process is repeated.

【０２１３】そして、深さが最も深くなった時点で積分
処理を終了し、その深さ情報が交点深さ情報の候補とし
てメモリ９に記憶される。上述の積分処理は、現在着目
している交点領域に接続されている全ての皮溝セグメン
トについて同様に実行される。そして、全ての皮溝セグ
メントについて得られた交点深さ情報の候補のうち最も
深さの深い値が、現在着目している交点領域の深さとし
て抽出される。Then, the integration process is terminated when the depth becomes the deepest, and the depth information is stored in the memory 9 as a candidate for the intersection depth information. The above-described integration processing is similarly executed for all the skin groove segments connected to the intersection area of interest. Then, among the candidates of the intersection depth information obtained for all the skin groove segments, the deepest value is extracted as the depth of the intersection region currently focused.

【０２１４】続いて、ステップＳ２００３では、ステッ
プＳ２００１で抽出された交点領域のそれぞれについ
て、ステップＳ２００２で抽出された当該交点領域の深
さが所定の閾値より深いか否かが判定されることによ
り、当該交点領域が毛孔か否かが判定される。毛孔は一
般に深く切れ込んでおり、一方、毛孔でない単なる交点
の深さは皮溝底の深さと余り変らない。従って、交点領
域の深さを判定することにより毛孔を抽出することがで
きる。毛孔と判定された交点領域については、毛孔であ
る旨のラベルが付され、その情報がメモリ９に記憶され
る。Subsequently, in step S2003, for each of the intersection areas extracted in step S2001, it is determined whether or not the depth of the intersection area extracted in step S2002 is deeper than a predetermined threshold value. It is determined whether the intersection area is a pore. The pores are generally deeply cut, while the depth of the mere intersection, which is not the pores, does not differ much from the depth of the sulcus base. Therefore, the pores can be extracted by determining the depth of the intersection area. The intersection area determined to be a pore is labeled with a pore and the information is stored in the memory 9.

【０２１５】更に、ステップＳ２００４では、ステップ
Ｓ２００３で抽出された毛孔について、その大きさが抽
出される。交点領域においては、それに接する皮溝セグ
メントは各皮溝の皮溝幅で接するとモデル化できるた
め、毛孔の交点領域について、それに接する各皮溝セグ
メントの皮溝幅によって囲まれた交点領域の画素数を適
当なアルゴリズムで抽出することにより、毛孔の大きさ
を抽出できる。このように検出された毛孔の大きさの情
報は、メモリ９に記憶される 最後に、ステップＳ２００６では、ステップＳ２００１
で抽出された交点領域の数に対するステップＳ２００３
で抽出された毛孔の数の割合が毛孔の存在率として抽出
され、更に、毛孔の深さの平均と標準偏差及びヒストグ
ラム、毛孔の大きさの平均と標準偏差及びヒストグラム
が抽出され、その結果が、メモリ９に格納されると共に
プリンタ１１又はＣＲＴディスプレイ１２に出力され
る。Further, in step S2004, the size of the pore extracted in step S2003 is extracted. In the intersection point area, since the skin groove segment in contact with it can be modeled as contacting with the skin groove width of each skin groove, for the intersection area of the pores, the pixels of the intersection area surrounded by the skin groove width of each skin groove segment in contact with it The size of the pores can be extracted by extracting the number with an appropriate algorithm. The information on the size of the pores thus detected is stored in the memory 9. Finally, in step S2006, step S2001.
Step S2003 for the number of intersection areas extracted in step S2003
The ratio of the number of pores extracted in step 3 is extracted as the presence rate of pores, and further, the average and standard deviation of the depth of the pores and the histogram, the average of the size of the pores and the standard deviation and the histogram are extracted, and the result is , And stored in the memory 9 and output to the printer 11 or the CRT display 12.

【０２１６】一般に、毛孔は、人間の皮膚の加齢状態を
知るための指標となり、例えば毛孔の大きさは加齢と共
に大きくなる傾向を呈するため、上述のようにして毛孔
を直接評価できることは重要である。Generally, the pores are an index for knowing the aging condition of human skin, and, for example, the size of the pores tends to increase with aging. Therefore, it is important to be able to directly evaluate the pores as described above. Is.

【０２１７】以上説明した皮膚表面形状の特徴抽出装置
によれば、レプリカ面１の３次元形状をグラディエント
を介して抽出できることにより、皮溝占有率、皮溝方
向、皮溝の深さ、皮溝幅、皮溝セグメントの本数及び皮
溝セグメント長、並びに毛孔の存在率、深さ及び大きさ
などを、詳細に評価することができるようになる。 ＜他の実施例＞なお、図１のＣＲＴディスプレイ１２
に、図６に示されるようなレプリカ面１の３次元形状の
鳥瞰図を演算し表示させるように構成してもよい。According to the feature extraction device for skin surface shape described above, the three-dimensional shape of the replica surface 1 can be extracted through the gradient, so that the sulcus occupancy, the sulcus direction, the sulcus depth, and the sulcus It becomes possible to evaluate the width, the number of skin groove segments and the skin groove segment length, and the existence rate, depth and size of pores in detail. <Other Embodiments> The CRT display 12 shown in FIG.
In addition, a three-dimensional bird's-eye view of the replica surface 1 as shown in FIG. 6 may be calculated and displayed.

【０２１８】また、図３のステップＳ３０２のグラディ
エントの計算処理に関する図５の動作フローチャートに
おいて、光源の照明方向と皮溝方向との関係で照明の影
になる部分については、グラディエント（ｐ(x,y) ，ｑ
(x,y) ）の推定及び緩和法による修正は行わないように
することにより、グラディエントの計算精度を高めるこ
とができる。この場合、図７のステップＳ７０３に関す
る図１１のステップＳ１１０８の積分処理が実行される
際に、ステップＳ１１０７において積分方向として有効
な明度値が得られている方向のみが選択されるように処
理されるため、皮溝底画素の深さの計算などにおいて不
都合は生じない。Further, in the operation flowchart of FIG. 5 relating to the gradient calculation processing of step S302 of FIG. 3, the gradient (p (x, y), q
The accuracy of the gradient calculation can be improved by not estimating (x, y)) and modifying it by the relaxation method. In this case, when the integration process of step S1108 of FIG. 11 related to step S703 of FIG. 7 is executed, only the direction in which the effective brightness value is obtained as the integration direction in step S1107 is processed. Therefore, inconvenience does not occur in the calculation of the depth of the skin groove bottom pixel.

【０２１９】更に、上述の実施例では、レプリカ面１
は、第１光源２Ａ、第２光源２Ｂ、及び第３光源２Ｃの
３つの光源によって照明されたが、もっと多くの光源に
よって照明を行い、各画素位置毎に、影を生じない照明
に対応する３つの明度値を選択してグラディエントを推
定及び緩和法により修正するようにすれば、全ての画素
位置のグラディエントを正確に求めることも可能であ
る。Further, in the above embodiment, the replica surface 1
Is illuminated by three light sources, that is, the first light source 2A, the second light source 2B, and the third light source 2C, but it is illuminated by more light sources and corresponds to illumination that does not generate a shadow at each pixel position. If three gradient values are selected and the gradient is corrected by the estimation and relaxation method, the gradients at all pixel positions can be accurately obtained.

【０２２０】加えて、１つの光源をレプリカ面１の周囲
で回転させながら複数回照明するように構成することも
可能である。なお、数式２３の誤差Ｅ(x,y) を計算する
ための数式２５のλ₁ 、λ₂ 、λ₃は、前述したよう
に、各々が乗算される各光源方向の２乗誤差項の誤差Ｅ
(x,y)に対する寄与率を定める定数であり、上述の実施
例では経験的に定められるようにしたが、例えば、レプ
リカ面画像の入力状態に応じてダイナミックに変化させ
てもよい。In addition, one light source may be rotated around the replica surface 1 to illuminate a plurality of times. Note that, as described above, λ ₁ , λ ₂ , and λ _{3 in} the equation 25 for calculating the error E (x, y) in the equation 23 are the error of the squared error term in each light source direction by which they are multiplied. E
It is a constant that determines the contribution rate to (x, y), and is empirically determined in the above-described embodiment, but may be dynamically changed according to the input state of the replica plane image, for example.

【０２２１】一方、上述の実施例ではレプリカ面画像か
ら皮膚表面形状の特徴を抽出するようにしたが、条件に
よって、皮膚表面を直接撮像した画像から皮膚表面形状
の特徴を抽出するようにしてもよい。On the other hand, in the above-mentioned embodiment, the feature of the skin surface shape is extracted from the replica surface image, but the feature of the skin surface shape may be extracted from the image of the skin surface directly taken depending on the condition. Good.

【０２２２】更に、上述の実施例で説明した皮膚表面形
状の特徴パラメータを抽出するためのアルゴリズムは一
例であり、他にも様々なアルゴリズムが適用可能であ
る。例えば、皮膚占有率の計算において、元々の明度値
の画像データを組合せて判定したり、皮溝領域の端では
ラプラシアンが変化（図１０では負に変化）する事実を
利用したり、更に、皮溝セグメントを皮溝領域全体の領
域分割の手法によって抽出したりするアルゴリズムが考
えられる。Furthermore, the algorithm for extracting the characteristic parameters of the skin surface shape described in the above embodiments is an example, and various other algorithms can be applied. For example, in the calculation of the skin occupancy rate, it is possible to make a determination by combining the image data of the original lightness values, use the fact that the Laplacian changes (negatively changes in FIG. 10) at the edge of the skin groove region, An algorithm is conceivable in which the groove segment is extracted by a method of dividing the entire skin groove area.

【０２２３】[0223]

【発明の効果】本発明によれば、皮膚表面形状の３次元
形状を各画素位置での勾配を介して抽出できるため、皮
溝の形状の領域、面積、方向、深さ、幅、長さ、又は数
に関する特徴情報、或いは、皮溝の交点領域の形状の領
域、そこでの毛孔の存在する割合、毛孔の深さ、又は大
きさに関する特徴情報などを詳細に評価することが可能
となる。According to the present invention, since the three-dimensional shape of the skin surface shape can be extracted through the gradient at each pixel position, the skin groove shape region, area, direction, depth, width and length can be extracted. , Or the number of characteristic information, or the area of the shape of the intersection point region of the skin groove, the ratio of the pores existing therein, the depth of the pores, or the characteristic information about the size, etc. can be evaluated in detail.

【０２２４】このように、本発明は、従来間接的にしか
評価できなかった皮膚表面形状の特徴を、その形状を直
接示す特徴情報によって評価できるようになるため、評
価誤差を大幅に軽減することが可能となる。As described above, according to the present invention, the characteristics of the skin surface shape, which can be evaluated only indirectly conventionally, can be evaluated by the characteristic information directly indicating the shape, so that the evaluation error can be greatly reduced. Is possible.

【０２２５】また、本発明の構成は、小型の撮像装置
と、携帯型のマイクロコンピュータなどによって容易に
実現できるため、詳細な客観的評価を誰でも容易に得る
ことが可能となり、医院、又は薬局や化粧品店等の店頭
などにおいて手軽に使用することができる。Further, since the structure of the present invention can be easily realized by a small-sized image pickup device, a portable microcomputer, etc., anyone can easily obtain a detailed objective evaluation. It can be easily used in stores such as and cosmetics stores.

【図面の簡単な説明】[Brief description of drawings]

【図１】本発明による皮膚表面形状の特徴抽出装置の構
成図である。FIG. 1 is a configuration diagram of a skin surface shape feature extraction apparatus according to the present invention.

【図２】３次元形状復元の原理に関する説明図である。FIG. 2 is an explanatory diagram regarding the principle of three-dimensional shape restoration.

【図３】皮膚表面形状の特徴抽出装置の全体的な処理を
示す動作フローチャートである。FIG. 3 is an operation flowchart showing the overall processing of the skin surface shape feature extraction apparatus.

【図４】レプリカ面画像の入力処理の動作フローチャー
トである。FIG. 4 is an operation flowchart of a replica surface image input process.

【図５】各画素位置でのグラディエントの計算処理の動
作フローチャートである。FIG. 5 is an operation flowchart of a gradient calculation process at each pixel position.

【図６】レプリカ面１の３次元形状の鳥瞰図である。FIG. 6 is a bird's-eye view of the three-dimensional shape of the replica surface 1.

【図７】皮膚表面形状の特徴パラメータの抽出処理の動
作フローチャートである。FIG. 7 is an operation flowchart of a process of extracting a characteristic parameter of skin surface shape.

【図８】皮膚占有率の抽出処理の動作フローチャートで
ある。FIG. 8 is an operation flowchart of a skin occupancy extraction process.

【図９】皮溝方向の標準偏差及びヒストグラムの抽出処
理の動作フローチャートである。FIG. 9 is an operation flowchart of a standard deviation in the skin groove direction and a histogram extraction process.

【図１０】皮膚の形状とラプラシアンとの関係の説明図
である。FIG. 10 is an explanatory diagram of a relationship between skin shape and Laplacian.

【図１１】皮溝底の深さの平均と標準偏差及びヒストグ
ラムの抽出処理の動作フローチャートである。FIG. 11 is an operation flowchart of a process of extracting the average and standard deviation of the depth of the skin groove bottom and a histogram.

【図１２】積分方向の決定処理の説明図（その１）であ
る。FIG. 12 is an explanatory diagram of the integration direction determination process (No. 1).

【図１３】積分方向の決定処理の説明図（その２）であ
る。FIG. 13 is an explanatory diagram of the integration direction determination process (No. 2).

【図１４】皮溝幅の平均と標準偏差及びヒストグラムの
抽出処理の動作フローチャートである。FIG. 14 is an operation flowchart of an average and standard deviation of a skin groove width and a histogram extraction process.

【図１５】皮溝底の画素での積分画素数と皮溝幅の関係
の説明図（その１）である。FIG. 15 is an explanatory diagram (part 1) of the relationship between the number of integrated pixels in the pixel at the bottom of the skin groove and the skin groove width.

【図１６】皮溝底の画素での積分画素数と皮溝幅の関係
の説明図（その２）である。FIG. 16 is an explanatory diagram (part 2) of the relationship between the number of integrated pixels in the pixel at the bottom of the skin groove and the skin groove width.

【図１７】皮溝セグメントの抽出処理の動作フローチャ
ートである。FIG. 17 is an operation flowchart of a skin groove segment extraction process.

【図１８】皮溝セグメントを抽出するためのオペレータ
を示した図（その１）である。FIG. 18 is a diagram (No. 1) showing an operator for extracting a skin groove segment.

【図１９】皮溝セグメントを抽出するためのオペレータ
を示した図（その２）である。FIG. 19 is a diagram (No. 2) showing an operator for extracting a skin groove segment.

【図２０】毛孔の存在率、深さ、及び大きさの抽出処理
の動作フローチャートである。FIG. 20 is an operation flowchart of a pore existence rate, depth, and size extraction processing.

【図２１】交点領域の抽出処理の動作フローチャートで
ある。FIG. 21 is an operation flowchart of extraction processing of an intersection area.

【符号の説明】[Explanation of symbols]

１ レプリカ面 ２Ａ 第１光源 ２Ｂ 第２光源 ２Ｃ 第３光源 ３ 拡大光学系 ４ 撮像装置 ５ Ａ／Ｄ変換器 ６ スイッチ ７ バス ８ ＣＰＵ ９ メモリ １０ ＲＯＭ １１ キーボード １２ プリンタ １３ ＣＲＴディスプレイ 1 Replica Surface 2A First Light Source 2B Second Light Source 2C Third Light Source 3 Enlarging Optical System 4 Imaging Device 5 A / D Converter 6 Switch 7 Bus 8 CPU 9 Memory 10 ROM 11 Keyboard 12 Printer 13 CRT Display

───────────────────────────────────────────────────── フロントページの続き (72)発明者 川尻 康晴 神奈川県横浜市港北区新羽町1050 資生堂 研究所内 (72)発明者 矢内 基裕 神奈川県横浜市港北区新羽町1050 資生堂 研究所内 (72)発明者 小沢 慎治 神奈川県鎌倉市岡本１−19−３−305 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Yasuharu Kawajiri 1050 Shinba-cho, Kohoku-ku, Yokohama, Kanagawa Shiseido Research Center (72) Inventor Motohiro Yauchi 1050 Shinba-cho, Kohoku-ku, Yokohama, Kanagawa (72) Inventor Shinji Ozawa 1-19-3-305 Okamoto, Kamakura City, Kanagawa Prefecture

Claims (11)

【特許請求の範囲】[Claims] 【請求項１】 皮膚表面形状を照明する照明手段と、 前記皮膚表面形状を撮像し、該皮膚表面形状の各平面位
置に対応する各画素位置の明度値を表すディジタル画像
データを出力する撮像手段と、 前記照明手段による複数の光源方向からの照明に対応し
て前記撮像手段からそれぞれ得られる複数枚の前記ディ
ジタル画像データを記憶する画像データ記憶手段と、 前記複数の光源方向の情報と前記複数枚のディジタル画
像データから得られる明度値に基づいて、前記各画素位
置における前記皮膚表面形状の勾配を抽出する勾配抽出
手段と、 前記勾配抽出手段により抽出された前記各画素位置毎に
おける前記皮膚表面形状の勾配に基づいて、前記皮膚表
面形状に関する特徴情報を抽出する特徴情報抽出手段
と、 を有することを特徴とする皮膚表面に関する画像からの
３次元形状の復元に基づく皮膚表面形状の特徴抽出装
置。1. Illuminating means for illuminating a skin surface shape, and imaging means for imaging the skin surface shape and outputting digital image data representing a lightness value of each pixel position corresponding to each plane position of the skin surface shape. Image data storage means for storing a plurality of digital image data obtained from the imaging means in correspondence with illumination from a plurality of light source directions by the illumination means, information on the plurality of light source directions and the plurality of pieces of information. Gradient extraction means for extracting the gradient of the skin surface shape at each pixel position based on the lightness value obtained from one piece of digital image data; and the skin surface at each pixel position extracted by the gradient extraction means. And a feature information extraction means for extracting feature information about the skin surface shape based on a shape gradient. Feature extracting apparatus of the skin surface shape based on recovery of the three-dimensional shape of the image related. 【請求項２】 皮膚表面形状を照明する照明手段と、 前記皮膚表面形状を撮像し、該皮膚表面形状の各平面位
置に対応する各画素位置の明度値を表すディジタル画像
データを出力する撮像手段と、 前記照明手段による複数の光源方向からの照明に対応し
て前記撮像手段からそれぞれ得られる複数枚の前記ディ
ジタル画像データを記憶する画像データ記憶手段と、 前記複数の光源方向の情報と前記複数枚のディジタル画
像データから得られる明度値に基づいて、前記各画素位
置における前記皮膚表面形状の勾配を抽出する勾配抽出
手段と、 前記勾配抽出手段により抽出された前記各画素位置毎に
おける前記皮膚表面形状の勾配に基づいて、前記皮膚表
面形状の１つである皮溝の形状に関する特徴情報と、前
記皮膚表面形状の１つである前記皮溝の交点領域の形状
に関する特徴情報のうち、少なくとも１つ以上を抽出す
る特徴情報抽出手段と、 を有することを特徴とする皮膚表面に関する画像からの
３次元形状の復元に基づく皮膚表面形状の特徴抽出装
置。2. Illuminating means for illuminating a skin surface shape, and imaging means for imaging the skin surface shape and outputting digital image data representing a brightness value of each pixel position corresponding to each plane position of the skin surface shape. Image data storage means for storing a plurality of digital image data obtained from the image pickup means in correspondence with illumination from a plurality of light source directions by the illumination means, information on the plurality of light source directions and the plurality of pieces of information. Gradient extraction means for extracting the gradient of the skin surface shape at each pixel position based on the lightness value obtained from one piece of digital image data; and the skin surface at each pixel position extracted by the gradient extraction means. Feature information regarding the shape of the skin groove, which is one of the skin surface shapes, and the skin, which is one of the skin surface shapes, based on the shape gradient. Feature information extracting means for extracting at least one or more of the feature information relating to the shape of the intersection area of, and the feature extraction of the skin surface shape based on the restoration of the three-dimensional shape from the image relating to the skin surface. apparatus. 【請求項３】 皮膚表面形状を照明する照明手段と、 前記皮膚表面形状を撮像し、該皮膚表面形状の各平面位
置に対応する各画素位置の明度値を表すディジタル画像
データを出力する撮像手段と、 前記照明手段による複数の光源方向からの照明に対応し
て前記撮像手段からそれぞれ得られる複数枚の前記ディ
ジタル画像データを記憶する画像データ記憶手段と、 前記複数の光源方向の情報と前記複数枚のディジタル画
像データから得られる明度値に基づいて、前記各画素位
置における前記皮膚表面形状の勾配を抽出する勾配抽出
手段と、 前記勾配抽出手段により抽出された前記各画素位置毎に
おける前記皮膚表面形状の勾配に基づいて、前記皮膚表
面形状の１つである皮溝の形状の領域に関する特徴情報
と、前記皮溝の形状の面積に関する特徴情報と、前記皮
溝の形状の方向に関する特徴情報と、前記皮溝の形状の
深さに関する特徴情報と、前記皮溝の形状の幅に関する
特徴情報と、前記皮溝の形状の長さに関する特徴情報
と、前記皮溝の形状の数に関する特徴情報と、前記皮膚
表面形状の１つである前記皮溝の交点領域の形状の領域
に関する特徴情報と、前記皮溝の交点領域の形状におけ
る毛孔の存在する割合に関する特徴情報と、前記皮溝の
交点領域の形状における毛孔の深さに関する特徴情報
と、前記皮溝の交点領域の形状における毛孔の大きさに
関する特徴情報のうち、少なくとも１つ以上を抽出する
特徴情報抽出手段と、 を有することを特徴とする皮膚表面に関する画像からの
３次元形状の復元に基づく皮膚表面形状の特徴抽出装
置。3. Illuminating means for illuminating the skin surface shape, and imaging means for imaging the skin surface shape and outputting digital image data representing the lightness value of each pixel position corresponding to each plane position of the skin surface shape. Image data storage means for storing a plurality of digital image data obtained from the imaging means in correspondence with illumination from a plurality of light source directions by the illumination means, information on the plurality of light source directions and the plurality of pieces of information. Gradient extraction means for extracting the gradient of the skin surface shape at each pixel position based on the lightness value obtained from a piece of digital image data; and the skin surface at each pixel position extracted by the gradient extraction means. Based on the gradient of the shape, characteristic information regarding the region of the shape of the skin groove, which is one of the skin surface shapes, and the area of the shape of the skin groove. Information, characteristic information on the direction of the shape of the skin groove, characteristic information on the depth of the shape of the skin groove, characteristic information on the width of the shape of the skin groove, and the length of the shape of the skin groove. Feature information, feature information regarding the number of shapes of the skin groove, feature information regarding a shape of an intersection area of the skin groove, which is one of the skin surface shapes, and pores in the shape of the intersection area of the skin groove. At least one or more of the feature information on the ratio of the presence, the feature information on the depth of the pores in the shape of the intersection area of the skin groove, and the feature information on the size of the pore in the shape of the intersection area of the skin groove. And a feature information extraction means for extracting the feature information, and a feature extraction device for skin surface shape based on restoration of a three-dimensional shape from an image relating to the skin surface. 【請求項４】 前記特徴情報抽出手段は、前記勾配抽出
手段により抽出された前記各画素位置毎における前記皮
膚表面形状の勾配、該勾配の強度、該勾配の方向、又は
該勾配の変化の程度の少なくとも１つ以上の情報に基づ
いて、前記特徴情報を抽出する、 ことを特徴とする請求項１乃至３の何れか１項に記載の
皮膚表面に関する画像からの３次元形状の復元に基づく
皮膚表面形状の特徴抽出装置。4. The characteristic information extracting means, the gradient of the skin surface shape, the intensity of the gradient, the direction of the gradient, or the degree of change of the gradient at each pixel position extracted by the gradient extracting means. The skin based on the restoration of the three-dimensional shape from the image of the skin surface according to any one of claims 1 to 3, wherein the feature information is extracted based on at least one or more pieces of information. Surface shape feature extraction device. 【請求項５】 前記特徴情報抽出手段は、前記勾配抽出
手段により抽出された前記各画素位置毎における前記皮
膚表面形状の勾配の強度を計算し、該勾配の強度に基づ
いて、前記皮溝の形状の領域及び前記皮溝の形状の面積
に関する特徴情報を抽出する、 ことを特徴とする請求項３に記載の皮膚表面に関する画
像からの３次元形状の復元に基づく皮膚表面形状の特徴
抽出装置。5. The feature information extraction means calculates the strength of the gradient of the skin surface shape at each pixel position extracted by the gradient extraction means, and based on the strength of the gradient, The feature information on the skin surface shape based on the restoration of the three-dimensional shape from the image on the skin surface according to claim 3, wherein the feature information on the area of the shape and the area of the shape of the skin groove is extracted. 【請求項６】 前記特徴情報抽出手段は、前記勾配抽出
手段により抽出された前記各画素位置毎における前記皮
膚表面形状の勾配の方向を計算し、該勾配の方向に基づ
いて、前記皮溝の形状の方向に関する特徴情報を抽出す
る、 ことを特徴とする請求項３に記載の皮膚表面に関する画
像からの３次元形状の復元に基づく皮膚表面形状の特徴
抽出装置。6. The feature information extraction means calculates a direction of a gradient of the skin surface shape at each of the pixel positions extracted by the gradient extraction means, and based on the direction of the gradient, the skin groove shape is calculated. The feature extraction device for skin surface shape based on the restoration of the three-dimensional shape from the image related to the skin surface according to claim 3, wherein the feature information related to the direction of the shape is extracted. 【請求項７】 前記特徴情報抽出手段は、前記勾配抽出
手段により抽出された前記各画素位置毎における前記皮
膚表面形状の勾配を前記特徴情報として抽出される前記
皮溝の形状の領域内で積分し、該積分の結果に基づい
て、前記皮溝の形状の深さ及び前記皮溝の形状の幅に関
する特徴情報を抽出する、 ことを特徴とする請求項３に記載の皮膚表面に関する画
像からの３次元形状の復元に基づく皮膚表面形状の特徴
抽出装置。7. The feature information extracting means integrates the gradient of the skin surface shape at each pixel position extracted by the gradient extracting means within the area of the skin groove shape extracted as the feature information. Then, based on the result of the integration, the characteristic information regarding the depth of the shape of the skin groove and the width of the shape of the skin groove is extracted, from the image regarding the skin surface according to claim 3. A feature extraction device for skin surface shape based on restoration of three-dimensional shape. 【請求項８】 前記皮溝の形状の領域に関する特徴情
報、前記皮溝の形状の方向に関する特徴情報又は前記皮
溝の形状の深さに関する特徴情報に基づいて、前記皮溝
の形状の長さに関する特徴情報及び前記皮溝の形状の数
に関する特徴情報を抽出する、 ことを特徴とする請求項３に記載の皮膚表面に関する画
像からの３次元形状の復元に基づく皮膚表面形状の特徴
抽出装置。8. The length of the shape of the skin groove based on the characteristic information about the area of the shape of the skin groove, the characteristic information about the direction of the shape of the skin groove, or the characteristic information about the depth of the shape of the skin groove. A feature extraction device for skin surface shape based on reconstruction of a three-dimensional shape from an image related to the skin surface according to claim 3, wherein the feature information regarding the skin surface shape and the feature information regarding the number of shapes of the skin groove are extracted. 【請求項９】 前記照明手段によって照明され、前記撮
像手段によって撮像される前記皮膚表面形状は、皮膚表
面を型取り材料によって型取りした皮膚表面レプリカの
表面の形状である、 ことを特徴とする請求項１乃至８の何れか１項に記載の
皮膚表面に関する画像からの３次元形状の復元に基づく
皮膚表面形状の特徴抽出装置。9. The skin surface shape illuminated by the illuminating means and imaged by the imaging means is the shape of the surface of a skin surface replica obtained by molding the skin surface with a molding material. 9. A skin surface shape feature extraction device based on the restoration of a three-dimensional shape from an image relating to the skin surface according to claim 1. 【請求項１０】 前記照明手段によって照明され、前記
撮像手段によって撮像される前記皮膚表面形状は、皮膚
表面の直接形状である、 ことを特徴とする請求項１乃至８の何れか１項に記載の
皮膚表面に関する画像からの３次元形状の復元に基づく
皮膚表面形状の特徴抽出装置。10. The skin surface shape illuminated by the illumination means and imaged by the imaging means is a direct shape of the skin surface, according to any one of claims 1 to 8. Feature extraction device for skin surface shape based on the reconstruction of a three-dimensional shape from an image relating to the skin surface of a person. 【請求項１１】 前記勾配抽出手段は、 前記各画素位置毎に、前記複数の光源方向の情報と前記
複数枚のディジタル画像データから得られる現在の前記
画素位置に対応する複数個の明度値に基づいて前記皮膚
表面形状の勾配を推定し、 その後、隣接する前記画素位置間で前記推定された勾配
が最も滑らかになるという条件と、前記皮膚表面形状を
実際に撮像して得られる前記複数の光源方向に対応する
複数の明度値と前記推定された勾配に基づいて計算され
る前記複数の光源方向に対応する複数の反射強度との前
記各画素位置毎の誤差が最小となるという条件の下で、
前記各画素位置毎に前記推定された勾配を修正し、その
結果得られる前記勾配を出力する、 ことを特徴とする請求項１乃至１０の何れか１項に記載
の皮膚表面に関する画像からの３次元形状の復元に基づ
く皮膚表面形状の特徴抽出装置。11. The gradient extracting means sets, for each pixel position, information on the plurality of light source directions and a plurality of brightness values corresponding to the current pixel position obtained from the plurality of digital image data. Estimate the gradient of the skin surface shape based on the following, the condition that the estimated gradient between the adjacent pixel positions are the smoothest, and the plurality of the skin surface shape obtained by actually imaging Under the condition that the error for each pixel position between the plurality of brightness values corresponding to the light source direction and the plurality of reflection intensities corresponding to the plurality of light source directions calculated based on the estimated gradient is the minimum. so,
The estimated gradient is corrected for each pixel position, and the gradient obtained as a result is output. 3 from the image regarding the skin surface according to any one of claims 1 to 10. A device for extracting features of skin surface shape based on three-dimensional shape restoration.