JP2000076427A - Image processing method - Google Patents

Abstract

PROBLEM TO BE SOLVED: To make selectable only the necessary areas as the correcting object areas by segmenting en bloc color defective areas such as pink-eye areas including a catch light part and correcting these segmented areas. SOLUTION: The image of a pink eye including is peripheral area is designated as a processing object area among those images displayed on a monitor (S100). The feature value of the processing object area that is designated by one of six designation modes is calculated (S102). The designated image is divided for every area where the feature value forms a mountain (S104). The shape, layout relation (position) among those divided image areas, area ratio, density and mean color tone are checked in each divided area, and the area having the most outstanding feature of a pupil part is selected as a pink-eye area (S106). All pixels of the pink-eye area are corrected like the lightness of the pixel having the lowest lightness based on this pixel (S108). A high luminance area, i.e., a highlight area is formed in the corrected pink-eye area as a catch light (S110).

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【０００１】[0001]

【発明の属する技術分野】本発明は、画像処理方法に関
し、特に、ディジタル画像内の被写体の瞳の色調不良を
検出して修正する画像処理方法に関する。[0001] 1. Field of the Invention [0002] The present invention relates to an image processing method, and more particularly, to an image processing method for detecting and correcting poor color tone of a subject's pupil in a digital image.

【０００２】[0002]

【従来の技術】従来より、撮影中の光の反射状態により
被写体が実際とは異なる色の画像として写る場合が多々
あり、この赤目はあまりにも不自然で見栄えが悪いため
画像処理により自然に見えるように修正することがなさ
れている。2. Description of the Related Art Conventionally, a subject often appears as an image of a color different from the actual color due to the reflection state of light during photographing. This red eye is too unnatural and has a poor appearance, so that it appears natural by image processing. A fix has been made so that.

【０００３】例えば、ストロボで人物を正面から撮影す
ると、瞳孔が真っ赤又は金色に写るいわゆる赤目現象が
生じる場合がある。この赤目現象は、暗い場所で瞳孔が
開いた状態の目に対してストロボの光が正面から入射す
ることによって、ストロボの光が正反射され、この状態
が画像に写り込むために起こる現象であり、瞳が赤く写
る赤目と瞳が金色に写る金目とがある（以後、両方を含
めて赤目と称す。）。For example, when a person is photographed from the front with a strobe, a so-called red-eye phenomenon may occur in which the pupils appear bright red or gold. This red-eye phenomenon is a phenomenon that occurs when light from the strobe enters the eye with the pupil open in a dark place from the front, the light from the strobe is specularly reflected, and this state is reflected in the image. There are red eyes whose eyes appear red and gold eyes whose eyes appear golden (hereinafter, both eyes are referred to as red eyes).

【０００４】このような赤目は、写り栄えが悪いため、
従来よりこの赤目を修正するための様々な画像処理方法
が提案されている。例えば、特開平７−７２５３７号公
報では、赤目修正対象となる目の周囲を領域指定して、
この領域内で彩度、輝度、色相における閾値処理を行
い、対象となる画素が予め定めた閾値内であれば赤目と
判断して修正する方法が挙げられている。また、特開平
９−２６１５８０号公報では、エッジに囲まれる領域内
の色情報と色彩情報とに基づいて瞳候補領域を選択し、
選択されたすべての瞳候補領域内の色調不良画素を修正
することにより赤目修正を行う方法が挙げられている。[0004] Such red eyes have poor appearance,
Conventionally, various image processing methods for correcting this red eye have been proposed. For example, in Japanese Patent Application Laid-Open No. 7-72537, the area around the eye to be corrected is specified.
There is a method in which threshold processing for saturation, luminance, and hue is performed in this area, and if the target pixel is within a predetermined threshold, it is determined to be red-eye and corrected. Also, in Japanese Patent Application Laid-Open No. 9-261580, a pupil candidate area is selected based on color information and color information in an area surrounded by an edge,
There is a method of correcting red-eye by correcting defective color tone pixels in all selected pupil candidate regions.

【０００５】[0005]

【発明が解決しようとする課題】しかしながら、上述し
た特開平７−７２５３７号公報や特開平９−２６１５８
０号公報等の従来の方法では、彩度、輝度、色相におけ
る閾値処理により赤目領域を判別して修正しており、赤
目の彩度、輝度、色相は幅広いため、多数のサンプルに
おいては誤抽出や抽出漏れが起こることは避けられな
い。また、例えば、肌色部分も瞳の赤目処理と共に黒く
修正され、結果として違和感のある画像となる恐れもあ
る。However, the above-mentioned Japanese Patent Application Laid-Open No. 7-72537 and Japanese Patent Application Laid-Open No. 9-26158
In the conventional method such as the publication No. 0, the red-eye area is determined and corrected by threshold processing on saturation, luminance, and hue. Since the saturation, luminance, and hue of red-eye are wide, erroneous extraction is performed on a large number of samples. It is inevitable that extraction and omission will occur. Further, for example, the skin color portion may be corrected to be black with the red-eye processing of the pupil, resulting in an unnatural image.

【０００６】また、特開平９−２６１５８０号公報等の
ように画像のエッジを抽出する場合では、一般に、画像
のエッジはかなり複雑であるため、過剰分割や、領域分
割ミスが発生する恐れもある。In the case of extracting an edge of an image as disclosed in Japanese Patent Application Laid-Open No. 9-261580, the edge of the image is generally quite complicated, so that there is a possibility that an excessive division or an area division mistake may occur. .

【０００７】すなわち、前者の方法では、領域ごとに区
切らずに色の閾値のみで赤目かどうかを判別するため、
修正の必要のない領域が修正の必要な領域とともに修正
対象領域として検出されやすく、後者の方法では、領域
の分割が正確に行えないので修正対象領域である瞳領域
だけを修正するのが難しいという問題がある。That is, in the former method, it is determined whether or not red-eye is present only by a color threshold without dividing each region.
Areas that do not need to be corrected are likely to be detected as areas to be corrected along with areas that need to be corrected.In the latter method, it is difficult to correct only the pupil area, which is the area to be corrected, because the area cannot be accurately divided. There's a problem.

【０００８】そこで、本発明は、どのような画像であっ
ても正確に領域を分割して修正の必要のある領域だけを
修正対象領域として選択できる画像処理方法を提供する
ことを第１の目的とする。また、瞳領域だけを正確に選
択できる画像処理方法を提供することを第２の目的とす
る。さらに、修正対象領域である瞳領域を正確に修正可
能な画像処理方法を提供することを第３の目的とする。
また、修正された画像を自然な雰囲気に仕上げることが
可能な画像処理方法を提供することを第４の目的とす
る。Accordingly, it is a first object of the present invention to provide an image processing method capable of accurately dividing an area of any image and selecting only an area requiring correction as a correction target area. And It is a second object of the present invention to provide an image processing method capable of accurately selecting only a pupil region. It is a third object of the present invention to provide an image processing method capable of accurately correcting a pupil region that is a correction target region.
It is a fourth object of the present invention to provide an image processing method capable of finishing a corrected image in a natural atmosphere.

【０００９】[0009]

【課題を解決するための手段】上記第１の目的を達成す
るために、色調不良となった目領域を含む予め指定した
画像領域をｘｙ平面とし、各画素ごとに色相、彩度、明
度のうちのいずれか１つまたは２つ以上の組み合わせに
より画像特徴量を求め、該特徴量をｚ軸に配置する３次
元のｘｙｚ空間を設定し、ｘｙ平面の広がりに対しｚ軸
の値が山状の分布形状を持つ領域毎にｘｙ平面を領域分
割し、各分割領域のｘｙ平面上での形状情報、位置情
報、面積情報、統計的画像特徴量のうちのいずれか１つ
または２つ以上の組み合わせにより、瞳の色調不良領域
の判別を行い、色調不良領域と判別された領域を視覚的
に正常な目の画像となるように修正する。In order to achieve the first object, a predetermined image area including an eye area having a poor color tone is defined as an xy plane, and the hue, saturation, and brightness of each pixel are determined. An image feature amount is obtained by one or a combination of two or more of them, and a three-dimensional xyz space in which the feature amount is arranged on the z-axis is set. The xy plane is divided into regions each having the distribution shape of, and any one or two or more of shape information, position information, area information, and a statistical image feature amount of each divided region on the xy plane are obtained. Based on the combination, a poor color tone region of the pupil is determined, and the region determined as the poor color tone region is corrected so as to be a visually normal eye image.

【００１０】すなわち、本発明は、キャッチライト部分
を含めた赤目領域等の色調不良領域を一括して切り出
し、修正する方法である。赤目部分は、瞳孔部の中心程
網膜からの反射が強いため、明度は中央から周辺部に向
けて低下する傾向を持つ。したがって、キャッチライト
も含めて明度が山状に分布することを利用する。また、
虹彩部は、ブラウン系瞳では虹彩部が明度の谷間となる
ことを利用し、青目系瞳では赤みの値の大きさについて
赤目となった瞳孔部との谷間となることを利用する。That is, the present invention is a method for collectively cutting out and correcting a poor color tone region such as a red-eye region including a catchlight portion. In the red-eye portion, since the reflection from the retina is stronger toward the center of the pupil, the lightness tends to decrease from the center toward the periphery. Therefore, the fact that the brightness is distributed in a mountain shape including the catchlight is used. Also,
The iris part utilizes the fact that the iris part is a valley of lightness in a brown pupil, and utilizes the fact that the iris part is a valley with the pupil part that has become red-eye in the magnitude of a redness value in a blue-eye pupil.

【００１１】即ち、明度や赤味を組み合わせた特徴量を
用いて、赤目部とその隣接する白目及び肌部との間に谷
間ができることを利用し、前記特徴量の山毎に領域分割
することで赤目部を白目及び肌部と分離する。That is, by using a feature amount obtained by combining lightness and reddish color and utilizing the fact that a valley is formed between a red-eye portion and an adjacent white-eye portion and skin portion, region division is performed for each peak of the feature amount. To separate the red eye from the white eye and skin.

【００１２】また、請求項２の発明は、前記山状の分布
形状を持つ領域毎にｘｙ平面を領域分割する際に、前記
予め指定した画像領域内の各画素毎に、番号割り付け処
理対象の着目画素を中心とするＮ行×Ｍ列（ただし、
Ｎ、Ｍは１以上）画素分の参照領域内で、着目画素の前
記特徴量の値が最大である場合はこの着目画素を山の頂
点として新規番号を割り付け、着目画素の前記特徴量の
値が最大でなく、かつ、前記参照領域内の着目画素以外
の最大の特徴量の値を持つ画素が割り付け番号を持つ場
合は、該割り付け番号を付与する番号割り付け処理を、
前記予め指定した画像領域内の全画素についていずれか
の山の頂点番号が付与されるまで繰り返し、同一番号を
持つ画素の集合を１つの領域とすることにより画像領域
分割を行う。この方法によれば、領域分割をプログラム
処理などに行うことができるので、ユーザを煩わすこと
がなく好ましい。According to a second aspect of the present invention, when the xy plane is divided into regions each having the mountain-shaped distribution shape, a number assignment process is performed for each pixel in the predetermined image region. N rows × M columns centering on the pixel of interest (however,
(Where N and M are 1 or more) If the value of the feature amount of the pixel of interest is the maximum in the reference area for the pixel, a new number is assigned with this pixel of interest as the peak of the mountain, and the value of the feature amount of the pixel of interest is Is not the maximum, and, if the pixel having the largest feature value other than the pixel of interest in the reference area has an assigned number, a number assigning process for assigning the assigned number
This process is repeated until all the pixels in the previously designated image area are assigned any one of the peak numbers of the peaks, and the image area is divided by using a set of pixels having the same number as one area. According to this method, the area division can be performed by the program processing or the like, so that it is preferable without bothering the user.

【００１３】さらに、請求項３に記載の発明は、前記山
状の分布形状を持つ領域毎にｘｙ平面を領域分割する際
に、前記予め指定した画像領域内の各画素において番号
が未決定の画素を着目画素とし、該着目画素を中心とす
るＮ行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照
領域内に現着目点よりも大きい前記特徴量の値を有する
画素がある場合、現着目点の位置を蓄積記憶し、前記特
徴量の値が大きい画素を新規着目点とする処理を繰り返
し、前記新規着目点の特徴量の値が参照領域内で最大で
ある場合に、前記新規着目点の番号が未決定であればこ
の新規着目点を山の頂点として新規番号を割り付け、前
記新規着目点に番号が既に割り付けられていればその番
号を前記蓄積した座標の全画素に付与する番号割付処理
を、前記予め指定した画像領域内の全画素についていず
れかの山の頂点番号が付与されるまで繰り返し、同一番
号を持つ画素の集合を１つの領域とすることにより画像
領域分割を行う。Further, according to a third aspect of the present invention, when the xy plane is divided into regions each having the mountain-shaped distribution shape, the number of each pixel in the predetermined image region is undetermined. A pixel having a value of the feature amount larger than the current point of interest in a reference region of N rows × M columns (where N and M are 1 or more) around the pixel of interest as a pixel of interest. In some cases, the position of the current point of interest is stored and stored, and the process of setting a pixel having a large value of the feature amount as a new point of interest is repeated, and when the value of the feature amount of the new point of interest is the largest in the reference area, If the number of the new point of interest is undecided, assign a new number with the new point of interest as the peak of the mountain, and if a number has already been assigned to the new point of interest, assign that number to all pixels of the stored coordinates. The number assignment process to be assigned to Was repeated until all pixels in the image area is vertex number of one of the mountains is granted, performing the image region division by the one region the set of pixels having the same number.

【００１４】このように、番号が付与できない画素につ
いては、例えば、座標としてその位置を記憶し、最後に
新規着目点となった画素に番号が付与されると、記憶し
た座標の画素の全てに最後に新規着目点となった画素の
番号を付与するように処理することによって前記特徴量
の山毎に領域分割する処理を高速に行うことができる。As described above, for a pixel to which a number cannot be assigned, for example, its position is stored as a coordinate, and when a number is assigned to a pixel which has finally become a new point of interest, all the pixels at the stored coordinates are assigned. Finally, by performing processing to assign the number of the pixel that has become the new point of interest, it is possible to perform high-speed processing for dividing the area for each peak of the feature amount.

【００１５】請求項４の発明は、請求項１に記載の画像
処理方法において、前記瞳の色調不良領域の判別におい
て、各分割領域ごとに、円形度特徴量を用いてより円形
に近い程大となる形状情報としての第１の点数、分割領
域の重心が指定領域の中心位置に近い程大となる位置情
報としての第２の点数、分割領域の面積と指定領域の面
積との比率が所定範囲から外れる程小となる面積情報と
しての第３の点数、色相、彩度、明度のうちのいずれか
１つ以上における平均値、最大値、最小値、コントラス
ト、ヒストグラム形状のうちのいずれか１つ以上を用
い、統計的な色調不良領域情報との比較より、色調不良
度合いを示す統計的画像特徴量としての第４の点数、及
び、予め指定された瞳の中心位置と両目の間隔とに応じ
て求められ、瞳の中心から外れる程小となる位置情報と
しての第５の点数の５つの点数のうちの少なくとも１つ
の点数を求め、最も点数の高いものを色調不良領域と判
定する。According to a fourth aspect of the present invention, in the image processing method according to the first aspect, in the discrimination of the poor color tone region of the pupil, a larger circular shape is obtained by using a circularity feature amount for each divided region. The first point as shape information, the second point as position information that becomes larger as the center of gravity of the divided area is closer to the center position of the designated area, and the ratio between the area of the divided area and the area of the designated area are predetermined. Any one of an average value, a maximum value, a minimum value, a contrast, and a histogram shape of any one or more of the third score, hue, saturation, and lightness as area information that becomes smaller as being out of the range Using four or more, the fourth score as a statistical image feature quantity indicating the degree of poor color tone, and the pre-designated center position of the pupil and the distance between both eyes are compared with statistical poor color tone area information. Asked according to the inside of the eyes Obtains at least one number of the five points of the fifth number as the position information to be small extent deviating from judges that poor hue quality region having the highest score.

【００１６】すなわち、請求項４に記載の発明は、請求
項１に記載の分割領域から赤目領域等の色調不良領域を
判定する方法であり、分割領域の形状、面積、位置、濃
度に関する統計的特徴量を、それぞれ瞳に近い部分は高
い点数、かつ、瞳から遠ざかるにつれて低い点数となる
傾向を有する第１〜第５の点数に換算し、これら第１〜
第５の点数の少なくとも１つを用いて色調不良領域を判
別する。That is, a fourth aspect of the present invention is a method for judging a poor color tone area such as a red-eye area from the divided area according to the first aspect of the present invention. The feature amount is converted into first to fifth points, each of which has a high score in a portion close to the pupil and a low score as the distance from the pupil increases.
The poor tone region is determined using at least one of the fifth scores.

【００１７】なお、第５点数は、両目の間隔に所定の係
数(一般的には、０．０７〜０．１１)を乗算すると瞳の
直径となるという関係があることから、予め指定された
瞳の中心と両目の間隔とに基いて瞳の直径を算出し、該
直径を有する円状領域内が最高の点数を持ち、中心から
離れると点数が低くなる傾向を有している。The fifth point is specified in advance because there is a relation that the pupil diameter is obtained by multiplying the distance between both eyes by a predetermined coefficient (generally, 0.07 to 0.11). The diameter of the pupil is calculated based on the center of the pupil and the distance between both eyes, and the circular area having the diameter has the highest score, and the score tends to decrease as the distance from the center increases.

【００１８】好ましくは、請求項５に記載したように、
前記５つの点数のうちのいずれか２つ以上における平均
点数または加重平均点数により、上位Ｌ（ただし、Ｌは
１以上の整数）個の領域を色調不良領域と判定すると良
い。加重平均を取ることで、それぞれの領域の傾向がよ
り差別化されて、明確になるので、精度良く色調不良領
域を判別することができる。Preferably, as described in claim 5,
Based on the average score or the weighted average score in any two or more of the five scores, it is preferable to determine the top L (where L is an integer of 1 or more) areas as poor color tone areas. By taking the weighted average, the tendency of each area is further differentiated and clarified, so that the poor color tone area can be accurately determined.

【００１９】また、上記第３と第４の目的を達成するた
めに、請求項６の発明は、色調不良となった目領域を含
む予め指定した画像領域をｘｙ平面とし、各画素ごとに
色相、彩度、明度のうちのいずれか１つまたは２つ以上
の組み合わせにより画像特徴量を求め、該特徴量をｚ軸
に配置する３次元のｘｙｚ空間を設定し、ｘｙ平面の広
がりに対しｚ軸の値が山状の分布形状を持つ領域毎にｘ
ｙ平面を領域分割し、各分割領域のｘｙ平面上での形状
情報、位置情報、面積情報、統計的画像特徴量のうちの
いずれか１つまたは２つ以上の組み合わせにより、瞳の
色調不良領域の判別を行い、色調不良領域と判別された
瞳の色調不良領域の周辺部から中央部にかけて明度と彩
度とのいずれか１つ又は両方が徐々に低下するようにグ
ラデーションをかける処理を含む修正を行って、前記瞳
の色調不良領域を視覚的に正常な目の画像となるように
修正する。In order to achieve the third and fourth objects, the invention according to claim 6 is characterized in that a predetermined image area including an eye area having a poor color tone is defined as an xy plane, and a hue is set for each pixel. , Saturation, and lightness, and obtains an image feature quantity by setting a three-dimensional xyz space in which the feature quantity is arranged on the z-axis. The value of the axis is x for each region having a mountain-shaped distribution shape.
The y-plane is divided into regions, and the pupil poor tone region is obtained by combining one or more of shape information, position information, area information, and statistical image feature amount of each divided region on the xy plane. Including a process of performing gradation so that one or both of brightness and saturation gradually decrease from the periphery to the center of the poor color tone area of the pupil determined as the poor color tone area Is performed to correct the poor color tone area of the pupil so that the image becomes a visually normal eye image.

【００２０】すなわち、請求項６の発明では、上記請求
項１と同様の方法で前記色調不良領域の判別を行ってい
るため、赤目などの色調不良領域を白目及び肌部と正確
に分離でき、精度よく修正することができる。In other words, according to the invention of claim 6, since the poor color tone area is determined by the same method as in the first aspect, the poor color tone area such as red eye can be accurately separated from the white eye and the skin. It can be corrected with high accuracy.

【００２１】それに加えて、請求項６の発明では、上記
第４の目的を達成するために、瞳の色調不良領域の修正
の際に、周辺部から中央部にかけて明度と彩度とのいず
れか１つ又は両方が徐々に低下するように、グラデーシ
ョンをかける処理を行っている。これより、中央部分の
色の方が周辺部分よりも濃い色となっている実際の瞳部
分の色と近くなるため、修正後の瞳画像を自然な雰囲気
とすることができる。なお、請求項７から請求項９は、
上記請求項２から請求項５同様の作用を有するので、説
明は省略する。In addition, according to the invention of claim 6, in order to achieve the fourth object, when correcting the poor color tone region of the pupil, one of the brightness and the saturation from the peripheral part to the central part is corrected. The gradation is applied so that one or both of them gradually decreases. As a result, the color of the central portion is closer to the color of the actual pupil portion, which is darker than the peripheral portion, so that the corrected pupil image can have a natural atmosphere. Note that claims 7 to 9 are:
Since it has the same operation as the above-mentioned claims 2 to 5, description thereof will be omitted.

【００２２】また、請求項１０の発明は、色調不良とな
った目領域を含む予め指定した画像領域をｘｙ平面と
し、各画素ごとに色相、彩度、明度のうちのいずれか１
つまたは２つ以上の組み合わせにより画像特徴量を求
め、該特徴量をｚ軸に配置する３次元のｘｙｚ空間を設
定し、ｘｙ平面の広がりに対しｚ軸の値が山状の分布形
状を持つ領域毎にｘｙ平面を領域分割し、各分割領域の
ｘｙ平面上での形状情報、位置情報、面積情報、統計的
画像特徴量のうちのいずれか１つまたは２つ以上の組み
合わせにより、瞳の色調不良領域の判別を行い、色調不
良領域と判別された瞳の色調不良領域の最大明度位置を
キャッチライト位置と判別し、該キャッチライト位置に
キャッチライトパターンを形成する処理を含む修正を行
って、前記瞳の色調不良領域を視覚的に正常な目の画像
となるように修正する。According to a tenth aspect of the present invention, a predetermined image area including an eye area having a poor color tone is defined as an xy plane, and each pixel has one of hue, saturation, and brightness.
One or two or more combinations are used to determine an image feature quantity, a three-dimensional xyz space for arranging the feature quantity on the z-axis is set, and the value of the z-axis has a mountain-like distribution shape with respect to the spread of the xy plane. The xy plane is divided into regions for each region, and the pupil is determined by one or a combination of two or more of shape information, position information, area information, and a statistical image feature amount on the xy plane of each divided region. Performing a correction including a process of determining a poor tone region, determining a maximum lightness position of the poor tone region of the pupil determined as the poor tone region as a catchlight position, and forming a catchlight pattern at the catchlight position. Then, the poor color tone region of the pupil is corrected so as to be a visually normal eye image.

【００２３】すなわち、請求項１０の発明では、上記請
求項６と同様に上記請求項１と同様の方法で前記色調不
良領域の判別を行っているため、赤目などの色調不良領
域を白目及び肌部と正確に分離でき、精度よく修正する
ことができる。That is, in the invention according to claim 10, the poor color tone area is determined by the same method as in claim 1 in the same manner as in claim 6, so that the poor color tone area such as red eye is removed from white eye and skin. It can be accurately separated from the part and can be corrected with high accuracy.

【００２４】それに加えて、請求項１０の発明では、瞳
部分の領域内の最大明度位置をキャッチライト位置と判
別してキャッチライトパターンを形成している。すなわ
ち、キャッチライトは濃度の濃い瞳部分において部分的
に濃度の薄い領域であるので、キャッチライト位置は最
も明るい位置であることがわかる。従って、瞳部分の領
域内の最大明度位置にキャッチライトを設ける処理を施
すことにより、自然で生き生きとした印象の目の画像が
得られる。なお、請求項１１から請求項１５は、上記請
求項２から請求項５同様の作用を有するので、説明は省
略する。In addition, according to the tenth aspect of the present invention, the catch light pattern is formed by determining the maximum lightness position in the pupil area as the catch light position. That is, since the catchlight is a region where the density is partially low in the pupil portion where the density is high, it can be seen that the catchlight position is the brightest position. Therefore, by performing the process of providing the catch light at the maximum brightness position in the pupil region, an image of the eyes with a natural and lively impression can be obtained. Since claims 11 to 15 have the same functions as those of claims 2 to 5, their description will be omitted.

【００２５】請求項１６の発明は、色調不良となった目
領域を含む予め指定した画像領域をｘｙ平面とし、各画
素ごとに色相、彩度、明度のうちのいずれか１つまたは
２つ以上の組み合わせにより画像特徴量を求め、該特徴
量をｚ軸に配置する３次元のｘｙｚ空間を設定し、ｘｙ
平面の広がりに対しｚ軸の値が山状の分布形状を持つ領
域毎にｘｙ平面を領域分割し、各分割領域のｘｙ平面上
での形状情報、位置情報、面積情報、統計的画像特徴量
のうちのいずれか１つまたは２つ以上の組み合わせによ
り、瞳の色調不良領域の判別を行い、色調不良領域と判
別された瞳領域のサイズに合うように正常な瞳領域から
切り出した色調正常の瞳を拡大縮小後、前記色調不良領
域と判別された瞳領域に貼り込む処理を含む修正を行っ
て、前記瞳の色調不良領域を視覚的に正常な目の画像と
なるように修正する。According to a sixteenth aspect of the present invention, a predetermined image area including an eye area having poor color tone is defined as an xy plane, and one or more of hue, saturation, and lightness are provided for each pixel. , A three-dimensional xyz space for arranging the feature amounts on the z-axis is set, and
The xy plane is divided into regions in which the value of the z axis has a mountain-shaped distribution shape with respect to the spread of the plane, and shape information, position information, area information, and statistical image feature amount of each divided region on the xy plane The pupil poor tone region is determined by any one or a combination of two or more of the above, and a normal tone pupil region cut out from a normal pupil region to match the size of the pupil region determined as the poor tone region. After enlarging or reducing the pupil, a correction including a process of pasting the pupil into the pupil region determined to be the poor color tone region is performed, and the poor color tone region of the pupil is corrected to become a visually normal eye image.

【００２６】すなわち、請求項１６の発明は、色調不良
領域と判別された瞳領域に正常な瞳領域から切り出した
色調正常の瞳を拡大縮小して貼り付けるため、比較的簡
単な修正処理で瞳の色調不良領域を視覚的に正常な目の
画像となるように修正できる。なお、請求項１７から請
求項２０は、上記請求項２から請求項５同様の作用を有
するので、説明は省略する。That is, according to the sixteenth aspect of the present invention, a normal tone pupil cut out from a normal pupil region is pasted to a pupil region determined as a poor tone region and pasted, so that the pupil can be corrected by a relatively simple correction process. Can be corrected so as to provide a visually normal eye image. Since the seventeenth to twentieth aspects have the same functions as the second to fifth aspects, their description will be omitted.

【００２７】さらに、上記第４の目的を達成するため
に、請求項２１の発明は、請求項１から請求項２１のい
ずれか１項に記載の画像処理方法において、前記色調不
良の目領域を含む指定領域の指定回数に応じて、画像の
領域分割手法または領域分割に用いる特徴量を変更し、
あるいは、色調不良領域判定に用いる特徴量の種類また
は特徴量の計算方法または判定基準を変更し、あるい
は、色調不良領域の修正方法を変更する。According to a fourth aspect of the present invention, there is provided an image processing method according to any one of the first to twenty-first aspects, wherein the eye area having poor color tone is provided. Depending on the number of times the specified area is included, the image area dividing method or the feature amount used for the area division is changed,
Alternatively, the type of the feature amount used for determining the poor tone region, the method of calculating the feature amount, or the determination criterion is changed, or the method of correcting the poor tone region is changed.

【００２８】これにより、修正の必要のないもう一方の
目の位置と修正した目の画像の位置とを比較して修正し
た目の画像の位置を自然な位置に配置されるようにずら
したり、修正した目の色を、修正の必要のないもう一方
の目の色と同じ雰囲気にするなどの微修正を行えるた
め、自然な雰囲気に仕上げることが可能である。また、
キャッチライトの瞳内の位置関係が両目で揃うように、
キャッチライトの位置補正も行う。Thus, the position of the other eye which does not need to be corrected is compared with the position of the corrected eye image to shift the position of the corrected eye image so as to be arranged at a natural position. Fine correction can be performed such that the corrected eye color has the same atmosphere as the other eye color that does not need to be corrected, so that a natural atmosphere can be achieved. Also,
As the positional relationship within the eyes of the catchlight is aligned with both eyes,
The position of the catchlight is also corrected.

【００２９】請求項２２の発明は、赤目修正処理を複数
回行う場合に対応する発明であり、請求項１から請求項
２１のいずれか１項に記載の画像処理方法において、前
記色調不良の目領域を含む指定領域の指定回数に応じ
て、画像の領域分割手法または領域分割に用いる特徴量
を変更し、あるいは、色調不良領域判定に用いる特徴量
の種類または特徴量の計算方法または判定基準を変更
し、あるいは、色調不良領域の修正方法を変更する。The invention of claim 22 is an invention corresponding to a case where the red-eye correction processing is performed a plurality of times. In the image processing method according to any one of claims 1 to 21, the image processing method according to any one of claims 1 to 21, Depending on the number of times the specified area including the area is specified, the method of dividing the area of the image or the feature used for the area division is changed, or the type of the feature used for determining the poor tone area or the method of calculating the feature or the criterion is used. Or the method of correcting the poor color tone area.

【００３０】例えば、赤目領域判定基準が上記特徴量の
山毎領域分割である場合、二回目の赤目領域判定基準を
上記特徴量の山毎領域分割ではなく、色味の類似度によ
る領域分割に変更したり、判定において一回目の判定で
用いていた円形度基準を除外する、あるいは一回目の判
定で用いていた面積基準を除外するなどが挙げられる。For example, if the red-eye area determination criterion is the mountain-based area division of the characteristic amount, the second red-eye area determination criterion is not the mountain-based area division of the feature amount but the area division based on the color similarity. For example, a change is made, the circularity criterion used in the first determination is excluded, or the area criterion used in the first determination is excluded.

【００３１】[0031]

【発明の実施形態】図１及び図２には、本実施形態に係
るディジタルラボシステム１０の概略構成が示されてい
る。1 and 2 show a schematic configuration of a digital laboratory system 10 according to the present embodiment.

【００３２】図１に示すように、このディジタルラボシ
ステム１０は、ラインＣＣＤスキャナ１４、画像処理部
１６、レーザプリンタ部１８、及びプロセッサ部２０を
含んで構成されており、ラインＣＣＤスキャナ１４と画
像処理部１６は、図２に示す入力部２６として一体化さ
れており、レーザプリンタ部１８及びプロセッサ部２０
は、図２に示す出力部２８として一体化されている。As shown in FIG. 1, the digital lab system 10 includes a line CCD scanner 14, an image processing unit 16, a laser printer unit 18, and a processor unit 20. The processing unit 16 is integrated as the input unit 26 shown in FIG.
Are integrated as an output unit 28 shown in FIG.

【００３３】ラインＣＣＤスキャナ１４は、ネガフィル
ムやリバーサルフィルム等の写真フィルムに記録されて
いるコマ画像を読み取るためのものであり、例えば１３
５サイズの写真フィルム、１１０サイズの写真フィル
ム、及び透明な磁気層が形成された写真フィルム（２４
０サイズの写真フィルム：所謂ＡＰＳフィルム）、１２
０サイズ及び２２０サイズ（ブローニサイズ）の写真フ
ィルムのコマ画像を読取対象とすることができる。ライ
ンＣＣＤスキャナ１４は、上記の読取対象のコマ画像を
ラインＣＣＤ３０で読み取り、Ａ／Ｄ変換部３２におい
てＡ／Ｄ変換した後、画像データを画像処理部１６へ出
力する。The line CCD scanner 14 is for reading a frame image recorded on a photographic film such as a negative film or a reversal film.
5 size photographic film, 110 size photographic film, and photographic film with a transparent magnetic layer (24
0 size photographic film: so-called APS film), 12
Frame images of photographic film of size 0 and size 220 (Brownie size) can be read. The line CCD scanner 14 reads the frame image to be read by the line CCD 30, A / D converts it in the A / D converter 32, and outputs the image data to the image processor 16.

【００３４】なお、本実施の形態では、２４０サイズの
写真フィルム（ＡＰＳフィルム）６８を適用した場合の
ディジタルラボシステム１０として説明する。In this embodiment, a digital lab system 10 in which a photographic film (APS film) 68 of 240 size is applied will be described.

【００３５】画像処理部１６は、ラインＣＣＤスキャナ
１４から出力された画像データ（スキャン画像データ）
が入力されると共に、デジタルカメラ３４等での撮影に
よって得られた画像データ、原稿（例えば反射原稿等）
をスキャナ３６（フラットベット型）で読み取ることで
得られた画像データ、他のコンピュータで生成され、フ
ロッピディスクドライブ３８、ＭＯドライブ又はＣＤド
ライブ４０に記録された画像データ、及びモデム４２を
介して受信する通信画像データ等（以下、これらをファ
イル画像データと総称する）を外部から入力することも
可能なように構成されている。The image processing section 16 stores image data (scanned image data) output from the line CCD scanner 14.
Is input, and image data obtained by photographing with the digital camera 34 or the like, a document (for example, a reflection document, etc.)
Data obtained by reading the image data with a scanner 36 (flat bed type), image data generated by another computer and recorded in a floppy disk drive 38, MO drive or CD drive 40, and received via a modem 42 The communication image data and the like (hereinafter, these are collectively referred to as file image data) can be input from the outside.

【００３６】画像処理部１６は、入力された画像データ
を画像メモリ４４に記憶し、色階調処理部４６、ハイパ
ートーン処理部４８、ハイパーシャープネス処理部５０
等の各種の補正等の画像処理を行って、記録用画像デー
タとしてレーザプリンタ部１８へ出力する。また、画像
処理部１６は、画像処理を行った画像データを画像ファ
イルとして外部へ出力する（例えばＦＤ、ＭＯ、ＣＤ等
の記憶媒体に出力したり、通信回線を介して他の情報処
理機器へ送信する等）ことも可能とされている。The image processing section 16 stores the input image data in the image memory 44, and stores a color gradation processing section 46, a hypertone processing section 48, and a hyper sharpness processing section 50.
Image processing such as various corrections and the like, and outputs the image data to the laser printer unit 18 as recording image data. Further, the image processing unit 16 outputs the image data subjected to the image processing to an external device as an image file (for example, outputs the image data to a storage medium such as an FD, an MO, a CD, or to another information processing device via a communication line). Transmission, etc.).

【００３７】レーザプリンタ部１８はＲ、Ｇ、Ｂのレー
ザ光源５２を備えており、レーザドライバ５４を制御し
て、画像処理部１６から入力された記録用画像データ
（一旦、画像メモリ５６に記憶される）に応じて変調し
たレーザ光を印画紙に照射して、走査露光（本実施の形
態では、主としてポリゴンミラー５８、ｆθレンズ６０
を用いた光学系）によって印画紙６２に画像を記録す
る。また、プロセッサ部２０は、レーザプリンタ部１８
で走査露光によって画像が記録された印画紙６２に対
し、発色現像、漂白定着、水洗、乾燥の各処理を施す。
これにより、印画紙上に画像が形成される。The laser printer unit 18 includes R, G, and B laser light sources 52, and controls a laser driver 54 to record image data (temporarily stored in the image memory 56) input from the image processing unit 16. Is applied to the photographic printing paper, and scanning exposure (in the present embodiment, mainly the polygon mirror 58 and the fθ lens 60) is performed.
An image is recorded on the photographic paper 62 by an optical system using the same. Further, the processor unit 20 includes a laser printer unit 18.
The photographic paper 62 on which an image has been recorded by scanning exposure is subjected to color development, bleach-fixing, washing, and drying.
Thus, an image is formed on the printing paper.

【００３８】（ラインＣＣＤスキャナの構成）次にライ
ンＣＣＤスキャナ１４の構成について説明する。図１に
はラインＣＣＤスキャナ１４の光学系の概略構成が示さ
れている。この光学系は、写真フィルム６８に光を照射
する光源６６を備えており、光源６６の光射出側には、
写真フィルム６８に照射する光を拡散光とする光拡散板
７２が配置されている。(Configuration of Line CCD Scanner) Next, the configuration of the line CCD scanner 14 will be described. FIG. 1 shows a schematic configuration of an optical system of the line CCD scanner 14. This optical system includes a light source 66 for irradiating a photographic film 68 with light.
A light diffusing plate 72 for diffusing light irradiated on the photographic film 68 is provided.

【００３９】写真フィルム６８は、光拡散板７２が配設
された側に配置されたフィルムキャリア７４によって、
コマ画像の画面が光軸と垂直になるように搬送される。The photographic film 68 is formed by a film carrier 74 disposed on the side on which the light diffusion plate 72 is disposed.
The frame image is conveyed so that the screen is perpendicular to the optical axis.

【００４０】写真フィルム６８を挟んで光源６６と反対
側には、光軸に沿って、コマ画像を透過した光を結像さ
せるレンズユニット７６、ラインＣＣＤ３０が順に配置
されている。なお、レンズユニット７６として単一のレ
ンズのみを示しているが、レンズユニット７６は、実際
には複数枚のレンズから構成されたズームレンズであ
る。なお、レンズユニット７６として、セルフォックレ
ンズを用いてもよい。この場合、セルフォックレンズの
両端面をそれぞれ、可能な限り写真フィルム６８及びラ
インＣＣＤ３０に接近させることが好ましい。On the opposite side of the photographic film 68 from the light source 66, a lens unit 76 for forming light transmitted through the frame image and the line CCD 30 are sequentially arranged along the optical axis. Although only a single lens is shown as the lens unit 76, the lens unit 76 is actually a zoom lens including a plurality of lenses. Note that a selfoc lens may be used as the lens unit 76. In this case, it is preferable that both end surfaces of the SELFOC lens be as close to the photographic film 68 and the line CCD 30 as possible.

【００４１】ラインＣＣＤ３０は、複数のＣＣＤセル搬
送される写真フィルム６８の幅方向に沿って一列に配置
され、かつ電子シャッタ機構が設けられたセンシング部
が、間隔を空けて互いに平行に３ライン設けられてお
り、各センシング部の光入射側にＲ、Ｇ、Ｂの色分解フ
ィルタの何れかが各々取付けられて構成されている（所
謂３ラインカラーＣＣＤ）。ラインＣＣＤ３０は、各セ
ンシング部の受光面がレンズユニット７６の結像点位置
に一致するように配置されている。The line CCDs 30 are arranged in a line along the width direction of the photographic film 68 conveyed by a plurality of CCD cells, and three sensing lines provided with an electronic shutter mechanism are provided in parallel with each other at intervals. Each of the R, G, and B color separation filters is mounted on the light incident side of each sensing unit (a so-called three-line color CCD). The line CCD 30 is arranged so that the light receiving surface of each sensing unit coincides with the imaging point position of the lens unit 76.

【００４２】また、図示は省略するが、ラインＣＣＤ３
０とレンズユニット７６との間にはシャッタが設けられ
ている。 （画像処理部１６の制御系の構成）図３には、図１に示
す画像処理部１６の主要構成である画像メモリ４４、色
階調処理４６、ハイパートーン処理４８、ハイパーシャ
ープネス処理５０の各処理を実行するための詳細な制御
ブロック図が示されている。Although not shown, the line CCD 3
A shutter is provided between the lens unit 0 and the lens unit 76. (Configuration of Control System of Image Processing Unit 16) FIG. 3 shows the main components of the image processing unit 16 shown in FIG. 1, including an image memory 44, a color gradation process 46, a hypertone process 48, and a hyper sharpness process 50. A detailed control block diagram for performing the processing is shown.

【００４３】ラインＣＣＤスキャナ１４から出力された
ＲＧＢの各デジタル信号は、データ処理部２００におい
て、暗時補正、欠陥画素補正、シェーディング補正等の
所定のデータ処理が施された後、ｌｏｇ変換器２０２に
よってデジタル画像データ（濃度データ）に変換され、
プレスキャンデータはプレスキャンメモリ２０４に記憶
され、ファインスキャンデータはファインスキャンメモ
リ２０６に記憶される。Each of the RGB digital signals output from the line CCD scanner 14 is subjected to predetermined data processing such as darkness correction, defective pixel correction, and shading correction in a data processing section 200, and then to a log converter 202. Is converted to digital image data (density data) by
The prescan data is stored in the prescan memory 204, and the fine scan data is stored in the fine scan memory 206.

【００４４】プレスキャンメモリ２０４に記憶されたプ
レスキャンデータは、画像データ処理部２０８と画像デ
ータ変換部２１０とで構成されたプレスキャン処理部２
１２に送出される。一方、ファインスキャンメモリ２０
６に記憶されたファインスキャンデータは、画像データ
処理部２１４と画像データ変換部２１６とで構成された
ファインスキャン処理部２１８へ送出される。The pre-scan data stored in the pre-scan memory 204 is transmitted to the pre-scan processing unit 2 comprising an image data processing unit 208 and an image data conversion unit 210.
12 is sent. On the other hand, the fine scan memory 20
The fine scan data stored in No. 6 is sent to a fine scan processing unit 218 composed of an image data processing unit 214 and an image data conversion unit 216.

【００４５】これらのプレスキャン処理部２１２及びフ
ァインスキャン処理部２１８では、画像を撮影したとき
レンズ特性及びストロボを使用した撮影したときのスト
ロボ配光特性に基づく補正等を実行する。The pre-scan processing unit 212 and the fine scan processing unit 218 execute correction based on the lens characteristics when an image is shot and the strobe light distribution characteristics when shooting with a strobe.

【００４６】また、画像データ処理部２０８、２１４に
は、各種フィルムの特性を記憶するフィルム特性記憶部
２３２と、フィルムを撮影したカメラを判別する情報を
取得して対応する撮影カメラに応じたレンズ特性を出力
するレンズ特性データ供給部２３４とが接続されてい
る。The image data processing units 208 and 214 include a film characteristic storage unit 232 for storing characteristics of various films, and a lens corresponding to a corresponding photographing camera by acquiring information for identifying a camera that has photographed the film. A lens characteristic data supply unit 234 for outputting characteristics is connected.

【００４７】フィルムの特性とは、階調特性（γ特性）
であり、一般には、露光量に応じて濃度が三次元的に変
化する曲線で表される。なお、この点は周知の技術であ
るため、詳細な説明は省略する。The characteristics of the film are the gradation characteristics (γ characteristics)
In general, it is represented by a curve whose density changes three-dimensionally according to the exposure amount. Since this point is a well-known technique, detailed description will be omitted.

【００４８】また、フィルム種の特定は、本実施の形態
であれば、ＡＰＳフィルムの磁気記録層にフィルム種を
示す情報を記録しており、ラインＣＣＤスキャナ１４の
キャリア７４での搬送時に、磁気ヘッドによって読み取
ることが可能である。また、１３５サイズフィルムの場
合には、その形状（幅方向両端に比較的短いピッチでパ
ーフォレーションが設けられている）等で判断してもよ
いし、オペレータがキー入力するようにしてもよい。フ
ィルム種を特定することにより、画像のフィルムベース
濃度からの相対的な濃度を正確に算出できる。According to the present embodiment, the film type is specified by recording information indicating the film type on the magnetic recording layer of the APS film. It can be read by the head. In the case of a 135-size film, the determination may be made based on its shape (perforations are provided at relatively short pitches at both ends in the width direction) or the like, or an operator may make a key input. By specifying the film type, the relative density of the image from the film base density can be accurately calculated.

【００４９】画像データ処理部２０８、２１４では、フ
ィルム特性記憶部２３２とレンズ特性データ供給部２３
４とから得られるフィルム種及びカメラ種に合わせて基
準値の補正を行い、カラーバランス調整、コントラスト
調整（色階調処理）、明るさ補正、彩度補正（ハイパー
トーン処理）、ハイパーシャープネス処理等が、ＬＵＴ
やマトリクス（ＭＴＸ）演算等により実行されるように
なっている。In the image data processing sections 208 and 214, the film property storage section 232 and the lens property data supply section 23
The reference value is corrected in accordance with the film type and camera type obtained from step 4, color balance adjustment, contrast adjustment (color gradation processing), brightness correction, saturation correction (hypertone processing), hyper sharpness processing, etc. But LUT
And a matrix (MTX) operation.

【００５０】また、画像データ処理部２０８、２１４に
は、前記各調整、補正後に、赤目となった瞳部分を自然
な色に修正する赤目処理部２２０、２２２が設けられて
いる。この赤目処理部２２０、２２２における赤目修正
については、後述する。The image data processing units 208 and 214 are provided with red-eye processing units 220 and 222 for correcting the pupil part which has become red-eye after the above adjustments and corrections to a natural color. The red-eye correction in the red-eye processing units 220 and 222 will be described later.

【００５１】プレスキャン側の画像データ変換部２１０
では、画像データ処理部２０８によって処理された画像
データを３Ｄ−ＬＵＴに基づいてモニタ１６Ｍへ表示す
るためのディスプレイ用画像データに変換している。一
方、ファインスキャン側の画像データ変換部２１６で
は、画像データ処理部２１４によって処理された画像デ
ータを、３Ｄ−ＬＵＴに基づいてレーザプリンタ部１８
でのプリント用画像データに変換している。なお、上記
ディスプレイ用の画像データと、プリント用画像データ
とは、表色系が異なるが、以下のような様々な補正によ
って一致を図っている。Image data converter 210 on prescan side
In, the image data processed by the image data processing unit 208 is converted into display image data to be displayed on the monitor 16M based on the 3D-LUT. On the other hand, the image data conversion unit 216 on the fine scan side converts the image data processed by the image data processing unit 214 into the laser printer unit 18 based on the 3D-LUT.
Is converted to print image data. Although the display image data and the print image data have different color systems, they are matched by various corrections as described below.

【００５２】すなわち、プレスキャン処理部２１２及び
ファインスキャン処理部２１８には、条件設定部２２４
が接続されている。条件設定部２２４は、セットアップ
部２２６、キー補正部２２８、パラメータ統合部２３０
とで構成されている。That is, the pre-scan processing section 212 and the fine scan processing section 218 have a condition setting section 224.
Is connected. The condition setting unit 224 includes a setup unit 226, a key correction unit 228, a parameter integration unit 230
It is composed of

【００５３】セットアップ部２２６は、プレスキャンデ
ータを用いて、ファインスキャンの読取条件を設定し、
ラインＣＣＤスキャナ１４に供給し、また、プレスキャ
ン処理部２１２及びファインスキャン処理部２１８の画
像処理条件を演算し、パラメータ統合部２３０に供給し
ている。The setup unit 226 sets the fine scan reading conditions using the pre-scan data,
The image data is supplied to the line CCD scanner 14, and the image processing conditions of the pre-scan processing unit 212 and the fine scan processing unit 218 are calculated, and are supplied to the parameter integration unit 230.

【００５４】キー補正部２２８は、キーボード１６Ｋに
設定された濃度、色、コントラスト、シャープネス、彩
度等を調整するキーやマウスで入力された各種の指示等
に応じて、画像処理条件の調整量を演算し、パラメータ
統合部２３０へ供給している。The key correction section 228 is a key for adjusting the density, color, contrast, sharpness, saturation, etc., set on the keyboard 16K, and various adjustments of image processing conditions in accordance with various instructions input with a mouse. Is calculated and supplied to the parameter integration unit 230.

【００５５】パラメータ統合部２３０では、上記セット
アップ部２２６及びキー補正部２２８から受け取った画
像処理条件をプレスキャン側及びファインスキャン側の
画像データ処理部２０８，２１４へ送り、画像処理条件
を補正あるいは再設定する。The parameter integration section 230 sends the image processing conditions received from the setup section 226 and the key correction section 228 to the image data processing sections 208 and 214 on the prescan side and the fine scan side, and corrects or regenerates the image processing conditions. Set.

【００５６】ここで、赤目処理部２２０、２２２におけ
る赤目修正について、図４のフロー図を参照しながら説
明する。Here, the red-eye correction in the red-eye processing units 220 and 222 will be described with reference to the flowchart of FIG.

【００５７】ステップ１００では、カラーバランス調
整、コントラスト調整、明るさ補正、彩度補正（ハイパ
ートーン処理）、ハイパーシャープネス処理等が、ＬＵ
Ｔやマトリクス（ＭＴＸ）演算等の各種補正処理が施さ
れてモニタ１６Ｍに表示された画像の中から、赤目とな
った目の画像をその周囲を含めて処理対象領域として指
定する。In step 100, color balance adjustment, contrast adjustment, brightness correction, saturation correction (hypertone processing), hypersharpness processing, etc.
From among the images displayed on the monitor 16M that have been subjected to various correction processes such as T and matrix (MTX) calculation, an image of a red eye is specified as a processing target region including its surroundings.

【００５８】処理対象領域の指定は、オペレータによっ
てキー補正部２２８から入力したり、画像内の部分的に
赤色が集中している領域を画像データ処理部２１４をに
よって抽出することにより行える。本実施形態では、オ
ペレータによるキー入力によってキー補正部２２８から
処理対象領域を指定している。The region to be processed can be designated by the operator by inputting it from the key correction unit 228 or by extracting the region where red is concentrated in the image by the image data processing unit 214. In the present embodiment, the key correction unit 228 specifies a processing target area by key input by an operator.

【００５９】なお、オペレータによる処理対象領域の指
定方法としては、例えば、図１１（Ａ）〜（Ｆ）に示す
ように、両目一括指定モード１、両目一括指定モード
２、単独指定モード１、単独指定モード２、単独指定モ
ード３、及び単独指定モード４の６つのモードから選択
して指定できる。As a method of designating the processing target area by the operator, for example, as shown in FIGS. 11A to 11F, a binocular collective designation mode 1, a binocular collective designation mode 2, a single designation mode 1, and a single designation mode The user can select and specify one of six modes, namely, a designation mode 2, a single designation mode 3, and a single designation mode 4.

【００６０】両目一括指定モード１は、図１１（Ａ）に
示すように、両目と両目の周辺領域を含む領域を、画像
処理部１６に設けられたマウスやキーボード等により矩
形状の枠１３で囲んで枠１３内の領域を指定するモード
である。この場合、図１１（Ａ）の破線で示すように、
指定領した枠１３の長軸の両外側から所定の比率で指定
して領域を分割し、得られた分割領域を処理対象領域と
する。なお、所定の比率とは枠１３の長軸の寸法に対す
る目の寸法の比率を統計的に算出して得られる比率であ
り、分割された領域が各々少なくとも１つの目を含み、
眉間の領域が除かれるように設定される。なお、枠１３
は矩形状に限らず楕円形状等他の形状としてもよい。As shown in FIG. 11A, in the binocular batch designation mode 1, an area including both eyes and a peripheral area of both eyes is enclosed by a rectangular frame 13 using a mouse, a keyboard, or the like provided in the image processing unit 16. This is a mode in which an area within the frame 13 is designated by being surrounded. In this case, as shown by the broken line in FIG.
The region is divided by designating at a predetermined ratio from both outer sides of the long axis of the designated frame 13, and the obtained divided region is set as a processing target region. Note that the predetermined ratio is a ratio obtained by statistically calculating the ratio of the size of the eyes to the size of the long axis of the frame 13, and each of the divided regions includes at least one eye.
It is set so that the area between the eyebrows is removed. The frame 13
Is not limited to a rectangular shape but may be another shape such as an elliptical shape.

【００６１】また、両目一括指定モード２は、図１１
（Ｂ）に示すように、両目の瞳の中心部を画像処理部１
６に設けられたマウスやキーボード等により指定して、
両目と両目の周辺領域を含む領域を指定するモードであ
る。この場合、指定した両目の瞳の中心部を結ぶ直線の
両端から所定の比率となる長さを長軸の１／２の長さと
する楕円状の領域を個々の目の領域とし、得られた分割
領域を処理対象領域とする。Further, the both eyes batch designation mode 2 corresponds to FIG.
As shown in (B), the center of the pupils of both eyes is aligned with the image processing unit 1.
6 with the mouse, keyboard, etc.
In this mode, an area including both eyes and a peripheral area of both eyes is specified. In this case, elliptical regions having a predetermined ratio from both ends of a straight line connecting the center portions of the designated pupils of both eyes to の 長 of the major axis are defined as individual eye regions. The divided area is set as a processing target area.

【００６２】なお、この場合も上記の両目一括指定モー
ド１と同様に、所定の比率とは指定した両目の瞳の中心
部を結ぶ直線に対する目の寸法の比率を統計的に算出し
て得られる比率であり、楕円状の領域は各々少なくとも
１つの目を含み、眉間の領域が除かれるように設定され
る。Also in this case, similarly to the above-described binocular batch designation mode 1, the predetermined ratio is obtained by statistically calculating the ratio of the size of the eye to the straight line connecting the center of the designated pupil of both eyes. The ratio is set such that each elliptical area includes at least one eye and excludes the area between the eyebrows.

【００６３】また、上記両目一括指定モード１及び両目
一括指定モード２においては、個々の目領域に領域を分
割せずに両目を含んだ領域を処理対象領域とし、一括し
て赤目抽出処理を行うようにすることもできる。In the both-eye batch designation mode 1 and the binocular batch designation mode 2, a region including both eyes is set as a processing target region without dividing the region into individual eye regions, and red-eye extraction processing is performed collectively. You can also do so.

【００６４】単独指定モード１は、図１１（Ｃ）に示す
ように、１つの目の周辺領域を含む領域を、画像処理部
１６に設けられたマウスやキーボード等により矩形状の
枠１３で囲んで指定し、枠１３内の領域を処理対象領域
とするモードである。この場合も、枠１３は矩形状に限
らず楕円形状等他の形状としてもよい。In the single designation mode 1, as shown in FIG. 11C, a region including the peripheral region of one eye is surrounded by a rectangular frame 13 by a mouse, a keyboard, or the like provided in the image processing unit 16. In this mode, the area within the frame 13 is set as the processing target area. Also in this case, the frame 13 is not limited to a rectangular shape, and may have another shape such as an elliptical shape.

【００６５】また、単独指定モード２は、図１１（Ｄ）
に示すように、目の中心部と、目全体を含むように形成
する枠の位置とを指定して、中心部に対する枠の位置か
ら統計的に得られる比率に基いて１つの目を含む枠１３
を自動的に形成するように設定してこの枠１３内の領域
を処理対象領域として指定するモードである。Further, the single designation mode 2 corresponds to FIG.
As shown in the figure, the center of the eye and the position of the frame formed so as to include the entire eye are designated, and the frame including one eye is determined based on a ratio statistically obtained from the position of the frame with respect to the center. 13
Is automatically formed, and a region in the frame 13 is designated as a processing target region.

【００６６】単独指定モード３は、図１１（Ｅ）に示す
ように、目の中心部、または目の周辺部との一方を一ヶ
所１５指定することにより、目全体を含むデフォルトサ
イズの枠１３を自動的に形成するように設定してこの枠
１３内の領域を処理対象領域として指定するモードであ
る。なお、この場合、顔全体を矩形状、又は楕円形状等
の枠等で囲んで指定後、顔と目の比率に応じて片目若し
くは両目領域サイズの枠を自動的に形成するように設定
してこの枠内の領域を処理対象領域として指定するモー
ドとすることもできる。或いは、両目の中心部を指定し
て両目を包含する枠を自動的に形成してこの枠内の領域
を処理対象領域として指定するモードとすることもでき
る。In the single designation mode 3, as shown in FIG. 11 (E), by specifying one of the central part of the eye or the peripheral part of the eye in one place 15, a frame 13 of the default size including the entire eye is designated. Is automatically formed, and a region in the frame 13 is designated as a processing target region. In this case, after specifying the entire face by surrounding it with a rectangular or elliptical frame or the like, it is set so that a frame of one eye or both eyes area size is automatically formed according to the face-to-eye ratio. It is also possible to set a mode in which an area within this frame is designated as a processing target area. Alternatively, a mode may be set in which a frame including both eyes is automatically formed by specifying the center of both eyes, and an area within this frame is specified as a processing target area.

【００６７】単独指定モード４は、図１１（Ｆ）に示す
ように、目を含む目の周辺の領域を画像処理部１６に設
けられたマウスやキーボード等により手書きの要領で囲
みこんで形成した枠内の領域を処理対象領域として指定
するモードである。In the single designation mode 4, as shown in FIG. 11F, an area around the eye including the eye is surrounded by a mouse or a keyboard provided in the image processing section 16 in a handwritten manner. In this mode, an area within the frame is designated as a processing target area.

【００６８】次に、ステップ１０２では、上記６つのモ
ードうちのいずれか１つのモードによって指定された処
理対象領域の特徴量を算出する。ここでは、抽出要素と
して色相、彩度、明度から得られる色の値を選択し、瞳
部分の画像を一括して切り出せるような特徴量を選択す
る。Next, at step 102, the feature amount of the processing target area specified by any one of the above six modes is calculated. Here, a color value obtained from hue, saturation, and lightness is selected as an extraction element, and a feature amount that can collectively cut out an image of a pupil portion is selected.

【００６９】ここで、赤味をｒ値で表すと、ｒ値は赤味
が強い程大きくなるので、赤目部では大となり、また、
青い目ではマイナス値となる。また、明度をグレーｄ値
で表すと、明るい画素はｄ値は大となるので、キャッチ
ライト部や、白目部では大となり、ブラウン系瞳の虹彩
部では小となる。Here, when the redness is represented by the r value, the r value increases as the redness increases, so that the r value increases in the red-eye portion.
Blue eyes have negative values. When the brightness is represented by the gray d value, the bright pixel has a large d value, so that it becomes large in the catchlight portion and the white-eye portion, and small in the iris portion of the brown pupil.

【００７０】具体的には、レッド値（ｒ）を特徴量Ａ、
グレー値（ｄ）を特徴量Ｂとしたとき、α×Ｂ＋（１−
α）×｜Ａ｜…式（１）（ただし、αの好ましい値とし
ては実験的に、α＝０．３以上、０．５以下が得られて
いるが、その他の値とすることもできる。）によって得
られる特徴量Ｃの値を横軸を瞳を通る直線上の位置とし
てグラフ化すると、画像を構成する要素（例えば、白目
部分、瞳部分、肌部分）の領域ごとに山状波形を有する
ものとなる。なお、上記の特徴量の定義において、ＲＧ
Ｂによる色表現により、ｄ＝（Ｒ＋Ｇ＋Ｂ）／３、Ａ＝
（Ｒ−ｄ）としてもよい。More specifically, the red value (r) is set to the characteristic amount A,
When the gray value (d) is the feature amount B, α × B + (1−
α) × | A | (1) (where α is 0.3 or more and 0.5 or less is experimentally obtained as a preferable value of α, but other values may be used) When the value of the feature amount C obtained by the above is graphed as a position on a straight line passing through the pupil on the horizontal axis, a mountain-like waveform is obtained for each region of an element (for example, a white-eye portion, a pupil portion, and a skin portion) forming the image It becomes what has. Note that, in the above definition of the feature amount, RG
By the color expression by B, d = (R + G + B) / 3, A =
(Rd) may be used.

【００７１】例えば、目尻を通る長手方向の線に沿って
算出した特徴量Ｃのグラフは、図１０に示すように、瞳
の左右にある２つの白目部分の領域と瞳部分の領域とに
対応して３つの山状波形を有するものとなる。なお、上
記特徴量Ｃの式においては特徴量Ａを絶対値化すること
により、赤目の抽出がブラウン系よりも難しい青目系の
瞳の赤目抽出性能を向上させている。For example, as shown in FIG. 10, a graph of the characteristic amount C calculated along the longitudinal line passing through the outer corner of the eye corresponds to the two white-eye areas on the left and right of the pupil and the pupil area. As a result, three mountain-shaped waveforms are obtained. In the above expression of the feature value C, the feature value A is converted to an absolute value, thereby improving the red-eye extraction performance of a blue-eye pupil, in which red-eye extraction is more difficult than in a brown system.

【００７２】また、別の特徴量の例として図１０（ｂ）
に特徴量Ａのグラフ、図１０（ｃ）に特徴量Ｂのグラフ
をそれぞれ開示するが、図１０（ｂ）と図１０（ｃ）と
において、実線は瞳が赤く写る赤目の特徴量を示し、点
線は瞳が金色に写る金目の特徴量を示しており、重なっ
ている領域は実線となっている。これらのグラフにより
金目は反射光が強いため、色味的には黄に近く明度が高
いことがわかる。FIG. 10B shows another example of the characteristic amount.
FIG. 10C shows a graph of the characteristic amount A, and FIG. 10C shows a graph of the characteristic amount B. In FIGS. 10B and 10C, the solid line indicates the red-eye characteristic amount in which the pupil appears red. The dotted line indicates the feature amount of the pupil whose pupil appears in gold, and the overlapping area is a solid line. From these graphs, it can be seen that the gold grain has strong reflected light, so that the color tone is close to yellow and the brightness is high.

【００７３】次のステップ１０４においては、特徴量が
山を形成する領域毎に画像を領域分割する。In the next step 104, the image is divided into regions for each region where the characteristic amount forms a mountain.

【００７４】領域分割の方法としては、例えば、図１０
（ｂ）と図１０（ｃ）に示すように最も低い特徴量の画
素(すなわち谷となる位置の画素)を領域として分割する
ようにユーザが指定したり、プログラムによる処理を行
う。図１０（ｂ）および図１０（ｃ）では、キャッチラ
イトを含む赤目領域が山を形成し、また、白目部分や肌
部分との間では虹彩部が谷間となり、領域分割の境界と
なっている。なお、青目系瞳が赤目の場合、虹彩部が上
記｜Ａ｜により青い虹彩部と瞳孔部の境界に領域分割の
境界となる。As a method of area division, for example, FIG.
As shown in FIG. 10B and FIG. 10C, the user specifies to divide the pixel having the lowest feature amount (that is, the pixel at the valley position) as an area, or performs processing by a program. In FIG. 10B and FIG. 10C, the red-eye region including the catchlight forms a mountain, and the iris portion is a valley between the white-eye portion and the skin portion, which is a boundary of the region division. . When the blue-eye pupil is red-eye, the iris part becomes a boundary between the blue iris part and the pupil part according to the above | A |

【００７５】また、別の方法として、図１２（Ｂ）に示
すように、両側の白目の部分と中央の瞳部分との３つの
領域ごとに対応した山形状を有する特徴量Ｄを選択し、
番号割り付け処理により領域を分割することができる。As another method, as shown in FIG. 12B, a feature quantity D having a mountain shape corresponding to each of three regions of a white eye portion on both sides and a central pupil portion is selected.
The area can be divided by the number assignment processing.

【００７６】この番号割り付け処理は、例えば、図１２
（Ａ）に示すように、例えば、中央の画素を着目画素２
１とする３行×３列の９つの画素からなる参照エリア２
４を番号割り付け処理領域とし、９つの画素からなる参
照エリアの中の最も大きな特徴量を有する画素の番号を
着目画素２１に割り付ける処理である。This number assignment process is performed, for example, as shown in FIG.
For example, as shown in FIG.
Reference area 2 consisting of 9 pixels in 3 rows x 3 columns, which is 1
This is a process of assigning the number of the pixel having the largest feature amount in the reference area composed of nine pixels to the target pixel 21 with 4 as a number assignment processing area.

【００７７】１例として、図１２（Ｂ）の特徴量Ｄを選
択し、説明のため、部分的に拡大した領域について説明
する。図１３（Ｂ）及び図１３（Ｃ）には、図１３
（Ａ）に示すように、図１２（Ｂ）の特徴量Ｄの１つ目
の山形状と２つ目の山形状の部分に対応する画素である
Ｎ行の画素行とその上のＮ−１行の画素列及び下のＮ＋
１行の画素列の合計３行の画素行がそれぞれｎ列ずつ示
されている。なお、各注目画素の座標を（Ｘ_N，Ｙ_m）
(ただし、ｍは１以上の自然数)と記す。As an example, the feature amount D shown in FIG. 12B is selected, and a partially enlarged region will be described for explanation. 13 (B) and 13 (C) show FIG.
As shown in FIG. 12A, N rows of pixels corresponding to the first peak shape and the second peak shape of the feature amount D in FIG. One row of pixel columns and the lower N +
A total of three pixel rows in one pixel column are shown in n columns. Note that the coordinates of each pixel of interest are (X _N , Y _m )
(Where m is a natural number of 1 or more).

【００７８】図１３（Ｂ）に示すように、まず、１列目
〜３列目までを参照エリア２４としたとき、注目画素２
１となる画素（Ｘ_N，Ｙ₂）の特徴量Ｄが参照エリア２４
の中で最も大きいかを判断する。この場合、図１３
（Ａ）に示すように、注目画素２１となる画素（Ｘ_N，
Ｙ₂）の特徴量よりも隣列の画素（Ｘ_N，Ｙ₃）の特徴量
の方が大きいので、注目画素２１となる画素（Ｘ_N，
Ｙ₂）には番号を付与せず、次の参照エリアの注目画素
について参照エリアの中で特徴量が大きいかを判断す
る。As shown in FIG. 13B, when the first to third columns are set as the reference area 24, the pixel of interest 2
The feature amount D of the pixel (X _N , Y ₂ ) that becomes 1 is stored in the reference area 24.
To determine which is the largest. In this case, FIG.
As shown in (A), the pixel (X _N ,
Since the feature value of the pixel (X _N , Y ₃ ) in the adjacent column is larger than the feature value of Y ₂ ), the pixel (X _N ,
No number is assigned to Y ₂ ), and it is determined whether the feature amount of the target pixel in the next reference area is large in the reference area.

【００７９】なお、この例では、注目画素がＮ列に沿っ
て１つずつ矢印Ｉ方向にに移動するように処理するもの
とする。したがって、次の参照エリアは２列目〜４列
目、その次の参照エリアは３列目〜５列目、…というよ
うに、参照エリアが移動することとなる。In this example, processing is performed such that the target pixel moves in the direction of arrow I one by one along N columns. Therefore, the next reference area moves in the second to fourth columns, the next reference area moves in the third to fifth columns, and so on.

【００８０】図１３（Ｃ）に示すように、３〜５列目ま
でを参照エリア２４としたとき、注目画素２１となる画
素（Ｘ_N，Ｙ₄）の特徴量はちょうど図１３（Ａ）に示す
山形状の頂点に対応しているため、最も大きくなる。し
たがって、新規割付番号として『１』を付与して次の参
照エリア、(すなわち、４列目〜６列目)の注目画素につ
いて特徴量の大きさを判断する。As shown in FIG. 13C, when the third to fifth columns are set as the reference area 24, the characteristic amount of the pixel (X _N , Y ₄ ) to be the target pixel 21 is exactly the same as that shown in FIG. Since it corresponds to the peak of the mountain shape shown in FIG. Therefore, “1” is assigned as the new allocation number, and the magnitude of the feature amount is determined for the target pixel in the next reference area (that is, the fourth to sixth columns).

【００８１】４列目〜６列目の参照エリアから谷部に対
応する画素を注目画素とする８列目〜１０列目までの参
照エリアの注目画素は、全て前回の注目画素よりも特徴
量が小さいので、全て『１』が付与されることとなる。The target pixels in the reference areas in the eighth to tenth columns, in which the pixels corresponding to the valleys from the reference area in the fourth to sixth columns are the target pixels, are all more feature amounts than the previous target pixel. Are small, so "1" is all added.

【００８２】前記谷部に対応する画素の１つ次の画素を
注目画素とする７列目〜９列目までの参照エリアから次
の山部に対応する画素の１つ前の画素を注目画素とする
１３列目〜１５列目までの参照エリアは全て前回の注目
画素よりも特徴量が大きいので、全て番号が付与され
ず、次の山部に対応する画素を注目画素とする１４列目
〜１６列目までの参照エリアから次の谷部に対応する画
素を注目画素とする参照エリアの注目画素までが全て新
規割付番号として『２』が付与され、この繰り返しによ
り、図１３（Ｄ）に示すように、一列目の割付処理で
は、それぞれの山に対応した新規割付番号が部分的に付
与されることとなる。From the reference area of the seventh to ninth columns in which the next pixel of the pixel corresponding to the valley is the target pixel, the pixel immediately preceding the pixel corresponding to the next peak is referred to as the target pixel. Since all the reference areas in the 13th to 15th columns have larger feature amounts than the previous target pixel, the reference areas are not all numbered, and the 14th column in which the pixel corresponding to the next crest is set as the target pixel From the reference area up to the 16th column to the pixel of interest in the reference area where the pixel corresponding to the next valley is the pixel of interest, “2” is assigned as a new allocation number. As shown in (1), in the assignment processing in the first column, a new assignment number corresponding to each mountain is partially given.

【００８３】したがって、次の行、例えば、Ｎ＋１行目
を注目画素としたとき既にＮ行目の番号割付処理により
割り付けられた番号との比較を含んだ参照エリア内での
特徴量の比較を行うこととなるため、何度も繰り返して
番号割付処理を行うことにより、各山形状を構成する画
素は全て各山形状に対応して付与された番号が付与さ
れ、最終的には全ての画素に番号が付与されることとな
る。したがって、特徴量の山形状ごとに対応した番号で
分割された複数の領域が得られることとなる。Therefore, when the next row, for example, the (N + 1) th row is set as a target pixel, the feature amount in the reference area including the comparison with the numbers already assigned by the number assignment processing on the Nth row is compared. Therefore, by performing the number assignment process repeatedly over and over, all the pixels constituting each mountain shape are given numbers assigned corresponding to each mountain shape, and finally all the pixels are A number will be assigned. Therefore, a plurality of areas divided by the numbers corresponding to the mountain shapes of the feature amount can be obtained.

【００８４】なお、参照エリア内において注目画素（Ｘ
_n，Ｙ_m）の特徴量よりも特徴量の大きい画素（Ｘ_n，Ｙ
_m+1）が存在し、該画素に番号が付与されていない場
合、注目画素（Ｘ_n，Ｙ_m）の位置を座標として記憶し、
前記隣列の画素（Ｘ_n，Ｙ_m+1）を新規の注目画素として
参照エリアを決定し、該新規の注目画素（Ｘ_n，Ｙ_m+1）
が新たに決定した参照エリア内で最も大きな特徴量を有
しているかを判断する。Note that the target pixel (X
_n, Y _m) larger pixel (X _n feature amount from the feature value of, Y
_{m + 1} ) is present and the pixel is not numbered, the position of the pixel of interest (X _n , Y _m ) is stored as coordinates,
The reference area is determined using the pixel (X _n , Y _{m + 1} ) in the adjacent row as a new target pixel, and the new target pixel (X _n , Y _{m + 1} ) is determined.
It is determined whether or not has the largest feature amount in the newly determined reference area.

【００８５】前記新規の注目画素（Ｘ_n，Ｙ_m+1）よりも
大きな特徴量を有する画素が新たに決定した参照エリア
内に存在すれば、さらに、新規の注目画素（Ｘ_n，
Ｙ_m+1）の位置を座標として記憶し、前記新規の注目画
素（Ｘ_n，Ｙ_m+1）よりも大きな特徴量を有する画素（Ｘ
_n+i，Ｙ_m+j）(ただし、ｉ，ｊは整数)を新規の注目画素
として同様な処理を繰り返すように処理をしても良い。[0085] If present in the new pixel of interest _{(X n, Y m + 1} ) reference area of the pixel is newly determined with great feature quantity than further new pixel of interest (X _n,
Y _{m + 1} ) is stored as coordinates, and a pixel (X) having a feature amount larger than the new target pixel (X _n , Y _{m + 1} ) is stored.
_{n + i} , Y _{m + j} ) (where i and j are integers) may be used as a new pixel of interest to repeat the same processing.

【００８６】この場合、必ずしも同一行の画素のみが注
目画素になるわけではないが、１回特徴量を比較した画
素については番号が付与できない場合も記憶しておき、
その領域内で最も特徴量が高い画素に番号が付与される
と、図１４に示すように、記憶した画素全てにその番号
が付与されることとなるので、何度も繰り返してと特徴
量を比較して番号を付与する場合に比べて速い速度で番
号割付処理を行うことができる。このような番号割付処
理により、図６に示すように、ほぼ目の部位に対応する
領域ごとに領域分割されたエリアが得られる。In this case, it is not always the case that only the pixels in the same row are the target pixels. However, it is also stored that the pixels in which the feature values have been compared once cannot be numbered.
When a number is assigned to a pixel having the highest feature amount in the region, the number is assigned to all the stored pixels as shown in FIG. 14, so that the feature amount is repeated many times. The number assignment process can be performed at a higher speed than in the case where numbers are assigned by comparison. As a result of such number assignment processing, as shown in FIG. 6, an area obtained by dividing an area substantially corresponding to an eye part is obtained.

【００８７】ステップ１０６では、ステップ１０４で分
割した領域についてそれぞれ、形状、他の領域との配置
関係（位置）、面積比率、濃度、平均色味の各々につい
てチェックし、瞳部分の特徴を最も有するものを赤目領
域として選択する。なお、１つの目の画像の中で２つ以
上の領域が赤目領域として選択された場合は、形状、他
の領域との配置関係（位置）、面積比率、濃度、平均色
味の各々について評価し、最も評価の高い領域を赤目領
域として選択する。In step 106, each of the regions divided in step 104 is checked for the shape, the arrangement relationship (position) with other regions, the area ratio, the density, and the average color. One is selected as the red-eye area. When two or more regions are selected as red eye regions in one eye image, each of the shape, the arrangement relation (position) with other regions, the area ratio, the density, and the average color is evaluated. Then, the region with the highest evaluation is selected as the red-eye region.

【００８８】評価の方法としては、例えば、各分割領域
ごとに、円形度が大きいほど点数が高くなる第１の点数
を求め、最も点数の高いものを瞳部分の特徴を最も有す
るもの、すなわち、赤目領域とする方法がある。また、
各分割領域ごとに、重心の位置と指定領域の中心位置と
の間の距離を算出して、距離が短いほど点数が大となる
第２の点数を求め、最も点数の高いものを瞳部分の特徴
を最も有するもの、すなわち、赤目領域とする方法があ
る。As a method of evaluation, for example, for each divided region, a first score is obtained in which the larger the circularity is, the higher the score is, and the one having the highest score has the characteristic of the pupil portion, that is, There is a method of setting a red-eye region. Also,
For each of the divided areas, the distance between the position of the center of gravity and the center position of the designated area is calculated, and the second point is determined so that the shorter the distance is, the larger the score is. There is a method that has the most characteristic, that is, a red-eye region.

【００８９】さらに、各分割領域ごとに、分割領域の面
積と指定領域の面積との比率を求め、得られた比率が予
め求めた瞳の面積と指定領域の面積との比率の範囲等の
所定範囲から外れる程点数が小さくなる第３の点数を求
め、最も点数の高いものを瞳部分の特徴を最も有するも
の、すなわち、赤目領域とする方法がある。Further, for each of the divided areas, the ratio between the area of the divided area and the area of the designated area is obtained, and the obtained ratio is a predetermined range such as the range of the ratio between the area of the pupil and the area of the designated area. There is a method in which a third score is obtained in which the score becomes smaller as the value goes out of the range, and the score with the highest score is determined as the one having the characteristic of the pupil portion, that is, the red-eye region.

【００９０】また、色相、彩度、明度のうちのいずれか
１つ以上における平均値、最大値、最小値、コントラス
ト、ヒストグラム形状のうちのいずれか１つ以上を用
い、予め測定されている統計的な色調不良領域情報との
比較より、色調不良領域の特徴に近い特徴を有するもの
ほど点数が高くなる第４の点数を求め、最も点数の高い
ものを瞳部分の特徴を最も有するもの、すなわち、赤目
領域とする方法がある。Further, statistical values measured in advance using one or more of the average value, the maximum value, the minimum value, the contrast, and the histogram shape in any one or more of hue, saturation, and lightness From the comparison with the typical poor tone area information, a fourth score having a higher score as the feature is closer to the feature of the poor tone area is obtained, and the one having the highest score has the feature of the pupil portion, that is, , A red-eye region.

【００９１】さらには、予め指定された瞳の中心位置と
両目の間隔とに応じて求められ、瞳の中心から外れる程
点数が小さくなる第５の点数を求め、最も点数の高いも
のを瞳部分の特徴を最も有するもの、すなわち、赤目領
域とする方法がある。第５の点数は、例えば、図１５
（Ａ）に示す破線の上の点数を表した図１５（Ｂ）に示
すように、瞳部分が最高点を持ち瞳から離れると点数が
低くなるように設定している。Further, a fifth score which is obtained in accordance with a predetermined center position of the pupil and the distance between both eyes and which becomes smaller as the distance from the center of the pupil is reduced is determined. , That is, a method of setting a red-eye region. The fifth score is, for example, as shown in FIG.
As shown in FIG. 15B which shows the points above the dashed line shown in FIG. 15A, the pupil portion is set so that it has the highest point and the points become lower as the distance from the pupil increases.

【００９２】これら５つの点数のうちの少なくとも１つ
の点数を選択し、この点数に基いて赤目領域を判別して
も良いが、より好ましくは、前記５つの点数のうちの２
つ以上における平均点数または加重平均点数により、上
位Ｌ（ただし、Ｌは１以上）個の領域を色調不良領域と
判定するようにすると良い。[0092] At least one of these five points may be selected, and the red-eye area may be determined based on this point.
It is preferable to determine the upper L (where L is 1 or more) regions as poor color tone regions based on the average score or the weighted average score of the two or more.

【００９３】例えば、図１６に示すように６つのエリア
(分割領域)に分割されている場合、図１６（Ａ）に示す
ように、第１の点数が、エリア１はＡ４点、エリア２は
Ａ６点、エリア３はＡ２点、エリア４はＡ３点、エリア
５はＡ１点、エリア６はＡ５点であり、第２の点数が、
エリア１はＢ５点、エリア２はＢ４点、エリア３はＢ２
点、エリア４はＢ３点、エリア５はＢ１点、エリア６は
Ｂ６点であるとする。ただし、Ａ１＞Ａ２＞Ａ３＞Ａ４
＞Ａ５＞Ａ６…（１）、Ｂ１＞Ｂ２＞Ｂ３＞Ｂ４＞Ｂ５
＞Ｂ６…（２）である。For example, as shown in FIG.
When the area is divided into (divided areas), as shown in FIG. 16A, the first points are A4 points for area 1, A6 points for area 2, A2 points for area 3, and A3 points for area 4. , Area 5 is A1 point, Area 6 is A5 point, and the second point is
Area 1 has B5 points, Area 2 has B4 points, Area 3 has B2 points
Point, area 4 is B3 point, area 5 is B1 point, and area 6 is B6 point. However, A1>A2>A3> A4
>A5> A6 (1), B1>B2>B3>B4> B5
> B6 (2).

【００９４】したがって、それぞれの領域ごとに第１の
点数と第２の点数との平均点を出すと、図１６（Ｂ）に
示すように、エリア１は(Ａ４＋Ｂ５)／２点、エリア２
は(Ａ６＋Ｂ４)／２点、エリア３は(Ａ２＋Ｂ２)／２
点、エリア４は(Ａ３＋Ｂ３)／２点、エリア５は(Ａ１
＋Ｂ１)／２点、エリア６は(Ａ５＋Ｂ６)／２点とな
り、上記（１）の式及び（２）の式からエリア５が最も
点数が高いことは明白である。Therefore, when the average point of the first point and the second point is calculated for each area, as shown in FIG. 16B, area 1 is (A4 + B5) / 2 points, area 2
Is (A6 + B4) / 2 points, area 3 is (A2 + B2) / 2 points
Point, area 4 is (A3 + B3) / 2 points, area 5 is (A1 + B3) / 2
+ B1) / 2 points and area 6 is (A5 + B6) / 2 points, and it is clear from the above equations (1) and (2) that area 5 has the highest score.

【００９５】なお、点数の高い順に重い重みをつけた加
重平均を取ることによって、より一層点数の高いものは
高く、低いものは低くなるので、点数差が広がり瞳部分
の特徴を最も有するものを明確に区別できる。By taking the weighted average weighted in the descending order of the score, the score with a higher score is higher and the score with a lower score is lower. Can be clearly distinguished.

【００９６】ステップ１０８では、上記のようにして選
択された赤目領域の画素に対し、赤目領域の画素の中で
最小明度の画素に基づきすべての画素の明度を最小明度
の画素の明度と同じ又は近づくように補正する。例え
ば、赤目領域の画素の中で最小明度の画素の明度をｄmi
n 、補正対象となる赤目領域の画素の明度をｘとしたと
き、補正対象となる赤目領域の画素の補正後の明度ｘ’
は以下の式（２）により算出することが挙げられる。In step 108, for the pixels in the red-eye region selected as described above, the brightness of all the pixels is set to the same or the same as the brightness of the minimum-brightness pixel based on the minimum brightness pixel among the pixels in the red-eye region. Correct to get closer. For example, the brightness of the pixel with the minimum brightness among the pixels in the red-eye area is represented by dmi.
n, when the brightness of a pixel in the red-eye region to be corrected is x, the brightness x ′ after correction of the pixel in the red-eye region to be corrected
Is calculated by the following equation (2).

【００９７】 ｘ’＝ｘ−（ｘ−ｄmin ）×ａ …式（２） （なお、ａの値を１≦ａ≦１．３とすると修正後の画像
を自然な雰囲気とできるため好ましい。）結果的に赤目
となった瞳孔部は、修正後に周辺から中央にかけて徐々
に明度が低下する画像となる。X ′ = x− (x−dmin) × a Expression (2) (It is preferable that the value of a be 1 ≦ a ≦ 1.3 because the corrected image can have a natural atmosphere.) As a result, the red-eye pupil becomes an image in which the brightness gradually decreases from the periphery to the center after the correction.

【００９８】修正例として、目尻を通る線に沿って、図
７（ａ）に修正前の明度、図７（ｂ）に修正後の明度を
示す。As a correction example, FIG. 7A shows the lightness before correction and FIG. 7B shows the lightness after correction along a line passing through the outer corner of the eye.

【００９９】彩度についても上記明度の修正方法と同様
に最小彩度の画素の彩度に合わせて補正する。もちろ
ん、自然な雰囲気に仕上がるのであれば、明度だけ補正
する構成としても彩度だけ補正する構成してもよい。な
お、特徴量の補正量をユーザーの好みに合わせて予め設
定しておいてもよく、この場合、ユーザーの好みに合わ
せた特殊な色合いとすることも可能である。The saturation is corrected in accordance with the saturation of the pixel having the minimum saturation in the same manner as in the above-described method of correcting the lightness. Of course, as long as a natural atmosphere is achieved, a configuration that corrects only the brightness or a configuration that corrects only the saturation may be used. The correction amount of the feature amount may be set in advance according to the user's preference, and in this case, it is possible to provide a special color tone according to the user's preference.

【０１００】または、他の修正手法として、修正した赤
目領域の中心から周縁に向かって放射状に階調パターン
を形成し、中心から周縁に向かって濃度が薄くなるよう
にグラデーションパターンを指定された色で付ける。こ
こで、指定された色とは、例えば、赤目になっていない
他の領域の瞳部分から検出された最大濃度値と最小濃度
値や、前記最大濃度値と最小濃度値から調整した最大濃
度値と最小濃度値や、ユーザーにより予め定めた最大濃
度値と最小濃度値等を選択できる。なお、グラデーショ
ンパターンを付与する処理方法は、周知の技術であるた
め、詳細な説明は省略する。Alternatively, as another correction method, a gradation pattern is formed radially from the center of the corrected red-eye region toward the periphery, and the gradation pattern is designated such that the density decreases from the center to the periphery. Attach. Here, the designated color is, for example, a maximum density value and a minimum density value detected from a pupil portion of another area that is not red-eye, or a maximum density value adjusted from the maximum density value and the minimum density value. And a minimum density value, or a maximum density value and a minimum density value predetermined by the user. The processing method for providing a gradation pattern is a well-known technique, and a detailed description thereof will be omitted.

【０１０１】上記式（２）のｄｍｉｎや、グラデーショ
ンパターン制御用の濃度の最大値や最小値を決定する際
に、赤目領域内、目の指定領域内、顔領域内、画像全体
のいずれかを比較領域として切り替えてもよい。When determining dmin in the above equation (2) and the maximum and minimum values of the density for controlling the gradation pattern, any one of the red-eye area, the specified eye area, the face area, and the entire image is determined. It may be switched as a comparison area.

【０１０２】ステップ１１０では、修正した赤目領域内
に部分的な高輝度領域、すなわちハイライト領域を形成
しこれをキャッチライトとする。キャッチライトの位置
は、修正前の赤目領域の最大明度位置とし、その最大明
度位置に基づいて放射状の輝点を形成することにより行
う。In step 110, a partial high-luminance area, that is, a highlight area, is formed in the corrected red-eye area, and this is used as a catch light. The position of the catchlight is determined by setting the maximum lightness position of the red-eye area before the correction, and forming a radial bright spot based on the maximum lightness position.

【０１０３】例えば、赤目領域の画素の中で最小明度の
画素の明度をｄmin 、明度の調整係数をｋ、補正対象と
なる赤目領域のある位置の画素の明度をｙ（ｉ，ｊ）と
したとき、赤目領域内のキャッチライト位置の画素の明
度ｙ’（ｉ，ｊ）は以下の式（３）により算出すること
が挙げられる。For example, among the pixels in the red-eye region, the lightness of the pixel having the minimum lightness is dmin, the lightness adjustment coefficient is k, and the lightness of the pixel at the position of the red-eye region to be corrected is y (i, j). At this time, the brightness y ′ (i, j) of the pixel at the catchlight position in the red-eye area may be calculated by the following equation (3).

【０１０４】 ｙ’（ｉ，ｊ）＝ｄmin ＋ｋ（ｉ，ｊ）×｛ｙ（ｉ，ｊ）−ｄmin ｝…式（３ ） ただし、ｉとｊはキャッチライト内の位置を示してお
り、キャッチライトを構成する画素の明度は中心から放
射状に徐々に低くなるため、例えば、図８に示す表のよ
うに、明度の調整係数ｋを設定し、キャッチライト内の
位置（ｉ，ｊ）に応じて明度の調整係数ｋ（ｉ，ｊ）を
変更する。Y ′ (i, j) = dmin + k (i, j) × {y (i, j) −dmin} (3) where i and j indicate positions in the catchlight, Since the brightness of the pixels constituting the catchlight gradually decreases radially from the center, for example, as shown in the table of FIG. 8, a brightness adjustment coefficient k is set and the position (i, j) in the catchlight is set. The brightness adjustment coefficient k (i, j) is changed accordingly.

【０１０５】なお、修正する赤目領域の画像寸法に対応
させてキャッチライトの寸法及び明度の調整係数を設定
することにより一層自然な雰囲気の瞳画像とすることが
できる。The pupil image having a more natural atmosphere can be obtained by setting the size of the catchlight and the adjustment factor of the brightness in accordance with the image size of the red-eye region to be corrected.

【０１０６】また、本実施形態では、キャッチライト部
分を形成するために、画素がキャッチライトのどの位置
に対応するかに応じて個々の画素の明度を変化させるよ
うにしているが、予めキャッチライトパターンを形成し
てキャッチライト位置に貼りつけるように構成すること
もできる。この場合も寸法の拡大縮小を自由にできるよ
うに設定し、修正する赤目領域の画像寸法に対応させて
キャッチライトの寸法を換えることでより一層自然な雰
囲気の瞳画像とすることができる。もちろん明度につい
ても同様に、自由に明度を設定できるようにすることで
より一層自然な雰囲気の瞳画像とできる。In this embodiment, in order to form a catchlight portion, the brightness of each pixel is changed according to the position of the catchlight in the catchlight. It is also possible to form a pattern and attach it to the catch light position. Also in this case, the pupil image can be made more natural by setting the size so that the size can be freely enlarged and reduced, and changing the size of the catchlight in accordance with the image size of the red-eye region to be corrected. Of course, the pupil image can have a more natural atmosphere if the brightness can be freely set.

【０１０７】図９に、赤目修正を施してキャッチライト
パターンを形成した画像の目尻を通る長手方向の線に沿
った明度のグラフを示す。FIG. 9 shows a graph of the brightness along the longitudinal line passing through the outer corner of the eye of the image in which the catchlight pattern is formed by performing the red-eye correction.

【０１０８】なお、本実施形態では、同じ指定領域につ
いてステップ１０２からステップ１０６までの処理を一
回行うものとしているが、ステップ１０２からステップ
１０６までの処理を複数回繰り返して行う設定とするこ
ともでき、この場合、赤目領域の抽出をより一層精度よ
く抽出することができる。In the present embodiment, the processing from step 102 to step 106 is performed once for the same designated area, but the processing from step 102 to step 106 may be repeated a plurality of times. In this case, the extraction of the red-eye region can be performed with higher accuracy.

【０１０９】なお、本発明は以上述べた構成に限らず、
隣接する分割領域を連結して赤目評価を適用することも
できる。例えば、本来の赤目部分が２分割されている場
合、赤目部分が含まれる領域を連結し１つの領域として
認識することにより、円形度の評価が高まる。その結
果、連結した領域の評価点が、個別の分割領域での評価
点を上回る場合は、連結した領域を赤目領域と判定す
る。Note that the present invention is not limited to the configuration described above.
Red-eye evaluation can also be applied by connecting adjacent divided areas. For example, when the original red-eye portion is divided into two, the region including the red-eye portion is connected and recognized as one region, so that the evaluation of the degree of circularity increases. As a result, if the evaluation points of the connected area exceed the evaluation points of the individual divided areas, the connected area is determined to be a red-eye area.

【０１１０】なお、上記の、赤目抽出、赤目領域修正、
キャッチライト付加等の各処理は独立して実行可能であ
るため、各処理のそれぞれについて他の手法あるいはマ
ニュアル処理に代替えした組み合わせにより赤目修正処
理を行うこともできる。The above-described red-eye extraction, red-eye area correction,
Since the respective processes such as the addition of the catchlight can be executed independently, the red-eye correction process can be performed for each of the processes by a combination of another method or a manual process.

【０１１１】また、抽出した赤目領域に正常な瞳を拡大
縮小して貼り付ける補正処理を行っても良い。この場
合、目を貼り付けた後、さらに修正して全体の感じと合
うようにすると良い。Further, a correction process for enlarging and reducing a normal pupil in the extracted red-eye area and pasting it may be performed. In this case, after pasting the eyes, it is better to make further corrections so as to match the overall feeling.

【０１１２】[0112]

【発明の効果】以上説明したように、請求項１から請求
項３の発明によれば、どのような画像であっても正確に
領域を分割して修正の必要のある領域だけを修正対象領
域として選択できる、という効果を達成する。As described above, according to the first to third aspects of the present invention, in any image, an area is accurately divided and only an area that needs to be corrected is a correction target area. Achieve the effect of being selectable as

【０１１３】また、請求項４及び請求項５の発明によれ
ば、瞳領域だけを正確に選択できる、という効果を達成
する。Further, according to the fourth and fifth aspects of the present invention, the effect that only the pupil region can be accurately selected can be achieved.

【０１１４】さらに、請求項６から請求項２０の発明に
よれば、修正対象領域である瞳領域を正確に修正でき
る、という効果を達成する。Further, according to the inventions of claims 6 to 20, it is possible to achieve an effect that the pupil region which is the correction target region can be accurately corrected.

【０１１５】また、請求項２１の発明によれば、修正さ
れた画像を自然な雰囲気に仕上げることができる、とい
う効果を達成する。Further, according to the twenty-first aspect of the present invention, the effect that the corrected image can be finished in a natural atmosphere can be achieved.

【０１１６】また、請求項２２の発明によれば、赤目補
正処理を精度良く行うことができる、という効果を達成
する。According to the twenty-second aspect of the present invention, the effect that the red-eye correction processing can be performed with high accuracy is achieved.

【図面の簡単な説明】[Brief description of the drawings]

【図１】本発明の実施の形態にかかるデジタルラボシス
テムの概略構成図である。FIG. 1 is a schematic configuration diagram of a digital laboratory system according to an embodiment of the present invention.

【図２】デジタルラボシステムの概観図である。FIG. 2 is a schematic view of a digital laboratory system.

【図３】画像処理部の制御ブロック図である。FIG. 3 is a control block diagram of an image processing unit.

【図４】赤目処理部２２０、２２２における赤目修正処
理の流れを示すフロー図である。FIG. 4 is a flowchart showing a flow of red-eye correction processing in red-eye processing units 220 and 222;

【図５】目尻を通る長手方向の線に沿って算出した場合
の特徴量Ｃのグラフである。FIG. 5 is a graph of a feature amount C when calculated along a longitudinal line passing through the outer corner of the eye.

【図６】特徴量Ｃに基づいて山毎に分割した場合の説明
図である。FIG. 6 is an explanatory diagram in a case where the image is divided for each mountain based on a feature value C;

【図７】（ａ）は、目尻を通る長手方向の線に沿った明
度のグラフであり、（ｂ）は、ａ＝１．３とした式
（２）に基づいて、（ａ）における赤目領域の明度を修
正した状態を示すグラフである。FIG. 7 (a) is a graph of brightness along a longitudinal line passing through the outer corner of the eye, and FIG. 7 (b) is a red-eye image in (a) based on equation (2) where a = 1.3. It is a graph which shows the state which corrected the brightness of the field.

【図８】キャッチライト内の画素の位置と明度の調整係
数との関係を示す図である。FIG. 8 is a diagram illustrating a relationship between a position of a pixel in a catchlight and a brightness adjustment coefficient.

【図９】赤目修正を施してキャッチライトパターンを形
成した画像の目尻を通る長手方向の線に沿った明度のグ
ラフである。FIG. 9 is a graph of lightness along a longitudinal line passing through the outer corner of the eye of an image in which a catchlight pattern is formed by performing red-eye correction.

【図１０】（ａ）は目の正面概略図であり、（ｂ）は目
尻を通る長手方向の線に沿って算出した特徴量Ａのグラ
フであり、（ｃ）は目尻を通る長手方向の線に沿って算
出した特徴量Ｂのグラフである。10A is a schematic front view of an eye, FIG. 10B is a graph of a feature amount A calculated along a longitudinal line passing through the outer corner of the eye, and FIG. It is a graph of the characteristic amount B calculated along the line.

【図１１】オペレータによる処理対象領域の指定方法の
例を示す説明図である。FIG. 11 is an explanatory diagram illustrating an example of a method of specifying a processing target area by an operator.

【図１２】番号割付処理の方法を説明する説明図であ
り、図１２（Ａ）は参照エリアを示し、図１２（Ｂ）は
選択した特徴量Ｄのグラフを示している。FIGS. 12A and 12B are explanatory diagrams for explaining a method of number assignment processing. FIG. 12A shows a reference area, and FIG. 12B shows a graph of a selected feature amount D.

【図１３】図１３（Ａ）は特徴量Ｄの一部を示すグラフ
であり、図１３（Ｂ）〜図１３（Ｄ）は番号割付手順を
示す説明図である。FIG. 13A is a graph showing a part of the feature amount D, and FIGS. 13B to 13D are explanatory diagrams showing a number assignment procedure.

【図１４】番号割付処理の別の方法を説明する説明図で
ある。FIG. 14 is an explanatory diagram illustrating another method of number assignment processing.

【図１５】図１５（Ａ）は、処理対象領域を示し、図１
５（Ｂ）は、図１５（Ａ）の視線に沿った領域の点数を
示すグラフである。FIG. 15A shows a processing target area, and FIG.
FIG. 5B is a graph showing the scores of the region along the line of sight of FIG.

【図１６】図１６（Ａ）は、６つの分割領域それぞれに
つけた第１の点数と第２の点数とを示した説明図であ
り、 図１６（Ｂ）は、６つの分割領域ごとのそれぞれ
の平均点数を示した説明図である。FIG. 16A is an explanatory diagram showing a first score and a second score given to each of the six divided regions, and FIG. 16B is a diagram showing each of the six divided regions; It is explanatory drawing which showed the average score of.

【符号の説明】[Explanation of symbols]

１０ ディジタルラボシステム １４ ラインＣＣＤスキャナ １６ 画像処理部 ６６ 光源部 ６８ 写真フィルム ２００ データ処理部 ２０２ log 変換器 ２０４ プレスキャンメモリ ２０６ ファインスキャンメモリ ２０８ 画像データ処理部 ２１２ プレスキャン処理部 ２１４ 画像データ処理部 ２１８ ファインスキャン処理部 ２２０ 赤目処理部 ２２４ 条件設定部 ２３４ レンズ特性データ供給部 Reference Signs List 10 digital laboratory system 14 line CCD scanner 16 image processing unit 66 light source unit 68 photographic film 200 data processing unit 202 log converter 204 prescan memory 206 fine scan memory 208 image data processing unit 212 prescan processing unit 214 image data processing unit 218 Fine scan processing section 220 Red eye processing section 224 Condition setting section 234 Lens characteristic data supply section

Claims (22)

【特許請求の範囲】[Claims] 【請求項１】 色調不良となった目領域を含む予め指定
した画像領域をｘｙ平面とし、各画素ごとに色相、彩
度、明度のうちのいずれか１つまたは２つ以上の組み合
わせにより画像特徴量を求め、 該特徴量をｚ軸に配置する３次元のｘｙｚ空間を設定
し、ｘｙ平面の広がりに対しｚ軸の値が山状の分布形状
を持つ領域毎にｘｙ平面を領域分割し、 各分割領域のｘｙ平面上での形状情報、位置情報、面積
情報、統計的画像特徴量のうちのいずれか１つまたは２
つ以上の組み合わせにより、瞳の色調不良領域の判別を
行い、色調不良領域と判別された領域を視覚的に正常な
目の画像となるように修正する画像処理方法。An image area specified in advance including an eye area having poor color tone is defined as an xy plane, and image characteristics are determined for each pixel by one or a combination of two or more of hue, saturation, and brightness. A three-dimensional xyz space for arranging the feature amount on the z-axis is set, and the xy plane is divided into regions each having a zigzag distribution shape with respect to the spread of the xy plane, Any one or two of shape information, position information, area information, and statistical image feature amount on the xy plane of each divided region
An image processing method for determining a poor color tone region of a pupil by using at least one combination and correcting an area determined to be a poor color tone region to be a visually normal eye image. 【請求項２】 前記山状の分布形状を持つ領域毎にｘｙ
平面を領域分割する際に、 前記予め指定した画像領域内の各画素毎に、番号割り付
け処理対象の着目画素を中心とするＮ行×Ｍ列（ただ
し、Ｎ、Ｍは１以上）画素分の参照領域内で、着目画素
の前記特徴量の値が最大である場合はこの着目画素を山
の頂点として新規番号を割り付け、着目画素の前記特徴
量の値が最大でなく、かつ、前記参照領域内の着目画素
以外の最大の特徴量の値を持つ画素が割り付け番号を持
つ場合は、該割り付け番号を着目画素に付与する番号割
り付け処理を、前記予め指定した画像領域内の全画素に
ついていずれかの山の頂点番号が付与されるまで繰り返
し、 同一番号を持つ画素の集合を１つの領域とすることによ
り画像領域分割を行う請求項１に記載の画像処理方法。2. An xy for each region having the mountain-like distribution shape.
When the plane is divided into regions, for each pixel in the previously specified image region, N rows × M columns (where N and M are 1 or more) pixels centering on the target pixel to be numbered In the reference region, when the value of the feature amount of the pixel of interest is the maximum, a new number is assigned with this pixel of interest as the peak of the mountain, and the value of the feature amount of the pixel of interest is not the maximum and the reference region If the pixel having the largest feature value other than the pixel of interest has an allocation number, the number allocation process of assigning the allocation number to the pixel of interest may be performed on any of the pixels within the previously designated image area. The image processing method according to claim 1, wherein the image area division is performed by repeating a process until a vertex number of the mountain is assigned, and setting a set of pixels having the same number as one area. 【請求項３】 前記山状の分布形状を持つ領域毎にｘｙ
平面を領域分割する際に、 前記予め指定した画像領域内の各画素において番号が未
決定の画素を着目画素とし、該着目画素を中心とするＮ
行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域
内に着目画素よりも大きい前記特徴量の値を有する画素
がある場合、着目画素の位置を記憶し、前記特徴量の値
が大きい画素を新規着目点とする処理を繰り返し、 前記新規着目点の特徴量の値が参照領域内で最大である
場合に、前記新規着目点の番号が未決定であればこの新
規着目点を山の頂点として新規番号を割り付け、前記新
規着目点に番号が既に割り付けられていればその番号を
前記記憶した座標の全画素に付与する番号割付処理を、
前記予め指定した画像領域内の全画素についていずれか
の山の頂点番号が付与されるまで繰り返し、 同一番号を持つ画素の集合を１つの領域とすることによ
り画像領域分割を行う請求項１又は請求項２に記載の画
像処理方法。3. An xy for each region having the mountain-like distribution shape.
When the plane is divided into regions, a pixel whose number is undetermined in each pixel in the previously designated image region is set as a pixel of interest, and N
When there is a pixel having a value of the feature amount larger than the pixel of interest in a reference area for rows × M columns (where N and M are 1 or more), the position of the pixel of interest is stored, and The process of setting a pixel having a large value as a new point of interest is repeated. If the value of the feature value of the new point of interest is the largest in the reference area, and if the number of the new point of interest is undecided, this new point of interest is Assigning a new number as the peak of the mountain, and if a number has already been assigned to the new point of interest, a number assignment process of assigning that number to all pixels of the stored coordinates,
2. The image area division is performed by repeating until all the pixels in the previously specified image area are assigned a vertex number of any one of the peaks, and using a set of pixels having the same number as one area. Item 3. The image processing method according to Item 2. 【請求項４】 前記瞳の色調不良領域の判別において、
各分割領域ごとに、 円形度特徴量を用いてより円形に近い程大となる形状情
報としての第１の点数、 分割領域の重心が指定領域の中心位置に近い程大となる
位置情報としての第２の点数、 分割領域の面積と指定領域の面積との比率が所定範囲か
ら外れる程小となる面積情報としての第３の点数、 色相、彩度、明度のうちのいずれか１つ以上における平
均値、最大値、最小値、コントラスト、ヒストグラム形
状のうちのいずれか１つ以上を用い、統計的な色調不良
領域情報との比較より、色調不良度合いを示す統計的画
像特徴量としての第４の点数、 及び、予め指定された瞳の中心位置と両目の間隔とに応
じて求められ、瞳の中心から外れる程小となる位置情報
としての第５の点数、 の５つの点数のうちの少なくとも１つの点数を求め、最
も点数の高いものを色調不良領域と判定する請求項１か
ら請求項３のいずれか１項に記載の画像処理方法。4. In the determination of the pupil poor color tone area,
For each of the divided regions, a first point as shape information that becomes larger as the shape becomes closer to a circle using the circularity feature amount, and position information as position information that becomes larger as the center of gravity of the divided region is closer to the center position of the designated region. The second score, the third score, the hue, the saturation, and / or the lightness of one or more of the third score as the area information that becomes smaller as the ratio of the area of the divided area to the area of the designated area is out of the predetermined range. Using one or more of the average value, the maximum value, the minimum value, the contrast, and the histogram shape, comparing with the statistically poor color tone area information, the fourth value as the statistical image feature amount indicating the degree of poor color tone. And a fifth score as position information which is obtained in accordance with a predetermined center position of the pupil and an interval between the eyes and becomes smaller as the distance from the center of the pupil decreases, at least one of the following five scores: Find one score, The image processing method according to any one of claims 3 having high scores from the color determining claims 1 defective area. 【請求項５】 前記いずれか２つ以上の点数の平均値ま
たは加重平均点数により、上位Ｌ（ただし、Ｌは１以上
の整数）個の領域を色調不良領域と判定する請求項４に
記載の画像処理方法。5. The high-order L (where L is an integer of 1 or more) area is determined to be a poor color tone area based on an average value or a weighted average score of any two or more points. Image processing method. 【請求項６】 色調不良となった目領域を含む予め指定
した画像領域をｘｙ平面とし、各画素ごとに色相、彩
度、明度のうちのいずれか１つまたは２つ以上の組み合
わせにより画像特徴量を求め、 該特徴量をｚ軸に配置する３次元のｘｙｚ空間を設定
し、ｘｙ平面の広がりに対しｚ軸の値が山状の分布形状
を持つ領域毎にｘｙ平面を領域分割し、 各分割領域のｘｙ平面上での形状情報、位置情報、面積
情報、統計的画像特徴量のうちのいずれか１つまたは２
つ以上の組み合わせにより、瞳の色調不良領域の判別を
行い、色調不良領域と判別された瞳の色調不良領域の周
辺部から中央部にかけて明度と彩度とのいずれか１つ又
は両方が徐々に低下するようにグラデーションをかける
処理を含む修正を行って、前記瞳の色調不良領域を視覚
的に正常な目の画像となるように修正する画像処理方
法。6. An image area specified in advance including an eye area having poor color tone is defined as an xy plane, and image characteristics are determined for each pixel by one or a combination of two or more of hue, saturation, and brightness. A three-dimensional xyz space for arranging the feature amount on the z-axis is set, and the xy plane is divided into regions each having a zigzag distribution shape with respect to the spread of the xy plane, Any one or two of shape information, position information, area information, and statistical image feature amount on the xy plane of each divided region
By the combination of the two or more, the poor color tone area of the pupil is determined, and one or both of the brightness and the saturation are gradually reduced from the peripheral part to the central part of the poor color tone area of the pupil determined as the poor color tone area. An image processing method for performing a correction including a process of applying a gradation so as to lower the pupil, and correcting the poor color tone region of the pupil so that the image becomes a visually normal eye image. 【請求項７】 前記山状の分布形状を持つ領域毎にｘｙ
平面を領域分割する際に、 前記予め指定した画像領域内の各画素毎に、番号割り付
け処理対象の着目画素を中心とするＮ行×Ｍ列（ただ
し、Ｎ、Ｍは１以上）画素分の参照領域内で、着目画素
の前記特徴量の値が最大である場合はこの着目画素を山
の頂点として新規番号を割り付け、着目画素の前記特徴
量の値が最大でなく、かつ、前記参照領域内の着目画素
以外の最大の特徴量の値を持つ画素が割り付け番号を持
つ場合は、該割り付け番号を着目画素に付与する番号割
り付け処理を、前記予め指定した画像領域内の全画素に
ついていずれかの山の頂点番号が付与されるまで繰り返
し、 同一番号を持つ画素の集合を１つの領域とすることによ
り画像領域分割を行う請求項６に記載の画像処理方法。7. An xy for each region having the mountain-shaped distribution shape.
When the plane is divided into regions, for each pixel in the previously specified image region, N rows × M columns (where N and M are 1 or more) pixels centering on the target pixel to be numbered In the reference region, when the value of the feature amount of the pixel of interest is the maximum, a new number is assigned with this pixel of interest as the peak of the mountain, and the value of the feature amount of the pixel of interest is not the maximum and the reference region If the pixel having the largest feature value other than the pixel of interest has an allocation number, the number allocation process of assigning the allocation number to the pixel of interest may be performed on any of the pixels within the previously designated image area. 7. The image processing method according to claim 6, wherein the image region division is performed by repeating a process until a vertex number of the mountain is assigned, and setting a set of pixels having the same number as one region. 【請求項８】 前記山状の分布形状を持つ領域毎にｘｙ
平面を領域分割する際に、 前記予め指定した画像領域内の各画素において番号が未
決定の画素を着目画素とし、該着目画素を中心とするＮ
行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域
内に着目画素よりも大きい前記特徴量の値を有する画素
がある場合、着目画素の位置を記憶し、前記特徴量の値
が大きい画素を新規着目点とする処理を繰り返し、 前記新規着目点の特徴量の値が参照領域内で最大である
場合に、前記新規着目点の番号が未決定であればこの新
規着目点を山の頂点として新規番号を割り付け、前記新
規着目点に番号が既に割り付けられていればその番号を
前記記憶した座標の全画素に付与する番号割付処理を、
前記予め指定した画像領域内の全画素についていずれか
の山の頂点番号が付与されるまで繰り返し、 同一番号を持つ画素の集合を１つの領域とすることによ
り画像領域分割を行う請求項６又は請求項７に記載の画
像処理方法。8. An xy distribution for each region having the mountain-shaped distribution shape.
When the plane is divided into regions, a pixel whose number is undetermined in each pixel in the previously designated image region is set as a pixel of interest, and N
When there is a pixel having a value of the feature amount larger than the pixel of interest in a reference area for rows × M columns (where N and M are 1 or more), the position of the pixel of interest is stored, and The process of setting a pixel having a large value as a new point of interest is repeated. If the value of the feature value of the new point of interest is the largest in the reference area, and if the number of the new point of interest is undecided, this new point of interest is Assigning a new number as the peak of the mountain, and if a number has already been assigned to the new point of interest, a number assignment process of assigning that number to all pixels of the stored coordinates,
7. The image area division is performed by repeating until all the pixels in the image area specified in advance are assigned a vertex number of any one of the peaks, and using a set of pixels having the same number as one area. Item 8. The image processing method according to Item 7. 【請求項９】 前記瞳の色調不良領域の判別において、
各分割領域ごとに、 円形度特徴量を用いてより円形に近い程大となる形状情
報としての第１の点数、 分割領域の重心が指定領域の中心位置に近い程大となる
位置情報としての第２の点数、 分割領域の面積と指定領域の面積との比率が所定範囲か
ら外れる程小となる面積情報としての第３の点数、 色相、彩度、明度のうちのいずれか１つ以上における平
均値、最大値、最小値、コントラスト、ヒストグラム形
状のうちのいずれか１つ以上を用い、統計的な色調不良
領域情報との比較より、色調不良度合いを示す統計的画
像特徴量としての第４の点数、 及び、予め指定された瞳の中心位置と両目の間隔とに応
じて求められ、瞳の中心から外れる程小となる位置情報
としての第５の点数、 の５つの点数のうちの少なくとも１つの点数を求め、最
も点数の高いものを色調不良領域と判定する請求項６か
ら請求項８のいずれか１項に記載の画像処理方法。9. In the determination of the poor color tone region of the pupil,
For each of the divided regions, a first point as shape information that becomes larger as the shape becomes closer to a circle using the circularity feature amount, and position information as position information that becomes larger as the center of gravity of the divided region is closer to the center position of the designated region. The second score, the third score, the hue, the saturation, and / or the lightness of one or more of the third score as the area information that becomes smaller as the ratio of the area of the divided area to the area of the designated area is out of the predetermined range. Using one or more of the average value, the maximum value, the minimum value, the contrast, and the histogram shape, comparing with the statistically poor color tone area information, the fourth value as the statistical image feature amount indicating the degree of poor color tone. And a fifth score as position information which is obtained in accordance with a predetermined center position of the pupil and an interval between the eyes and becomes smaller as the distance from the center of the pupil decreases, at least one of the following five scores: Find one score, The image processing method according to any one of claims 8 having a high number of claims 6 determines that the poor hue quality region. 【請求項１０】 前記いずれか２つ以上の点数の平均値
または加重平均点数により、上位Ｌ（ただし、Ｌは１以
上の整数）個の領域を色調不良領域と判定する請求項９
に記載の画像処理方法。10. A high-quality L (where L is an integer of 1 or more) area is determined to be a poor color tone area based on an average value or a weighted average score of any two or more points.
The image processing method according to 1. 【請求項１１】 色調不良となった目領域を含む予め指
定した画像領域をｘｙ平面とし、各画素ごとに色相、彩
度、明度のうちのいずれか１つまたは２つ以上の組み合
わせにより画像特徴量を求め、 該特徴量をｚ軸に配置する３次元のｘｙｚ空間を設定
し、ｘｙ平面の広がりに対しｚ軸の値が山状の分布形状
を持つ領域毎にｘｙ平面を領域分割し、 各分割領域のｘｙ平面上での形状情報、位置情報、面積
情報、統計的画像特徴量のうちのいずれか１つまたは２
つ以上の組み合わせにより、瞳の色調不良領域の判別を
行い、色調不良領域と判別された瞳の色調不良領域の最
大明度位置をキャッチライト位置と判別し、該キャッチ
ライト位置にキャッチライトパターンを形成する処理を
含む修正を行って、前記瞳の色調不良領域を視覚的に正
常な目の画像となるように修正する画像処理方法。11. A pre-designated image area including an eye area having poor color tone is defined as an xy plane, and image characteristics are determined for each pixel by one or a combination of two or more of hue, saturation, and brightness. A three-dimensional xyz space for arranging the feature amount on the z-axis is set, and the xy plane is divided into regions each having a zigzag distribution shape with respect to the spread of the xy plane, Any one or two of shape information, position information, area information, and statistical image feature amount on the xy plane of each divided region
By the combination of two or more, the poor color tone area of the pupil is determined, the maximum lightness position of the poor color tone area of the pupil determined as the poor color tone area is determined as the catch light position, and a catch light pattern is formed at the catch light position. An image processing method for performing a correction including a correction process so as to correct the poor color tone area of the pupil so that the image becomes a visually normal eye image. 【請求項１２】 前記山状の分布形状を持つ領域毎にｘ
ｙ平面を領域分割する際に、 前記予め指定した画像領域内の各画素毎に、番号割り付
け処理対象の着目画素を中心とするＮ行×Ｍ列（ただ
し、Ｎ、Ｍは１以上）画素分の参照領域内で、着目画素
の前記特徴量の値が最大である場合はこの着目画素を山
の頂点として新規番号を割り付け、着目画素の前記特徴
量の値が最大でなく、かつ、前記参照領域内の着目画素
以外の最大の特徴量の値を持つ画素が割り付け番号を持
つ場合は、該割り付け番号を着目画素に付与する番号割
り付け処理を、前記予め指定した画像領域内の全画素に
ついていずれかの山の頂点番号が付与されるまで繰り返
し、 同一番号を持つ画素の集合を１つの領域とすることによ
り画像領域分割を行う請求項１１に記載の画像処理方
法。12. x is set for each region having the mountain-shaped distribution shape.
When dividing the y-plane into regions, for each pixel in the image region specified in advance, N rows × M columns (where N and M are 1 or more) pixels centered on the target pixel to be numbered. If the value of the feature value of the pixel of interest is the largest in the reference region of the target pixel, a new number is assigned with this pixel of interest as the peak of the mountain, and the value of the feature value of the pixel of interest is not the maximum, and If the pixel having the maximum feature value other than the pixel of interest in the region has an allocation number, the number allocation process of assigning the allocation number to the pixel of interest is performed for all pixels in the previously specified image region. The image processing method according to claim 11, wherein the image area division is performed by repeating the process until a vertex number of the crest is assigned, and setting a set of pixels having the same number as one area. 【請求項１３】 前記山状の分布形状を持つ領域毎にｘ
ｙ平面を領域分割する際に、 前記予め指定した画像領域内の各画素において番号が未
決定の画素を着目画素とし、該着目画素を中心とするＮ
行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域
内に着目画素よりも大きい前記特徴量の値を有する画素
がある場合、着目画素の位置を記憶し、前記特徴量の値
が大きい画素を新規着目点とする処理を繰り返し、 前記新規着目点の特徴量の値が参照領域内で最大である
場合に、前記新規着目点の番号が未決定であればこの新
規着目点を山の頂点として新規番号を割り付け、前記新
規着目点に番号が既に割り付けられていればその番号を
前記記憶した座標の全画素に付与する番号割付処理を、
前記予め指定した画像領域内の全画素についていずれか
の山の頂点番号が付与されるまで繰り返し、 同一番号を持つ画素の集合を１つの領域とすることによ
り画像領域分割を行う請求項１１又は請求項１２に記載
の画像処理方法。13. An x value for each region having the mountain-shaped distribution shape.
When the y plane is divided into regions, a pixel whose number is undetermined is set as a pixel of interest in each pixel in the image region specified in advance, and N
When there is a pixel having a value of the feature amount larger than the pixel of interest in a reference area for rows × M columns (where N and M are 1 or more), the position of the pixel of interest is stored, and The process of setting a pixel having a large value as a new point of interest is repeated. If the value of the feature value of the new point of interest is the largest in the reference area, and if the number of the new point of interest is undecided, this new point of interest is Assigning a new number as the peak of the mountain, and if a number has already been assigned to the new point of interest, a number assignment process of assigning that number to all pixels of the stored coordinates,
12. The image area division is performed by repeating until all the pixels in the image area specified in advance are assigned a vertex number of any one of the peaks, and using a set of pixels having the same number as one area. Item 13. The image processing method according to Item 12. 【請求項１４】 前記瞳の色調不良領域の判別におい
て、各分割領域ごとに、 円形度特徴量を用いてより円形に近い程大となる形状情
報としての第１の点数、 分割領域の重心が指定領域の中心位置に近い程大となる
位置情報としての第２の点数、 分割領域の面積と指定領域の面積との比率が所定範囲か
ら外れる程小となる面積情報としての第３の点数、 色相、彩度、明度のうちのいずれか１つ以上における平
均値、最大値、最小値、コントラスト、ヒストグラム形
状のうちのいずれか１つ以上を用い、統計的な色調不良
領域情報との比較より、色調不良度合いを示す統計的画
像特徴量としての第４の点数、 及び、予め指定された瞳の中心位置と両目の間隔とに応
じて求められ、瞳の中心から外れる程小となる位置情報
としての第５の点数、 の５つの点数のうちの少なくとも１つの点数を求め、最
も点数の高いものを色調不良領域と判定する請求項１１
から請求項１３のいずれか１項に記載の画像処理方法。14. In the determination of the pupil poor color tone region, a first score as shape information that becomes larger as the shape becomes closer to a circle by using a circularity feature amount and a center of gravity of the divided region are determined for each divided region. A second score as position information that increases as the position is closer to the center position of the designated region; a third score as area information that decreases as the ratio of the area of the divided region to the area of the designated region deviates from a predetermined range; Using at least one of the average value, maximum value, minimum value, contrast, and histogram shape in one or more of hue, saturation, and lightness, and comparing with statistically poor color tone area information , A fourth score as a statistical image feature quantity indicating the degree of poor color tone, and position information obtained in accordance with a predetermined center position of the pupil and an interval between the eyes, and being smaller as the distance from the center of the pupil is smaller. A fifth score as At least one of the five points is determined, and the point with the highest point is determined to be a poor color tone area.
The image processing method according to any one of claims 1 to 13. 【請求項１５】 前記いずれか２つ以上の点数の平均値
または加重平均点数により、上位Ｌ（ただし、Ｌは１以
上の整数）個の領域を色調不良領域と判定する請求項１
４に記載の画像処理方法。15. An L-order area (where L is an integer of 1 or more) is determined as a poor color tone area based on an average value or a weighted average score of any two or more points.
5. The image processing method according to 4. 【請求項１６】 色調不良となった目領域を含む予め指
定した画像領域をｘｙ平面とし、各画素ごとに色相、彩
度、明度のうちのいずれか１つまたは２つ以上の組み合
わせにより画像特徴量を求め、 該特徴量をｚ軸に配置する３次元のｘｙｚ空間を設定
し、ｘｙ平面の広がりに対しｚ軸の値が山状の分布形状
を持つ領域毎にｘｙ平面を領域分割し、 各分割領域のｘｙ平面上での形状情報、位置情報、面積
情報、統計的画像特徴量のうちのいずれか１つまたは２
つ以上の組み合わせにより、瞳の色調不良領域の判別を
行い、色調不良領域と判別された瞳領域のサイズに合う
ように正常な瞳領域から切り出した色調正常の瞳を拡大
縮小後、前記色調不良領域と判別された瞳領域に貼り込
む処理を含む修正を行って、前記瞳の色調不良領域を視
覚的に正常な目の画像となるように修正する画像処理方
法。16. An image area specified in advance including an eye area having poor color tone is defined as an xy plane, and image characteristics are determined for each pixel by one or a combination of two or more of hue, saturation, and brightness. A three-dimensional xyz space for arranging the feature amount on the z-axis is set, and the xy plane is divided into regions each having a zigzag distribution shape with respect to the spread of the xy plane, Any one or two of shape information, position information, area information, and statistical image feature amount on the xy plane of each divided region
In accordance with one or more combinations, a poor pupil color tone area is determined, and a normal tone pupil cut out from a normal pupil area to match the size of the pupil area determined to be the poor color tone area is enlarged and reduced. An image processing method for performing correction including a process of pasting into a pupil region determined to be a region, and correcting the poorly-colored pupil region to be a visually normal eye image. 【請求項１７】 前記山状の分布形状を持つ領域毎にｘ
ｙ平面を領域分割する際に、 前記予め指定した画像領域内の各画素毎に、番号割り付
け処理対象の着目画素を中心とするＮ行×Ｍ列（ただ
し、Ｎ、Ｍは１以上）画素分の参照領域内で、着目画素
の前記特徴量の値が最大である場合はこの着目画素を山
の頂点として新規番号を割り付け、着目画素の前記特徴
量の値が最大でなく、かつ、前記参照領域内の着目画素
以外の最大の特徴量の値を持つ画素が割り付け番号を持
つ場合は、該割り付け番号を着目画素に付与する番号割
り付け処理を、前記予め指定した画像領域内の全画素に
ついていずれかの山の頂点番号が付与されるまで繰り返
し、 同一番号を持つ画素の集合を１つの領域とすることによ
り画像領域分割を行う請求項１６に記載の画像処理方
法。17. x is set for each region having the mountain-shaped distribution shape.
When dividing the y-plane into regions, for each pixel in the image region specified in advance, N rows × M columns (where N and M are 1 or more) pixels centered on the target pixel to be numbered. If the value of the feature value of the pixel of interest is the largest in the reference region of the target pixel, a new number is assigned with this pixel of interest as the peak of the mountain, and the value of the feature value of the pixel of interest is not the maximum, and If the pixel having the maximum feature value other than the pixel of interest in the region has an allocation number, the number allocation process of assigning the allocation number to the pixel of interest is performed for all pixels in the previously specified image region. 17. The image processing method according to claim 16, wherein the image area division is performed by repeatedly performing until a vertex number of the mountain is assigned, and setting a set of pixels having the same number as one area. 【請求項１８】 前記山状の分布形状を持つ領域毎にｘ
ｙ平面を領域分割する際に、 前記予め指定した画像領域内の各画素において番号が未
決定の画素を着目画素とし、該着目画素を中心とするＮ
行×Ｍ列（ただし、Ｎ、Ｍは１以上）画素分の参照領域
内に着目画素よりも大きい前記特徴量の値を有する画素
がある場合、着目画素の位置を記憶し、前記特徴量の値
が大きい画素を新規着目点とする処理を繰り返し、 前記新規着目点の特徴量の値が参照領域内で最大である
場合に、前記新規着目点の番号が未決定であればこの新
規着目点を山の頂点として新規番号を割り付け、前記新
規着目点に番号が既に割り付けられていればその番号を
前記記憶した座標の全画素に付与する番号割付処理を、
前記予め指定した画像領域内の全画素についていずれか
の山の頂点番号が付与されるまで繰り返し、 同一番号を持つ画素の集合を１つの領域とすることによ
り画像領域分割を行う請求項１６又は請求項１７に記載
の画像処理方法。18. Each of the regions having the mountain-shaped distribution shape has x
When the y plane is divided into regions, a pixel whose number is undetermined is set as a pixel of interest in each pixel in the image region specified in advance, and N
When there is a pixel having a value of the feature amount larger than the pixel of interest in a reference area for rows × M columns (where N and M are 1 or more), the position of the pixel of interest is stored, and The process of setting a pixel having a large value as a new point of interest is repeated. If the value of the feature value of the new point of interest is the largest in the reference area, and if the number of the new point of interest is undecided, this new point of interest is Assigning a new number as the peak of the mountain, and if a number has already been assigned to the new point of interest, a number assignment process of assigning that number to all pixels of the stored coordinates,
17. The image region division is performed by repeating until all the pixels in the previously designated image region are assigned a vertex number of any one of the peaks, and using a set of pixels having the same number as one region. Item 18. The image processing method according to Item 17. 【請求項１９】 前記瞳の色調不良領域の判別におい
て、各分割領域ごとに、 円形度特徴量を用いてより円形に近い程大となる形状情
報としての第１の点数、 分割領域の重心が指定領域の中心位置に近い程大となる
位置情報としての第２の点数、 分割領域の面積と指定領域の面積との比率が所定範囲か
ら外れる程小となる面積情報としての第３の点数、 色相、彩度、明度のうちのいずれか１つ以上における平
均値、最大値、最小値、コントラスト、ヒストグラム形
状のうちのいずれか１つ以上を用い、統計的な色調不良
領域情報との比較より、色調不良度合いを示す統計的画
像特徴量としての第４の点数、 及び、予め指定された瞳の中心位置と両目の間隔とに応
じて求められ、瞳の中心から外れる程小となる位置情報
としての第５の点数、 の５つの点数のうちの少なくとも１つの点数を求め、最
も点数の高いものを色調不良領域と判定する請求項１６
から請求項１８のいずれか１項に記載の画像処理方法。19. In the determination of a poor pupil color tone region, a first score and a center of gravity of a divided region as shape information that becomes larger as the shape becomes closer to a circle by using a circularity feature amount are determined for each divided region. A second score as position information that increases as the position is closer to the center position of the designated region; a third score as area information that decreases as the ratio of the area of the divided region to the area of the designated region deviates from a predetermined range; Using at least one of the average value, maximum value, minimum value, contrast, and histogram shape in one or more of hue, saturation, and lightness, and comparing with statistically poor color tone area information , A fourth score as a statistical image feature quantity indicating the degree of poor color tone, and position information obtained in accordance with a predetermined center position of the pupil and an interval between the eyes, and being smaller as the distance from the center of the pupil is smaller. A fifth score as 17. At least one of the five points is determined, and the one with the highest point is determined as a poor color tone area.
The image processing method according to any one of claims 1 to 18. 【請求項２０】 前記いずれか２つ以上の点数の平均値
または加重平均点数により、上位Ｌ（ただし、Ｌは１以
上の整数）個の領域を色調不良領域と判定する請求項１
９に記載の画像処理方法。20. A high-order L (where L is an integer of 1 or more) area is determined to be a poor color tone area based on an average value or a weighted average score of any two or more points.
10. The image processing method according to 9. 【請求項２１】 修正した瞳部分を含む目の画像と、修
正の不要な目の画像とが同じ雰囲気となるように、或い
は、両目とも色調不良を修正した場合において両目の画
像の雰囲気が揃うようにさらに修正する請求項１から請
求項２０のいずれか１項に記載の画像処理方法。21. The image of the eye including the corrected pupil portion and the image of the eye that does not need to be corrected have the same atmosphere, or the atmosphere of the images of both eyes is uniform when both eyes have corrected poor color tone. The image processing method according to any one of claims 1 to 20, wherein the image processing method is further modified as follows. 【請求項２２】 前記色調不良の目領域を含む指定領域
の指定回数に応じて、画像の領域分割手法または領域分
割に用いる特徴量を変更し、 あるいは、色調不良領域判定に用いる特徴量の種類また
は特徴量の計算方法または判定基準を変更し、 あるいは、色調不良領域の修正方法を変更する請求項１
から請求項２１のいずれか１項に記載の画像処理方法。22. An image area dividing method or a feature amount used for the area division is changed according to the designated number of times of the designated area including the poorly shaded eye area. 2. The method according to claim 1, further comprising: changing a calculation method or a criterion of the characteristic amount;
The image processing method according to any one of claims 1 to 21.