JP2000076427A - Image processing method - Google Patents
Image processing methodInfo
- Publication number
- JP2000076427A JP2000076427A JP11144385A JP14438599A JP2000076427A JP 2000076427 A JP2000076427 A JP 2000076427A JP 11144385 A JP11144385 A JP 11144385A JP 14438599 A JP14438599 A JP 14438599A JP 2000076427 A JP2000076427 A JP 2000076427A
- Authority
- JP
- Japan
- Prior art keywords
- area
- pixel
- region
- image
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Control Of Exposure In Printing And Copying (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
【0001】[0001]
【発明の属する技術分野】本発明は、画像処理方法に関
し、特に、ディジタル画像内の被写体の瞳の色調不良を
検出して修正する画像処理方法に関する。[0001] 1. Field of the Invention [0002] The present invention relates to an image processing method, and more particularly, to an image processing method for detecting and correcting poor color tone of a subject's pupil in a digital image.
【0002】[0002]
【従来の技術】従来より、撮影中の光の反射状態により
被写体が実際とは異なる色の画像として写る場合が多々
あり、この赤目はあまりにも不自然で見栄えが悪いため
画像処理により自然に見えるように修正することがなさ
れている。2. Description of the Related Art Conventionally, a subject often appears as an image of a color different from the actual color due to the reflection state of light during photographing. This red eye is too unnatural and has a poor appearance, so that it appears natural by image processing. A fix has been made so that.
【0003】例えば、ストロボで人物を正面から撮影す
ると、瞳孔が真っ赤又は金色に写るいわゆる赤目現象が
生じる場合がある。この赤目現象は、暗い場所で瞳孔が
開いた状態の目に対してストロボの光が正面から入射す
ることによって、ストロボの光が正反射され、この状態
が画像に写り込むために起こる現象であり、瞳が赤く写
る赤目と瞳が金色に写る金目とがある(以後、両方を含
めて赤目と称す。)。For example, when a person is photographed from the front with a strobe, a so-called red-eye phenomenon may occur in which the pupils appear bright red or gold. This red-eye phenomenon is a phenomenon that occurs when light from the strobe enters the eye with the pupil open in a dark place from the front, the light from the strobe is specularly reflected, and this state is reflected in the image. There are red eyes whose eyes appear red and gold eyes whose eyes appear golden (hereinafter, both eyes are referred to as red eyes).
【0004】このような赤目は、写り栄えが悪いため、
従来よりこの赤目を修正するための様々な画像処理方法
が提案されている。例えば、特開平7−72537号公
報では、赤目修正対象となる目の周囲を領域指定して、
この領域内で彩度、輝度、色相における閾値処理を行
い、対象となる画素が予め定めた閾値内であれば赤目と
判断して修正する方法が挙げられている。また、特開平
9−261580号公報では、エッジに囲まれる領域内
の色情報と色彩情報とに基づいて瞳候補領域を選択し、
選択されたすべての瞳候補領域内の色調不良画素を修正
することにより赤目修正を行う方法が挙げられている。[0004] Such red eyes have poor appearance,
Conventionally, various image processing methods for correcting this red eye have been proposed. For example, in Japanese Patent Application Laid-Open No. 7-72537, the area around the eye to be corrected is specified.
There is a method in which threshold processing for saturation, luminance, and hue is performed in this area, and if the target pixel is within a predetermined threshold, it is determined to be red-eye and corrected. Also, in Japanese Patent Application Laid-Open No. 9-261580, a pupil candidate area is selected based on color information and color information in an area surrounded by an edge,
There is a method of correcting red-eye by correcting defective color tone pixels in all selected pupil candidate regions.
【0005】[0005]
【発明が解決しようとする課題】しかしながら、上述し
た特開平7−72537号公報や特開平9−26158
0号公報等の従来の方法では、彩度、輝度、色相におけ
る閾値処理により赤目領域を判別して修正しており、赤
目の彩度、輝度、色相は幅広いため、多数のサンプルに
おいては誤抽出や抽出漏れが起こることは避けられな
い。また、例えば、肌色部分も瞳の赤目処理と共に黒く
修正され、結果として違和感のある画像となる恐れもあ
る。However, the above-mentioned Japanese Patent Application Laid-Open No. 7-72537 and Japanese Patent Application Laid-Open No. 9-26158
In the conventional method such as the publication No. 0, the red-eye area is determined and corrected by threshold processing on saturation, luminance, and hue. Since the saturation, luminance, and hue of red-eye are wide, erroneous extraction is performed on a large number of samples. It is inevitable that extraction and omission will occur. Further, for example, the skin color portion may be corrected to be black with the red-eye processing of the pupil, resulting in an unnatural image.
【0006】また、特開平9−261580号公報等の
ように画像のエッジを抽出する場合では、一般に、画像
のエッジはかなり複雑であるため、過剰分割や、領域分
割ミスが発生する恐れもある。In the case of extracting an edge of an image as disclosed in Japanese Patent Application Laid-Open No. 9-261580, the edge of the image is generally quite complicated, so that there is a possibility that an excessive division or an area division mistake may occur. .
【0007】すなわち、前者の方法では、領域ごとに区
切らずに色の閾値のみで赤目かどうかを判別するため、
修正の必要のない領域が修正の必要な領域とともに修正
対象領域として検出されやすく、後者の方法では、領域
の分割が正確に行えないので修正対象領域である瞳領域
だけを修正するのが難しいという問題がある。That is, in the former method, it is determined whether or not red-eye is present only by a color threshold without dividing each region.
Areas that do not need to be corrected are likely to be detected as areas to be corrected along with areas that need to be corrected.In the latter method, it is difficult to correct only the pupil area, which is the area to be corrected, because the area cannot be accurately divided. There's a problem.
【0008】そこで、本発明は、どのような画像であっ
ても正確に領域を分割して修正の必要のある領域だけを
修正対象領域として選択できる画像処理方法を提供する
ことを第1の目的とする。また、瞳領域だけを正確に選
択できる画像処理方法を提供することを第2の目的とす
る。さらに、修正対象領域である瞳領域を正確に修正可
能な画像処理方法を提供することを第3の目的とする。
また、修正された画像を自然な雰囲気に仕上げることが
可能な画像処理方法を提供することを第4の目的とす
る。Accordingly, it is a first object of the present invention to provide an image processing method capable of accurately dividing an area of any image and selecting only an area requiring correction as a correction target area. And It is a second object of the present invention to provide an image processing method capable of accurately selecting only a pupil region. It is a third object of the present invention to provide an image processing method capable of accurately correcting a pupil region that is a correction target region.
It is a fourth object of the present invention to provide an image processing method capable of finishing a corrected image in a natural atmosphere.
【0009】[0009]
【課題を解決するための手段】上記第1の目的を達成す
るために、色調不良となった目領域を含む予め指定した
画像領域をxy平面とし、各画素ごとに色相、彩度、明
度のうちのいずれか1つまたは2つ以上の組み合わせに
より画像特徴量を求め、該特徴量をz軸に配置する3次
元のxyz空間を設定し、xy平面の広がりに対しz軸
の値が山状の分布形状を持つ領域毎にxy平面を領域分
割し、各分割領域のxy平面上での形状情報、位置情
報、面積情報、統計的画像特徴量のうちのいずれか1つ
または2つ以上の組み合わせにより、瞳の色調不良領域
の判別を行い、色調不良領域と判別された領域を視覚的
に正常な目の画像となるように修正する。In order to achieve the first object, a predetermined image area including an eye area having a poor color tone is defined as an xy plane, and the hue, saturation, and brightness of each pixel are determined. An image feature amount is obtained by one or a combination of two or more of them, and a three-dimensional xyz space in which the feature amount is arranged on the z-axis is set. The xy plane is divided into regions each having the distribution shape of, and any one or two or more of shape information, position information, area information, and a statistical image feature amount of each divided region on the xy plane are obtained. Based on the combination, a poor color tone region of the pupil is determined, and the region determined as the poor color tone region is corrected so as to be a visually normal eye image.
【0010】すなわち、本発明は、キャッチライト部分
を含めた赤目領域等の色調不良領域を一括して切り出
し、修正する方法である。赤目部分は、瞳孔部の中心程
網膜からの反射が強いため、明度は中央から周辺部に向
けて低下する傾向を持つ。したがって、キャッチライト
も含めて明度が山状に分布することを利用する。また、
虹彩部は、ブラウン系瞳では虹彩部が明度の谷間となる
ことを利用し、青目系瞳では赤みの値の大きさについて
赤目となった瞳孔部との谷間となることを利用する。That is, the present invention is a method for collectively cutting out and correcting a poor color tone region such as a red-eye region including a catchlight portion. In the red-eye portion, since the reflection from the retina is stronger toward the center of the pupil, the lightness tends to decrease from the center toward the periphery. Therefore, the fact that the brightness is distributed in a mountain shape including the catchlight is used. Also,
The iris part utilizes the fact that the iris part is a valley of lightness in a brown pupil, and utilizes the fact that the iris part is a valley with the pupil part that has become red-eye in the magnitude of a redness value in a blue-eye pupil.
【0011】即ち、明度や赤味を組み合わせた特徴量を
用いて、赤目部とその隣接する白目及び肌部との間に谷
間ができることを利用し、前記特徴量の山毎に領域分割
することで赤目部を白目及び肌部と分離する。That is, by using a feature amount obtained by combining lightness and reddish color and utilizing the fact that a valley is formed between a red-eye portion and an adjacent white-eye portion and skin portion, region division is performed for each peak of the feature amount. To separate the red eye from the white eye and skin.
【0012】また、請求項2の発明は、前記山状の分布
形状を持つ領域毎にxy平面を領域分割する際に、前記
予め指定した画像領域内の各画素毎に、番号割り付け処
理対象の着目画素を中心とするN行×M列(ただし、
N、Mは1以上)画素分の参照領域内で、着目画素の前
記特徴量の値が最大である場合はこの着目画素を山の頂
点として新規番号を割り付け、着目画素の前記特徴量の
値が最大でなく、かつ、前記参照領域内の着目画素以外
の最大の特徴量の値を持つ画素が割り付け番号を持つ場
合は、該割り付け番号を付与する番号割り付け処理を、
前記予め指定した画像領域内の全画素についていずれか
の山の頂点番号が付与されるまで繰り返し、同一番号を
持つ画素の集合を1つの領域とすることにより画像領域
分割を行う。この方法によれば、領域分割をプログラム
処理などに行うことができるので、ユーザを煩わすこと
がなく好ましい。According to a second aspect of the present invention, when the xy plane is divided into regions each having the mountain-shaped distribution shape, a number assignment process is performed for each pixel in the predetermined image region. N rows × M columns centering on the pixel of interest (however,
(Where N and M are 1 or more) If the value of the feature amount of the pixel of interest is the maximum in the reference area for the pixel, a new number is assigned with this pixel of interest as the peak of the mountain, and the value of the feature amount of the pixel of interest is Is not the maximum, and, if the pixel having the largest feature value other than the pixel of interest in the reference area has an assigned number, a number assigning process for assigning the assigned number
This process is repeated until all the pixels in the previously designated image area are assigned any one of the peak numbers of the peaks, and the image area is divided by using a set of pixels having the same number as one area. According to this method, the area division can be performed by the program processing or the like, so that it is preferable without bothering the user.
【0013】さらに、請求項3に記載の発明は、前記山
状の分布形状を持つ領域毎にxy平面を領域分割する際
に、前記予め指定した画像領域内の各画素において番号
が未決定の画素を着目画素とし、該着目画素を中心とす
るN行×M列(ただし、N、Mは1以上)画素分の参照
領域内に現着目点よりも大きい前記特徴量の値を有する
画素がある場合、現着目点の位置を蓄積記憶し、前記特
徴量の値が大きい画素を新規着目点とする処理を繰り返
し、前記新規着目点の特徴量の値が参照領域内で最大で
ある場合に、前記新規着目点の番号が未決定であればこ
の新規着目点を山の頂点として新規番号を割り付け、前
記新規着目点に番号が既に割り付けられていればその番
号を前記蓄積した座標の全画素に付与する番号割付処理
を、前記予め指定した画像領域内の全画素についていず
れかの山の頂点番号が付与されるまで繰り返し、同一番
号を持つ画素の集合を1つの領域とすることにより画像
領域分割を行う。Further, according to a third aspect of the present invention, when the xy plane is divided into regions each having the mountain-shaped distribution shape, the number of each pixel in the predetermined image region is undetermined. A pixel having a value of the feature amount larger than the current point of interest in a reference region of N rows × M columns (where N and M are 1 or more) around the pixel of interest as a pixel of interest. In some cases, the position of the current point of interest is stored and stored, and the process of setting a pixel having a large value of the feature amount as a new point of interest is repeated, and when the value of the feature amount of the new point of interest is the largest in the reference area, If the number of the new point of interest is undecided, assign a new number with the new point of interest as the peak of the mountain, and if a number has already been assigned to the new point of interest, assign that number to all pixels of the stored coordinates. The number assignment process to be assigned to Was repeated until all pixels in the image area is vertex number of one of the mountains is granted, performing the image region division by the one region the set of pixels having the same number.
【0014】このように、番号が付与できない画素につ
いては、例えば、座標としてその位置を記憶し、最後に
新規着目点となった画素に番号が付与されると、記憶し
た座標の画素の全てに最後に新規着目点となった画素の
番号を付与するように処理することによって前記特徴量
の山毎に領域分割する処理を高速に行うことができる。As described above, for a pixel to which a number cannot be assigned, for example, its position is stored as a coordinate, and when a number is assigned to a pixel which has finally become a new point of interest, all the pixels at the stored coordinates are assigned. Finally, by performing processing to assign the number of the pixel that has become the new point of interest, it is possible to perform high-speed processing for dividing the area for each peak of the feature amount.
【0015】請求項4の発明は、請求項1に記載の画像
処理方法において、前記瞳の色調不良領域の判別におい
て、各分割領域ごとに、円形度特徴量を用いてより円形
に近い程大となる形状情報としての第1の点数、分割領
域の重心が指定領域の中心位置に近い程大となる位置情
報としての第2の点数、分割領域の面積と指定領域の面
積との比率が所定範囲から外れる程小となる面積情報と
しての第3の点数、色相、彩度、明度のうちのいずれか
1つ以上における平均値、最大値、最小値、コントラス
ト、ヒストグラム形状のうちのいずれか1つ以上を用
い、統計的な色調不良領域情報との比較より、色調不良
度合いを示す統計的画像特徴量としての第4の点数、及
び、予め指定された瞳の中心位置と両目の間隔とに応じ
て求められ、瞳の中心から外れる程小となる位置情報と
しての第5の点数の5つの点数のうちの少なくとも1つ
の点数を求め、最も点数の高いものを色調不良領域と判
定する。According to a fourth aspect of the present invention, in the image processing method according to the first aspect, in the discrimination of the poor color tone region of the pupil, a larger circular shape is obtained by using a circularity feature amount for each divided region. The first point as shape information, the second point as position information that becomes larger as the center of gravity of the divided area is closer to the center position of the designated area, and the ratio between the area of the divided area and the area of the designated area are predetermined. Any one of an average value, a maximum value, a minimum value, a contrast, and a histogram shape of any one or more of the third score, hue, saturation, and lightness as area information that becomes smaller as being out of the range Using four or more, the fourth score as a statistical image feature quantity indicating the degree of poor color tone, and the pre-designated center position of the pupil and the distance between both eyes are compared with statistical poor color tone area information. Asked according to the inside of the eyes Obtains at least one number of the five points of the fifth number as the position information to be small extent deviating from judges that poor hue quality region having the highest score.
【0016】すなわち、請求項4に記載の発明は、請求
項1に記載の分割領域から赤目領域等の色調不良領域を
判定する方法であり、分割領域の形状、面積、位置、濃
度に関する統計的特徴量を、それぞれ瞳に近い部分は高
い点数、かつ、瞳から遠ざかるにつれて低い点数となる
傾向を有する第1〜第5の点数に換算し、これら第1〜
第5の点数の少なくとも1つを用いて色調不良領域を判
別する。That is, a fourth aspect of the present invention is a method for judging a poor color tone area such as a red-eye area from the divided area according to the first aspect of the present invention. The feature amount is converted into first to fifth points, each of which has a high score in a portion close to the pupil and a low score as the distance from the pupil increases.
The poor tone region is determined using at least one of the fifth scores.
【0017】なお、第5点数は、両目の間隔に所定の係
数(一般的には、0.07〜0.11)を乗算すると瞳の
直径となるという関係があることから、予め指定された
瞳の中心と両目の間隔とに基いて瞳の直径を算出し、該
直径を有する円状領域内が最高の点数を持ち、中心から
離れると点数が低くなる傾向を有している。The fifth point is specified in advance because there is a relation that the pupil diameter is obtained by multiplying the distance between both eyes by a predetermined coefficient (generally, 0.07 to 0.11). The diameter of the pupil is calculated based on the center of the pupil and the distance between both eyes, and the circular area having the diameter has the highest score, and the score tends to decrease as the distance from the center increases.
【0018】好ましくは、請求項5に記載したように、
前記5つの点数のうちのいずれか2つ以上における平均
点数または加重平均点数により、上位L(ただし、Lは
1以上の整数)個の領域を色調不良領域と判定すると良
い。加重平均を取ることで、それぞれの領域の傾向がよ
り差別化されて、明確になるので、精度良く色調不良領
域を判別することができる。Preferably, as described in claim 5,
Based on the average score or the weighted average score in any two or more of the five scores, it is preferable to determine the top L (where L is an integer of 1 or more) areas as poor color tone areas. By taking the weighted average, the tendency of each area is further differentiated and clarified, so that the poor color tone area can be accurately determined.
【0019】また、上記第3と第4の目的を達成するた
めに、請求項6の発明は、色調不良となった目領域を含
む予め指定した画像領域をxy平面とし、各画素ごとに
色相、彩度、明度のうちのいずれか1つまたは2つ以上
の組み合わせにより画像特徴量を求め、該特徴量をz軸
に配置する3次元のxyz空間を設定し、xy平面の広
がりに対しz軸の値が山状の分布形状を持つ領域毎にx
y平面を領域分割し、各分割領域のxy平面上での形状
情報、位置情報、面積情報、統計的画像特徴量のうちの
いずれか1つまたは2つ以上の組み合わせにより、瞳の
色調不良領域の判別を行い、色調不良領域と判別された
瞳の色調不良領域の周辺部から中央部にかけて明度と彩
度とのいずれか1つ又は両方が徐々に低下するようにグ
ラデーションをかける処理を含む修正を行って、前記瞳
の色調不良領域を視覚的に正常な目の画像となるように
修正する。In order to achieve the third and fourth objects, the invention according to claim 6 is characterized in that a predetermined image area including an eye area having a poor color tone is defined as an xy plane, and a hue is set for each pixel. , Saturation, and lightness, and obtains an image feature quantity by setting a three-dimensional xyz space in which the feature quantity is arranged on the z-axis. The value of the axis is x for each region having a mountain-shaped distribution shape.
The y-plane is divided into regions, and the pupil poor tone region is obtained by combining one or more of shape information, position information, area information, and statistical image feature amount of each divided region on the xy plane. Including a process of performing gradation so that one or both of brightness and saturation gradually decrease from the periphery to the center of the poor color tone area of the pupil determined as the poor color tone area Is performed to correct the poor color tone area of the pupil so that the image becomes a visually normal eye image.
【0020】すなわち、請求項6の発明では、上記請求
項1と同様の方法で前記色調不良領域の判別を行ってい
るため、赤目などの色調不良領域を白目及び肌部と正確
に分離でき、精度よく修正することができる。In other words, according to the invention of claim 6, since the poor color tone area is determined by the same method as in the first aspect, the poor color tone area such as red eye can be accurately separated from the white eye and the skin. It can be corrected with high accuracy.
【0021】それに加えて、請求項6の発明では、上記
第4の目的を達成するために、瞳の色調不良領域の修正
の際に、周辺部から中央部にかけて明度と彩度とのいず
れか1つ又は両方が徐々に低下するように、グラデーシ
ョンをかける処理を行っている。これより、中央部分の
色の方が周辺部分よりも濃い色となっている実際の瞳部
分の色と近くなるため、修正後の瞳画像を自然な雰囲気
とすることができる。なお、請求項7から請求項9は、
上記請求項2から請求項5同様の作用を有するので、説
明は省略する。In addition, according to the invention of claim 6, in order to achieve the fourth object, when correcting the poor color tone region of the pupil, one of the brightness and the saturation from the peripheral part to the central part is corrected. The gradation is applied so that one or both of them gradually decreases. As a result, the color of the central portion is closer to the color of the actual pupil portion, which is darker than the peripheral portion, so that the corrected pupil image can have a natural atmosphere. Note that claims 7 to 9 are:
Since it has the same operation as the above-mentioned claims 2 to 5, description thereof will be omitted.
【0022】また、請求項10の発明は、色調不良とな
った目領域を含む予め指定した画像領域をxy平面と
し、各画素ごとに色相、彩度、明度のうちのいずれか1
つまたは2つ以上の組み合わせにより画像特徴量を求
め、該特徴量をz軸に配置する3次元のxyz空間を設
定し、xy平面の広がりに対しz軸の値が山状の分布形
状を持つ領域毎にxy平面を領域分割し、各分割領域の
xy平面上での形状情報、位置情報、面積情報、統計的
画像特徴量のうちのいずれか1つまたは2つ以上の組み
合わせにより、瞳の色調不良領域の判別を行い、色調不
良領域と判別された瞳の色調不良領域の最大明度位置を
キャッチライト位置と判別し、該キャッチライト位置に
キャッチライトパターンを形成する処理を含む修正を行
って、前記瞳の色調不良領域を視覚的に正常な目の画像
となるように修正する。According to a tenth aspect of the present invention, a predetermined image area including an eye area having a poor color tone is defined as an xy plane, and each pixel has one of hue, saturation, and brightness.
One or two or more combinations are used to determine an image feature quantity, a three-dimensional xyz space for arranging the feature quantity on the z-axis is set, and the value of the z-axis has a mountain-like distribution shape with respect to the spread of the xy plane. The xy plane is divided into regions for each region, and the pupil is determined by one or a combination of two or more of shape information, position information, area information, and a statistical image feature amount on the xy plane of each divided region. Performing a correction including a process of determining a poor tone region, determining a maximum lightness position of the poor tone region of the pupil determined as the poor tone region as a catchlight position, and forming a catchlight pattern at the catchlight position. Then, the poor color tone region of the pupil is corrected so as to be a visually normal eye image.
【0023】すなわち、請求項10の発明では、上記請
求項6と同様に上記請求項1と同様の方法で前記色調不
良領域の判別を行っているため、赤目などの色調不良領
域を白目及び肌部と正確に分離でき、精度よく修正する
ことができる。That is, in the invention according to claim 10, the poor color tone area is determined by the same method as in claim 1 in the same manner as in claim 6, so that the poor color tone area such as red eye is removed from white eye and skin. It can be accurately separated from the part and can be corrected with high accuracy.
【0024】それに加えて、請求項10の発明では、瞳
部分の領域内の最大明度位置をキャッチライト位置と判
別してキャッチライトパターンを形成している。すなわ
ち、キャッチライトは濃度の濃い瞳部分において部分的
に濃度の薄い領域であるので、キャッチライト位置は最
も明るい位置であることがわかる。従って、瞳部分の領
域内の最大明度位置にキャッチライトを設ける処理を施
すことにより、自然で生き生きとした印象の目の画像が
得られる。なお、請求項11から請求項15は、上記請
求項2から請求項5同様の作用を有するので、説明は省
略する。In addition, according to the tenth aspect of the present invention, the catch light pattern is formed by determining the maximum lightness position in the pupil area as the catch light position. That is, since the catchlight is a region where the density is partially low in the pupil portion where the density is high, it can be seen that the catchlight position is the brightest position. Therefore, by performing the process of providing the catch light at the maximum brightness position in the pupil region, an image of the eyes with a natural and lively impression can be obtained. Since claims 11 to 15 have the same functions as those of claims 2 to 5, their description will be omitted.
【0025】請求項16の発明は、色調不良となった目
領域を含む予め指定した画像領域をxy平面とし、各画
素ごとに色相、彩度、明度のうちのいずれか1つまたは
2つ以上の組み合わせにより画像特徴量を求め、該特徴
量をz軸に配置する3次元のxyz空間を設定し、xy
平面の広がりに対しz軸の値が山状の分布形状を持つ領
域毎にxy平面を領域分割し、各分割領域のxy平面上
での形状情報、位置情報、面積情報、統計的画像特徴量
のうちのいずれか1つまたは2つ以上の組み合わせによ
り、瞳の色調不良領域の判別を行い、色調不良領域と判
別された瞳領域のサイズに合うように正常な瞳領域から
切り出した色調正常の瞳を拡大縮小後、前記色調不良領
域と判別された瞳領域に貼り込む処理を含む修正を行っ
て、前記瞳の色調不良領域を視覚的に正常な目の画像と
なるように修正する。According to a sixteenth aspect of the present invention, a predetermined image area including an eye area having poor color tone is defined as an xy plane, and one or more of hue, saturation, and lightness are provided for each pixel. , A three-dimensional xyz space for arranging the feature amounts on the z-axis is set, and
The xy plane is divided into regions in which the value of the z axis has a mountain-shaped distribution shape with respect to the spread of the plane, and shape information, position information, area information, and statistical image feature amount of each divided region on the xy plane The pupil poor tone region is determined by any one or a combination of two or more of the above, and a normal tone pupil region cut out from a normal pupil region to match the size of the pupil region determined as the poor tone region. After enlarging or reducing the pupil, a correction including a process of pasting the pupil into the pupil region determined to be the poor color tone region is performed, and the poor color tone region of the pupil is corrected to become a visually normal eye image.
【0026】すなわち、請求項16の発明は、色調不良
領域と判別された瞳領域に正常な瞳領域から切り出した
色調正常の瞳を拡大縮小して貼り付けるため、比較的簡
単な修正処理で瞳の色調不良領域を視覚的に正常な目の
画像となるように修正できる。なお、請求項17から請
求項20は、上記請求項2から請求項5同様の作用を有
するので、説明は省略する。That is, according to the sixteenth aspect of the present invention, a normal tone pupil cut out from a normal pupil region is pasted to a pupil region determined as a poor tone region and pasted, so that the pupil can be corrected by a relatively simple correction process. Can be corrected so as to provide a visually normal eye image. Since the seventeenth to twentieth aspects have the same functions as the second to fifth aspects, their description will be omitted.
【0027】さらに、上記第4の目的を達成するため
に、請求項21の発明は、請求項1から請求項21のい
ずれか1項に記載の画像処理方法において、前記色調不
良の目領域を含む指定領域の指定回数に応じて、画像の
領域分割手法または領域分割に用いる特徴量を変更し、
あるいは、色調不良領域判定に用いる特徴量の種類また
は特徴量の計算方法または判定基準を変更し、あるい
は、色調不良領域の修正方法を変更する。According to a fourth aspect of the present invention, there is provided an image processing method according to any one of the first to twenty-first aspects, wherein the eye area having poor color tone is provided. Depending on the number of times the specified area is included, the image area dividing method or the feature amount used for the area division is changed,
Alternatively, the type of the feature amount used for determining the poor tone region, the method of calculating the feature amount, or the determination criterion is changed, or the method of correcting the poor tone region is changed.
【0028】これにより、修正の必要のないもう一方の
目の位置と修正した目の画像の位置とを比較して修正し
た目の画像の位置を自然な位置に配置されるようにずら
したり、修正した目の色を、修正の必要のないもう一方
の目の色と同じ雰囲気にするなどの微修正を行えるた
め、自然な雰囲気に仕上げることが可能である。また、
キャッチライトの瞳内の位置関係が両目で揃うように、
キャッチライトの位置補正も行う。Thus, the position of the other eye which does not need to be corrected is compared with the position of the corrected eye image to shift the position of the corrected eye image so as to be arranged at a natural position. Fine correction can be performed such that the corrected eye color has the same atmosphere as the other eye color that does not need to be corrected, so that a natural atmosphere can be achieved. Also,
As the positional relationship within the eyes of the catchlight is aligned with both eyes,
The position of the catchlight is also corrected.
【0029】請求項22の発明は、赤目修正処理を複数
回行う場合に対応する発明であり、請求項1から請求項
21のいずれか1項に記載の画像処理方法において、前
記色調不良の目領域を含む指定領域の指定回数に応じ
て、画像の領域分割手法または領域分割に用いる特徴量
を変更し、あるいは、色調不良領域判定に用いる特徴量
の種類または特徴量の計算方法または判定基準を変更
し、あるいは、色調不良領域の修正方法を変更する。The invention of claim 22 is an invention corresponding to a case where the red-eye correction processing is performed a plurality of times. In the image processing method according to any one of claims 1 to 21, the image processing method according to any one of claims 1 to 21, Depending on the number of times the specified area including the area is specified, the method of dividing the area of the image or the feature used for the area division is changed, or the type of the feature used for determining the poor tone area or the method of calculating the feature or the criterion is used. Or the method of correcting the poor color tone area.
【0030】例えば、赤目領域判定基準が上記特徴量の
山毎領域分割である場合、二回目の赤目領域判定基準を
上記特徴量の山毎領域分割ではなく、色味の類似度によ
る領域分割に変更したり、判定において一回目の判定で
用いていた円形度基準を除外する、あるいは一回目の判
定で用いていた面積基準を除外するなどが挙げられる。For example, if the red-eye area determination criterion is the mountain-based area division of the characteristic amount, the second red-eye area determination criterion is not the mountain-based area division of the feature amount but the area division based on the color similarity. For example, a change is made, the circularity criterion used in the first determination is excluded, or the area criterion used in the first determination is excluded.
【0031】[0031]
【発明の実施形態】図1及び図2には、本実施形態に係
るディジタルラボシステム10の概略構成が示されてい
る。1 and 2 show a schematic configuration of a digital laboratory system 10 according to the present embodiment.
【0032】図1に示すように、このディジタルラボシ
ステム10は、ラインCCDスキャナ14、画像処理部
16、レーザプリンタ部18、及びプロセッサ部20を
含んで構成されており、ラインCCDスキャナ14と画
像処理部16は、図2に示す入力部26として一体化さ
れており、レーザプリンタ部18及びプロセッサ部20
は、図2に示す出力部28として一体化されている。As shown in FIG. 1, the digital lab system 10 includes a line CCD scanner 14, an image processing unit 16, a laser printer unit 18, and a processor unit 20. The processing unit 16 is integrated as the input unit 26 shown in FIG.
Are integrated as an output unit 28 shown in FIG.
【0033】ラインCCDスキャナ14は、ネガフィル
ムやリバーサルフィルム等の写真フィルムに記録されて
いるコマ画像を読み取るためのものであり、例えば13
5サイズの写真フィルム、110サイズの写真フィル
ム、及び透明な磁気層が形成された写真フィルム(24
0サイズの写真フィルム:所謂APSフィルム)、12
0サイズ及び220サイズ(ブローニサイズ)の写真フ
ィルムのコマ画像を読取対象とすることができる。ライ
ンCCDスキャナ14は、上記の読取対象のコマ画像を
ラインCCD30で読み取り、A/D変換部32におい
てA/D変換した後、画像データを画像処理部16へ出
力する。The line CCD scanner 14 is for reading a frame image recorded on a photographic film such as a negative film or a reversal film.
5 size photographic film, 110 size photographic film, and photographic film with a transparent magnetic layer (24
0 size photographic film: so-called APS film), 12
Frame images of photographic film of size 0 and size 220 (Brownie size) can be read. The line CCD scanner 14 reads the frame image to be read by the line CCD 30, A / D converts it in the A / D converter 32, and outputs the image data to the image processor 16.
【0034】なお、本実施の形態では、240サイズの
写真フィルム(APSフィルム)68を適用した場合の
ディジタルラボシステム10として説明する。In this embodiment, a digital lab system 10 in which a photographic film (APS film) 68 of 240 size is applied will be described.
【0035】画像処理部16は、ラインCCDスキャナ
14から出力された画像データ(スキャン画像データ)
が入力されると共に、デジタルカメラ34等での撮影に
よって得られた画像データ、原稿(例えば反射原稿等)
をスキャナ36(フラットベット型)で読み取ることで
得られた画像データ、他のコンピュータで生成され、フ
ロッピディスクドライブ38、MOドライブ又はCDド
ライブ40に記録された画像データ、及びモデム42を
介して受信する通信画像データ等(以下、これらをファ
イル画像データと総称する)を外部から入力することも
可能なように構成されている。The image processing section 16 stores image data (scanned image data) output from the line CCD scanner 14.
Is input, and image data obtained by photographing with the digital camera 34 or the like, a document (for example, a reflection document, etc.)
Data obtained by reading the image data with a scanner 36 (flat bed type), image data generated by another computer and recorded in a floppy disk drive 38, MO drive or CD drive 40, and received via a modem 42 The communication image data and the like (hereinafter, these are collectively referred to as file image data) can be input from the outside.
【0036】画像処理部16は、入力された画像データ
を画像メモリ44に記憶し、色階調処理部46、ハイパ
ートーン処理部48、ハイパーシャープネス処理部50
等の各種の補正等の画像処理を行って、記録用画像デー
タとしてレーザプリンタ部18へ出力する。また、画像
処理部16は、画像処理を行った画像データを画像ファ
イルとして外部へ出力する(例えばFD、MO、CD等
の記憶媒体に出力したり、通信回線を介して他の情報処
理機器へ送信する等)ことも可能とされている。The image processing section 16 stores the input image data in the image memory 44, and stores a color gradation processing section 46, a hypertone processing section 48, and a hyper sharpness processing section 50.
Image processing such as various corrections and the like, and outputs the image data to the laser printer unit 18 as recording image data. Further, the image processing unit 16 outputs the image data subjected to the image processing to an external device as an image file (for example, outputs the image data to a storage medium such as an FD, an MO, a CD, or to another information processing device via a communication line). Transmission, etc.).
【0037】レーザプリンタ部18はR、G、Bのレー
ザ光源52を備えており、レーザドライバ54を制御し
て、画像処理部16から入力された記録用画像データ
(一旦、画像メモリ56に記憶される)に応じて変調し
たレーザ光を印画紙に照射して、走査露光(本実施の形
態では、主としてポリゴンミラー58、fθレンズ60
を用いた光学系)によって印画紙62に画像を記録す
る。また、プロセッサ部20は、レーザプリンタ部18
で走査露光によって画像が記録された印画紙62に対
し、発色現像、漂白定着、水洗、乾燥の各処理を施す。
これにより、印画紙上に画像が形成される。The laser printer unit 18 includes R, G, and B laser light sources 52, and controls a laser driver 54 to record image data (temporarily stored in the image memory 56) input from the image processing unit 16. Is applied to the photographic printing paper, and scanning exposure (in the present embodiment, mainly the polygon mirror 58 and the fθ lens 60) is performed.
An image is recorded on the photographic paper 62 by an optical system using the same. Further, the processor unit 20 includes a laser printer unit 18.
The photographic paper 62 on which an image has been recorded by scanning exposure is subjected to color development, bleach-fixing, washing, and drying.
Thus, an image is formed on the printing paper.
【0038】(ラインCCDスキャナの構成)次にライ
ンCCDスキャナ14の構成について説明する。図1に
はラインCCDスキャナ14の光学系の概略構成が示さ
れている。この光学系は、写真フィルム68に光を照射
する光源66を備えており、光源66の光射出側には、
写真フィルム68に照射する光を拡散光とする光拡散板
72が配置されている。(Configuration of Line CCD Scanner) Next, the configuration of the line CCD scanner 14 will be described. FIG. 1 shows a schematic configuration of an optical system of the line CCD scanner 14. This optical system includes a light source 66 for irradiating a photographic film 68 with light.
A light diffusing plate 72 for diffusing light irradiated on the photographic film 68 is provided.
【0039】写真フィルム68は、光拡散板72が配設
された側に配置されたフィルムキャリア74によって、
コマ画像の画面が光軸と垂直になるように搬送される。The photographic film 68 is formed by a film carrier 74 disposed on the side on which the light diffusion plate 72 is disposed.
The frame image is conveyed so that the screen is perpendicular to the optical axis.
【0040】写真フィルム68を挟んで光源66と反対
側には、光軸に沿って、コマ画像を透過した光を結像さ
せるレンズユニット76、ラインCCD30が順に配置
されている。なお、レンズユニット76として単一のレ
ンズのみを示しているが、レンズユニット76は、実際
には複数枚のレンズから構成されたズームレンズであ
る。なお、レンズユニット76として、セルフォックレ
ンズを用いてもよい。この場合、セルフォックレンズの
両端面をそれぞれ、可能な限り写真フィルム68及びラ
インCCD30に接近させることが好ましい。On the opposite side of the photographic film 68 from the light source 66, a lens unit 76 for forming light transmitted through the frame image and the line CCD 30 are sequentially arranged along the optical axis. Although only a single lens is shown as the lens unit 76, the lens unit 76 is actually a zoom lens including a plurality of lenses. Note that a selfoc lens may be used as the lens unit 76. In this case, it is preferable that both end surfaces of the SELFOC lens be as close to the photographic film 68 and the line CCD 30 as possible.
【0041】ラインCCD30は、複数のCCDセル搬
送される写真フィルム68の幅方向に沿って一列に配置
され、かつ電子シャッタ機構が設けられたセンシング部
が、間隔を空けて互いに平行に3ライン設けられてお
り、各センシング部の光入射側にR、G、Bの色分解フ
ィルタの何れかが各々取付けられて構成されている(所
謂3ラインカラーCCD)。ラインCCD30は、各セ
ンシング部の受光面がレンズユニット76の結像点位置
に一致するように配置されている。The line CCDs 30 are arranged in a line along the width direction of the photographic film 68 conveyed by a plurality of CCD cells, and three sensing lines provided with an electronic shutter mechanism are provided in parallel with each other at intervals. Each of the R, G, and B color separation filters is mounted on the light incident side of each sensing unit (a so-called three-line color CCD). The line CCD 30 is arranged so that the light receiving surface of each sensing unit coincides with the imaging point position of the lens unit 76.
【0042】また、図示は省略するが、ラインCCD3
0とレンズユニット76との間にはシャッタが設けられ
ている。 (画像処理部16の制御系の構成)図3には、図1に示
す画像処理部16の主要構成である画像メモリ44、色
階調処理46、ハイパートーン処理48、ハイパーシャ
ープネス処理50の各処理を実行するための詳細な制御
ブロック図が示されている。Although not shown, the line CCD 3
A shutter is provided between the lens unit 0 and the lens unit 76. (Configuration of Control System of Image Processing Unit 16) FIG. 3 shows the main components of the image processing unit 16 shown in FIG. 1, including an image memory 44, a color gradation process 46, a hypertone process 48, and a hyper sharpness process 50. A detailed control block diagram for performing the processing is shown.
【0043】ラインCCDスキャナ14から出力された
RGBの各デジタル信号は、データ処理部200におい
て、暗時補正、欠陥画素補正、シェーディング補正等の
所定のデータ処理が施された後、log変換器202に
よってデジタル画像データ(濃度データ)に変換され、
プレスキャンデータはプレスキャンメモリ204に記憶
され、ファインスキャンデータはファインスキャンメモ
リ206に記憶される。Each of the RGB digital signals output from the line CCD scanner 14 is subjected to predetermined data processing such as darkness correction, defective pixel correction, and shading correction in a data processing section 200, and then to a log converter 202. Is converted to digital image data (density data) by
The prescan data is stored in the prescan memory 204, and the fine scan data is stored in the fine scan memory 206.
【0044】プレスキャンメモリ204に記憶されたプ
レスキャンデータは、画像データ処理部208と画像デ
ータ変換部210とで構成されたプレスキャン処理部2
12に送出される。一方、ファインスキャンメモリ20
6に記憶されたファインスキャンデータは、画像データ
処理部214と画像データ変換部216とで構成された
ファインスキャン処理部218へ送出される。The pre-scan data stored in the pre-scan memory 204 is transmitted to the pre-scan processing unit 2 comprising an image data processing unit 208 and an image data conversion unit 210.
12 is sent. On the other hand, the fine scan memory 20
The fine scan data stored in No. 6 is sent to a fine scan processing unit 218 composed of an image data processing unit 214 and an image data conversion unit 216.
【0045】これらのプレスキャン処理部212及びフ
ァインスキャン処理部218では、画像を撮影したとき
レンズ特性及びストロボを使用した撮影したときのスト
ロボ配光特性に基づく補正等を実行する。The pre-scan processing unit 212 and the fine scan processing unit 218 execute correction based on the lens characteristics when an image is shot and the strobe light distribution characteristics when shooting with a strobe.
【0046】また、画像データ処理部208、214に
は、各種フィルムの特性を記憶するフィルム特性記憶部
232と、フィルムを撮影したカメラを判別する情報を
取得して対応する撮影カメラに応じたレンズ特性を出力
するレンズ特性データ供給部234とが接続されてい
る。The image data processing units 208 and 214 include a film characteristic storage unit 232 for storing characteristics of various films, and a lens corresponding to a corresponding photographing camera by acquiring information for identifying a camera that has photographed the film. A lens characteristic data supply unit 234 for outputting characteristics is connected.
【0047】フィルムの特性とは、階調特性(γ特性)
であり、一般には、露光量に応じて濃度が三次元的に変
化する曲線で表される。なお、この点は周知の技術であ
るため、詳細な説明は省略する。The characteristics of the film are the gradation characteristics (γ characteristics)
In general, it is represented by a curve whose density changes three-dimensionally according to the exposure amount. Since this point is a well-known technique, detailed description will be omitted.
【0048】また、フィルム種の特定は、本実施の形態
であれば、APSフィルムの磁気記録層にフィルム種を
示す情報を記録しており、ラインCCDスキャナ14の
キャリア74での搬送時に、磁気ヘッドによって読み取
ることが可能である。また、135サイズフィルムの場
合には、その形状(幅方向両端に比較的短いピッチでパ
ーフォレーションが設けられている)等で判断してもよ
いし、オペレータがキー入力するようにしてもよい。フ
ィルム種を特定することにより、画像のフィルムベース
濃度からの相対的な濃度を正確に算出できる。According to the present embodiment, the film type is specified by recording information indicating the film type on the magnetic recording layer of the APS film. It can be read by the head. In the case of a 135-size film, the determination may be made based on its shape (perforations are provided at relatively short pitches at both ends in the width direction) or the like, or an operator may make a key input. By specifying the film type, the relative density of the image from the film base density can be accurately calculated.
【0049】画像データ処理部208、214では、フ
ィルム特性記憶部232とレンズ特性データ供給部23
4とから得られるフィルム種及びカメラ種に合わせて基
準値の補正を行い、カラーバランス調整、コントラスト
調整(色階調処理)、明るさ補正、彩度補正(ハイパー
トーン処理)、ハイパーシャープネス処理等が、LUT
やマトリクス(MTX)演算等により実行されるように
なっている。In the image data processing sections 208 and 214, the film property storage section 232 and the lens property data supply section 23
The reference value is corrected in accordance with the film type and camera type obtained from step 4, color balance adjustment, contrast adjustment (color gradation processing), brightness correction, saturation correction (hypertone processing), hyper sharpness processing, etc. But LUT
And a matrix (MTX) operation.
【0050】また、画像データ処理部208、214に
は、前記各調整、補正後に、赤目となった瞳部分を自然
な色に修正する赤目処理部220、222が設けられて
いる。この赤目処理部220、222における赤目修正
については、後述する。The image data processing units 208 and 214 are provided with red-eye processing units 220 and 222 for correcting the pupil part which has become red-eye after the above adjustments and corrections to a natural color. The red-eye correction in the red-eye processing units 220 and 222 will be described later.
【0051】プレスキャン側の画像データ変換部210
では、画像データ処理部208によって処理された画像
データを3D−LUTに基づいてモニタ16Mへ表示す
るためのディスプレイ用画像データに変換している。一
方、ファインスキャン側の画像データ変換部216で
は、画像データ処理部214によって処理された画像デ
ータを、3D−LUTに基づいてレーザプリンタ部18
でのプリント用画像データに変換している。なお、上記
ディスプレイ用の画像データと、プリント用画像データ
とは、表色系が異なるが、以下のような様々な補正によ
って一致を図っている。Image data converter 210 on prescan side
In, the image data processed by the image data processing unit 208 is converted into display image data to be displayed on the monitor 16M based on the 3D-LUT. On the other hand, the image data conversion unit 216 on the fine scan side converts the image data processed by the image data processing unit 214 into the laser printer unit 18 based on the 3D-LUT.
Is converted to print image data. Although the display image data and the print image data have different color systems, they are matched by various corrections as described below.
【0052】すなわち、プレスキャン処理部212及び
ファインスキャン処理部218には、条件設定部224
が接続されている。条件設定部224は、セットアップ
部226、キー補正部228、パラメータ統合部230
とで構成されている。That is, the pre-scan processing section 212 and the fine scan processing section 218 have a condition setting section 224.
Is connected. The condition setting unit 224 includes a setup unit 226, a key correction unit 228, a parameter integration unit 230
It is composed of
【0053】セットアップ部226は、プレスキャンデ
ータを用いて、ファインスキャンの読取条件を設定し、
ラインCCDスキャナ14に供給し、また、プレスキャ
ン処理部212及びファインスキャン処理部218の画
像処理条件を演算し、パラメータ統合部230に供給し
ている。The setup unit 226 sets the fine scan reading conditions using the pre-scan data,
The image data is supplied to the line CCD scanner 14, and the image processing conditions of the pre-scan processing unit 212 and the fine scan processing unit 218 are calculated, and are supplied to the parameter integration unit 230.
【0054】キー補正部228は、キーボード16Kに
設定された濃度、色、コントラスト、シャープネス、彩
度等を調整するキーやマウスで入力された各種の指示等
に応じて、画像処理条件の調整量を演算し、パラメータ
統合部230へ供給している。The key correction section 228 is a key for adjusting the density, color, contrast, sharpness, saturation, etc., set on the keyboard 16K, and various adjustments of image processing conditions in accordance with various instructions input with a mouse. Is calculated and supplied to the parameter integration unit 230.
【0055】パラメータ統合部230では、上記セット
アップ部226及びキー補正部228から受け取った画
像処理条件をプレスキャン側及びファインスキャン側の
画像データ処理部208,214へ送り、画像処理条件
を補正あるいは再設定する。The parameter integration section 230 sends the image processing conditions received from the setup section 226 and the key correction section 228 to the image data processing sections 208 and 214 on the prescan side and the fine scan side, and corrects or regenerates the image processing conditions. Set.
【0056】ここで、赤目処理部220、222におけ
る赤目修正について、図4のフロー図を参照しながら説
明する。Here, the red-eye correction in the red-eye processing units 220 and 222 will be described with reference to the flowchart of FIG.
【0057】ステップ100では、カラーバランス調
整、コントラスト調整、明るさ補正、彩度補正(ハイパ
ートーン処理)、ハイパーシャープネス処理等が、LU
Tやマトリクス(MTX)演算等の各種補正処理が施さ
れてモニタ16Mに表示された画像の中から、赤目とな
った目の画像をその周囲を含めて処理対象領域として指
定する。In step 100, color balance adjustment, contrast adjustment, brightness correction, saturation correction (hypertone processing), hypersharpness processing, etc.
From among the images displayed on the monitor 16M that have been subjected to various correction processes such as T and matrix (MTX) calculation, an image of a red eye is specified as a processing target region including its surroundings.
【0058】処理対象領域の指定は、オペレータによっ
てキー補正部228から入力したり、画像内の部分的に
赤色が集中している領域を画像データ処理部214をに
よって抽出することにより行える。本実施形態では、オ
ペレータによるキー入力によってキー補正部228から
処理対象領域を指定している。The region to be processed can be designated by the operator by inputting it from the key correction unit 228 or by extracting the region where red is concentrated in the image by the image data processing unit 214. In the present embodiment, the key correction unit 228 specifies a processing target area by key input by an operator.
【0059】なお、オペレータによる処理対象領域の指
定方法としては、例えば、図11(A)〜(F)に示す
ように、両目一括指定モード1、両目一括指定モード
2、単独指定モード1、単独指定モード2、単独指定モ
ード3、及び単独指定モード4の6つのモードから選択
して指定できる。As a method of designating the processing target area by the operator, for example, as shown in FIGS. 11A to 11F, a binocular collective designation mode 1, a binocular collective designation mode 2, a single designation mode 1, and a single designation mode The user can select and specify one of six modes, namely, a designation mode 2, a single designation mode 3, and a single designation mode 4.
【0060】両目一括指定モード1は、図11(A)に
示すように、両目と両目の周辺領域を含む領域を、画像
処理部16に設けられたマウスやキーボード等により矩
形状の枠13で囲んで枠13内の領域を指定するモード
である。この場合、図11(A)の破線で示すように、
指定領した枠13の長軸の両外側から所定の比率で指定
して領域を分割し、得られた分割領域を処理対象領域と
する。なお、所定の比率とは枠13の長軸の寸法に対す
る目の寸法の比率を統計的に算出して得られる比率であ
り、分割された領域が各々少なくとも1つの目を含み、
眉間の領域が除かれるように設定される。なお、枠13
は矩形状に限らず楕円形状等他の形状としてもよい。As shown in FIG. 11A, in the binocular batch designation mode 1, an area including both eyes and a peripheral area of both eyes is enclosed by a rectangular frame 13 using a mouse, a keyboard, or the like provided in the image processing unit 16. This is a mode in which an area within the frame 13 is designated by being surrounded. In this case, as shown by the broken line in FIG.
The region is divided by designating at a predetermined ratio from both outer sides of the long axis of the designated frame 13, and the obtained divided region is set as a processing target region. Note that the predetermined ratio is a ratio obtained by statistically calculating the ratio of the size of the eyes to the size of the long axis of the frame 13, and each of the divided regions includes at least one eye.
It is set so that the area between the eyebrows is removed. The frame 13
Is not limited to a rectangular shape but may be another shape such as an elliptical shape.
【0061】また、両目一括指定モード2は、図11
(B)に示すように、両目の瞳の中心部を画像処理部1
6に設けられたマウスやキーボード等により指定して、
両目と両目の周辺領域を含む領域を指定するモードであ
る。この場合、指定した両目の瞳の中心部を結ぶ直線の
両端から所定の比率となる長さを長軸の1/2の長さと
する楕円状の領域を個々の目の領域とし、得られた分割
領域を処理対象領域とする。Further, the both eyes batch designation mode 2 corresponds to FIG.
As shown in (B), the center of the pupils of both eyes is aligned with the image processing unit 1.
6 with the mouse, keyboard, etc.
In this mode, an area including both eyes and a peripheral area of both eyes is specified. In this case, elliptical regions having a predetermined ratio from both ends of a straight line connecting the center portions of the designated pupils of both eyes to の 長 of the major axis are defined as individual eye regions. The divided area is set as a processing target area.
【0062】なお、この場合も上記の両目一括指定モー
ド1と同様に、所定の比率とは指定した両目の瞳の中心
部を結ぶ直線に対する目の寸法の比率を統計的に算出し
て得られる比率であり、楕円状の領域は各々少なくとも
1つの目を含み、眉間の領域が除かれるように設定され
る。Also in this case, similarly to the above-described binocular batch designation mode 1, the predetermined ratio is obtained by statistically calculating the ratio of the size of the eye to the straight line connecting the center of the designated pupil of both eyes. The ratio is set such that each elliptical area includes at least one eye and excludes the area between the eyebrows.
【0063】また、上記両目一括指定モード1及び両目
一括指定モード2においては、個々の目領域に領域を分
割せずに両目を含んだ領域を処理対象領域とし、一括し
て赤目抽出処理を行うようにすることもできる。In the both-eye batch designation mode 1 and the binocular batch designation mode 2, a region including both eyes is set as a processing target region without dividing the region into individual eye regions, and red-eye extraction processing is performed collectively. You can also do so.
【0064】単独指定モード1は、図11(C)に示す
ように、1つの目の周辺領域を含む領域を、画像処理部
16に設けられたマウスやキーボード等により矩形状の
枠13で囲んで指定し、枠13内の領域を処理対象領域
とするモードである。この場合も、枠13は矩形状に限
らず楕円形状等他の形状としてもよい。In the single designation mode 1, as shown in FIG. 11C, a region including the peripheral region of one eye is surrounded by a rectangular frame 13 by a mouse, a keyboard, or the like provided in the image processing unit 16. In this mode, the area within the frame 13 is set as the processing target area. Also in this case, the frame 13 is not limited to a rectangular shape, and may have another shape such as an elliptical shape.
【0065】また、単独指定モード2は、図11(D)
に示すように、目の中心部と、目全体を含むように形成
する枠の位置とを指定して、中心部に対する枠の位置か
ら統計的に得られる比率に基いて1つの目を含む枠13
を自動的に形成するように設定してこの枠13内の領域
を処理対象領域として指定するモードである。Further, the single designation mode 2 corresponds to FIG.
As shown in the figure, the center of the eye and the position of the frame formed so as to include the entire eye are designated, and the frame including one eye is determined based on a ratio statistically obtained from the position of the frame with respect to the center. 13
Is automatically formed, and a region in the frame 13 is designated as a processing target region.
【0066】単独指定モード3は、図11(E)に示す
ように、目の中心部、または目の周辺部との一方を一ヶ
所15指定することにより、目全体を含むデフォルトサ
イズの枠13を自動的に形成するように設定してこの枠
13内の領域を処理対象領域として指定するモードであ
る。なお、この場合、顔全体を矩形状、又は楕円形状等
の枠等で囲んで指定後、顔と目の比率に応じて片目若し
くは両目領域サイズの枠を自動的に形成するように設定
してこの枠内の領域を処理対象領域として指定するモー
ドとすることもできる。或いは、両目の中心部を指定し
て両目を包含する枠を自動的に形成してこの枠内の領域
を処理対象領域として指定するモードとすることもでき
る。In the single designation mode 3, as shown in FIG. 11 (E), by specifying one of the central part of the eye or the peripheral part of the eye in one place 15, a frame 13 of the default size including the entire eye is designated. Is automatically formed, and a region in the frame 13 is designated as a processing target region. In this case, after specifying the entire face by surrounding it with a rectangular or elliptical frame or the like, it is set so that a frame of one eye or both eyes area size is automatically formed according to the face-to-eye ratio. It is also possible to set a mode in which an area within this frame is designated as a processing target area. Alternatively, a mode may be set in which a frame including both eyes is automatically formed by specifying the center of both eyes, and an area within this frame is specified as a processing target area.
【0067】単独指定モード4は、図11(F)に示す
ように、目を含む目の周辺の領域を画像処理部16に設
けられたマウスやキーボード等により手書きの要領で囲
みこんで形成した枠内の領域を処理対象領域として指定
するモードである。In the single designation mode 4, as shown in FIG. 11F, an area around the eye including the eye is surrounded by a mouse or a keyboard provided in the image processing section 16 in a handwritten manner. In this mode, an area within the frame is designated as a processing target area.
【0068】次に、ステップ102では、上記6つのモ
ードうちのいずれか1つのモードによって指定された処
理対象領域の特徴量を算出する。ここでは、抽出要素と
して色相、彩度、明度から得られる色の値を選択し、瞳
部分の画像を一括して切り出せるような特徴量を選択す
る。Next, at step 102, the feature amount of the processing target area specified by any one of the above six modes is calculated. Here, a color value obtained from hue, saturation, and lightness is selected as an extraction element, and a feature amount that can collectively cut out an image of a pupil portion is selected.
【0069】ここで、赤味をr値で表すと、r値は赤味
が強い程大きくなるので、赤目部では大となり、また、
青い目ではマイナス値となる。また、明度をグレーd値
で表すと、明るい画素はd値は大となるので、キャッチ
ライト部や、白目部では大となり、ブラウン系瞳の虹彩
部では小となる。Here, when the redness is represented by the r value, the r value increases as the redness increases, so that the r value increases in the red-eye portion.
Blue eyes have negative values. When the brightness is represented by the gray d value, the bright pixel has a large d value, so that it becomes large in the catchlight portion and the white-eye portion, and small in the iris portion of the brown pupil.
【0070】具体的には、レッド値(r)を特徴量A、
グレー値(d)を特徴量Bとしたとき、α×B+(1−
α)×|A|…式(1)(ただし、αの好ましい値とし
ては実験的に、α=0.3以上、0.5以下が得られて
いるが、その他の値とすることもできる。)によって得
られる特徴量Cの値を横軸を瞳を通る直線上の位置とし
てグラフ化すると、画像を構成する要素(例えば、白目
部分、瞳部分、肌部分)の領域ごとに山状波形を有する
ものとなる。なお、上記の特徴量の定義において、RG
Bによる色表現により、d=(R+G+B)/3、A=
(R−d)としてもよい。More specifically, the red value (r) is set to the characteristic amount A,
When the gray value (d) is the feature amount B, α × B + (1−
α) × | A | (1) (where α is 0.3 or more and 0.5 or less is experimentally obtained as a preferable value of α, but other values may be used) When the value of the feature amount C obtained by the above is graphed as a position on a straight line passing through the pupil on the horizontal axis, a mountain-like waveform is obtained for each region of an element (for example, a white-eye portion, a pupil portion, and a skin portion) forming the image It becomes what has. Note that, in the above definition of the feature amount, RG
By the color expression by B, d = (R + G + B) / 3, A =
(Rd) may be used.
【0071】例えば、目尻を通る長手方向の線に沿って
算出した特徴量Cのグラフは、図10に示すように、瞳
の左右にある2つの白目部分の領域と瞳部分の領域とに
対応して3つの山状波形を有するものとなる。なお、上
記特徴量Cの式においては特徴量Aを絶対値化すること
により、赤目の抽出がブラウン系よりも難しい青目系の
瞳の赤目抽出性能を向上させている。For example, as shown in FIG. 10, a graph of the characteristic amount C calculated along the longitudinal line passing through the outer corner of the eye corresponds to the two white-eye areas on the left and right of the pupil and the pupil area. As a result, three mountain-shaped waveforms are obtained. In the above expression of the feature value C, the feature value A is converted to an absolute value, thereby improving the red-eye extraction performance of a blue-eye pupil, in which red-eye extraction is more difficult than in a brown system.
【0072】また、別の特徴量の例として図10(b)
に特徴量Aのグラフ、図10(c)に特徴量Bのグラフ
をそれぞれ開示するが、図10(b)と図10(c)と
において、実線は瞳が赤く写る赤目の特徴量を示し、点
線は瞳が金色に写る金目の特徴量を示しており、重なっ
ている領域は実線となっている。これらのグラフにより
金目は反射光が強いため、色味的には黄に近く明度が高
いことがわかる。FIG. 10B shows another example of the characteristic amount.
FIG. 10C shows a graph of the characteristic amount A, and FIG. 10C shows a graph of the characteristic amount B. In FIGS. 10B and 10C, the solid line indicates the red-eye characteristic amount in which the pupil appears red. The dotted line indicates the feature amount of the pupil whose pupil appears in gold, and the overlapping area is a solid line. From these graphs, it can be seen that the gold grain has strong reflected light, so that the color tone is close to yellow and the brightness is high.
【0073】次のステップ104においては、特徴量が
山を形成する領域毎に画像を領域分割する。In the next step 104, the image is divided into regions for each region where the characteristic amount forms a mountain.
【0074】領域分割の方法としては、例えば、図10
(b)と図10(c)に示すように最も低い特徴量の画
素(すなわち谷となる位置の画素)を領域として分割する
ようにユーザが指定したり、プログラムによる処理を行
う。図10(b)および図10(c)では、キャッチラ
イトを含む赤目領域が山を形成し、また、白目部分や肌
部分との間では虹彩部が谷間となり、領域分割の境界と
なっている。なお、青目系瞳が赤目の場合、虹彩部が上
記|A|により青い虹彩部と瞳孔部の境界に領域分割の
境界となる。As a method of area division, for example, FIG.
As shown in FIG. 10B and FIG. 10C, the user specifies to divide the pixel having the lowest feature amount (that is, the pixel at the valley position) as an area, or performs processing by a program. In FIG. 10B and FIG. 10C, the red-eye region including the catchlight forms a mountain, and the iris portion is a valley between the white-eye portion and the skin portion, which is a boundary of the region division. . When the blue-eye pupil is red-eye, the iris part becomes a boundary between the blue iris part and the pupil part according to the above | A |
【0075】また、別の方法として、図12(B)に示
すように、両側の白目の部分と中央の瞳部分との3つの
領域ごとに対応した山形状を有する特徴量Dを選択し、
番号割り付け処理により領域を分割することができる。As another method, as shown in FIG. 12B, a feature quantity D having a mountain shape corresponding to each of three regions of a white eye portion on both sides and a central pupil portion is selected.
The area can be divided by the number assignment processing.
【0076】この番号割り付け処理は、例えば、図12
(A)に示すように、例えば、中央の画素を着目画素2
1とする3行×3列の9つの画素からなる参照エリア2
4を番号割り付け処理領域とし、9つの画素からなる参
照エリアの中の最も大きな特徴量を有する画素の番号を
着目画素21に割り付ける処理である。This number assignment process is performed, for example, as shown in FIG.
For example, as shown in FIG.
Reference area 2 consisting of 9 pixels in 3 rows x 3 columns, which is 1
This is a process of assigning the number of the pixel having the largest feature amount in the reference area composed of nine pixels to the target pixel 21 with 4 as a number assignment processing area.
【0077】1例として、図12(B)の特徴量Dを選
択し、説明のため、部分的に拡大した領域について説明
する。図13(B)及び図13(C)には、図13
(A)に示すように、図12(B)の特徴量Dの1つ目
の山形状と2つ目の山形状の部分に対応する画素である
N行の画素行とその上のN−1行の画素列及び下のN+
1行の画素列の合計3行の画素行がそれぞれn列ずつ示
されている。なお、各注目画素の座標を(XN,Ym)
(ただし、mは1以上の自然数)と記す。As an example, the feature amount D shown in FIG. 12B is selected, and a partially enlarged region will be described for explanation. 13 (B) and 13 (C) show FIG.
As shown in FIG. 12A, N rows of pixels corresponding to the first peak shape and the second peak shape of the feature amount D in FIG. One row of pixel columns and the lower N +
A total of three pixel rows in one pixel column are shown in n columns. Note that the coordinates of each pixel of interest are (X N , Y m )
(Where m is a natural number of 1 or more).
【0078】図13(B)に示すように、まず、1列目
〜3列目までを参照エリア24としたとき、注目画素2
1となる画素(XN,Y2)の特徴量Dが参照エリア24
の中で最も大きいかを判断する。この場合、図13
(A)に示すように、注目画素21となる画素(XN,
Y2)の特徴量よりも隣列の画素(XN,Y3)の特徴量
の方が大きいので、注目画素21となる画素(XN,
Y2)には番号を付与せず、次の参照エリアの注目画素
について参照エリアの中で特徴量が大きいかを判断す
る。As shown in FIG. 13B, when the first to third columns are set as the reference area 24, the pixel of interest 2
The feature amount D of the pixel (X N , Y 2 ) that becomes 1 is stored in the reference area 24.
To determine which is the largest. In this case, FIG.
As shown in (A), the pixel (X N ,
Since the feature value of the pixel (X N , Y 3 ) in the adjacent column is larger than the feature value of Y 2 ), the pixel (X N ,
No number is assigned to Y 2 ), and it is determined whether the feature amount of the target pixel in the next reference area is large in the reference area.
【0079】なお、この例では、注目画素がN列に沿っ
て1つずつ矢印I方向にに移動するように処理するもの
とする。したがって、次の参照エリアは2列目〜4列
目、その次の参照エリアは3列目〜5列目、…というよ
うに、参照エリアが移動することとなる。In this example, processing is performed such that the target pixel moves in the direction of arrow I one by one along N columns. Therefore, the next reference area moves in the second to fourth columns, the next reference area moves in the third to fifth columns, and so on.
【0080】図13(C)に示すように、3〜5列目ま
でを参照エリア24としたとき、注目画素21となる画
素(XN,Y4)の特徴量はちょうど図13(A)に示す
山形状の頂点に対応しているため、最も大きくなる。し
たがって、新規割付番号として『1』を付与して次の参
照エリア、(すなわち、4列目〜6列目)の注目画素につ
いて特徴量の大きさを判断する。As shown in FIG. 13C, when the third to fifth columns are set as the reference area 24, the characteristic amount of the pixel (X N , Y 4 ) to be the target pixel 21 is exactly the same as that shown in FIG. Since it corresponds to the peak of the mountain shape shown in FIG. Therefore, “1” is assigned as the new allocation number, and the magnitude of the feature amount is determined for the target pixel in the next reference area (that is, the fourth to sixth columns).
【0081】4列目〜6列目の参照エリアから谷部に対
応する画素を注目画素とする8列目〜10列目までの参
照エリアの注目画素は、全て前回の注目画素よりも特徴
量が小さいので、全て『1』が付与されることとなる。The target pixels in the reference areas in the eighth to tenth columns, in which the pixels corresponding to the valleys from the reference area in the fourth to sixth columns are the target pixels, are all more feature amounts than the previous target pixel. Are small, so "1" is all added.
【0082】前記谷部に対応する画素の1つ次の画素を
注目画素とする7列目〜9列目までの参照エリアから次
の山部に対応する画素の1つ前の画素を注目画素とする
13列目〜15列目までの参照エリアは全て前回の注目
画素よりも特徴量が大きいので、全て番号が付与され
ず、次の山部に対応する画素を注目画素とする14列目
〜16列目までの参照エリアから次の谷部に対応する画
素を注目画素とする参照エリアの注目画素までが全て新
規割付番号として『2』が付与され、この繰り返しによ
り、図13(D)に示すように、一列目の割付処理で
は、それぞれの山に対応した新規割付番号が部分的に付
与されることとなる。From the reference area of the seventh to ninth columns in which the next pixel of the pixel corresponding to the valley is the target pixel, the pixel immediately preceding the pixel corresponding to the next peak is referred to as the target pixel. Since all the reference areas in the 13th to 15th columns have larger feature amounts than the previous target pixel, the reference areas are not all numbered, and the 14th column in which the pixel corresponding to the next crest is set as the target pixel From the reference area up to the 16th column to the pixel of interest in the reference area where the pixel corresponding to the next valley is the pixel of interest, “2” is assigned as a new allocation number. As shown in (1), in the assignment processing in the first column, a new assignment number corresponding to each mountain is partially given.
【0083】したがって、次の行、例えば、N+1行目
を注目画素としたとき既にN行目の番号割付処理により
割り付けられた番号との比較を含んだ参照エリア内での
特徴量の比較を行うこととなるため、何度も繰り返して
番号割付処理を行うことにより、各山形状を構成する画
素は全て各山形状に対応して付与された番号が付与さ
れ、最終的には全ての画素に番号が付与されることとな
る。したがって、特徴量の山形状ごとに対応した番号で
分割された複数の領域が得られることとなる。Therefore, when the next row, for example, the (N + 1) th row is set as a target pixel, the feature amount in the reference area including the comparison with the numbers already assigned by the number assignment processing on the Nth row is compared. Therefore, by performing the number assignment process repeatedly over and over, all the pixels constituting each mountain shape are given numbers assigned corresponding to each mountain shape, and finally all the pixels are A number will be assigned. Therefore, a plurality of areas divided by the numbers corresponding to the mountain shapes of the feature amount can be obtained.
【0084】なお、参照エリア内において注目画素(X
n,Ym)の特徴量よりも特徴量の大きい画素(Xn,Y
m+1)が存在し、該画素に番号が付与されていない場
合、注目画素(Xn,Ym)の位置を座標として記憶し、
前記隣列の画素(Xn,Ym+1)を新規の注目画素として
参照エリアを決定し、該新規の注目画素(Xn,Ym+1)
が新たに決定した参照エリア内で最も大きな特徴量を有
しているかを判断する。Note that the target pixel (X
n, Y m) larger pixel (X n feature amount from the feature value of, Y
m + 1 ) is present and the pixel is not numbered, the position of the pixel of interest (X n , Y m ) is stored as coordinates,
The reference area is determined using the pixel (X n , Y m + 1 ) in the adjacent row as a new target pixel, and the new target pixel (X n , Y m + 1 ) is determined.
It is determined whether or not has the largest feature amount in the newly determined reference area.
【0085】前記新規の注目画素(Xn,Ym+1)よりも
大きな特徴量を有する画素が新たに決定した参照エリア
内に存在すれば、さらに、新規の注目画素(Xn,
Ym+1)の位置を座標として記憶し、前記新規の注目画
素(Xn,Ym+1)よりも大きな特徴量を有する画素(X
n+i,Ym+j)(ただし、i,jは整数)を新規の注目画素
として同様な処理を繰り返すように処理をしても良い。[0085] If present in the new pixel of interest (X n, Y m + 1 ) reference area of the pixel is newly determined with great feature quantity than further new pixel of interest (X n,
Y m + 1 ) is stored as coordinates, and a pixel (X) having a feature amount larger than the new target pixel (X n , Y m + 1 ) is stored.
n + i , Y m + j ) (where i and j are integers) may be used as a new pixel of interest to repeat the same processing.
【0086】この場合、必ずしも同一行の画素のみが注
目画素になるわけではないが、1回特徴量を比較した画
素については番号が付与できない場合も記憶しておき、
その領域内で最も特徴量が高い画素に番号が付与される
と、図14に示すように、記憶した画素全てにその番号
が付与されることとなるので、何度も繰り返してと特徴
量を比較して番号を付与する場合に比べて速い速度で番
号割付処理を行うことができる。このような番号割付処
理により、図6に示すように、ほぼ目の部位に対応する
領域ごとに領域分割されたエリアが得られる。In this case, it is not always the case that only the pixels in the same row are the target pixels. However, it is also stored that the pixels in which the feature values have been compared once cannot be numbered.
When a number is assigned to a pixel having the highest feature amount in the region, the number is assigned to all the stored pixels as shown in FIG. 14, so that the feature amount is repeated many times. The number assignment process can be performed at a higher speed than in the case where numbers are assigned by comparison. As a result of such number assignment processing, as shown in FIG. 6, an area obtained by dividing an area substantially corresponding to an eye part is obtained.
【0087】ステップ106では、ステップ104で分
割した領域についてそれぞれ、形状、他の領域との配置
関係(位置)、面積比率、濃度、平均色味の各々につい
てチェックし、瞳部分の特徴を最も有するものを赤目領
域として選択する。なお、1つの目の画像の中で2つ以
上の領域が赤目領域として選択された場合は、形状、他
の領域との配置関係(位置)、面積比率、濃度、平均色
味の各々について評価し、最も評価の高い領域を赤目領
域として選択する。In step 106, each of the regions divided in step 104 is checked for the shape, the arrangement relationship (position) with other regions, the area ratio, the density, and the average color. One is selected as the red-eye area. When two or more regions are selected as red eye regions in one eye image, each of the shape, the arrangement relation (position) with other regions, the area ratio, the density, and the average color is evaluated. Then, the region with the highest evaluation is selected as the red-eye region.
【0088】評価の方法としては、例えば、各分割領域
ごとに、円形度が大きいほど点数が高くなる第1の点数
を求め、最も点数の高いものを瞳部分の特徴を最も有す
るもの、すなわち、赤目領域とする方法がある。また、
各分割領域ごとに、重心の位置と指定領域の中心位置と
の間の距離を算出して、距離が短いほど点数が大となる
第2の点数を求め、最も点数の高いものを瞳部分の特徴
を最も有するもの、すなわち、赤目領域とする方法があ
る。As a method of evaluation, for example, for each divided region, a first score is obtained in which the larger the circularity is, the higher the score is, and the one having the highest score has the characteristic of the pupil portion, that is, There is a method of setting a red-eye region. Also,
For each of the divided areas, the distance between the position of the center of gravity and the center position of the designated area is calculated, and the second point is determined so that the shorter the distance is, the larger the score is. There is a method that has the most characteristic, that is, a red-eye region.
【0089】さらに、各分割領域ごとに、分割領域の面
積と指定領域の面積との比率を求め、得られた比率が予
め求めた瞳の面積と指定領域の面積との比率の範囲等の
所定範囲から外れる程点数が小さくなる第3の点数を求
め、最も点数の高いものを瞳部分の特徴を最も有するも
の、すなわち、赤目領域とする方法がある。Further, for each of the divided areas, the ratio between the area of the divided area and the area of the designated area is obtained, and the obtained ratio is a predetermined range such as the range of the ratio between the area of the pupil and the area of the designated area. There is a method in which a third score is obtained in which the score becomes smaller as the value goes out of the range, and the score with the highest score is determined as the one having the characteristic of the pupil portion, that is, the red-eye region.
【0090】また、色相、彩度、明度のうちのいずれか
1つ以上における平均値、最大値、最小値、コントラス
ト、ヒストグラム形状のうちのいずれか1つ以上を用
い、予め測定されている統計的な色調不良領域情報との
比較より、色調不良領域の特徴に近い特徴を有するもの
ほど点数が高くなる第4の点数を求め、最も点数の高い
ものを瞳部分の特徴を最も有するもの、すなわち、赤目
領域とする方法がある。Further, statistical values measured in advance using one or more of the average value, the maximum value, the minimum value, the contrast, and the histogram shape in any one or more of hue, saturation, and lightness From the comparison with the typical poor tone area information, a fourth score having a higher score as the feature is closer to the feature of the poor tone area is obtained, and the one having the highest score has the feature of the pupil portion, that is, , A red-eye region.
【0091】さらには、予め指定された瞳の中心位置と
両目の間隔とに応じて求められ、瞳の中心から外れる程
点数が小さくなる第5の点数を求め、最も点数の高いも
のを瞳部分の特徴を最も有するもの、すなわち、赤目領
域とする方法がある。第5の点数は、例えば、図15
(A)に示す破線の上の点数を表した図15(B)に示
すように、瞳部分が最高点を持ち瞳から離れると点数が
低くなるように設定している。Further, a fifth score which is obtained in accordance with a predetermined center position of the pupil and the distance between both eyes and which becomes smaller as the distance from the center of the pupil is reduced is determined. , That is, a method of setting a red-eye region. The fifth score is, for example, as shown in FIG.
As shown in FIG. 15B which shows the points above the dashed line shown in FIG. 15A, the pupil portion is set so that it has the highest point and the points become lower as the distance from the pupil increases.
【0092】これら5つの点数のうちの少なくとも1つ
の点数を選択し、この点数に基いて赤目領域を判別して
も良いが、より好ましくは、前記5つの点数のうちの2
つ以上における平均点数または加重平均点数により、上
位L(ただし、Lは1以上)個の領域を色調不良領域と
判定するようにすると良い。[0092] At least one of these five points may be selected, and the red-eye area may be determined based on this point.
It is preferable to determine the upper L (where L is 1 or more) regions as poor color tone regions based on the average score or the weighted average score of the two or more.
【0093】例えば、図16に示すように6つのエリア
(分割領域)に分割されている場合、図16(A)に示す
ように、第1の点数が、エリア1はA4点、エリア2は
A6点、エリア3はA2点、エリア4はA3点、エリア
5はA1点、エリア6はA5点であり、第2の点数が、
エリア1はB5点、エリア2はB4点、エリア3はB2
点、エリア4はB3点、エリア5はB1点、エリア6は
B6点であるとする。ただし、A1>A2>A3>A4
>A5>A6…(1)、B1>B2>B3>B4>B5
>B6…(2)である。For example, as shown in FIG.
When the area is divided into (divided areas), as shown in FIG. 16A, the first points are A4 points for area 1, A6 points for area 2, A2 points for area 3, and A3 points for area 4. , Area 5 is A1 point, Area 6 is A5 point, and the second point is
Area 1 has B5 points, Area 2 has B4 points, Area 3 has B2 points
Point, area 4 is B3 point, area 5 is B1 point, and area 6 is B6 point. However, A1>A2>A3> A4
>A5> A6 (1), B1>B2>B3>B4> B5
> B6 (2).
【0094】したがって、それぞれの領域ごとに第1の
点数と第2の点数との平均点を出すと、図16(B)に
示すように、エリア1は(A4+B5)/2点、エリア2
は(A6+B4)/2点、エリア3は(A2+B2)/2
点、エリア4は(A3+B3)/2点、エリア5は(A1
+B1)/2点、エリア6は(A5+B6)/2点とな
り、上記(1)の式及び(2)の式からエリア5が最も
点数が高いことは明白である。Therefore, when the average point of the first point and the second point is calculated for each area, as shown in FIG. 16B, area 1 is (A4 + B5) / 2 points, area 2
Is (A6 + B4) / 2 points, area 3 is (A2 + B2) / 2 points
Point, area 4 is (A3 + B3) / 2 points, area 5 is (A1 + B3) / 2
+ B1) / 2 points and area 6 is (A5 + B6) / 2 points, and it is clear from the above equations (1) and (2) that area 5 has the highest score.
【0095】なお、点数の高い順に重い重みをつけた加
重平均を取ることによって、より一層点数の高いものは
高く、低いものは低くなるので、点数差が広がり瞳部分
の特徴を最も有するものを明確に区別できる。By taking the weighted average weighted in the descending order of the score, the score with a higher score is higher and the score with a lower score is lower. Can be clearly distinguished.
【0096】ステップ108では、上記のようにして選
択された赤目領域の画素に対し、赤目領域の画素の中で
最小明度の画素に基づきすべての画素の明度を最小明度
の画素の明度と同じ又は近づくように補正する。例え
ば、赤目領域の画素の中で最小明度の画素の明度をdmi
n 、補正対象となる赤目領域の画素の明度をxとしたと
き、補正対象となる赤目領域の画素の補正後の明度x’
は以下の式(2)により算出することが挙げられる。In step 108, for the pixels in the red-eye region selected as described above, the brightness of all the pixels is set to the same or the same as the brightness of the minimum-brightness pixel based on the minimum brightness pixel among the pixels in the red-eye region. Correct to get closer. For example, the brightness of the pixel with the minimum brightness among the pixels in the red-eye area is represented by dmi.
n, when the brightness of a pixel in the red-eye region to be corrected is x, the brightness x ′ after correction of the pixel in the red-eye region to be corrected
Is calculated by the following equation (2).
【0097】 x’=x−(x−dmin )×a …式(2) (なお、aの値を1≦a≦1.3とすると修正後の画像
を自然な雰囲気とできるため好ましい。)結果的に赤目
となった瞳孔部は、修正後に周辺から中央にかけて徐々
に明度が低下する画像となる。X ′ = x− (x−dmin) × a Expression (2) (It is preferable that the value of a be 1 ≦ a ≦ 1.3 because the corrected image can have a natural atmosphere.) As a result, the red-eye pupil becomes an image in which the brightness gradually decreases from the periphery to the center after the correction.
【0098】修正例として、目尻を通る線に沿って、図
7(a)に修正前の明度、図7(b)に修正後の明度を
示す。As a correction example, FIG. 7A shows the lightness before correction and FIG. 7B shows the lightness after correction along a line passing through the outer corner of the eye.
【0099】彩度についても上記明度の修正方法と同様
に最小彩度の画素の彩度に合わせて補正する。もちろ
ん、自然な雰囲気に仕上がるのであれば、明度だけ補正
する構成としても彩度だけ補正する構成してもよい。な
お、特徴量の補正量をユーザーの好みに合わせて予め設
定しておいてもよく、この場合、ユーザーの好みに合わ
せた特殊な色合いとすることも可能である。The saturation is corrected in accordance with the saturation of the pixel having the minimum saturation in the same manner as in the above-described method of correcting the lightness. Of course, as long as a natural atmosphere is achieved, a configuration that corrects only the brightness or a configuration that corrects only the saturation may be used. The correction amount of the feature amount may be set in advance according to the user's preference, and in this case, it is possible to provide a special color tone according to the user's preference.
【0100】または、他の修正手法として、修正した赤
目領域の中心から周縁に向かって放射状に階調パターン
を形成し、中心から周縁に向かって濃度が薄くなるよう
にグラデーションパターンを指定された色で付ける。こ
こで、指定された色とは、例えば、赤目になっていない
他の領域の瞳部分から検出された最大濃度値と最小濃度
値や、前記最大濃度値と最小濃度値から調整した最大濃
度値と最小濃度値や、ユーザーにより予め定めた最大濃
度値と最小濃度値等を選択できる。なお、グラデーショ
ンパターンを付与する処理方法は、周知の技術であるた
め、詳細な説明は省略する。Alternatively, as another correction method, a gradation pattern is formed radially from the center of the corrected red-eye region toward the periphery, and the gradation pattern is designated such that the density decreases from the center to the periphery. Attach. Here, the designated color is, for example, a maximum density value and a minimum density value detected from a pupil portion of another area that is not red-eye, or a maximum density value adjusted from the maximum density value and the minimum density value. And a minimum density value, or a maximum density value and a minimum density value predetermined by the user. The processing method for providing a gradation pattern is a well-known technique, and a detailed description thereof will be omitted.
【0101】上記式(2)のdminや、グラデーショ
ンパターン制御用の濃度の最大値や最小値を決定する際
に、赤目領域内、目の指定領域内、顔領域内、画像全体
のいずれかを比較領域として切り替えてもよい。When determining dmin in the above equation (2) and the maximum and minimum values of the density for controlling the gradation pattern, any one of the red-eye area, the specified eye area, the face area, and the entire image is determined. It may be switched as a comparison area.
【0102】ステップ110では、修正した赤目領域内
に部分的な高輝度領域、すなわちハイライト領域を形成
しこれをキャッチライトとする。キャッチライトの位置
は、修正前の赤目領域の最大明度位置とし、その最大明
度位置に基づいて放射状の輝点を形成することにより行
う。In step 110, a partial high-luminance area, that is, a highlight area, is formed in the corrected red-eye area, and this is used as a catch light. The position of the catchlight is determined by setting the maximum lightness position of the red-eye area before the correction, and forming a radial bright spot based on the maximum lightness position.
【0103】例えば、赤目領域の画素の中で最小明度の
画素の明度をdmin 、明度の調整係数をk、補正対象と
なる赤目領域のある位置の画素の明度をy(i,j)と
したとき、赤目領域内のキャッチライト位置の画素の明
度y’(i,j)は以下の式(3)により算出すること
が挙げられる。For example, among the pixels in the red-eye region, the lightness of the pixel having the minimum lightness is dmin, the lightness adjustment coefficient is k, and the lightness of the pixel at the position of the red-eye region to be corrected is y (i, j). At this time, the brightness y ′ (i, j) of the pixel at the catchlight position in the red-eye area may be calculated by the following equation (3).
【0104】 y’(i,j)=dmin +k(i,j)×{y(i,j)−dmin }…式(3 ) ただし、iとjはキャッチライト内の位置を示してお
り、キャッチライトを構成する画素の明度は中心から放
射状に徐々に低くなるため、例えば、図8に示す表のよ
うに、明度の調整係数kを設定し、キャッチライト内の
位置(i,j)に応じて明度の調整係数k(i,j)を
変更する。Y ′ (i, j) = dmin + k (i, j) × {y (i, j) −dmin} (3) where i and j indicate positions in the catchlight, Since the brightness of the pixels constituting the catchlight gradually decreases radially from the center, for example, as shown in the table of FIG. 8, a brightness adjustment coefficient k is set and the position (i, j) in the catchlight is set. The brightness adjustment coefficient k (i, j) is changed accordingly.
【0105】なお、修正する赤目領域の画像寸法に対応
させてキャッチライトの寸法及び明度の調整係数を設定
することにより一層自然な雰囲気の瞳画像とすることが
できる。The pupil image having a more natural atmosphere can be obtained by setting the size of the catchlight and the adjustment factor of the brightness in accordance with the image size of the red-eye region to be corrected.
【0106】また、本実施形態では、キャッチライト部
分を形成するために、画素がキャッチライトのどの位置
に対応するかに応じて個々の画素の明度を変化させるよ
うにしているが、予めキャッチライトパターンを形成し
てキャッチライト位置に貼りつけるように構成すること
もできる。この場合も寸法の拡大縮小を自由にできるよ
うに設定し、修正する赤目領域の画像寸法に対応させて
キャッチライトの寸法を換えることでより一層自然な雰
囲気の瞳画像とすることができる。もちろん明度につい
ても同様に、自由に明度を設定できるようにすることで
より一層自然な雰囲気の瞳画像とできる。In this embodiment, in order to form a catchlight portion, the brightness of each pixel is changed according to the position of the catchlight in the catchlight. It is also possible to form a pattern and attach it to the catch light position. Also in this case, the pupil image can be made more natural by setting the size so that the size can be freely enlarged and reduced, and changing the size of the catchlight in accordance with the image size of the red-eye region to be corrected. Of course, the pupil image can have a more natural atmosphere if the brightness can be freely set.
【0107】図9に、赤目修正を施してキャッチライト
パターンを形成した画像の目尻を通る長手方向の線に沿
った明度のグラフを示す。FIG. 9 shows a graph of the brightness along the longitudinal line passing through the outer corner of the eye of the image in which the catchlight pattern is formed by performing the red-eye correction.
【0108】なお、本実施形態では、同じ指定領域につ
いてステップ102からステップ106までの処理を一
回行うものとしているが、ステップ102からステップ
106までの処理を複数回繰り返して行う設定とするこ
ともでき、この場合、赤目領域の抽出をより一層精度よ
く抽出することができる。In the present embodiment, the processing from step 102 to step 106 is performed once for the same designated area, but the processing from step 102 to step 106 may be repeated a plurality of times. In this case, the extraction of the red-eye region can be performed with higher accuracy.
【0109】なお、本発明は以上述べた構成に限らず、
隣接する分割領域を連結して赤目評価を適用することも
できる。例えば、本来の赤目部分が2分割されている場
合、赤目部分が含まれる領域を連結し1つの領域として
認識することにより、円形度の評価が高まる。その結
果、連結した領域の評価点が、個別の分割領域での評価
点を上回る場合は、連結した領域を赤目領域と判定す
る。Note that the present invention is not limited to the configuration described above.
Red-eye evaluation can also be applied by connecting adjacent divided areas. For example, when the original red-eye portion is divided into two, the region including the red-eye portion is connected and recognized as one region, so that the evaluation of the degree of circularity increases. As a result, if the evaluation points of the connected area exceed the evaluation points of the individual divided areas, the connected area is determined to be a red-eye area.
【0110】なお、上記の、赤目抽出、赤目領域修正、
キャッチライト付加等の各処理は独立して実行可能であ
るため、各処理のそれぞれについて他の手法あるいはマ
ニュアル処理に代替えした組み合わせにより赤目修正処
理を行うこともできる。The above-described red-eye extraction, red-eye area correction,
Since the respective processes such as the addition of the catchlight can be executed independently, the red-eye correction process can be performed for each of the processes by a combination of another method or a manual process.
【0111】また、抽出した赤目領域に正常な瞳を拡大
縮小して貼り付ける補正処理を行っても良い。この場
合、目を貼り付けた後、さらに修正して全体の感じと合
うようにすると良い。Further, a correction process for enlarging and reducing a normal pupil in the extracted red-eye area and pasting it may be performed. In this case, after pasting the eyes, it is better to make further corrections so as to match the overall feeling.
【0112】[0112]
【発明の効果】以上説明したように、請求項1から請求
項3の発明によれば、どのような画像であっても正確に
領域を分割して修正の必要のある領域だけを修正対象領
域として選択できる、という効果を達成する。As described above, according to the first to third aspects of the present invention, in any image, an area is accurately divided and only an area that needs to be corrected is a correction target area. Achieve the effect of being selectable as
【0113】また、請求項4及び請求項5の発明によれ
ば、瞳領域だけを正確に選択できる、という効果を達成
する。Further, according to the fourth and fifth aspects of the present invention, the effect that only the pupil region can be accurately selected can be achieved.
【0114】さらに、請求項6から請求項20の発明に
よれば、修正対象領域である瞳領域を正確に修正でき
る、という効果を達成する。Further, according to the inventions of claims 6 to 20, it is possible to achieve an effect that the pupil region which is the correction target region can be accurately corrected.
【0115】また、請求項21の発明によれば、修正さ
れた画像を自然な雰囲気に仕上げることができる、とい
う効果を達成する。Further, according to the twenty-first aspect of the present invention, the effect that the corrected image can be finished in a natural atmosphere can be achieved.
【0116】また、請求項22の発明によれば、赤目補
正処理を精度良く行うことができる、という効果を達成
する。According to the twenty-second aspect of the present invention, the effect that the red-eye correction processing can be performed with high accuracy is achieved.
【図1】本発明の実施の形態にかかるデジタルラボシス
テムの概略構成図である。FIG. 1 is a schematic configuration diagram of a digital laboratory system according to an embodiment of the present invention.
【図2】デジタルラボシステムの概観図である。FIG. 2 is a schematic view of a digital laboratory system.
【図3】画像処理部の制御ブロック図である。FIG. 3 is a control block diagram of an image processing unit.
【図4】赤目処理部220、222における赤目修正処
理の流れを示すフロー図である。FIG. 4 is a flowchart showing a flow of red-eye correction processing in red-eye processing units 220 and 222;
【図5】目尻を通る長手方向の線に沿って算出した場合
の特徴量Cのグラフである。FIG. 5 is a graph of a feature amount C when calculated along a longitudinal line passing through the outer corner of the eye.
【図6】特徴量Cに基づいて山毎に分割した場合の説明
図である。FIG. 6 is an explanatory diagram in a case where the image is divided for each mountain based on a feature value C;
【図7】(a)は、目尻を通る長手方向の線に沿った明
度のグラフであり、(b)は、a=1.3とした式
(2)に基づいて、(a)における赤目領域の明度を修
正した状態を示すグラフである。FIG. 7 (a) is a graph of brightness along a longitudinal line passing through the outer corner of the eye, and FIG. 7 (b) is a red-eye image in (a) based on equation (2) where a = 1.3. It is a graph which shows the state which corrected the brightness of the field.
【図8】キャッチライト内の画素の位置と明度の調整係
数との関係を示す図である。FIG. 8 is a diagram illustrating a relationship between a position of a pixel in a catchlight and a brightness adjustment coefficient.
【図9】赤目修正を施してキャッチライトパターンを形
成した画像の目尻を通る長手方向の線に沿った明度のグ
ラフである。FIG. 9 is a graph of lightness along a longitudinal line passing through the outer corner of the eye of an image in which a catchlight pattern is formed by performing red-eye correction.
【図10】(a)は目の正面概略図であり、(b)は目
尻を通る長手方向の線に沿って算出した特徴量Aのグラ
フであり、(c)は目尻を通る長手方向の線に沿って算
出した特徴量Bのグラフである。10A is a schematic front view of an eye, FIG. 10B is a graph of a feature amount A calculated along a longitudinal line passing through the outer corner of the eye, and FIG. It is a graph of the characteristic amount B calculated along the line.
【図11】オペレータによる処理対象領域の指定方法の
例を示す説明図である。FIG. 11 is an explanatory diagram illustrating an example of a method of specifying a processing target area by an operator.
【図12】番号割付処理の方法を説明する説明図であ
り、図12(A)は参照エリアを示し、図12(B)は
選択した特徴量Dのグラフを示している。FIGS. 12A and 12B are explanatory diagrams for explaining a method of number assignment processing. FIG. 12A shows a reference area, and FIG. 12B shows a graph of a selected feature amount D.
【図13】図13(A)は特徴量Dの一部を示すグラフ
であり、図13(B)〜図13(D)は番号割付手順を
示す説明図である。FIG. 13A is a graph showing a part of the feature amount D, and FIGS. 13B to 13D are explanatory diagrams showing a number assignment procedure.
【図14】番号割付処理の別の方法を説明する説明図で
ある。FIG. 14 is an explanatory diagram illustrating another method of number assignment processing.
【図15】図15(A)は、処理対象領域を示し、図1
5(B)は、図15(A)の視線に沿った領域の点数を
示すグラフである。FIG. 15A shows a processing target area, and FIG.
FIG. 5B is a graph showing the scores of the region along the line of sight of FIG.
【図16】図16(A)は、6つの分割領域それぞれに
つけた第1の点数と第2の点数とを示した説明図であ
り、 図16(B)は、6つの分割領域ごとのそれぞれ
の平均点数を示した説明図である。FIG. 16A is an explanatory diagram showing a first score and a second score given to each of the six divided regions, and FIG. 16B is a diagram showing each of the six divided regions; It is explanatory drawing which showed the average score of.
10 ディジタルラボシステム 14 ラインCCDスキャナ 16 画像処理部 66 光源部 68 写真フィルム 200 データ処理部 202 log 変換器 204 プレスキャンメモリ 206 ファインスキャンメモリ 208 画像データ処理部 212 プレスキャン処理部 214 画像データ処理部 218 ファインスキャン処理部 220 赤目処理部 224 条件設定部 234 レンズ特性データ供給部 Reference Signs List 10 digital laboratory system 14 line CCD scanner 16 image processing unit 66 light source unit 68 photographic film 200 data processing unit 202 log converter 204 prescan memory 206 fine scan memory 208 image data processing unit 212 prescan processing unit 214 image data processing unit 218 Fine scan processing section 220 Red eye processing section 224 Condition setting section 234 Lens characteristic data supply section
Claims (22)
した画像領域をxy平面とし、各画素ごとに色相、彩
度、明度のうちのいずれか1つまたは2つ以上の組み合
わせにより画像特徴量を求め、 該特徴量をz軸に配置する3次元のxyz空間を設定
し、xy平面の広がりに対しz軸の値が山状の分布形状
を持つ領域毎にxy平面を領域分割し、 各分割領域のxy平面上での形状情報、位置情報、面積
情報、統計的画像特徴量のうちのいずれか1つまたは2
つ以上の組み合わせにより、瞳の色調不良領域の判別を
行い、色調不良領域と判別された領域を視覚的に正常な
目の画像となるように修正する画像処理方法。An image area specified in advance including an eye area having poor color tone is defined as an xy plane, and image characteristics are determined for each pixel by one or a combination of two or more of hue, saturation, and brightness. A three-dimensional xyz space for arranging the feature amount on the z-axis is set, and the xy plane is divided into regions each having a zigzag distribution shape with respect to the spread of the xy plane, Any one or two of shape information, position information, area information, and statistical image feature amount on the xy plane of each divided region
An image processing method for determining a poor color tone region of a pupil by using at least one combination and correcting an area determined to be a poor color tone region to be a visually normal eye image.
平面を領域分割する際に、 前記予め指定した画像領域内の各画素毎に、番号割り付
け処理対象の着目画素を中心とするN行×M列(ただ
し、N、Mは1以上)画素分の参照領域内で、着目画素
の前記特徴量の値が最大である場合はこの着目画素を山
の頂点として新規番号を割り付け、着目画素の前記特徴
量の値が最大でなく、かつ、前記参照領域内の着目画素
以外の最大の特徴量の値を持つ画素が割り付け番号を持
つ場合は、該割り付け番号を着目画素に付与する番号割
り付け処理を、前記予め指定した画像領域内の全画素に
ついていずれかの山の頂点番号が付与されるまで繰り返
し、 同一番号を持つ画素の集合を1つの領域とすることによ
り画像領域分割を行う請求項1に記載の画像処理方法。2. An xy for each region having the mountain-like distribution shape.
When the plane is divided into regions, for each pixel in the previously specified image region, N rows × M columns (where N and M are 1 or more) pixels centering on the target pixel to be numbered In the reference region, when the value of the feature amount of the pixel of interest is the maximum, a new number is assigned with this pixel of interest as the peak of the mountain, and the value of the feature amount of the pixel of interest is not the maximum and the reference region If the pixel having the largest feature value other than the pixel of interest has an allocation number, the number allocation process of assigning the allocation number to the pixel of interest may be performed on any of the pixels within the previously designated image area. The image processing method according to claim 1, wherein the image area division is performed by repeating a process until a vertex number of the mountain is assigned, and setting a set of pixels having the same number as one area.
平面を領域分割する際に、 前記予め指定した画像領域内の各画素において番号が未
決定の画素を着目画素とし、該着目画素を中心とするN
行×M列(ただし、N、Mは1以上)画素分の参照領域
内に着目画素よりも大きい前記特徴量の値を有する画素
がある場合、着目画素の位置を記憶し、前記特徴量の値
が大きい画素を新規着目点とする処理を繰り返し、 前記新規着目点の特徴量の値が参照領域内で最大である
場合に、前記新規着目点の番号が未決定であればこの新
規着目点を山の頂点として新規番号を割り付け、前記新
規着目点に番号が既に割り付けられていればその番号を
前記記憶した座標の全画素に付与する番号割付処理を、
前記予め指定した画像領域内の全画素についていずれか
の山の頂点番号が付与されるまで繰り返し、 同一番号を持つ画素の集合を1つの領域とすることによ
り画像領域分割を行う請求項1又は請求項2に記載の画
像処理方法。3. An xy for each region having the mountain-like distribution shape.
When the plane is divided into regions, a pixel whose number is undetermined in each pixel in the previously designated image region is set as a pixel of interest, and N
When there is a pixel having a value of the feature amount larger than the pixel of interest in a reference area for rows × M columns (where N and M are 1 or more), the position of the pixel of interest is stored, and The process of setting a pixel having a large value as a new point of interest is repeated. If the value of the feature value of the new point of interest is the largest in the reference area, and if the number of the new point of interest is undecided, this new point of interest is Assigning a new number as the peak of the mountain, and if a number has already been assigned to the new point of interest, a number assignment process of assigning that number to all pixels of the stored coordinates,
2. The image area division is performed by repeating until all the pixels in the previously specified image area are assigned a vertex number of any one of the peaks, and using a set of pixels having the same number as one area. Item 3. The image processing method according to Item 2.
各分割領域ごとに、 円形度特徴量を用いてより円形に近い程大となる形状情
報としての第1の点数、 分割領域の重心が指定領域の中心位置に近い程大となる
位置情報としての第2の点数、 分割領域の面積と指定領域の面積との比率が所定範囲か
ら外れる程小となる面積情報としての第3の点数、 色相、彩度、明度のうちのいずれか1つ以上における平
均値、最大値、最小値、コントラスト、ヒストグラム形
状のうちのいずれか1つ以上を用い、統計的な色調不良
領域情報との比較より、色調不良度合いを示す統計的画
像特徴量としての第4の点数、 及び、予め指定された瞳の中心位置と両目の間隔とに応
じて求められ、瞳の中心から外れる程小となる位置情報
としての第5の点数、 の5つの点数のうちの少なくとも1つの点数を求め、最
も点数の高いものを色調不良領域と判定する請求項1か
ら請求項3のいずれか1項に記載の画像処理方法。4. In the determination of the pupil poor color tone area,
For each of the divided regions, a first point as shape information that becomes larger as the shape becomes closer to a circle using the circularity feature amount, and position information as position information that becomes larger as the center of gravity of the divided region is closer to the center position of the designated region. The second score, the third score, the hue, the saturation, and / or the lightness of one or more of the third score as the area information that becomes smaller as the ratio of the area of the divided area to the area of the designated area is out of the predetermined range. Using one or more of the average value, the maximum value, the minimum value, the contrast, and the histogram shape, comparing with the statistically poor color tone area information, the fourth value as the statistical image feature amount indicating the degree of poor color tone. And a fifth score as position information which is obtained in accordance with a predetermined center position of the pupil and an interval between the eyes and becomes smaller as the distance from the center of the pupil decreases, at least one of the following five scores: Find one score, The image processing method according to any one of claims 3 having high scores from the color determining claims 1 defective area.
たは加重平均点数により、上位L(ただし、Lは1以上
の整数)個の領域を色調不良領域と判定する請求項4に
記載の画像処理方法。5. The high-order L (where L is an integer of 1 or more) area is determined to be a poor color tone area based on an average value or a weighted average score of any two or more points. Image processing method.
した画像領域をxy平面とし、各画素ごとに色相、彩
度、明度のうちのいずれか1つまたは2つ以上の組み合
わせにより画像特徴量を求め、 該特徴量をz軸に配置する3次元のxyz空間を設定
し、xy平面の広がりに対しz軸の値が山状の分布形状
を持つ領域毎にxy平面を領域分割し、 各分割領域のxy平面上での形状情報、位置情報、面積
情報、統計的画像特徴量のうちのいずれか1つまたは2
つ以上の組み合わせにより、瞳の色調不良領域の判別を
行い、色調不良領域と判別された瞳の色調不良領域の周
辺部から中央部にかけて明度と彩度とのいずれか1つ又
は両方が徐々に低下するようにグラデーションをかける
処理を含む修正を行って、前記瞳の色調不良領域を視覚
的に正常な目の画像となるように修正する画像処理方
法。6. An image area specified in advance including an eye area having poor color tone is defined as an xy plane, and image characteristics are determined for each pixel by one or a combination of two or more of hue, saturation, and brightness. A three-dimensional xyz space for arranging the feature amount on the z-axis is set, and the xy plane is divided into regions each having a zigzag distribution shape with respect to the spread of the xy plane, Any one or two of shape information, position information, area information, and statistical image feature amount on the xy plane of each divided region
By the combination of the two or more, the poor color tone area of the pupil is determined, and one or both of the brightness and the saturation are gradually reduced from the peripheral part to the central part of the poor color tone area of the pupil determined as the poor color tone area. An image processing method for performing a correction including a process of applying a gradation so as to lower the pupil, and correcting the poor color tone region of the pupil so that the image becomes a visually normal eye image.
平面を領域分割する際に、 前記予め指定した画像領域内の各画素毎に、番号割り付
け処理対象の着目画素を中心とするN行×M列(ただ
し、N、Mは1以上)画素分の参照領域内で、着目画素
の前記特徴量の値が最大である場合はこの着目画素を山
の頂点として新規番号を割り付け、着目画素の前記特徴
量の値が最大でなく、かつ、前記参照領域内の着目画素
以外の最大の特徴量の値を持つ画素が割り付け番号を持
つ場合は、該割り付け番号を着目画素に付与する番号割
り付け処理を、前記予め指定した画像領域内の全画素に
ついていずれかの山の頂点番号が付与されるまで繰り返
し、 同一番号を持つ画素の集合を1つの領域とすることによ
り画像領域分割を行う請求項6に記載の画像処理方法。7. An xy for each region having the mountain-shaped distribution shape.
When the plane is divided into regions, for each pixel in the previously specified image region, N rows × M columns (where N and M are 1 or more) pixels centering on the target pixel to be numbered In the reference region, when the value of the feature amount of the pixel of interest is the maximum, a new number is assigned with this pixel of interest as the peak of the mountain, and the value of the feature amount of the pixel of interest is not the maximum and the reference region If the pixel having the largest feature value other than the pixel of interest has an allocation number, the number allocation process of assigning the allocation number to the pixel of interest may be performed on any of the pixels within the previously designated image area. 7. The image processing method according to claim 6, wherein the image region division is performed by repeating a process until a vertex number of the mountain is assigned, and setting a set of pixels having the same number as one region.
平面を領域分割する際に、 前記予め指定した画像領域内の各画素において番号が未
決定の画素を着目画素とし、該着目画素を中心とするN
行×M列(ただし、N、Mは1以上)画素分の参照領域
内に着目画素よりも大きい前記特徴量の値を有する画素
がある場合、着目画素の位置を記憶し、前記特徴量の値
が大きい画素を新規着目点とする処理を繰り返し、 前記新規着目点の特徴量の値が参照領域内で最大である
場合に、前記新規着目点の番号が未決定であればこの新
規着目点を山の頂点として新規番号を割り付け、前記新
規着目点に番号が既に割り付けられていればその番号を
前記記憶した座標の全画素に付与する番号割付処理を、
前記予め指定した画像領域内の全画素についていずれか
の山の頂点番号が付与されるまで繰り返し、 同一番号を持つ画素の集合を1つの領域とすることによ
り画像領域分割を行う請求項6又は請求項7に記載の画
像処理方法。8. An xy distribution for each region having the mountain-shaped distribution shape.
When the plane is divided into regions, a pixel whose number is undetermined in each pixel in the previously designated image region is set as a pixel of interest, and N
When there is a pixel having a value of the feature amount larger than the pixel of interest in a reference area for rows × M columns (where N and M are 1 or more), the position of the pixel of interest is stored, and The process of setting a pixel having a large value as a new point of interest is repeated. If the value of the feature value of the new point of interest is the largest in the reference area, and if the number of the new point of interest is undecided, this new point of interest is Assigning a new number as the peak of the mountain, and if a number has already been assigned to the new point of interest, a number assignment process of assigning that number to all pixels of the stored coordinates,
7. The image area division is performed by repeating until all the pixels in the image area specified in advance are assigned a vertex number of any one of the peaks, and using a set of pixels having the same number as one area. Item 8. The image processing method according to Item 7.
各分割領域ごとに、 円形度特徴量を用いてより円形に近い程大となる形状情
報としての第1の点数、 分割領域の重心が指定領域の中心位置に近い程大となる
位置情報としての第2の点数、 分割領域の面積と指定領域の面積との比率が所定範囲か
ら外れる程小となる面積情報としての第3の点数、 色相、彩度、明度のうちのいずれか1つ以上における平
均値、最大値、最小値、コントラスト、ヒストグラム形
状のうちのいずれか1つ以上を用い、統計的な色調不良
領域情報との比較より、色調不良度合いを示す統計的画
像特徴量としての第4の点数、 及び、予め指定された瞳の中心位置と両目の間隔とに応
じて求められ、瞳の中心から外れる程小となる位置情報
としての第5の点数、 の5つの点数のうちの少なくとも1つの点数を求め、最
も点数の高いものを色調不良領域と判定する請求項6か
ら請求項8のいずれか1項に記載の画像処理方法。9. In the determination of the poor color tone region of the pupil,
For each of the divided regions, a first point as shape information that becomes larger as the shape becomes closer to a circle using the circularity feature amount, and position information as position information that becomes larger as the center of gravity of the divided region is closer to the center position of the designated region. The second score, the third score, the hue, the saturation, and / or the lightness of one or more of the third score as the area information that becomes smaller as the ratio of the area of the divided area to the area of the designated area is out of the predetermined range. Using one or more of the average value, the maximum value, the minimum value, the contrast, and the histogram shape, comparing with the statistically poor color tone area information, the fourth value as the statistical image feature amount indicating the degree of poor color tone. And a fifth score as position information which is obtained in accordance with a predetermined center position of the pupil and an interval between the eyes and becomes smaller as the distance from the center of the pupil decreases, at least one of the following five scores: Find one score, The image processing method according to any one of claims 8 having a high number of claims 6 determines that the poor hue quality region.
または加重平均点数により、上位L(ただし、Lは1以
上の整数)個の領域を色調不良領域と判定する請求項9
に記載の画像処理方法。10. A high-quality L (where L is an integer of 1 or more) area is determined to be a poor color tone area based on an average value or a weighted average score of any two or more points.
The image processing method according to 1.
定した画像領域をxy平面とし、各画素ごとに色相、彩
度、明度のうちのいずれか1つまたは2つ以上の組み合
わせにより画像特徴量を求め、 該特徴量をz軸に配置する3次元のxyz空間を設定
し、xy平面の広がりに対しz軸の値が山状の分布形状
を持つ領域毎にxy平面を領域分割し、 各分割領域のxy平面上での形状情報、位置情報、面積
情報、統計的画像特徴量のうちのいずれか1つまたは2
つ以上の組み合わせにより、瞳の色調不良領域の判別を
行い、色調不良領域と判別された瞳の色調不良領域の最
大明度位置をキャッチライト位置と判別し、該キャッチ
ライト位置にキャッチライトパターンを形成する処理を
含む修正を行って、前記瞳の色調不良領域を視覚的に正
常な目の画像となるように修正する画像処理方法。11. A pre-designated image area including an eye area having poor color tone is defined as an xy plane, and image characteristics are determined for each pixel by one or a combination of two or more of hue, saturation, and brightness. A three-dimensional xyz space for arranging the feature amount on the z-axis is set, and the xy plane is divided into regions each having a zigzag distribution shape with respect to the spread of the xy plane, Any one or two of shape information, position information, area information, and statistical image feature amount on the xy plane of each divided region
By the combination of two or more, the poor color tone area of the pupil is determined, the maximum lightness position of the poor color tone area of the pupil determined as the poor color tone area is determined as the catch light position, and a catch light pattern is formed at the catch light position. An image processing method for performing a correction including a correction process so as to correct the poor color tone area of the pupil so that the image becomes a visually normal eye image.
y平面を領域分割する際に、 前記予め指定した画像領域内の各画素毎に、番号割り付
け処理対象の着目画素を中心とするN行×M列(ただ
し、N、Mは1以上)画素分の参照領域内で、着目画素
の前記特徴量の値が最大である場合はこの着目画素を山
の頂点として新規番号を割り付け、着目画素の前記特徴
量の値が最大でなく、かつ、前記参照領域内の着目画素
以外の最大の特徴量の値を持つ画素が割り付け番号を持
つ場合は、該割り付け番号を着目画素に付与する番号割
り付け処理を、前記予め指定した画像領域内の全画素に
ついていずれかの山の頂点番号が付与されるまで繰り返
し、 同一番号を持つ画素の集合を1つの領域とすることによ
り画像領域分割を行う請求項11に記載の画像処理方
法。12. x is set for each region having the mountain-shaped distribution shape.
When dividing the y-plane into regions, for each pixel in the image region specified in advance, N rows × M columns (where N and M are 1 or more) pixels centered on the target pixel to be numbered. If the value of the feature value of the pixel of interest is the largest in the reference region of the target pixel, a new number is assigned with this pixel of interest as the peak of the mountain, and the value of the feature value of the pixel of interest is not the maximum, and If the pixel having the maximum feature value other than the pixel of interest in the region has an allocation number, the number allocation process of assigning the allocation number to the pixel of interest is performed for all pixels in the previously specified image region. The image processing method according to claim 11, wherein the image area division is performed by repeating the process until a vertex number of the crest is assigned, and setting a set of pixels having the same number as one area.
y平面を領域分割する際に、 前記予め指定した画像領域内の各画素において番号が未
決定の画素を着目画素とし、該着目画素を中心とするN
行×M列(ただし、N、Mは1以上)画素分の参照領域
内に着目画素よりも大きい前記特徴量の値を有する画素
がある場合、着目画素の位置を記憶し、前記特徴量の値
が大きい画素を新規着目点とする処理を繰り返し、 前記新規着目点の特徴量の値が参照領域内で最大である
場合に、前記新規着目点の番号が未決定であればこの新
規着目点を山の頂点として新規番号を割り付け、前記新
規着目点に番号が既に割り付けられていればその番号を
前記記憶した座標の全画素に付与する番号割付処理を、
前記予め指定した画像領域内の全画素についていずれか
の山の頂点番号が付与されるまで繰り返し、 同一番号を持つ画素の集合を1つの領域とすることによ
り画像領域分割を行う請求項11又は請求項12に記載
の画像処理方法。13. An x value for each region having the mountain-shaped distribution shape.
When the y plane is divided into regions, a pixel whose number is undetermined is set as a pixel of interest in each pixel in the image region specified in advance, and N
When there is a pixel having a value of the feature amount larger than the pixel of interest in a reference area for rows × M columns (where N and M are 1 or more), the position of the pixel of interest is stored, and The process of setting a pixel having a large value as a new point of interest is repeated. If the value of the feature value of the new point of interest is the largest in the reference area, and if the number of the new point of interest is undecided, this new point of interest is Assigning a new number as the peak of the mountain, and if a number has already been assigned to the new point of interest, a number assignment process of assigning that number to all pixels of the stored coordinates,
12. The image area division is performed by repeating until all the pixels in the image area specified in advance are assigned a vertex number of any one of the peaks, and using a set of pixels having the same number as one area. Item 13. The image processing method according to Item 12.
て、各分割領域ごとに、 円形度特徴量を用いてより円形に近い程大となる形状情
報としての第1の点数、 分割領域の重心が指定領域の中心位置に近い程大となる
位置情報としての第2の点数、 分割領域の面積と指定領域の面積との比率が所定範囲か
ら外れる程小となる面積情報としての第3の点数、 色相、彩度、明度のうちのいずれか1つ以上における平
均値、最大値、最小値、コントラスト、ヒストグラム形
状のうちのいずれか1つ以上を用い、統計的な色調不良
領域情報との比較より、色調不良度合いを示す統計的画
像特徴量としての第4の点数、 及び、予め指定された瞳の中心位置と両目の間隔とに応
じて求められ、瞳の中心から外れる程小となる位置情報
としての第5の点数、 の5つの点数のうちの少なくとも1つの点数を求め、最
も点数の高いものを色調不良領域と判定する請求項11
から請求項13のいずれか1項に記載の画像処理方法。14. In the determination of the pupil poor color tone region, a first score as shape information that becomes larger as the shape becomes closer to a circle by using a circularity feature amount and a center of gravity of the divided region are determined for each divided region. A second score as position information that increases as the position is closer to the center position of the designated region; a third score as area information that decreases as the ratio of the area of the divided region to the area of the designated region deviates from a predetermined range; Using at least one of the average value, maximum value, minimum value, contrast, and histogram shape in one or more of hue, saturation, and lightness, and comparing with statistically poor color tone area information , A fourth score as a statistical image feature quantity indicating the degree of poor color tone, and position information obtained in accordance with a predetermined center position of the pupil and an interval between the eyes, and being smaller as the distance from the center of the pupil is smaller. A fifth score as At least one of the five points is determined, and the point with the highest point is determined to be a poor color tone area.
The image processing method according to any one of claims 1 to 13.
または加重平均点数により、上位L(ただし、Lは1以
上の整数)個の領域を色調不良領域と判定する請求項1
4に記載の画像処理方法。15. An L-order area (where L is an integer of 1 or more) is determined as a poor color tone area based on an average value or a weighted average score of any two or more points.
5. The image processing method according to 4.
定した画像領域をxy平面とし、各画素ごとに色相、彩
度、明度のうちのいずれか1つまたは2つ以上の組み合
わせにより画像特徴量を求め、 該特徴量をz軸に配置する3次元のxyz空間を設定
し、xy平面の広がりに対しz軸の値が山状の分布形状
を持つ領域毎にxy平面を領域分割し、 各分割領域のxy平面上での形状情報、位置情報、面積
情報、統計的画像特徴量のうちのいずれか1つまたは2
つ以上の組み合わせにより、瞳の色調不良領域の判別を
行い、色調不良領域と判別された瞳領域のサイズに合う
ように正常な瞳領域から切り出した色調正常の瞳を拡大
縮小後、前記色調不良領域と判別された瞳領域に貼り込
む処理を含む修正を行って、前記瞳の色調不良領域を視
覚的に正常な目の画像となるように修正する画像処理方
法。16. An image area specified in advance including an eye area having poor color tone is defined as an xy plane, and image characteristics are determined for each pixel by one or a combination of two or more of hue, saturation, and brightness. A three-dimensional xyz space for arranging the feature amount on the z-axis is set, and the xy plane is divided into regions each having a zigzag distribution shape with respect to the spread of the xy plane, Any one or two of shape information, position information, area information, and statistical image feature amount on the xy plane of each divided region
In accordance with one or more combinations, a poor pupil color tone area is determined, and a normal tone pupil cut out from a normal pupil area to match the size of the pupil area determined to be the poor color tone area is enlarged and reduced. An image processing method for performing correction including a process of pasting into a pupil region determined to be a region, and correcting the poorly-colored pupil region to be a visually normal eye image.
y平面を領域分割する際に、 前記予め指定した画像領域内の各画素毎に、番号割り付
け処理対象の着目画素を中心とするN行×M列(ただ
し、N、Mは1以上)画素分の参照領域内で、着目画素
の前記特徴量の値が最大である場合はこの着目画素を山
の頂点として新規番号を割り付け、着目画素の前記特徴
量の値が最大でなく、かつ、前記参照領域内の着目画素
以外の最大の特徴量の値を持つ画素が割り付け番号を持
つ場合は、該割り付け番号を着目画素に付与する番号割
り付け処理を、前記予め指定した画像領域内の全画素に
ついていずれかの山の頂点番号が付与されるまで繰り返
し、 同一番号を持つ画素の集合を1つの領域とすることによ
り画像領域分割を行う請求項16に記載の画像処理方
法。17. x is set for each region having the mountain-shaped distribution shape.
When dividing the y-plane into regions, for each pixel in the image region specified in advance, N rows × M columns (where N and M are 1 or more) pixels centered on the target pixel to be numbered. If the value of the feature value of the pixel of interest is the largest in the reference region of the target pixel, a new number is assigned with this pixel of interest as the peak of the mountain, and the value of the feature value of the pixel of interest is not the maximum, and If the pixel having the maximum feature value other than the pixel of interest in the region has an allocation number, the number allocation process of assigning the allocation number to the pixel of interest is performed for all pixels in the previously specified image region. 17. The image processing method according to claim 16, wherein the image area division is performed by repeatedly performing until a vertex number of the mountain is assigned, and setting a set of pixels having the same number as one area.
y平面を領域分割する際に、 前記予め指定した画像領域内の各画素において番号が未
決定の画素を着目画素とし、該着目画素を中心とするN
行×M列(ただし、N、Mは1以上)画素分の参照領域
内に着目画素よりも大きい前記特徴量の値を有する画素
がある場合、着目画素の位置を記憶し、前記特徴量の値
が大きい画素を新規着目点とする処理を繰り返し、 前記新規着目点の特徴量の値が参照領域内で最大である
場合に、前記新規着目点の番号が未決定であればこの新
規着目点を山の頂点として新規番号を割り付け、前記新
規着目点に番号が既に割り付けられていればその番号を
前記記憶した座標の全画素に付与する番号割付処理を、
前記予め指定した画像領域内の全画素についていずれか
の山の頂点番号が付与されるまで繰り返し、 同一番号を持つ画素の集合を1つの領域とすることによ
り画像領域分割を行う請求項16又は請求項17に記載
の画像処理方法。18. Each of the regions having the mountain-shaped distribution shape has x
When the y plane is divided into regions, a pixel whose number is undetermined is set as a pixel of interest in each pixel in the image region specified in advance, and N
When there is a pixel having a value of the feature amount larger than the pixel of interest in a reference area for rows × M columns (where N and M are 1 or more), the position of the pixel of interest is stored, and The process of setting a pixel having a large value as a new point of interest is repeated. If the value of the feature value of the new point of interest is the largest in the reference area, and if the number of the new point of interest is undecided, this new point of interest is Assigning a new number as the peak of the mountain, and if a number has already been assigned to the new point of interest, a number assignment process of assigning that number to all pixels of the stored coordinates,
17. The image region division is performed by repeating until all the pixels in the previously designated image region are assigned a vertex number of any one of the peaks, and using a set of pixels having the same number as one region. Item 18. The image processing method according to Item 17.
て、各分割領域ごとに、 円形度特徴量を用いてより円形に近い程大となる形状情
報としての第1の点数、 分割領域の重心が指定領域の中心位置に近い程大となる
位置情報としての第2の点数、 分割領域の面積と指定領域の面積との比率が所定範囲か
ら外れる程小となる面積情報としての第3の点数、 色相、彩度、明度のうちのいずれか1つ以上における平
均値、最大値、最小値、コントラスト、ヒストグラム形
状のうちのいずれか1つ以上を用い、統計的な色調不良
領域情報との比較より、色調不良度合いを示す統計的画
像特徴量としての第4の点数、 及び、予め指定された瞳の中心位置と両目の間隔とに応
じて求められ、瞳の中心から外れる程小となる位置情報
としての第5の点数、 の5つの点数のうちの少なくとも1つの点数を求め、最
も点数の高いものを色調不良領域と判定する請求項16
から請求項18のいずれか1項に記載の画像処理方法。19. In the determination of a poor pupil color tone region, a first score and a center of gravity of a divided region as shape information that becomes larger as the shape becomes closer to a circle by using a circularity feature amount are determined for each divided region. A second score as position information that increases as the position is closer to the center position of the designated region; a third score as area information that decreases as the ratio of the area of the divided region to the area of the designated region deviates from a predetermined range; Using at least one of the average value, maximum value, minimum value, contrast, and histogram shape in one or more of hue, saturation, and lightness, and comparing with statistically poor color tone area information , A fourth score as a statistical image feature quantity indicating the degree of poor color tone, and position information obtained in accordance with a predetermined center position of the pupil and an interval between the eyes, and being smaller as the distance from the center of the pupil is smaller. A fifth score as 17. At least one of the five points is determined, and the one with the highest point is determined as a poor color tone area.
The image processing method according to any one of claims 1 to 18.
または加重平均点数により、上位L(ただし、Lは1以
上の整数)個の領域を色調不良領域と判定する請求項1
9に記載の画像処理方法。20. A high-order L (where L is an integer of 1 or more) area is determined to be a poor color tone area based on an average value or a weighted average score of any two or more points.
10. The image processing method according to 9.
正の不要な目の画像とが同じ雰囲気となるように、或い
は、両目とも色調不良を修正した場合において両目の画
像の雰囲気が揃うようにさらに修正する請求項1から請
求項20のいずれか1項に記載の画像処理方法。21. The image of the eye including the corrected pupil portion and the image of the eye that does not need to be corrected have the same atmosphere, or the atmosphere of the images of both eyes is uniform when both eyes have corrected poor color tone. The image processing method according to any one of claims 1 to 20, wherein the image processing method is further modified as follows.
の指定回数に応じて、画像の領域分割手法または領域分
割に用いる特徴量を変更し、 あるいは、色調不良領域判定に用いる特徴量の種類また
は特徴量の計算方法または判定基準を変更し、 あるいは、色調不良領域の修正方法を変更する請求項1
から請求項21のいずれか1項に記載の画像処理方法。22. An image area dividing method or a feature amount used for the area division is changed according to the designated number of times of the designated area including the poorly shaded eye area. 2. The method according to claim 1, further comprising: changing a calculation method or a criterion of the characteristic amount;
The image processing method according to any one of claims 1 to 21.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14438599A JP4050842B2 (en) | 1998-06-15 | 1999-05-25 | Image processing method |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16697398 | 1998-06-15 | ||
JP10-166973 | 1998-06-15 | ||
JP14438599A JP4050842B2 (en) | 1998-06-15 | 1999-05-25 | Image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000076427A true JP2000076427A (en) | 2000-03-14 |
JP4050842B2 JP4050842B2 (en) | 2008-02-20 |
Family
ID=26475808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14438599A Expired - Fee Related JP4050842B2 (en) | 1998-06-15 | 1999-05-25 | Image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4050842B2 (en) |
Cited By (33)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002163649A (en) * | 2000-10-16 | 2002-06-07 | Xerox Corp | Digital image processing method |
GB2385736A (en) * | 2002-02-22 | 2003-08-27 | Pixology Software & Systems | Detection of red eye features in digital images by determination of the profile of image pixel values along a row of values |
US6798903B2 (en) | 1999-12-24 | 2004-09-28 | Fuji Photo Film Co., Ltd. | Image processing method, image processing device, recording medium, and transmission medium |
JP2005122287A (en) * | 2003-10-14 | 2005-05-12 | Fuji Photo Film Co Ltd | Image processing method |
JP2005316958A (en) * | 2004-03-30 | 2005-11-10 | Fuji Photo Film Co Ltd | Red eye detection device, method, and program |
WO2006011635A1 (en) * | 2004-07-30 | 2006-02-02 | Canon Kabushiki Kaisha | Image processing method and apparatus, image sensing apparatus, and program |
JP2006040230A (en) * | 2004-07-30 | 2006-02-09 | Canon Inc | Image processing method and its device, imaging apparatus and program |
JP2006040232A (en) * | 2004-07-30 | 2006-02-09 | Canon Inc | Image processor and its method, imaging apparatus, program |
JP2006053718A (en) * | 2004-08-11 | 2006-02-23 | Noritsu Koki Co Ltd | Photographic processor |
JP2006059092A (en) * | 2004-08-19 | 2006-03-02 | Noritsu Koki Co Ltd | Catchlight synthesis method |
JP2006072743A (en) * | 2004-09-02 | 2006-03-16 | Noritsu Koki Co Ltd | Catch light composition method and device |
JP2006072742A (en) * | 2004-09-02 | 2006-03-16 | Noritsu Koki Co Ltd | Catch light composition method and device |
JP2007221835A (en) * | 2007-06-01 | 2007-08-30 | Seiko Epson Corp | Apparatus, method and program of correcting red-eye |
US7277589B2 (en) | 2002-09-24 | 2007-10-02 | Fujifilm Corporation | Image retouching method, apparatus, and program storage medium, image correcting method, apparatus, and program storage medium, and eye detecting and correcting method apparatus, and program storage medium |
US7289664B2 (en) | 2002-01-17 | 2007-10-30 | Fujifilm Corporation | Method of detecting and correcting the red eye |
JP2007287166A (en) * | 2007-06-01 | 2007-11-01 | Seiko Epson Corp | Red-eye correcting device, red-eye correcting method and red-eye correcting program |
US7324246B2 (en) | 2001-09-27 | 2008-01-29 | Fujifilm Corporation | Apparatus and method for image processing |
CN100366047C (en) * | 2004-04-23 | 2008-01-30 | 诺日士钢机株式会社 | Method for red eye correction, program, and device thereof |
CN100377565C (en) * | 2004-05-13 | 2008-03-26 | 欧姆龙株式会社 | Image correction apparatus |
US7397969B2 (en) | 2002-08-30 | 2008-07-08 | Fujifilm Corporation | Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer |
US7424164B2 (en) | 2003-04-21 | 2008-09-09 | Hewlett-Packard Development Company, L.P. | Processing a detected eye of an image to provide visual enhancement |
US7486317B2 (en) | 2003-10-27 | 2009-02-03 | Noritsu Koki, Co., Ltd. | Image processing method and apparatus for red eye correction |
JP2009064459A (en) * | 2008-10-24 | 2009-03-26 | Konica Minolta Business Technologies Inc | Program for correcting red eye in image, recording medium and pink eye correction method |
JP2009087250A (en) * | 2007-10-02 | 2009-04-23 | Canon Inc | Image processor and image processing method |
JP2011503704A (en) * | 2007-11-08 | 2011-01-27 | テセラ テクノロジーズ アイルランド リミテッド | Detection of red-eye defects in digital images |
US8018612B2 (en) | 2006-03-31 | 2011-09-13 | Fujifilm Corporation | Image processing apparatuses, methods and systems that select an apparatus for performing image processing on an image |
US8345970B2 (en) | 2006-03-31 | 2013-01-01 | Fujifilm Corporation | Image processing apparatus, image processing method, and image processing program stored on a computer readable medium |
US8358838B2 (en) | 2006-03-30 | 2013-01-22 | Fujifilm Corporation | Red eye detecting apparatus, red eye detecting method and red eye detecting program stored on a computer readable medium |
US8363935B2 (en) | 2006-03-31 | 2013-01-29 | Fujifilm Corporation | Image processing apparatus, image processing method, and computer readable medium storing image processing program |
JP2015176301A (en) * | 2014-03-14 | 2015-10-05 | オムロン株式会社 | Image processing device and image processing method |
KR20160028350A (en) * | 2014-09-03 | 2016-03-11 | 오므론 가부시키가이샤 | Image processing apparatus and image processing method |
KR101614468B1 (en) | 2014-11-03 | 2016-04-21 | 백석대학교산학협력단 | Eye Detection and Its Opening and Closing State Recognition Method Using Block Contrast in Mobile Device |
WO2018105099A1 (en) * | 2016-12-09 | 2018-06-14 | 株式会社Fuji | Electrode image recognition method, electrode image recognition system, image processing component data creation method, and image processing component data creation system |
-
1999
- 1999-05-25 JP JP14438599A patent/JP4050842B2/en not_active Expired - Fee Related
Cited By (51)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6798903B2 (en) | 1999-12-24 | 2004-09-28 | Fuji Photo Film Co., Ltd. | Image processing method, image processing device, recording medium, and transmission medium |
JP2002163649A (en) * | 2000-10-16 | 2002-06-07 | Xerox Corp | Digital image processing method |
JP4619589B2 (en) * | 2000-10-16 | 2011-01-26 | ゼロックス コーポレイション | Digital image processing method |
US7324246B2 (en) | 2001-09-27 | 2008-01-29 | Fujifilm Corporation | Apparatus and method for image processing |
CN100444200C (en) * | 2002-01-17 | 2008-12-17 | 富士胶片株式会社 | Red-eyes detection and correcting method |
US7289664B2 (en) | 2002-01-17 | 2007-10-30 | Fujifilm Corporation | Method of detecting and correcting the red eye |
GB2385736A (en) * | 2002-02-22 | 2003-08-27 | Pixology Software & Systems | Detection of red eye features in digital images by determination of the profile of image pixel values along a row of values |
GB2385736B (en) * | 2002-02-22 | 2005-08-24 | Pixology Ltd | Detection and correction of red-eye features in digital images |
US7397969B2 (en) | 2002-08-30 | 2008-07-08 | Fujifilm Corporation | Red eye compensation method, image processing apparatus and method for implementing the red eye compensation method, as well as printing method and printer |
US7277589B2 (en) | 2002-09-24 | 2007-10-02 | Fujifilm Corporation | Image retouching method, apparatus, and program storage medium, image correcting method, apparatus, and program storage medium, and eye detecting and correcting method apparatus, and program storage medium |
US7424164B2 (en) | 2003-04-21 | 2008-09-09 | Hewlett-Packard Development Company, L.P. | Processing a detected eye of an image to provide visual enhancement |
JP2005122287A (en) * | 2003-10-14 | 2005-05-12 | Fuji Photo Film Co Ltd | Image processing method |
JP4482307B2 (en) * | 2003-10-14 | 2010-06-16 | 富士フイルム株式会社 | Image processing device |
US7486317B2 (en) | 2003-10-27 | 2009-02-03 | Noritsu Koki, Co., Ltd. | Image processing method and apparatus for red eye correction |
JP2005316958A (en) * | 2004-03-30 | 2005-11-10 | Fuji Photo Film Co Ltd | Red eye detection device, method, and program |
CN100366047C (en) * | 2004-04-23 | 2008-01-30 | 诺日士钢机株式会社 | Method for red eye correction, program, and device thereof |
US7460707B2 (en) | 2004-04-23 | 2008-12-02 | Noritsu Koki Co., Ltd. | Image processing method and apparatus for red eye correction |
CN100377565C (en) * | 2004-05-13 | 2008-03-26 | 欧姆龙株式会社 | Image correction apparatus |
US7539342B2 (en) | 2004-05-13 | 2009-05-26 | Omron Corporation | Image correction apparatus |
WO2006011635A1 (en) * | 2004-07-30 | 2006-02-02 | Canon Kabushiki Kaisha | Image processing method and apparatus, image sensing apparatus, and program |
US7894666B2 (en) | 2004-07-30 | 2011-02-22 | Canon Kabushiki Kaisha | Image processing method and apparatus, image sensing apparatus, and program |
JP4537143B2 (en) * | 2004-07-30 | 2010-09-01 | キヤノン株式会社 | Image processing apparatus and method, imaging apparatus, and program |
JP2006040230A (en) * | 2004-07-30 | 2006-02-09 | Canon Inc | Image processing method and its device, imaging apparatus and program |
JP2006040232A (en) * | 2004-07-30 | 2006-02-09 | Canon Inc | Image processor and its method, imaging apparatus, program |
JP4537142B2 (en) * | 2004-07-30 | 2010-09-01 | キヤノン株式会社 | Image processing method and apparatus, imaging apparatus, and program |
JP2006053718A (en) * | 2004-08-11 | 2006-02-23 | Noritsu Koki Co Ltd | Photographic processor |
JP2006059092A (en) * | 2004-08-19 | 2006-03-02 | Noritsu Koki Co Ltd | Catchlight synthesis method |
JP4507082B2 (en) * | 2004-08-19 | 2010-07-21 | ノーリツ鋼機株式会社 | Catch light synthesis method |
JP2006072742A (en) * | 2004-09-02 | 2006-03-16 | Noritsu Koki Co Ltd | Catch light composition method and device |
JP2006072743A (en) * | 2004-09-02 | 2006-03-16 | Noritsu Koki Co Ltd | Catch light composition method and device |
US8358838B2 (en) | 2006-03-30 | 2013-01-22 | Fujifilm Corporation | Red eye detecting apparatus, red eye detecting method and red eye detecting program stored on a computer readable medium |
US8363935B2 (en) | 2006-03-31 | 2013-01-29 | Fujifilm Corporation | Image processing apparatus, image processing method, and computer readable medium storing image processing program |
US8345970B2 (en) | 2006-03-31 | 2013-01-01 | Fujifilm Corporation | Image processing apparatus, image processing method, and image processing program stored on a computer readable medium |
US8018612B2 (en) | 2006-03-31 | 2011-09-13 | Fujifilm Corporation | Image processing apparatuses, methods and systems that select an apparatus for performing image processing on an image |
JP4492643B2 (en) * | 2007-06-01 | 2010-06-30 | セイコーエプソン株式会社 | Red-eye correction device, red-eye correction method, and red-eye correction program |
JP4492642B2 (en) * | 2007-06-01 | 2010-06-30 | セイコーエプソン株式会社 | Red-eye correction device, red-eye correction method, and red-eye correction program |
JP2007287166A (en) * | 2007-06-01 | 2007-11-01 | Seiko Epson Corp | Red-eye correcting device, red-eye correcting method and red-eye correcting program |
JP2007221835A (en) * | 2007-06-01 | 2007-08-30 | Seiko Epson Corp | Apparatus, method and program of correcting red-eye |
JP2009087250A (en) * | 2007-10-02 | 2009-04-23 | Canon Inc | Image processor and image processing method |
US8290267B2 (en) | 2007-11-08 | 2012-10-16 | DigitalOptics Corporation Europe Limited | Detecting redeye defects in digital images |
JP2011503704A (en) * | 2007-11-08 | 2011-01-27 | テセラ テクノロジーズ アイルランド リミテッド | Detection of red-eye defects in digital images |
KR101330772B1 (en) | 2007-11-08 | 2013-11-18 | 디지털옵틱스 코포레이션 유럽 리미티드 | Detecting redeye defects in digital images |
JP4640490B2 (en) * | 2008-10-24 | 2011-03-02 | コニカミノルタビジネステクノロジーズ株式会社 | Program for correcting red eye in image, recording medium, and red eye correction method |
JP2009064459A (en) * | 2008-10-24 | 2009-03-26 | Konica Minolta Business Technologies Inc | Program for correcting red eye in image, recording medium and pink eye correction method |
JP2015176301A (en) * | 2014-03-14 | 2015-10-05 | オムロン株式会社 | Image processing device and image processing method |
KR20160028350A (en) * | 2014-09-03 | 2016-03-11 | 오므론 가부시키가이샤 | Image processing apparatus and image processing method |
US9542599B2 (en) | 2014-09-03 | 2017-01-10 | Omron Corporation | Image processing device and image processing method |
KR101715486B1 (en) * | 2014-09-03 | 2017-03-10 | 오므론 가부시키가이샤 | Image processing apparatus and image processing method |
KR101614468B1 (en) | 2014-11-03 | 2016-04-21 | 백석대학교산학협력단 | Eye Detection and Its Opening and Closing State Recognition Method Using Block Contrast in Mobile Device |
WO2018105099A1 (en) * | 2016-12-09 | 2018-06-14 | 株式会社Fuji | Electrode image recognition method, electrode image recognition system, image processing component data creation method, and image processing component data creation system |
JPWO2018105099A1 (en) * | 2016-12-09 | 2019-07-25 | 株式会社Fuji | Electrode image recognition method, electrode image recognition system, image processing component data creation method, and image processing component data creation system |
Also Published As
Publication number | Publication date |
---|---|
JP4050842B2 (en) | 2008-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4050842B2 (en) | Image processing method | |
US7127108B2 (en) | Image processing method | |
JP3961734B2 (en) | Image processing method, apparatus, and recording medium | |
US7289664B2 (en) | Method of detecting and correcting the red eye | |
JP4153108B2 (en) | Image processing method, image processing apparatus, and recording medium | |
EP1206118B1 (en) | Image processing apparatus, image processing method and recording medium | |
JP3557659B2 (en) | Face extraction method | |
US6445819B1 (en) | Image processing method, image processing device, and recording medium | |
JP3506958B2 (en) | Image processing method, image processing apparatus, and recording medium | |
US20070122034A1 (en) | Face detection in digital images | |
US20040114797A1 (en) | Method for automatic determination of color-density correction values for the reproduction of digital image data | |
JP2000148980A (en) | Image processing method, image processor and recording medium | |
JP2001148780A (en) | Method for setting red-eye correction area and red-eye correction method | |
JP3576025B2 (en) | Main subject extraction method and apparatus | |
JP4210995B2 (en) | Bright spot detection method and bright spot detection program | |
JP3964796B2 (en) | Red-eye detection and correction method | |
JP2000069277A (en) | Image processing unit | |
JP3575976B2 (en) | Main subject extraction method | |
JPH11308474A (en) | Image processor | |
JP3817371B2 (en) | Image processing method, apparatus, and recording medium | |
JP4207124B2 (en) | Bright line drawing processing method and bright line drawing processing program | |
JP3576812B2 (en) | Image processing apparatus and image processing method | |
JP3938818B2 (en) | Image processing apparatus and method | |
JPH11346303A (en) | Image processing method | |
JP2000152067A (en) | Method and device for picture processing and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040823 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070830 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070904 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071130 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101207 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111207 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121207 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131207 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |