JP5022811B2 - Image processing apparatus, image processing method, and imaging apparatus - Google Patents
Image processing apparatus, image processing method, and imaging apparatus Download PDFInfo
- Publication number
- JP5022811B2 JP5022811B2 JP2007203406A JP2007203406A JP5022811B2 JP 5022811 B2 JP5022811 B2 JP 5022811B2 JP 2007203406 A JP2007203406 A JP 2007203406A JP 2007203406 A JP2007203406 A JP 2007203406A JP 5022811 B2 JP5022811 B2 JP 5022811B2
- Authority
- JP
- Japan
- Prior art keywords
- eye
- pixel
- correction value
- index
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 90
- 238000003384 imaging method Methods 0.000 title claims description 37
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000012937 correction Methods 0.000 claims description 85
- 238000011156 evaluation Methods 0.000 claims description 49
- 238000004364 calculation method Methods 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 19
- 241000593989 Scardinius erythrophthalmus Species 0.000 description 52
- 201000005111 ocular hyperemia Diseases 0.000 description 52
- 238000000034 method Methods 0.000 description 24
- 230000008569 process Effects 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 238000007906 compression Methods 0.000 description 13
- 230000006835 compression Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 9
- 230000003287 optical effect Effects 0.000 description 9
- 239000006185 dispersion Substances 0.000 description 8
- 238000009826 distribution Methods 0.000 description 8
- 230000009467 reduction Effects 0.000 description 8
- 238000003860 storage Methods 0.000 description 7
- 230000006837 decompression Effects 0.000 description 6
- 210000001747 pupil Anatomy 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- WHXSMMKQMYFTQS-UHFFFAOYSA-N Lithium Chemical compound [Li] WHXSMMKQMYFTQS-UHFFFAOYSA-N 0.000 description 1
- 229910005580 NiCd Inorganic materials 0.000 description 1
- 229910005813 NiMH Inorganic materials 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013144 data compression Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 229910052744 lithium Inorganic materials 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
本発明は、画像処理装置及び画像処理方法に関し、特に撮像装置で撮像された画像内に含まれる赤目領域を補正する画像処理装置及び画像処理方法に関する。
本発明はさらに、撮像画像中の赤目領域を補正する機能を有する撮像装置に関する。
The present invention relates to an image processing apparatus and an image processing method, and more particularly to an image processing apparatus and an image processing method for correcting a red-eye area included in an image captured by an imaging apparatus.
The present invention further relates to an imaging apparatus having a function of correcting a red-eye area in a captured image.
従来、光電変換素子を用いて被写体光学像を撮像し、メモリカードを代表とする記録媒体に、撮像画像をデジタルデータとして記録するデジタルカメラが知られている。
また、人物をフラッシュ撮影（フラッシュを点灯させて撮影）した場合、目が赤く撮影されてしまう赤目現象についても知られている。赤目現象は、網膜の血管が撮像されることにより発生し、特に暗所など瞳孔が大きく開いた状態でフラッシュ撮影した場合に起こりやすい。
2. Description of the Related Art Conventionally, a digital camera that captures a subject optical image using a photoelectric conversion element and records the captured image as digital data on a recording medium represented by a memory card is known.
There is also known a red-eye phenomenon in which a person's eyes are photographed in red when a person is photographed with a flash (photographed with the flash turned on). The red-eye phenomenon occurs when a blood vessel of the retina is imaged, and is particularly likely to occur when flash photography is performed with the pupil wide open, such as in a dark place.
このような赤目現象の発生を緩和するため、フラッシュ撮影の直前にランプやフラッシュなどを一度点灯させ（プリ発光）、瞳孔を収縮させてからフラッシュ撮影を行う赤目緩和機能を有する撮像装置が知られている。しかし、プリ発光時に被写体がカメラを注視していない場合は赤目緩和効果が少ないといった問題があった。 In order to alleviate the occurrence of such a red-eye phenomenon, an imaging device having a red-eye alleviation function is known in which a lamp or a flash is lit once (pre-emission) immediately before flash photography and the pupil is contracted to perform flash photography. ing. However, there is a problem that the red-eye mitigation effect is small when the subject is not gazing at the camera during the pre-flash.
赤目現象はデジタルカメラであってもフィルムカメラ（銀塩カメラ）であっても同様に発生するが、デジタルカメラの場合、撮像画像に対して容易に画像処理を適用することができる。そのため、撮像画像中に含まれる人物の顔や目を検出し、赤目現象が発生していると判断される場合には自動または半自動で赤目領域を修正する赤目補正技術が提案されている。特許文献１では、撮像画像中、肌色とみなされる領域を顔領域として検出し、検出された顔領域内で赤目領域を検出することが開示されている。また、特許文献２には、赤目補正機能を有するカメラにおいて、検出顔形状モデルと顔確率を比較するアルゴリズムとパターンマッチングを併用して、撮像画像中の顔領域を検出することが開示されている。 The red-eye phenomenon occurs in the same manner regardless of whether it is a digital camera or a film camera (silver salt camera). However, in the case of a digital camera, image processing can be easily applied to a captured image. Therefore, a red-eye correction technique has been proposed in which a human face or eye included in a captured image is detected and a red-eye region is corrected automatically or semi-automatically when it is determined that a red-eye phenomenon has occurred. Japanese Patent Application Laid-Open No. H10-228667 discloses that a region regarded as a skin color in a captured image is detected as a face region, and a red-eye region is detected in the detected face region. Patent Document 2 discloses that a camera having a red-eye correction function detects a face area in a captured image by using a combination of an algorithm that compares a detected face shape model with a face probability and pattern matching. .
これら従来の技術においては、画素の赤さの度合いを評価値として赤目領域の候補となる領域（赤目候補領域）を検出し、さらに赤目候補領域の大きさや形などから最終的な赤目領域を特定して、赤目領域内の画素を補正している。 In these conventional technologies, a candidate for a red eye region (red eye candidate region) is detected using the degree of redness of a pixel as an evaluation value, and a final red eye region is identified from the size and shape of the red eye candidate region. Thus, the pixels in the red-eye area are corrected.
このような方法で赤目補正した場合、補正された領域と補正されない領域とが区別できてしまい、不自然な補正結果になる場合がある。また、赤目候補領域を画素の赤さに基づいて検出するので、目頭などの充血した部分、肌の赤い部分、赤い光源下で撮影された人物の肌色部分などを赤目候補領域として誤検出することが多く、誤補正の確率が高いという問題があった。 When red-eye correction is performed by such a method, a corrected area and an uncorrected area can be distinguished, and an unnatural correction result may occur. In addition, because the red eye candidate area is detected based on the red color of the pixel, the red eye candidate area may be erroneously detected as a congested part such as the head of the eye, a red part of the skin, or a skin color part of a person photographed under a red light source. There were many problems, and the probability of erroneous correction was high.
本発明はこのような従来技術の課題に鑑みてなされたものであり、赤目領域をより効果的に補正することのできる画像処理装置及び画像処理方法を実現することを目的とする。 The present invention has been made in view of such a problem of the prior art, and an object of the present invention is to realize an image processing apparatus and an image processing method capable of correcting a red-eye region more effectively.
上述の目的は、画像中から、目と判断される目領域を検出する検出手段と、目領域を複数のブロックに分割する分割手段と、複数のブロックの各々について、ブロックに含まれる画素ごとに、画素の赤さを示す評価値を求める評価値演算手段と、評価値のばらつき度合を示す指標を、前記ブロックごとに求める指標演算手段と、目領域に含まれる個々の画素に対する補正値を、画素について演算された評価値と、指標とに基づいて演算する補正値演算手段と、補正値を目領域の画素に適用する補正手段とを有し、補正値演算手段が、ばらつき度合の小さいブロック内の画素ほど補正値が小さくなるように評価値を指標に基づいて補正することにより補正値を演算することを特徴とする画像処理装置によって達成される。 The above-described object is to detect, for each pixel included in a block, a detecting unit that detects an eye area determined to be an eye from the image, a dividing unit that divides the eye area into a plurality of blocks, and a plurality of blocks. an evaluation value calculating means for calculating an evaluation value that indicates the red of the pixel, an index indicating the degree of variation of the evaluation value, before and index calculation means for calculating for each Chivu lock, correction values for the individual pixels included in the eye area Correction value calculation means for calculating the correction value based on the evaluation value calculated for the pixel and the index, and correction means for applying the correction value to the pixel in the eye area. This is achieved by an image processing apparatus that calculates a correction value by correcting an evaluation value based on an index so that the correction value becomes smaller as a pixel in a smaller block .
また、上述の目的は、本発明の画像処理装置を有し、撮像した画像に対して画像処理装置による補正を行うことを特徴とする撮像装置によっても達成される。 The above-described object is also achieved by an imaging apparatus having the image processing apparatus of the present invention, wherein the captured image is corrected by the image processing apparatus.
また、上述の目的は、画像中から、目と判断される目領域を検出する検出工程と、目領域を複数のブロックに分割する分割工程と、複数のブロックの各々について、ブロックに含まれる画素ごとに、画素の赤さを示す評価値を求める評価値演算工程と、評価値のばらつき度合を示す指標を、ブロックごとに求める指標演算工程と、目領域に含まれる個々の画素に対する補正値を、画素について演算された評価値と、指標とに基づいて演算する補正値演算工程と、補正値を目領域の画素に適用する補正工程とを有し、補正値演算工程において、ばらつき度合の小さいブロック内の画素ほど補正値が小さくなるように評価値を指標に基づいて補正することにより補正値を演算することを特徴とする画像処理方法によっても達成される。 Further, the above object is, from within images, a detection step of detecting an eye region is determined to eye, a dividing step of dividing the eye region into a plurality of blocks, for each of the multiple blocks, included in the block for each pixel, the evaluation value calculation step of calculating an evaluation value that indicates the red of the pixel, an index indicating the degree of variation of criticism value, the index calculation step of obtaining for each block, correction for each of pixels included in the eye area values, and the calculated evaluation value for the pixel has a correction value calculation step of calculating, based on the index, and a correction step of applying the compensation value to the pixels in the eye region, the compensation values calculating step, also it affects the image processing method characterized by calculating a correction value by correcting on the basis of the index evaluation value such as the pixels in a small block variation degree correction value decreases are achieved.
このような構成により、本発明の画像処理装置及び画像処理方法によれば、赤目領域を効果的に補正することができる。 With such a configuration, according to the image processing apparatus and the image processing method of the present invention, the red-eye area can be effectively corrected.
以下、図面を参照して本発明の例示的な実施形態について詳細に説明する。
（撮像装置の構成）
図１は、本発明の実施形態に係る画像処理装置の一例としての撮像装置１００の構成例を示す図である。
１０１はレンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する、ＣＣＤやＣＭＯＳセンサ等の撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings.
(Configuration of imaging device)
FIG. 1 is a diagram illustrating a configuration example of an
101 is a lens, 12 is a shutter having a diaphragm function, 14 is an image sensor such as a CCD or CMOS sensor that converts an optical image into an electrical signal, and 16 is an A / D that converts an analog signal output of the
タイミング発生部１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給し、メモリ制御部２２及びシステム制御部５０により制御される。
The
画像処理部２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。
The
また、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御部５０が露光制御部４０、測距制御部４２を制御し、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）、ＡＥ（自動露出）、ＥＦ（フラッシュプリ発光）機能を実現している。
Further, the
さらに、画像処理部２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
Further, the
メモリ制御部２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。
The
Ａ／Ｄ変換器１６の出力データが画像処理部２０、メモリ制御部２２を介して、或いはＡ／Ｄ変換器１６の出力データが直接メモリ制御部２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。
The output data of the A /
画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介してＬＣＤや有機ＥＬディスプレイ等の画像表示部２８により表示される。撮像した画像データを画像表示部２８で逐次表示すれば、電子ファインダー機能を実現することが可能である。
Display image data written in the
また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。
The
メモリ３０は撮影した静止画像や動画像を格納する記憶装置であり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。そのため、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。
また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。
The
The
圧縮伸長部３２は、メモリ３０に格納された画像を読み込んで、適応離散コサイン変換（ＡＤＣＴ）、ウェーブレット変換等を用いた周知のデータ圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。
露光制御部４０は絞り機能を備えるシャッター１２を制御するとともに、フラッシュ４８と連携することによりフラッシュ調光機能も有する。
The compression /
The
測距制御部４２はレンズ１０のフォーカシングを制御し、ズーム制御部４４はレンズ１０のズーミングを制御する。バリア制御部４６はレンズ１０の保護を行うためのレンズバリアである保護部１０２の動作を制御する。
The distance
フラッシュ４８は撮影時の補助光源として機能し、調光機能も有する。また、ＡＦ補助光の投光機能も有する。
赤目緩和ランプ４９は、フラッシュ４８を用いた撮影前に、約１秒間発光することによって、被写体である人の瞳孔を小さくするための光源である。上述したように、撮影直前に瞳孔を小さくすることによって、フラッシュ発光撮影時の赤目現象を低減することができる。
The
The red-eye reduction lamp 49 is a light source for reducing the pupil of a person who is a subject by emitting light for about 1 second before photographing using the
露光制御部４０、測距制御部４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０、測距制御部４２に対して制御を行う。
The
システム制御部５０は例えばＣＰＵであり、メモリ５２に記憶されたプログラムを実行することにより撮像装置１００全体を制御する。メモリ５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶する。
The
表示部５４は例えばＬＣＤやＬＥＤ、スピーカ等の出力装置の組み合わせにより構成され、システム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を出力する。表示部５４は撮像装置１００の操作部７０近辺の視認し易い位置に、単数或いは複数設置される。また、表示部５４の一部は光学ファインダー１０４内に設置されている。
The
表示部５４の表示内容としては、例えば以下のようなものがある。シングルショット／連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示。時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、外部コンピュータとの接続状態を示す表示。合焦表示、撮影準備完了表示、手振れ警告表示、フラッシュ充電表示、記録媒体書き込み動作表示、等。この一部は光学ファインダー１０４内に表示される。
Examples of the display contents of the
さらに、表示部５４の表示内容のうち、ＬＥＤ等により表示するものとしては、例えば以下のようなものがある。合焦表示、撮影準備完了表示、手振れ警告表示、手振れ警告表示、フラッシュ充電表示、フラッシュ充電完了表示、記録媒体書き込み動作表示、マクロ撮影設定通知表示、二次電池充電状態表示、等。
Further, among the display contents of the
そして、表示部５４の表示内容のうち、ランプ等により表示するものとしては、例えば、セルフタイマー通知ランプ、等がある。このセルフタイマー通知ランプは、ＡＦ補助光と共用して用いても良い。
不揮発性メモリ５６は電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。
Of the display contents of the
The
モードダイヤル６０、第１シャッタースイッチ（ＳＷ１）６２、第２シャッタースイッチ（ＳＷ２）６４、電源スイッチ６６、無線接続ボタン６８及び操作部７０は、システム制御部５０に所定の動作の開始、停止等を指示するための操作部材である。これらの操作部材は、ボタン、スイッチ、ダイアル、タッチパネル、視線検知装置、音声認識装置或いはこれらの組み合わせで構成される。
The
ここで、これらの操作手段の具体的な説明を行う。
モードダイヤル６０は、例えば電源オフ、自動撮影モード、プログラム撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定するためのスイッチである。
Here, a specific description of these operating means will be given.
The
第１シャッタースイッチ（ＳＷ１）６２は、デジタルカメラ１００に設けられたシャッターボタン（図示せず）の第１ストローク（例えば半押し）でＯＮとなる。第１シャッタースイッチ（ＳＷ１）６２がＯＮにされた場合、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ処理等が開始される。
The first shutter switch (SW1) 62 is turned on by a first stroke (for example, half-pressed) of a shutter button (not shown) provided in the
第２シャッタースイッチ（ＳＷ２）６４は、デジタルカメラ１００に設けられたシャッターボタンの第２ストローク（例えば全押し）でＯＮとなり、露光処理、現像処理及び記録処理からなる一連の処理の開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して画像データをメモリ３０に書き込み、更に、画像処理部２０やメモリ制御部２２での演算を用いた現像処理が行われる。更に、メモリ３０から画像データを読み出し、圧縮伸張部３２で圧縮を行い、記録媒体２００や２１０に画像データを書き込む記録処理が行われる。
The second shutter switch (SW2) 64 is turned on by a second stroke (for example, full press) of a shutter button provided in the
画像表示ＯＮ／ＯＦＦスイッチ６６は、画像表示部２８の表示ＯＮ／ＯＦＦ設定用スイッチである。光学ファインダー１０４を用いて撮影を行う際に、例えばＴＦＴ ＬＣＤ等から成る画像表示部２８の表示をＯＦＦして電流供給を遮断することにより、省電力を図ることが可能となる。
The image display ON / OFF switch 66 is a display ON / OFF setting switch of the
フラッシュ設定ボタン６８は、フラッシュの動作モードを設定・変更するボタンである。本実施形態において設定可能なモードは、オート、常時発光、赤目緩和オート、常時発光（赤目緩和）がある。オートは、被写体の明るさに応じて自動的にフラッシュを発光して撮影するモードである。常時発光は、常にフラッシュを発光して撮影するモードである。赤目緩和オートは、被写体の明るさに応じて自動的にフラッシュを発光して撮影するとともに、フラッシュ発光の際には、常に赤目緩和ランプを発光するモードである。常時発光（赤目緩和）は、常に赤目緩和ランプとストロボを発光して撮影するモードである。
The
操作部７０は各種ボタンやタッチパネル等からなり、例えば以下のようなボタン、スイッチを含む。メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン。再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン、圧縮モードスイッチ等。
The
圧縮モードスイッチは、ＪＰＥＧ(Joint Photographic Expert Group)圧縮の圧縮率を選択するため、或いは撮像素子の信号をそのままデジタル化して記録媒体に記録するＲＡＷモードを選択するためのスイッチである。 The compression mode switch is a switch for selecting a compression rate of JPEG (Joint Photographic Expert Group) compression, or for selecting a RAW mode in which a signal of an image sensor is directly digitized and recorded on a recording medium.
本実施形態において、ＪＰＥＧ圧縮のモードは、例えばノーマルモードとファインモードが用意されている。撮像装置１００の利用者は、撮影した画像のデータサイズを重視する場合はノーマルモードを、撮影した画像の画質を重視する場合はファインモードを、それぞれ選択して撮影を行うことができる。
In the present embodiment, for example, a normal mode and a fine mode are prepared as JPEG compression modes. The user of the
ＪＰＥＧ圧縮のモードにおいては、圧縮伸長部３２が、メモリ３０に書き込まれた画像データを読み出し、設定された圧縮率に圧縮した後、例えば記録媒体２００に記録する。
In the JPEG compression mode, the compression /
ＲＡＷモードでは、撮像素子１４の色フィルタの画素配列に応じて、ライン毎にそのまま画像データを読み出し、Ａ／Ｄ変換器１６、メモリ制御部２２を介して、メモリ３０に書き込まれた画像データを読み出し、記録媒体２００に記録する。
In the RAW mode, the image data is read as it is for each line according to the pixel arrangement of the color filter of the
電源制御部８０は、電池検出部、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ部等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。
The power
電源８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、或いはＡＣアダプター等からなり、コネクタ８２及び８４によって撮像装置１００に取り付けられる。
The
メモリカードやハードディスク等の記録媒体２００及び２１０は、半導体メモリや磁気ディスク等から構成される記録部２０２、２１２と、撮像装置１００とのインターフェース２０４、２１４及びコネクタ２０６、２１６を有している。記録媒体２００及び２１０は、媒体側のコネクタ２０６、２１６と撮像装置１００側のコネクタ９２、９６とを介して撮像装置１００に装着される。コネクタ９２、９６にはインターフェース９０及び９４が接続される。記録媒体２００、２１０の装着有無は、記録媒体着脱検知部９８によって検知される。
Recording
なお、本実施形態では撮像装置１００が記録媒体を取り付けるインターフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインターフェース及びコネクタは、単数を含む任意の数備えることができる。また、系統毎に異なる規格のインターフェース及びコネクタを用いても良い。
In the present embodiment, the
コネクタ９２及び９６に各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。
バリア１０２は、撮像装置１００の、レンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止する。
By connecting various communication cards to the
The
光学ファインダー１０４は例えばＴＴＬファインダーであり、プリズムやミラーを用いてレンズ１０を通じた光束を結像する。光学ファインダー１０４を用いることで、画像表示部２８による電子ファインダー機能を使用すること無しに撮影を行うことが可能である。また、上述したように、光学ファインダー１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などの情報表示がなされる。
The
通信部１１０は、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、ＩＥＥＥ８０２．１１ｘ等の無線通信、等、各種規格に準拠した通信処理を行う。
コネクタ（無線通信の場合はアンテナ）１１２は、通信部１１０を介して撮像装置１００を他の機器と接続する。
The
A connector (antenna in the case of wireless communication) 112 connects the
図２は、図１の構成を有する撮像装置１００の外観例を示す斜視図であり、図１に示した構成については同じ参照数字を付した。
電源ボタン２０１は撮像装置１００の電源をオン・オフするためのボタンである。MENUボタン２０５は、撮影パラメタやカメラの設定を変更するためのメニュー画面を表示したり表示を中止するためのボタンである。SETボタン２０３は、設定値の決定や、メニュー項目の決定などに使用する。削除ボタン２０７は、撮像した画像の削除を指定する際に用いる。ＤＩＳＰボタン２０８は、画像表示部２８に表示する情報の組み合わせを切り替えるボタンである。十字ボタン２０９は上下左右ボタンから構成され、メニュー画面の遷移や選択項目の移動などを行ったり、再生モードにおける表示画像の切り替えなどを行ったりするのに使用する。これらのボタンは、操作部７０に含まれる。
FIG. 2 is a perspective view showing an example of the appearance of the
A
（撮像・記録処理）
図３は、本実施形態に係る撮像装置における撮像・記録処理の全体的な流れを説明するフローチャートである。
本実施形態では、撮像時に赤目補正処理を行ない、補正後の画像（補正画像）を記録媒体に保存するものとする。ただし、赤目補正処理は撮影時でなくても実行可能であることは言うまでもない。
(Imaging and recording processing)
FIG. 3 is a flowchart for explaining the overall flow of the imaging / recording process in the imaging apparatus according to the present embodiment.
In this embodiment, it is assumed that red-eye correction processing is performed at the time of imaging, and the corrected image (corrected image) is stored in a recording medium. However, it is needless to say that the red-eye correction process can be executed even when shooting is not performed.
シャッターボタンが全押しされ、ＳＷ２がＯＮになると、撮影処理が行われる（Ｓ３０２）。撮像素子１４がアナログ電気信号に変換した被写体像はＡ／Ｄ変換器１６によりデジタル信号に変換される。そして、Ａ／Ｄ変換器１６が出力するデジタル信号に対し、画像処理部２０において撮影画像処理を実施する（Ｓ３０３）。
When the shutter button is fully pressed and SW2 is turned on, shooting processing is performed (S302). The subject image converted by the
詳細は省略するが、この撮影画像処理には、撮像素子１４から読み出された信号を、例えばカラーフィルタの配列などに基づいて、輝度成分Ｙ、色差成分ＵＶで表される画素単位の画像データへ変換する処理が含まれる。
Although details are omitted, in this captured image processing, the signal read from the
次に、画像処理部２０は、画像データを用いて、撮像画像内において顔と判断される領域（顔領域）を検出する顔検出処理を行う（Ｓ３０４）。
顔検出処理はどのような手法によって行っても良いが、例えば特開２００１−３０９２２５号公報に記載されるような、顔形状モデルを用いたパターンマッチングを用いて行うことができる。また、パターンマッチング時におけるモデルと画像領域との一致度（類似度）に基づいて、顔らしさを示す尺度である顔信頼度を求めることが可能である。
Next, the
The face detection process may be performed by any method, but can be performed by using pattern matching using a face shape model as described in, for example, Japanese Patent Laid-Open No. 2001-309225. Further, it is possible to obtain a face reliability, which is a scale indicating the likelihood of a face, based on the degree of coincidence (similarity) between the model and the image area at the time of pattern matching.
本実施形態において、画像処理部２０は、１〜１０の１０段階の顔信頼度を求めるものとする。ここで、信頼度１はパターンマッチング時の一致度が高く、顔である可能性が高いものを示し、信頼度１０はパターンマッチング時の一致度が低く、顔である可能性が低いものを示すものとする。
In the present embodiment, it is assumed that the
また、画像処理部２０は、検出した顔領域の大きさ（顔サイズ）も求める。本実施形態において、画像処理部２０は、顔領域の水平方向及び垂直方向の最大画素数の大きい方を顔サイズとして求めるものとする。
The
画像処理部２０は、検出した顔領域について、あらかじめ設定されている閾値ＦＲ（本実施形態では３とする）以下の信頼度を有し、かつ、顔サイズが閾値ＦＳ（本実施形態では２００とする）以上の顔領域を、最終的に検出された顔領域とする。
The
顔検出処理により顔領域が検出されると、画像処理部２０は赤目補正処理を行う（Ｓ３０５）。具体的には、顔検出処理によって検出された顔領域の中から目と判断される領域（目領域）を検出し、目領域を対象として、赤目補正処理を適用する。このとき、目領域は実際に目が存在する領域を完全に含むように設定されることが望ましい。従って、顔検出および目領域の検出アルゴリズムの精度に依存はするが、検出精度が低いと判断される場合には、目が存在すると想定される領域を中心として比較的大きめの領域が目領域として設定される。なお、本実施形態では顔の幅をＦとした場合に、片方の目に対する目領域の幅をＦ×０．４となるように設定している。
When the face area is detected by the face detection process, the
画像処理部２０は、赤目補正処理を実施した画像データを、メモリ制御部２２を通じてメモリ３０に出力する。メモリ制御部２２は、画像処理部２０からの画像データを画像表示部２８の解像度に合わせて画像表示メモリ２４に書き込む。これにより、補正後の画像が画像表示部２８上に表示される（クイックレビュー動作）。一方、メモリ３０に書き込まれた画像データは、圧縮伸長部３２によって例えばＪＰＥＧ形式に符号化する。そして、符号化された画像データはシステム制御部５０の制御に従って記録媒体２００又は２１０に、例えばＤＣＦ規格に従って記録される（Ｓ３０７）。
The
なお、Ｓ３０４において顔領域が検出されなかった場合、Ｓ３０５における赤目補正処理をスキップして、Ｓ３０６においては補正されていない画像の表示及び記録を行う。 If no face area is detected in S304, the red-eye correction process in S305 is skipped, and an uncorrected image is displayed and recorded in S306.
（赤目補正処理）
次に、図３のＳ３０５において画像処理部２０が行う赤目補正処理の詳細について説明する。
図４は、本実施形態に係る撮像装置において、赤目補正処理を構成する内部処理と、信号の流れを模式的に示す図である。図４における各処理部の機能は、実際には画像処理部２０が例えばソフトウェア的に実現する。
(Red-eye correction processing)
Next, details of the red-eye correction process performed by the
FIG. 4 is a diagram schematically illustrating internal processing and signal flow that constitute red-eye correction processing in the imaging apparatus according to the present embodiment. The functions of the processing units in FIG. 4 are actually realized by the
上述の通り、画像処理部２０は、図３のＳ３０４で検出された顔領域から目領域を検出する。そして、目領域に含まれる画素データ（Ｙｕｖ形式）４０１を評価値演算処理部４０２へ供給する。ここで、目領域は横幅画素数Ｗ、縦幅画素数Ｈの矩形状であるものとする。
As described above, the
評価値演算処理部４０２は、画素データ４０１の各画素について、以下の式を用いてＲＧＢ形式に変換するとともに、評価値Ｅを求める。
Ｒ＝Ｙ＋１．４０２＊Ｖ 式（１）
Ｇ＝Ｙ−０．３４４＊Ｕ−０．７１４＊Ｖ 式（２）
Ｂ＝Ｙ＋１．７７２＊Ｕ 式（３）
Ｅ＝（２＊Ｒ−Ｇ−Ｂ）／２ 式（４）
The evaluation value
R = Y + 1.402 * V Formula (1)
G = Y−0.344 * U−0.714 * V Formula (2)
B = Y + 1.772 * U Formula (3)
E = (2 * R−G−B) / 2 Formula (4)
式（４）から明らかなように、赤さが強い画素ほど、評価値Ｅは大きくなる。評価値演算処理部４０２は、求めた評価値Ｅを、ブロック分割分散演算処理部４０３及び補正係数演算処理部４０６へ出力する。
As is clear from the equation (4), the evaluation value E increases as the red color of the pixel increases. The evaluation value
分割手段及び指標演算手段としてのブロック分割分散演算処理部４０３は、目領域を複数の領域（ブロック）に分割し、個々のブロックに含まれる画素の評価値Ｅの分散Ｄを演算する。本実施形態では、図５に示すように、目領域５００を横方向５分割、縦方向５分割の計２５のブロックに分割し、ブロックごとの評価値Ｅの分散Ｄを演算するものとする。分散Ｄは以下の式（５）及び式（６）を用いて演算する。
A block division variance
式中、Ｅ（Ｉ）は、個々の評価値であり、Ｎはブロックに含まれる画素数である。
ブロック分割分散演算処理部４０３は、求めたブロック毎の分散Ｄを拡大リサイズ処理部４０４へ出力する。
In the equation, E (I) is an individual evaluation value, and N is the number of pixels included in the block.
The block division variance
拡大リサイズ処理部４０４は、ブロックごとに求められた２５個（５×５）の分散Ｄを、横幅Ｗ、縦幅ＨのＷ×Ｈ個のデータに、例えば線形補間することによって拡大リサイズする。Ｗ×Ｈ個のデータにリサイズされた分散データは最大値座標検出処理部４０５及び補正係数演算処理部４０６へ出力される。
The enlargement /
位置検出手段としての最大値座標検出処理部４０５は、拡大リサイズされた分散データのうち、最大値を有するデータの画素位置（ＭａｘＸ，ＭａｘＹ）を検出する。そして、検出した画素位置を補正係数演算処理部４０６に出力する。
A maximum value coordinate
図６は、赤目現象が発生している目領域と、分散の分布例を示す図である。
図６において、６０１は、Ｙ＝ＭａｘＹにおけるＸ軸方向の分散の分布であり、横軸はＸ座標、縦軸は分散の大きさを示している。また、６０２は、Ｘ＝ＭａｘＸにおけるＹ軸方向の分散の分布であり、横軸はＹ座標、縦軸は分散の大きさを示している。
FIG. 6 is a diagram illustrating an eye region where a red-eye phenomenon occurs and an example of a distribution of dispersion.
In FIG. 6,
補正値演算手段としての補正係数演算処理部４０６は、最大値座標検出処理部４０５が検出した画素位置（ＭａｘＸ，ＭａｘＹ）からの距離に応じた重み係数を決定する。具体的には、図７に示すように、画素位置（ＭａｘＸ，ＭａｘＹ）に近いほど大きい重み係数を決定する。
A correction coefficient
図６における６０３は、Ｙ＝ＭａｘＹにおけるＸ軸方向の重み係数の分布であり、横軸はＸ座標、縦軸は重み係数の大きさを示している。また、６０４は、Ｘ＝ＭａｘＸにおけるＹ軸方向の重み係数の分布であり、横軸はＹ座標、縦軸は重み係数の大きさを示している。図６に示す例では、画素位置（ＭａｘＸ，ＭａｘＹ）からの距離に比例して線形に減少するような重み係数を決定している。
In FIG. 6,
そして、補正係数演算処理部４０６は、評価値演算処理部４０２からの評価値Ｅ（ｘ，ｙ）、分散を拡大リサイズ処理したデータＤ（ｘ，ｙ）、重み係数Ｗ（ｘ，ｙ）とすると、補正係数Ｈ（ｘ，ｙ）を、以下の式（７）によって演算する。
Ｈ（ｘ，ｙ）＝Ｅ（ｘ，ｙ）×Ｄ（ｘ，ｙ）×Ｗ（ｘ，ｙ） 式（７）
ここで、（ｘ，ｙ）は目領域内の座標であり、本例では１≦ｘ≦Ｗ，１≦ｙ≦Ｈである。
このように、補正係数Ｈは、評価値Ｅが大きいほど、分散Ｄが大きいほど、重み係数が大きいほど大きくなる。
Then, the correction coefficient
H (x, y) = E (x, y) × D (x, y) × W (x, y) Equation (7)
Here, (x, y) is a coordinate in the eye region, and in this example, 1 ≦ x ≦ W and 1 ≦ y ≦ H.
Thus, the correction coefficient H increases as the evaluation value E increases, the variance D increases, and the weighting coefficient increases.
補正係数演算処理部４０６において求めた補正係数Ｈは、補正処理部４０７へ出力される。補正処理部４０７は、目領域の画素データ４０１に対し、補正係数Ｈを適用することにより、赤目補正処理を実行する。具体的には、Ｙｕｖ形式の画素データ４０１の輝度成分をＹ（ｘ，ｙ）、色成分をＵ（ｘ，ｙ）及びＶ（ｘ，ｙ）とし、補正後の画素データの色成分をＵ’（ｘ，ｙ）及びＶ’（ｘ，ｙ）とすると、以下の式（８）、式（９）により補正を行う。
Ｕ’（ｘ，ｙ）＝Ｕ（ｘ，ｙ）×（１−Ｈ（ｘ，ｙ）） 式（８）
Ｖ’（ｘ，ｙ）＝Ｖ（ｘ，ｙ）×（１−Ｈ（ｘ，ｙ）） 式（９）
The correction coefficient H obtained by the correction coefficient
U ′ (x, y) = U (x, y) × (1−H (x, y)) Equation (8)
V ′ (x, y) = V (x, y) × (1−H (x, y)) Equation (9)
補正処理部４０７は、補正した画素データ４０８を、撮像画像データにおける、対応する目領域のデータに上書きする。
以上の処理を、他の全ての目領域に対して実行したら、赤目補正処理を終了する。
The
When the above process is executed for all other eye regions, the red-eye correction process is terminated.
なお、本実施形態において、各目領域を５×５のブロックに分割したが、分割数は５×５に限られるものではなく、９×９のようにより細分化してもよく、また９×７のように横方向、縦方向の分割数を異なる値に設定することも可能である。また、目領域の検出アルゴリズムの精度に応じて分割数を変更するようにしてもよい。例えば、瞳孔の位置を高い精度で検出できる検出方法を用いる場合であれば、目が存在するとみなされる領域に対して比較的小さめに目領域を設定し、分割数を減らすことによって、処理時間の短縮を図ることができる。あるいは、目領域の検出アルゴリズムは同一であっても、得られた目領域の検出結果の信頼度が高いほど、目領域の大きさを小さめに設定するようにしてもよい。 In this embodiment, each eye area is divided into 5 × 5 blocks. However, the number of divisions is not limited to 5 × 5, and may be subdivided into 9 × 9 or 9 × 7. It is also possible to set different numbers of divisions in the horizontal direction and the vertical direction as shown in FIG. The number of divisions may be changed according to the accuracy of the eye area detection algorithm. For example, if a detection method that can detect the position of the pupil with high accuracy is used, the processing time is reduced by setting the eye area relatively smaller than the area where the eyes are considered to exist and reducing the number of divisions. Shortening can be achieved. Alternatively, even if the eye area detection algorithm is the same, the higher the reliability of the obtained eye area detection result, the smaller the eye area size may be set.
また、本実施形態では、補正処理部４０７において、画素データの色成分を補正値が大きいほど大きく低減させることにより、赤目領域の赤さを低減させている。しかし、例えば補正後の目標色成分Ｕｔ及びＶｔを設定し、次のような式で補正するようにすることも可能である。
Ｕ’（ｘ，ｙ）＝Ｕ（ｘ，ｙ）×（１−Ｈ（ｘ，ｙ））＋Ｕｔ×Ｈ（ｘ，ｙ）
式（１０）
Ｖ’（ｘ，ｙ）＝Ｖ（ｘ，ｙ）×（１−Ｈ（ｘ，ｙ））＋Ｖｔ×Ｈ（ｘ，ｙ）
式（１１）
In the present embodiment, the
U ′ (x, y) = U (x, y) × (1−H (x, y)) + Ut × H (x, y)
Formula (10)
V ′ (x, y) = V (x, y) × (1−H (x, y)) + Vt × H (x, y)
Formula (11)
また、本実施形態においては、評価値Ｅのばらつき度合いの指標の一例として評価値Ｅの分散を用いた。しかし、標準偏差を始めとして、ブロック内に含まれる画素に対する評価値Ｅばらつき度合いの指標として利用可能な任意の値を代わりに用いることができる。 In this embodiment, the variance of the evaluation value E is used as an example of an index of the degree of variation in the evaluation value E. However, any value that can be used as an indicator of the degree of variation in the evaluation value E for the pixels included in the block, including the standard deviation, can be used instead.
また、本実施形態においては、画像処理装置の一例として撮像装置を説明したが、本発明はプリンタや情報処理装置を始めとして、赤目補正処理を利用可能な任意の装置に適用可能である。 In the present embodiment, the imaging apparatus has been described as an example of the image processing apparatus. However, the present invention can be applied to any apparatus that can use the red-eye correction process, such as a printer or an information processing apparatus.
さらに、本実施形態においては、ばらつき度合が最大となる画素位置からの距離に応じた重み付けを行うものとして説明したが、重み付けは必須ではない。評価値Ｅの大きさをその画素が含まれるブロックに対して求めた評価値Ｅのばらつきの度合に応じて補正して、ばらつきの度合が小さいブロック内の画素に対する補正量を小さくなるようにするだけでも本発明の効果は得られる。また、本実施形態においては、顔の幅をＦとした場合に目領域の幅をＦ×０．４に設定しているが、これに限られるものではない。赤目の赤い領域（すなわち、瞳孔領域）が分散を求める際の１つのブロックの内部に含まれるように設定されるのであれば、どのような設定でも構わない。つまり、ブロックの分割数により目領域の大きさ設定を変更するように構成しても構わない。 Furthermore, in this embodiment, although it demonstrated as what weighted according to the distance from the pixel position where variation degree becomes the maximum, weighting is not essential. The magnitude of the evaluation value E is corrected in accordance with the degree of variation in the evaluation value E obtained for the block including the pixel so that the correction amount for the pixels in the block with the small degree of variation is reduced. Only the effect of the present invention can be obtained. Further, in the present embodiment, when the face width is F, the width of the eye region is set to F × 0.4, but the present invention is not limited to this. Any setting may be used as long as it is set so that the red region of the red eye (that is, the pupil region) is included in one block when the dispersion is obtained. In other words, the eye area size setting may be changed according to the number of block divisions.
以上説明したように、本実施形態によれば、目領域を複数のブロックに分割し、ブロックごとに、ブロックに含まれる画素の赤さの程度を表す評価値のばらつきの度合を求める。そして、評価値をばらつきの度合で修正することで、ばらつきの度合の小さなブロックに含まれる画素に対する補正値を小さくする。すなわち、評価値のばらつき度合の小さい画素ほど補正値が小さくなるように補正値を修正する。 As described above, according to the present embodiment, the eye area is divided into a plurality of blocks, and the degree of variation in evaluation values representing the degree of redness of pixels included in the blocks is obtained for each block. Then, by correcting the evaluation value with the degree of variation, the correction value for a pixel included in a block with a small degree of variation is reduced. That is, the correction value is corrected so that the correction value becomes smaller as the pixel having a smaller variation degree of the evaluation value.
例えば、図５において、目頭の充血した部分の目頭領域５０１の画素は、赤味が強いので、評価値Ｅが大きくなるが、その部分が含まれるブロック５０２に関する評価値Ｅのばらつきの度合は小さい。そのため、目頭領域５０１に対する評価値は、ばらつきの度合が小さいことにより低減され、結果、補正係数が小さくなる。さらに、肌領域５０３のような、ほぼ同じ色の画素からなる比較的大きな領域についても、ブロック内の評価値のばらつき度合が小さくなるので、補正係数が小さくなる。
For example, in FIG. 5, the pixel of the eye area 501 in the congested portion of the eye has a strong reddish color, so the evaluation value E increases, but the degree of variation in the evaluation value E regarding the block 502 including that portion is small. . Therefore, the evaluation value for the eye area 501 is reduced due to the small degree of variation, and as a result, the correction coefficient becomes small. Further, even for a relatively large area composed of pixels of substantially the same color, such as the
すなわち、評価値Ｅの大きさを、その画素が含まれるブロックに対して求めた評価値Ｅのばらつきの度合に応じて修正して補正係数と演算する。これにより、目頭領域や肌領域など、ばらつきの度合が小さい領域の赤色画素に対する補正量（補正係数）が大きくなることを抑制することができる。 That is, the magnitude of the evaluation value E is corrected according to the degree of variation in the evaluation value E obtained for the block including the pixel, and is calculated as a correction coefficient. Thereby, it can suppress that the correction amount (correction coefficient) with respect to the red pixel of the area | region where the degree of dispersion | variation is small, such as an eye area | region and a skin area | region, becomes large.
さらに、ばらつきの度合が最大となる座標（画素位置）からの距離が大きくなるほど小さくなる重み付け（重み係数）によっても評価値を修正することで、目頭領域５０１や肌領域５０３対する補正係数はさらに小さくなる。また、重み付けを徐々に変化させることで、補正を行った領域と行わない領域との境界部分が目立たなくなり、不自然さを緩和することができる。
Furthermore, the correction coefficient for the eye area 501 and the
逆に、赤目領域とその周囲に存在する虹彩領域を含んだブロックにおいては、評価値のばらつきの度合が大きくなるため、十分な量の補正を行う補正係数が得られ、効果的な補正が実現できる。さらに、ばらつきの度合が最大となる座標を赤目領域の中心と見なして、そこからの距離が大きくなるほど補正係数が小さくなるように重み付けすれば、赤目領域については補正係数が大きく、周辺の虹彩領域においては補正係数が小さくなる。そのため、誤補正を一層効果的に抑制できる。 Conversely, in blocks that include the red-eye area and the iris area that surrounds it, the degree of variation in the evaluation value increases, so that a sufficient amount of correction coefficient can be obtained to achieve effective correction. it can. Furthermore, if the coordinates that maximize the degree of variation are regarded as the center of the red-eye area and weighted so that the correction coefficient decreases as the distance from the center increases, the correction coefficient for the red-eye area increases and the surrounding iris area increases. In, the correction coefficient becomes small. Therefore, erroneous correction can be more effectively suppressed.
（他の実施形態）
上述の実施形態は、システム或は装置のコンピュータ（或いはＣＰＵ、ＭＰＵ等）によりソフトウェア的に実現することも可能である。
従って、上述の実施形態をコンピュータで実現するために、該コンピュータに供給されるコンピュータプログラム自体も本発明を実現するものである。つまり、上述の実施形態の機能を実現するためのコンピュータプログラム自体も本発明の一つである。
(Other embodiments)
The above-described embodiment can also be realized in software by a computer of a system or apparatus (or CPU, MPU, etc.).
Therefore, the computer program itself supplied to the computer in order to implement the above-described embodiment by the computer also realizes the present invention. That is, the computer program itself for realizing the functions of the above-described embodiments is also one aspect of the present invention.
なお、上述の実施形態を実現するためのコンピュータプログラムは、コンピュータで読み取り可能であれば、どのような形態であってもよい。例えば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等で構成することができるが、これらに限るものではない。 The computer program for realizing the above-described embodiment may be in any form as long as it can be read by a computer. For example, it can be composed of object code, a program executed by an interpreter, script data supplied to the OS, but is not limited thereto.
上述の実施形態を実現するためのコンピュータプログラムは、記憶媒体又は有線／無線通信によりコンピュータに供給される。プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記憶媒体、ＭＯ、ＣＤ、ＤＶＤ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。 A computer program for realizing the above-described embodiment is supplied to a computer via a storage medium or wired / wireless communication. Examples of the storage medium for supplying the program include a magnetic storage medium such as a flexible disk, a hard disk, and a magnetic tape, an optical / magneto-optical storage medium such as an MO, CD, and DVD, and a nonvolatile semiconductor memory.
有線／無線通信を用いたコンピュータプログラムの供給方法としては、コンピュータネットワーク上のサーバを利用する方法がある。この場合、本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムファイル）をサーバに記憶しておく。プログラムファイルとしては、実行形式のものであっても、ソースコードであっても良い。 As a computer program supply method using wired / wireless communication, there is a method of using a server on a computer network. In this case, a data file (program file) that can be a computer program forming the present invention is stored in the server. The program file may be an executable format or a source code.
そして、このサーバにアクセスしたクライアントコンピュータに、プログラムファイルをダウンロードすることによって供給する。この場合、プログラムファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに分散して配置することも可能である。
つまり、上述の実施形態を実現するためのプログラムファイルをクライアントコンピュータに提供するサーバ装置も本発明の一つである。
Then, the program file is supplied by downloading to a client computer that has accessed the server. In this case, the program file can be divided into a plurality of segment files, and the segment files can be distributed and arranged on different servers.
That is, a server apparatus that provides a client computer with a program file for realizing the above-described embodiment is also one aspect of the present invention.
また、上述の実施形態を実現するためのコンピュータプログラムを暗号化して格納した記憶媒体を配布し、所定の条件を満たしたユーザに、暗号化を解く鍵情報を供給し、ユーザの有するコンピュータへのインストールを許可してもよい。鍵情報は、例えばインターネットを介してホームページからダウンロードさせることによって供給することができる。 In addition, a storage medium in which the computer program for realizing the above-described embodiment is encrypted and distributed is distributed, and key information for decrypting is supplied to a user who satisfies a predetermined condition, and the user's computer Installation may be allowed. The key information can be supplied by being downloaded from a homepage via the Internet, for example.
また、上述の実施形態を実現するためのコンピュータプログラムは、すでにコンピュータ上で稼働するＯＳの機能を利用するものであってもよい。
さらに、上述の実施形態を実現するためのコンピュータプログラムは、その一部をコンピュータに装着される拡張ボード等のファームウェアで構成してもよいし、拡張ボード等が備えるＣＰＵで実行するようにしてもよい。
Further, the computer program for realizing the above-described embodiment may use an OS function already running on the computer.
Further, a part of the computer program for realizing the above-described embodiment may be configured by firmware such as an expansion board attached to the computer, or may be executed by a CPU provided in the expansion board. Good.
Claims (8)
前記目領域を複数のブロックに分割する分割手段と、
前記複数のブロックの各々について、ブロックに含まれる画素ごとに、画素の赤さを示す評価値を求める評価値演算手段と、
前記評価値のばらつき度合を示す指標を、前記ブロックごとに求める指標演算手段と、
前記目領域に含まれる個々の画素に対する補正値を、前記画素について演算された前記評価値と、前記指標とに基づいて演算する補正値演算手段と、
前記補正値を前記目領域の画素に適用する補正手段とを有し、
前記補正値演算手段が、前記ばらつき度合の小さいブロック内の画素ほど前記補正値が小さくなるように前記評価値を前記指標に基づいて補正することにより前記補正値を演算することを特徴とする画像処理装置。 Detecting means for detecting an eye area determined to be an eye from the image;
Dividing means for dividing the eye area into a plurality of blocks;
For each of the plurality of blocks, for each pixel included in the block, evaluation value calculation means for obtaining an evaluation value indicating the redness of the pixel;
And index calculating means for calculating an index indicating the degree of variation of the evaluation value, for each front Chivu lock,
Correction value calculation means for calculating a correction value for each pixel included in the eye area based on the evaluation value calculated for the pixel and the index;
Correction means for applying the correction value to the pixels of the eye area,
Image the correction value calculating means, characterized by calculating the correction value by correcting on the basis of the evaluation value as the correction value as the pixel is reduced in a small block of the degree of variation in the index Processing equipment.
前記補正値演算手段が、補正値を、対応する画素位置について前記リサイズ手段が求めた前記指標を用いて修正することを特徴とする請求項１記載の画像処理装置。 Resize means for calculating the index for each pixel position of the eye area from the index determined for each block;
The image processing apparatus according to claim 1, wherein the correction value calculation unit corrects the correction value using the index obtained by the resizing unit for a corresponding pixel position.
前記補正値演算手段が、さらに、前記ばらつき度合が前記目領域で最大となる画素位置からの距離が大きい画素ほど前記補正値が小さくなるように修正することを特徴とする請求項２記載の画像処理装置。 Position detecting means for detecting a pixel position where the degree of variation is maximum in the eye area from the index for each pixel position obtained by the resizing means;
3. The image according to claim 2, wherein the correction value calculating unit further corrects the correction value so that the correction value becomes smaller as the distance from the pixel position where the degree of variation is maximum in the eye region is larger. Processing equipment.
前記目領域を複数のブロックに分割する分割工程と、
前記複数のブロックの各々について、ブロックに含まれる画素ごとに、画素の赤さを示す評価値を求める評価値演算工程と、
前記評価値のばらつき度合を示す指標を、前記ブロックごとに求める指標演算工程と、
前記目領域に含まれる個々の画素に対する補正値を、前記画素について演算された前記評価値と、前記指標とに基づいて演算する補正値演算工程と、
前記補正値を前記目領域の画素に適用する補正工程とを有し、
前記補正値演算工程において、前記ばらつき度合の小さいブロック内の画素ほど前記補正値が小さくなるように前記評価値を前記指標に基づいて補正することにより前記補正値を演算することを特徴とする画像処理方法。 From within images, a detection step of detecting an eye region is determined as the eye,
A dividing step of dividing the pre-Symbol eye region into a plurality of blocks,
For each of the previous SL plurality of blocks, for each pixel included in the block, the evaluation value calculation step of calculating an evaluation value that indicates the red of the pixel,
An index indicating the degree of variation of the previous SL evaluation value, and the index calculation step of calculating for each said block,
The correction values for the individual pixels included before Symbol eye region, and the evaluation value calculated for the pixel, the correction value calculation step of calculating, based on said index,
And a correction step of applying a pre-Symbol correction value to the pixel of the eye region,
Prior SL correction value calculating step, characterized by calculating the correction value by correcting on the basis of the evaluation value as the correction value as the pixel is reduced in a small block of the degree of variation in the index Image processing method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007203406A JP5022811B2 (en) | 2007-08-03 | 2007-08-03 | Image processing apparatus, image processing method, and imaging apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007203406A JP5022811B2 (en) | 2007-08-03 | 2007-08-03 | Image processing apparatus, image processing method, and imaging apparatus |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2009038762A JP2009038762A (en) | 2009-02-19 |
| JP2009038762A5 JP2009038762A5 (en) | 2010-09-16 |
| JP5022811B2 true JP5022811B2 (en) | 2012-09-12 |
Family
ID=40440277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007203406A Expired - Fee Related JP5022811B2 (en) | 2007-08-03 | 2007-08-03 | Image processing apparatus, image processing method, and imaging apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5022811B2 (en) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4405942B2 (en) * | 2005-06-14 | 2010-01-27 | キヤノン株式会社 | Image processing apparatus and method |
| JP2007004455A (en) * | 2005-06-23 | 2007-01-11 | Canon Inc | Image processing apparatus, image processing method, and storage medium recording program |
| JP4416724B2 (en) * | 2005-11-07 | 2010-02-17 | キヤノン株式会社 | Image processing method and apparatus |
-
2007
- 2007-08-03 JP JP2007203406A patent/JP5022811B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2009038762A (en) | 2009-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5089405B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP4262082B2 (en) | Image processing apparatus, control method therefor, program, and storage medium | |
| JP5409189B2 (en) | Imaging apparatus and control method thereof | |
| JP4834725B2 (en) | Method and apparatus for incorporating iris color in red-eye correction | |
| JP4574459B2 (en) | Image capturing apparatus, control method therefor, program, and storage medium | |
| US20040233301A1 (en) | Digital camera | |
| JP6148431B2 (en) | Imaging apparatus and control method thereof | |
| JP5219697B2 (en) | Image processing apparatus, imaging apparatus, control method for image processing apparatus, and program | |
| US8565496B2 (en) | Image editing apparatus, image editing method, and computer readable medium | |
| JP2005167697A (en) | Electronic camera having red-eye correction function | |
| JP4906632B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2020102059A (en) | Image processor | |
| JP4807582B2 (en) | Image processing apparatus, imaging apparatus, and program thereof | |
| US11800243B2 (en) | Image pickup apparatus capable of preventing idle capacity from running short during consecutive photographing without increasing storage capacity of storage device that temporarily retains data, control method for image pickup apparatus, and storage medium | |
| JP6808482B2 (en) | Image processing equipment, image processing methods, and programs | |
| JP5022811B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP6274780B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP2007173985A (en) | Imaging apparatus, imaging method, program, and storage medium | |
| JP4781299B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP2008258960A (en) | Digital camera | |
| JP4902512B2 (en) | Imaging apparatus, control method thereof, and program | |
| JP4773924B2 (en) | IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
| JP4909009B2 (en) | Imaging apparatus, image processing method, program, and storage medium | |
| JP2008060844A (en) | Image processor and image processing method | |
| JP2003348532A (en) | Imaging apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100730 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100730 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111118 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120105 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120518 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120618 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5022811 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150622 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |