JP2005286837A - Device and program for supporting red-eye correction work - Google Patents
Device and program for supporting red-eye correction work Download PDFInfo
- Publication number
- JP2005286837A JP2005286837A JP2004099936A JP2004099936A JP2005286837A JP 2005286837 A JP2005286837 A JP 2005286837A JP 2004099936 A JP2004099936 A JP 2004099936A JP 2004099936 A JP2004099936 A JP 2004099936A JP 2005286837 A JP2005286837 A JP 2005286837A
- Authority
- JP
- Japan
- Prior art keywords
- red
- eye
- image
- confidence
- confidence level
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、写真画像を局所的に修正する処理の過程で必要となるオペレータの作業を支援する装置およびプログラムに関する。 The present invention relates to an apparatus and a program for supporting an operator's work required in the process of locally correcting a photographic image.
夜間あるいは暗い場所で人物や動物をストロボ撮影すると、瞳孔（あるいは瞳孔の一部）が、赤色あるいは金色に撮影されてしまうことがある。このため、赤く、あるいは金色に撮影されてしまった瞳孔（以下、金色の場合も含めて「赤目」と称する）を、デジタル画像処理により本来の瞳孔の色に修正する方法が種々提案されている。 When a person or animal is photographed with a stroboscope at night or in a dark place, the pupil (or part of the pupil) may be photographed in red or gold. For this reason, various methods have been proposed in which a pupil that has been photographed in red or gold (hereinafter referred to as “red-eye” including gold) is corrected to the original pupil color by digital image processing. .
例えば、特許文献１には、オペレータが指定した領域の中から、瞳孔の色、位置、大きさに基づいて赤目を自動認識する方法および装置が開示されている。また、特許文献２にも、オペレータが指定した領域について画素ごとに所定の特徴量を計算し、瞳孔部分の特徴を最も有する部分を修正対象として選択する方法が開示されている。但し、瞳孔部分の特徴のみに基づく認識処理では、赤い電飾など局所的に赤みを持つ対象を赤目と区別することは難しい。このため、オペレータの操作を介さず、すべて自動で処理することは困難である。 For example, Patent Document 1 discloses a method and apparatus for automatically recognizing red eyes based on the color, position, and size of a pupil from a region designated by an operator. Also, Patent Document 2 discloses a method of calculating a predetermined feature amount for each pixel in a region designated by an operator and selecting a portion having the most pupil feature as a correction target. However, in recognition processing based only on the features of the pupil part, it is difficult to distinguish an object having a local redness, such as red illumination, from red eyes. For this reason, it is difficult to perform all the processing automatically without the operator's operation.
これに対し、特許文献３には、顔検出処理との組み合わせにより、赤目を検出する方法が開示されている。この方法では、顔を正確に検出することができれば赤目を自動検出することができる。しかし、横顔、手や髪で顔が覆われている場合など、顔検出が困難な画像では、やはりオペレータの介入なく赤目を検出することは難しい。
本発明は、上記事情に鑑みて、赤目を検出して修正する過程で必要となるオペレータの作業負担を軽減するための、赤目修正作業支援装置およびプログラムを提供することを目的とする。 In view of the above circumstances, an object of the present invention is to provide a red-eye correction work support device and a program for reducing an operator's work load required in the process of detecting and correcting red eyes.
本発明は上記目的を達成するために、画像の中から瞳孔の少なくとも一部が赤く表示された赤目を検出して赤目の色を修正する作業を支援する赤目修正作業支援装置を提供する。この赤目修正作業支援装置は、赤目を自動検出する赤目自動検出部と、赤目自動検出部による赤目の検出結果の自信度を算出する自信度算出部と、赤目の色が修正された画像を得るための処理であってユーザに要求する操作の内容が異なる複数の処理の中から、自信度算出部により算出された自信度に基づいて一の処理を選択して実行する処理選択実行部とを備え、その処理選択実行部が、算出された自信度が高いほどユーザの操作負担が少ない処理を選択することを特徴とする。 In order to achieve the above-mentioned object, the present invention provides a red-eye correction work support device that supports the work of correcting red eye color by detecting red eyes in which at least a part of the pupil is displayed in red from an image. This red-eye correction work support apparatus obtains an image in which red-eye color is corrected, and a red-eye automatic detection unit that automatically detects red-eye, a confidence level calculation unit that calculates the confidence level of the detection result of red eyes by the red-eye automatic detection unit A process selection execution unit that selects and executes one process based on the confidence level calculated by the confidence level calculation unit from among a plurality of processes that are different from each other and the content of the operation requested by the user The process selection execution unit selects a process with a smaller operation burden on the user as the calculated degree of confidence is higher.
ここで、自信度とは、赤目検出の過程で行われた判断がどの程度確実なものかを表す指標である。例えば、通常コンピュータによる判定処理は判定の対象となる値と所定の閾値との大小を比較することにより行われるが、閾値との差が大きければその判定に対する自信の度合いは強く、閾値との差が小さければ、その判定に対する自信の度合いは弱いと考えることができる。 Here, the degree of confidence is an index representing how reliable the judgment made in the process of red-eye detection is. For example, the determination process by a normal computer is performed by comparing the value to be determined with a predetermined threshold value. If the difference from the threshold value is large, the degree of confidence in the determination is strong, and the difference from the threshold value is large. If is small, it can be considered that the degree of confidence in the determination is weak.
処理選択実行部は、例えば自信度算出部により算出された自信度が所定の閾値よりも低い場合に、ユーザに対し検出結果や修正画像の確認操作を要求する処理を選択して実行する機能を提供する。確認操作を要求する処理としては、所定の音声を出力する処理などが考えられる。 The process selection execution unit has a function of selecting and executing a process for requesting the user to confirm the detection result or the corrected image when the confidence level calculated by the confidence level calculation unit is lower than a predetermined threshold, for example. provide. As a process for requesting the confirmation operation, a process for outputting a predetermined sound can be considered.
また、処理選択実行部は、自信度算出部により算出された自信度が所定の閾値よりも低い場合に、画像を所定のリストに登録する処理を選択し、ユーザが後でまとめて確認操作を行えるようにしてもよい。 The process selection execution unit selects a process for registering images in a predetermined list when the degree of confidence calculated by the confidence level calculation unit is lower than a predetermined threshold, and the user performs confirmation operations collectively later. You may be able to do it.
また、本発明の赤目修正作業支援プログラムは、画像の中から瞳孔の少なくとも一部が赤く表示された赤目を検出して該赤目の色を修正する作業を支援する処理をコンピュータに実行させる赤目修正作業支援プログラムであって、コンピュータを、赤目を自動検出する赤目自動検出部、赤目自動検出部による赤目の検出結果の自信度を算出する自信度算出部、および赤目の色が修正された画像を得るための処理であってユーザに要求する操作の内容が異なる複数の処理の中から自信度算出部により算出された自信度に基づいて一の処理を選択して実行する処理選択実行部として機能させ、処理選択実行部を、自信度が高いほどユーザの操作負担が少ない処理を選択するように機能させることを特徴とする。 Further, the red-eye correction work support program of the present invention detects a red eye in which at least a part of the pupil is displayed in red from the image, and causes the computer to execute processing for supporting the work of correcting the color of the red eye. A work support program, comprising: a red eye automatic detection unit that automatically detects red eyes; a confidence level calculation unit that calculates a confidence level of a red eye detection result by the red eye detection unit; and an image with a corrected red eye color Function as a process selection execution unit that selects and executes one process based on the confidence level calculated by the confidence level calculation unit from among a plurality of processes that are different to the user and require different operations. The process selection execution unit is made to function so as to select a process with less user operation burden as the degree of confidence increases.
本発明の赤目修正作業支援装置およびプログラムによれば、自信度に基づいて、ユーザの確認操作が必要なケースと自動処理でよいケースとが自動的に区別される。このため、オペレータの作業負担は大幅に軽減される。 According to the red-eye correction work support apparatus and program of the present invention, a case where a user's confirmation operation is necessary and a case where automatic processing is sufficient are automatically distinguished based on the degree of confidence. For this reason, the work burden on the operator is greatly reduced.
特に、自信度が低く確認操作が必要なケースについては、音声出力などユーザの注意を喚起する処理を実行するようにすれば、ユーザは確認の要不要を調べることなく、ただ要求された操作を行うのみで必要な確認を行うことができる。 In particular, in cases where the degree of confidence is low and a confirmation operation is required, if a process that alerts the user, such as voice output, is executed, the user can simply perform the requested operation without checking whether confirmation is necessary. Necessary confirmation can be performed only by performing.
また、自信度が低く確認操作が必要なケースをリストに登録する機能を設ければ、リストに蓄積された情報をまとめて確認することが可能になるので、さらに使い勝手が向上する。 In addition, if a function for registering a case with a low confidence level that requires a confirmation operation is provided, it is possible to collectively confirm information stored in the list, which further improves usability.
本発明の赤目修正作業支援装置の機能は、主としてソフトウェアプログラムにより実現される。したがって、赤目修正作業支援装置は、プログラムや画像データを記憶し得る記憶手段と、記憶されたプログラムを実行し得る演算手段を備えている装置であればよく、外観、大きさは特に問わない。 The function of the red-eye correction work support device of the present invention is realized mainly by a software program. Therefore, the red-eye correction work support device is not particularly limited in appearance and size as long as it has a storage unit that can store a program and image data and a calculation unit that can execute the stored program.
具体的には、例えば、ＣＰＵ、メモリ、ハードディスク、その他各種入出力インタフェースを備えた汎用コンピュータに、赤目修正作業支援プログラムをインストールすれば、その汎用コンピュータは赤目修正作業支援装置として機能する。 Specifically, for example, if a red-eye correction work support program is installed in a general-purpose computer having a CPU, a memory, a hard disk, and other various input / output interfaces, the general-purpose computer functions as a red-eye correction work support device.
また、デジタル写真プリンタのような専用機の場合も、赤目修正作業支援プログラムを組み込んで実行させることが可能であれば、その装置に赤目修正作業支援機能を追加することができる。 Also, in the case of a dedicated machine such as a digital photographic printer, a red-eye correction work support function can be added to the apparatus if it can be executed by incorporating a red-eye correction work support program.
あるいは、メモリ・ロジック混載型の半導体デバイスとして提供することも可能である。半導体デバイスとして提供した場合には、そのデバイスをデジタルカメラなどに搭載して動作させれば、そのデジタルカメラが赤目修正作業支援機能つきのカメラとして機能するようになる。 Alternatively, it may be provided as a memory / logic mixed type semiconductor device. When provided as a semiconductor device, if the device is mounted on a digital camera or the like and operated, the digital camera functions as a camera with a red-eye correction work support function.
一般には、赤目検出プログラムや赤目修正プログラムにより実行される一連の処理の中に、赤目修正作業支援処理を追加することにより実現することが好ましい。よって以下の説明では、赤目修正作業支援機能を備えた各種装置の処理を通して、本発明の赤目修正作業支援装置を開示する。 In general, it is preferable to realize this by adding a red-eye correction work support process to a series of processes executed by the red-eye detection program or the red-eye correction program. Therefore, in the following description, the red-eye correction work support device of the present invention is disclosed through the processing of various devices having a red-eye correction work support function.
（実施の形態１）
第１の実施の形態は、写真のプリントサービスを提供するラボラトリィに設置される画像処理装置に、赤目修正作業支援機能を組み込んだ例である。図１に、画像処理装置が実行する赤目検出処理および赤目修正処理の概要を示す。
(Embodiment 1)
The first embodiment is an example in which a red-eye correction work support function is incorporated in an image processing apparatus installed in a laboratory that provides a photo print service. FIG. 1 shows an outline of red-eye detection processing and red-eye correction processing executed by the image processing apparatus.
図１のフローチャートに示すように、画像処理装置は、赤目検出、補正処理の対象となる画像を取得する（Ｓ１０１）。画像は、ハードディスクや各種メディアに記憶されているデータを読み出すことにより取得する。続いて、取得した画像に対し赤目検出（Ｓ１０２）および赤目修正（Ｓ１０３）の処理を施す。 As shown in the flowchart of FIG. 1, the image processing apparatus acquires an image to be subjected to red-eye detection and correction processing (S101). The image is acquired by reading data stored in a hard disk or various media. Subsequently, red-eye detection (S102) and red-eye correction (S103) are performed on the acquired image.
続いて、赤目検出、修正処理の自信度を算出する（Ｓ１０４）。自信度は赤目検出が正確に行われたか否か、あるいは画像の修正が適切に行われたか否かを表す指標である。 Subsequently, the degree of confidence in red-eye detection and correction processing is calculated (S104). The degree of confidence is an index that indicates whether red-eye detection has been performed accurately or whether an image has been corrected appropriately.
ステップＳ１０５において、算出された自信度が所定の閾値よりも大きいと判定された場合には、ステップＳ１０３において修正された画像が、そのままステップＳ１０９において出力される。 If it is determined in step S105 that the calculated confidence level is greater than a predetermined threshold, the image corrected in step S103 is output as it is in step S109.
ステップＳ１０５において、算出された自信度が所定の閾値以下であると判定された場合には、画像処理装置は通知音を発生させるとともにステップＳ１０３において修正された画像を画像処理装置の表示画面に表示する（Ｓ１０６）。オペレータからの修正を指示する入力が検出された場合（Ｓ１０７）には、その指示にしたがって画像を修正した後（Ｓ１０８）、修正画像を出力する（Ｓ１０９）。 If it is determined in step S105 that the calculated degree of confidence is equal to or less than a predetermined threshold, the image processing apparatus generates a notification sound and displays the image corrected in step S103 on the display screen of the image processing apparatus. (S106). When an input for instructing correction from the operator is detected (S107), the image is corrected in accordance with the instruction (S108), and then the corrected image is output (S109).
一方、オペレータからの入力がない場合には、ステップＳ１０３において修正された画像を、修正前の画像、およびステップＳ１０２において得られた検出結果とともに、確認待ちリストに登録する（Ｓ１１０）。以上の処理が完了したら、ステップＳ１０１に戻り次の画像を取得して同様の処理を繰り返す。 On the other hand, if there is no input from the operator, the image corrected in step S103 is registered in the confirmation wait list together with the image before correction and the detection result obtained in step S102 (S110). When the above processing is completed, the process returns to step S101 to acquire the next image and repeat the same processing.
図２は、確認待ちリストに登録された画像に対する確認処理の概要を示すフローチャートである。図に示すように、画像処理装置は、最初に確認待ちリストを画面に表示する（Ｓ２０１）。オペレータがリストの中から一の画像を選択すると、その選択を受け付け（Ｓ２０２）、選択された画像を表示画面に表示する（Ｓ２０３）。オペレータからの修正を指示する入力が検出された場合（Ｓ２０４）には、その指示にしたがって画像を修正した後（Ｓ２０５）、修正画像を出力する（Ｓ２０６）。オペレータからの指示入力がない場合には、図１のステップＳ１０３において得られ、ステップＳ１１０において保存された修正画像をそのまま出力する。 FIG. 2 is a flowchart showing an outline of confirmation processing for an image registered in the confirmation waiting list. As shown in the figure, the image processing apparatus first displays a waiting list for confirmation on the screen (S201). When the operator selects one image from the list, the selection is accepted (S202), and the selected image is displayed on the display screen (S203). When an input for instructing correction from the operator is detected (S204), the image is corrected in accordance with the instruction (S205), and then the corrected image is output (S206). If there is no instruction input from the operator, the corrected image obtained in step S103 of FIG. 1 and stored in step S110 is output as it is.
以上の説明から明らかであるように、上記処理では、赤目検出・修正処理の自信度が高い場合には、オペレータが介入することなく修正画像が自動的に出力される。一方、自信度が低い場合には、オペレータの介入を促す通知音が発生し、オペレータからの修正を受け付ける。また、オペレータが直ぐに修正作業を行えない場合に備え、後で修正作業を行えるように一旦確認待ちリストに登録しておいて、後で確認を行う機能も提供している。 As is clear from the above description, in the above processing, when the degree of confidence in red-eye detection / correction processing is high, a corrected image is automatically output without intervention by the operator. On the other hand, when the degree of confidence is low, a notification sound for prompting the operator's intervention is generated, and correction from the operator is accepted. In addition, in preparation for the case where the operator cannot immediately perform the correction work, a function is also provided in which the operator once registers in the confirmation waiting list so that the correction work can be performed later, and the confirmation is performed later.
したがって、オペレータはすべての画像を１つ１つ確認しながら介入が必要か否かを判断する必要はなく、通知があったときのみ画像に注意を向ければよい。さらには、リストに登録しておき、後にまとめて処理することもできるため、自分の都合に合わせて作業を進めることができる。これによりオペレータの負担は大幅に軽減される。 Therefore, the operator does not need to determine whether or not intervention is necessary while checking all the images one by one, and only has to pay attention to the images when notified. Furthermore, since it can be registered in the list and processed later, it is possible to proceed with work according to the convenience of the user. This greatly reduces the operator's burden.
以下、図１のフローチャートを構成する主なステップについて、さらに詳細に説明する。はじめにステップＳ１０２の赤目検出処理について説明する。本実施の形態では、以下に説明する方法により赤目を検出する。但し、本発明において赤目を自動的に検出する方法は特に限定されず、公知のあらゆる方法を適用することができる。 Hereinafter, the main steps constituting the flowchart of FIG. 1 will be described in more detail. First, the red-eye detection process in step S102 will be described. In the present embodiment, red eyes are detected by the method described below. However, the method of automatically detecting red eyes in the present invention is not particularly limited, and any known method can be applied.
図３は、赤目検出処理の概要を示すフローチャートである。はじめに、解像度別画像を取得する（Ｓ３０１）。図４は解像度別画像について説明するための図である。本実施の形態では、図に示すように、入力画像１０と同じ解像度の画像１５、入力画像１０の１／２の解像度の画像１６、入力画像１０の１／４の解像度の画像１７が、前もって生成され、メモリに記憶されている。 FIG. 3 is a flowchart showing an outline of the red-eye detection process. First, an image according to resolution is acquired (S301). FIG. 4 is a diagram for explaining resolution-specific images. In the present embodiment, as shown in the figure, an image 15 having the same resolution as the input image 10, an image 16 having a resolution ½ of the input image 10, and an image 17 having a resolution ¼ of the input image 10 are obtained in advance. Generated and stored in memory.
入力画像１０と解像度が同じ画像１５は、入力画像１０をコピーすることにより生成され、入力画像１０と解像度が異なる画像１６、１７は、入力画像１０のデータに対し画素数を低減する、いわゆる間引き処理を実行することによって生成される。図３のステップＳ３０１では、メモリ内に記憶されている一の解像度別画像を読み出すことにより、解像度別画像を取得する。 An image 15 having the same resolution as the input image 10 is generated by copying the input image 10, and images 16 and 17 having a resolution different from that of the input image 10 are so-called thinning, which reduces the number of pixels with respect to the data of the input image 10. Generated by executing the process. In step S301 in FIG. 3, the image by resolution is acquired by reading out the image by resolution stored in the memory.
次に、取得した解像度別画像に対し、色空間変換処理を施す（Ｓ３０２）。具体的には、解像度別画像を構成する各画素のＲ(赤)，Ｇ（緑），Ｂ(青)の値を、所定の変換式により、Ｙ（輝度）、Ｃｂ（緑と青の色差）、Ｃｒ（緑と赤の色差）、Ｃｒ＊（肌色と赤の色差）の値に置き換えることにより、画像の表色系を変換する。 Next, color space conversion processing is performed on the acquired resolution-specific image (S302). Specifically, the R (red), G (green), and B (blue) values of each pixel constituting the resolution-specific image are converted into Y (luminance) and Cb (green and blue color differences) by a predetermined conversion formula. ), Cr (green and red color difference), and Cr * (skin color and red color difference) values to convert the color system of the image.
Ｙ，Ｃｂ，Ｃｒは、一般にＪＰＥＧ画像などで利用されている座標系であり、Ｃｒ＊は、ＲＧＢ空間において赤色と肌色とをもっともよく分離する方向を表す座標軸である。この座標軸の方向は、赤色のサンプルと肌色のサンプルに線形判別分析法を適用して予め決定しておく。このような座標軸を定義することにより、赤目の検出精度を、通常のＹＣｂＣｒ空間で検出を行う場合よりも高めることができる。 Y, Cb, and Cr are coordinate systems generally used in JPEG images and the like, and Cr * is a coordinate axis that represents the direction in which red and skin color are best separated in RGB space. The direction of the coordinate axis is determined in advance by applying a linear discriminant analysis method to the red sample and the skin color sample. By defining such coordinate axes, the red-eye detection accuracy can be increased as compared with the case where detection is performed in a normal YCbCr space.
続いて、色空間変換後の画像上に判定対象範囲を設定し（Ｓ３０３）、その判定対象範囲について赤目の識別判定処理を行う（Ｓ３０４）。図４に、ステップＳ３０３の対象範囲設定処理と、ステップＳ３０４の識別判定処理の概要を示す。 Subsequently, a determination target range is set on the image after color space conversion (S303), and red-eye identification determination processing is performed for the determination target range (S304). FIG. 4 shows an overview of the target range setting process in step S303 and the identification determination process in step S304.
図５（ａ）は、ステップＳ３０２において色空間変換された解像度別画像１５上に、判定対象範囲１８を設定した状態を表している。本実施の形態では、判定対象範囲１８は１３画素×１３画素の領域であるが、説明の便宜上、図では判定対象範囲１８を大きめに表している。 FIG. 5A shows a state in which the determination target range 18 is set on the resolution-specific image 15 that has been color space converted in step S302. In the present embodiment, the determination target range 18 is an area of 13 pixels × 13 pixels, but for the sake of convenience of explanation, the determination target range 18 is shown larger in the figure.
識別判定処理では、設定された判定対象範囲１８に含まれる画像を、複数の赤目検出器にかけ、その複数の検出器の検出結果の組み合わせから、その判定対象範囲１８に含まれる画像が、赤目と推定し得るか否か判断する。赤目と推定し得る場合には、その領域を赤目として検出する。 In the identification determination process, an image included in the set determination target range 18 is applied to a plurality of red-eye detectors, and an image included in the determination target range 18 is determined as a red eye from a combination of detection results of the plurality of detectors. Judge whether it can be estimated. If it can be estimated as red-eye, the area is detected as red-eye.
但しここで、赤目検出器とは、赤目と非赤目との区別に有効な特徴量を算出するためのパラメータと、算出された特徴量を入力として赤目らしさの度合いを表す識別ポイントを出力する識別器と、そのパラメータと識別器を多数の赤目サンプルに適用して識別ポイントの累積加算値を算出し、所定の正検出率を維持できるように決定された閾値の組み合わせを意味する。 However, here, the red-eye detector is an identification that outputs a parameter for calculating a feature quantity effective for distinguishing between red-eye and non-red-eye, and an identification point that represents the degree of red-eyeness by using the calculated feature quantity as input. Means a combination of threshold values determined so as to maintain a predetermined positive detection rate by calculating a cumulative addition value of the identification points by applying the detector and its parameters and the identifier to a large number of red-eye samples.
パラメータや識別器は、多数の赤目サンプルと非赤目サンプルを利用してあらかじめ学習を行うことにより決定する。学習は、マシーンラーニング技術として知られているニューラルネットワークの手法あるいはブースティングの手法など、公知の方法を用いて行うことができる。 Parameters and classifiers are determined by performing learning in advance using a large number of red-eye samples and non-red-eye samples. Learning can be performed using a known method such as a neural network method or a boosting method known as a machine learning technique.
学習に用いられるサンプルは、例えば図６（ａ）、（ｂ）、（ｃ）に示すように、瞳孔全体が赤いサンプル、瞳孔の８０％の領域が赤いサンプル、瞳孔の６０％が赤いサンプルというように、単位矩形内に締める赤色領域の大きさに所定のバリエーションをもたせることが好ましい。 The samples used for learning are, for example, as shown in FIGS. 6A, 6B, and 6C, a sample in which the entire pupil is red, a sample in which 80% of the pupil is red, and a sample in which 60% of the pupil is red. Thus, it is preferable to give a predetermined variation to the size of the red region to be tightened in the unit rectangle.
また学習用サンプルの中に、赤色領域の中心が単位矩形の中心から少しずれたサンプルを含めておけば、ずれた状態でも赤色領域を抽出できるようになる。このため、画像上に特徴量を算出する判定対象範囲を設定し、走査する際に、間隔をあけても抽出の精度を保つことができ、処理時間を短縮することができる。 In addition, if the learning sample includes a sample in which the center of the red region is slightly shifted from the center of the unit rectangle, the red region can be extracted even in a shifted state. For this reason, it is possible to maintain the extraction accuracy even if the interval is set when scanning is performed by setting a determination target range for calculating the feature amount on the image, and the processing time can be shortened.
また、閾値は、学習により決定された特徴量算出パラメータおよび識別器を、できるだけ多くの赤目サンプルに対して適用して識別ポイントの累積加算値を算出し、所定の確率以上の確率で正しく検出できるように定めるとよい。 Further, the threshold value can be correctly detected with a probability equal to or higher than a predetermined probability by applying the feature amount calculation parameter and the discriminator determined by learning to as many red-eye samples as possible to calculate the cumulative addition value of the discrimination points. It is good to define as follows.
図７は、図３のステップＳ３０４の識別判定処理の具体的な処理ステップを示すフローチャートである。フローチャート中の記号ｉは赤目検出器を区別するための記号であり、赤目検出器がＮ個ある場合には、０≦ｉ≦Ｎ−１となる。Ｎ個の赤目検出器、すなわち特徴量の算出に利用されるパラメータｉ、識別器ｉ、閾値ｉ（０≦ｉ≦Ｎ−１）は、メモリあるいはハードディスクなどに記憶されている。 FIG. 7 is a flowchart showing specific processing steps of the identification determination processing in step S304 of FIG. The symbol i in the flowchart is a symbol for distinguishing red-eye detectors. When there are N red-eye detectors, 0 ≦ i ≦ N−1. N red-eye detectors, that is, a parameter i, a discriminator i, and a threshold value i (0 ≦ i ≦ N−1) used for calculating a feature value are stored in a memory or a hard disk.
はじめに、ｉおよび累積識別ポイントの値を、いずれも０に初期化する（Ｓ４０１）。次に、特徴量算出パラメータｉを利用して前述の判定対象範囲１８について、特徴量を算出し、算出結果を得る（Ｓ４０２）。次に、算出結果に基づいて識別器ｉを参照して識別ポイントを得（Ｓ４０３）、その識別ポイントを累積識別ポイントに加算する（Ｓ４０４）。次に、その累積識別ポイントを、閾値ｉと比較する（Ｓ４０５）。この時点で、累積識別ポイントが閾値ｉを下回っていれば、非赤目と判定する。 First, both i and the value of the cumulative identification point are initialized to 0 (S401). Next, using the feature quantity calculation parameter i, a feature quantity is calculated for the above-described determination target range 18, and a calculation result is obtained (S402). Next, an identification point is obtained by referring to the classifier i based on the calculation result (S403), and the identification point is added to the accumulated identification point (S404). Next, the accumulated identification point is compared with a threshold value i (S405). At this time, if the cumulative identification point is below the threshold value i, it is determined as non-red-eye.
一方、累積識別ポイントが閾値ｉを越えていれば、ｉがＮ−１か否かを判定することによって全識別器について処理が終了したか否かを判定する（Ｓ４０６）。ｉがＮ−１より小さい場合には、ｉを１つカウントアップして（Ｓ４０７）、同様に、ステップＳ４０２からＳ４０７までの処理を繰り返す。全識別器について処理が終了した場合には（Ｓ４０６）、その時点で判定対象範囲１８内の画像を、赤目候補領域と判断し、候補リストに登録する。 On the other hand, if the cumulative identification point exceeds the threshold value i, it is determined whether or not the processing has been completed for all the classifiers by determining whether i is N−1 (S406). If i is smaller than N-1, i is incremented by 1 (S407), and the processing from step S402 to S407 is repeated in the same manner. When the processing is completed for all the classifiers (S406), the image within the determination target range 18 is determined as a red-eye candidate region at that time, and is registered in the candidate list.
なお、本実施の形態では、特徴量算出パラメータは、参照するチャンネル（Ｙ、Ｃｂ、Ｃｒ、Ｃｒ＊）、特徴量のタイプ（画素値そのもの、２点差分、４点差分）、参照する画素の判定対象範囲内における座標からなる。 In the present embodiment, the feature amount calculation parameter includes the channel to be referred (Y, Cb, Cr, Cr * ), the type of feature amount (pixel value itself, two-point difference, four-point difference), and the reference pixel. Consists of coordinates within the determination target range.
以上に説明した識別判定処理は、図５の画像１５中の矢印に示すように、判定対象範囲１８を少しずつずらしながら（走査しながら）、繰り返し実行する。判定対象範囲の設定と識別判定処理は、図３のフローチャートのステップＳ３０５において走査終了と判定された時点で終了する。 The identification determination process described above is repeatedly executed while gradually shifting (scanning) the determination target range 18 as indicated by an arrow in the image 15 of FIG. The setting of the determination target range and the identification determination process are ended when it is determined that the scanning is ended in step S305 in the flowchart of FIG.
次に、図３のステップＳ３０６において、全解像度画像についての処理が終了したか否かを判定する。他の解像度別画像が未処理であれば、ステップＳ３０１に戻り、図４の次の解像度別画像１６が取得されて、同様の処理が繰り返される。 Next, in step S306 of FIG. 3, it is determined whether or not the processing for all resolution images has been completed. If another image by resolution is unprocessed, the process returns to step S301, the next image 16 by resolution in FIG. 4 is acquired, and the same processing is repeated.
なお、解像度を異ならせて処理を繰り返すのは、以下の理由による。図５（ｂ）は、解像度別画像１５よりも解像度が低い画像１６上に、判定対象範囲１８を設定した状態を表している。判定対象範囲１８の大きさは前述のとおり１３画素×１３画素である。解像度を低くすると、判定対象範囲１８には、解像度が高い場合よりも、より広い範囲が含まれることになる。 The reason why the processing is repeated with different resolutions is as follows. FIG. 5B shows a state in which the determination target range 18 is set on the image 16 having a lower resolution than the resolution-specific image 15. The size of the determination target range 18 is 13 pixels × 13 pixels as described above. When the resolution is lowered, the determination target range 18 includes a wider range than when the resolution is high.
したがって、例えば図５（ａ）、（ｂ）に示すように、画像中に瞳孔１９の画像が含まれている場合、図５（ａ）の解像度別画像１５に対する識別処理では検出できなかった瞳孔１９が、解像度別画像１６に対する識別処理では検出できる場合がある。赤目を検出できたときの画像の解像度の情報は、メモリなどに記憶される。 Therefore, for example, as shown in FIGS. 5A and 5B, when the image of the pupil 19 is included in the image, the pupil that could not be detected by the identification processing for the resolution-specific image 15 in FIG. 19 may be detected by the identification processing for the resolution-specific image 16. Information on the resolution of the image when the red eye can be detected is stored in a memory or the like.
ステップＳ３０６において、全解像度別画像についての処理が終了したと判定したら、次に、候補整理処理を実行する（Ｓ３０７）。図８は候補整理処理について説明するための図である。図に示すように、上記判定対象範囲設定処理および識別判定処理では、１つの赤目が２個の赤目として検出されてしまう場合がある。 If it is determined in step S306 that the processing for all resolution-specific images has been completed, candidate organization processing is executed (S307). FIG. 8 is a diagram for explaining the candidate organization process. As shown in the figure, in the determination target range setting process and the identification determination process, one red eye may be detected as two red eyes.
例えば赤目が図８に示される楕円領域２０である場合に、判定対象範囲１８ａに対して行われた識別判定処理で領域２１ａが赤目と判定され、判定対象範囲１８ｂに対して行われた識別判定処理で、領域２１ｂが赤目と判定されるような場合である。候補整理処理は、このような場合に、赤目２１ａと赤目２１ｂのうち、前述の識別ポイントが高いほうの領域のみを残し、他方をリストから削除する処理である。 For example, when the red eye is the ellipse area 20 shown in FIG. 8, the identification determination performed for the determination target range 18b when the area 21a is determined to be red eye by the identification determination processing performed for the determination target range 18a. This is a case where the region 21b is determined to be red-eye in the processing. In such a case, the candidate rearrangement process is a process of leaving only the region with the higher identification point among the red-eye 21a and the red-eye 21b and deleting the other from the list.
以上の処理により最終的に残った領域の中心座標およびサイズが赤目リストとして出力される。 The center coordinates and size of the region finally left by the above processing are output as a red-eye list.
続いて、図１のステップＳ１０３の赤目修正処理について説明する。本実施の形態では、赤目検出処理により検出された各赤目について、色差Ｃｒの値が所定の値を越えている画素を抽出し、モフォロジー処理により、その領域を整形し、整形した領域を構成する各画素の色を、所定の明るさのグレーなど、瞳孔の色として適切な色に置き換えている。但し、本発明において、赤目の自動修正方法も特に限定されず、公知のあらゆる方法を適用することができる。 Subsequently, the red-eye correction process in step S103 of FIG. 1 will be described. In the present embodiment, for each red eye detected by the red eye detection process, a pixel having a color difference Cr value exceeding a predetermined value is extracted, and the area is shaped by the morphology process to form the shaped area. The color of each pixel is replaced with a color suitable for the pupil, such as gray having a predetermined brightness. However, in the present invention, the red-eye automatic correction method is not particularly limited, and any known method can be applied.
次に、ステップＳ１０４の自信度算出処理について説明する。本実施の形態では、自信度は、上記赤目検出処理の過程で算出される識別ポイントを利用して算出される。赤目検出処理では、前述のように、識別ポイントが閾値ｉ以上であれば赤目、閾値ｉを下回っていれば非赤目と判定しているが、この方法では、識別ポイントと閾値との差が小さいときよりも識別ポイントと閾値の差が大きいときのほうが判定結果の信頼性は高いと考えられる。そこで、自信度を、その差が大きいときに高く、差が小さいときに低くなるように予め定義しておけば、検出処理後に、その検出の信頼性を表す指標となる自信度を求めることができる。 Next, the confidence level calculation process in step S104 will be described. In the present embodiment, the degree of confidence is calculated using an identification point calculated in the course of the red-eye detection process. In the red-eye detection process, as described above, if the identification point is greater than or equal to the threshold value i, it is determined as red-eye, and if it is below the threshold value i, it is determined as non-red-eye, but in this method, the difference between the identification point and the threshold value is small. It is considered that the reliability of the determination result is higher when the difference between the identification point and the threshold value is larger than when it is. Therefore, if the confidence level is defined in advance to be high when the difference is large and low when the difference is small, the confidence level can be obtained as an index representing the reliability of the detection after the detection process. it can.
続いて、ステップＳ１０５の判定処理について説明する。ステップＳ１０５では前述のように、算出された自信度が所定の閾値よりも大きいか否かの判定がなされる。閾値は常時一定の値としてもよいが、誤検出・誤修正がもたらす影響は画像の用途によっても変わるため、本実施の形態では、用途に応じて、それぞれ最適な閾値を設定した上で判定を行っている。 Next, the determination process in step S105 will be described. In step S105, as described above, it is determined whether or not the calculated confidence level is greater than a predetermined threshold value. Although the threshold value may be a constant value at all times, the effect of erroneous detection / correction varies depending on the application of the image.Therefore, in this embodiment, the determination is made after setting an optimal threshold value for each application. Is going.
例えば、赤目補正後の画像をプリント出力する場合、プリントサイズが大きくなるほど、誤検出や誤修正は目立ちやすい。そこで、本実施の形態では、閾値を、プリントサイズが大きいほど高くなるように設定している。 For example, when a red-eye corrected image is printed out, erroneous detection and correction are more conspicuous as the print size increases. Therefore, in the present embodiment, the threshold value is set so as to increase as the print size increases.
また、プリントサイズが大きくなくても、人物の顔がアップで写された写真など、画像の中で赤目の占める割合が大きい画像でも、同様に誤検出や誤修正が目立ちやすいので、閾値を高く設定している。 In addition, even if the print size is not large, even if the proportion of red eyes in the image is large, such as a photograph of a person's face that is up, misdetection and correction are conspicuous in the same way. It is set.
さらに、フィルムに記録された画像をデジタル化してメディアなどに保管するサービスの場合、その画像は将来あらゆる用途に利用される可能性がある。そこで、このようなサービスでは、その画像がどのような用途に利用されても誤検出や誤修正の影響が気にならないように、閾値を高めに設定して判定を行う。 Furthermore, in the case of a service for digitizing an image recorded on a film and storing it on a medium or the like, the image may be used for any purpose in the future. Therefore, in such a service, determination is performed by setting a high threshold value so that the influence of erroneous detection or correction is not anxious no matter what purpose the image is used.
ステップＳ１０６の処理は、本実施の形態では通知音を発生し、修正画像を画面上に表示する処理としているが、オペレータの注意を喚起することができる処理であれば、他の処理であってもよい。例えば、音に代えて、画面全体を点滅させることにより注意を喚起する方法なども考えられる。また、自信度に応じて段階的に通知のしかたを代えてもよい。例えば音量を自信度に応じて変化させたり、画面を表示して修正指示入力を待つ時間を自信度に応じて変化させてもよい。 The process of step S106 is a process for generating a notification sound and displaying a corrected image on the screen in the present embodiment, but is another process as long as it can call the operator's attention. Also good. For example, a method of calling attention by blinking the entire screen instead of sound can be considered. Further, the notification method may be changed step by step according to the degree of confidence. For example, the volume may be changed according to the degree of confidence, or the time for displaying a screen and waiting for a correction instruction input may be changed according to the degree of confidence.
次にステップＳ１０７およびＳ１０８の処理について説明する。ユーザから入力される修正指示としては、例えば次のような指示が考えられる。１つは、誤検出の除去の指示である。本実施の形態では、赤目以外の例えば電飾などが赤目として検出され、目の色に修正されてしまっている場合に、ユーザが修正を要求できるように、画面上の所望の領域を指定する手段と修正のキャンセル指示を入力するためのメニュー、ボタンなどを画面に表示する。さらには、誤って修正された箇所をユーザが直接修正できる機能も提供する。 Next, the processing of steps S107 and S108 will be described. As the correction instruction input from the user, for example, the following instruction can be considered. One is an instruction to remove erroneous detection. In the present embodiment, when a decoration other than red eyes is detected as red eyes and has been corrected to the color of the eyes, a desired area on the screen is designated so that the user can request correction. Menus, buttons, etc. for inputting means and correction cancellation instructions are displayed on the screen. Furthermore, the function which a user can correct directly the location corrected accidentally is also provided.
一方、検出から漏れた赤目を画面上で直接指定して修正を指示したり、検出から漏れた赤目を含む領域を指定して、その限られた領域で赤目の再検出処理を実行させ、自動修正を行う機能も提供する。あるいは、特に領域は指定させず、赤目の自動検出、自動補正処理を再実行させてもよい。再実行の際に、識別ポイントの閾値を低めに設定して検出処理を行えば、赤目の検出数が増加し、未検出を減らすことができる。 On the other hand, red eyes leaking from detection are specified directly on the screen to instruct correction, or an area including red eyes leaking from detection is specified, and red-eye re-detection processing is executed in that limited area, automatically It also provides the ability to make corrections. Alternatively, the red-eye automatic detection and automatic correction processing may be re-executed without particularly specifying the region. If the detection process is performed with the threshold of the identification point set to a lower value at the time of re-execution, the number of red-eye detections can be increased and undetected can be reduced.
なお、ステップＳ１０９において修正済画像を出力する際には、ステップＳ１０１で取得した画像を直接書き換えた画像を出力してもよいし、もとの画像と修正済画像との差分情報を出力してもよい。後者の場合には、その結果を利用する装置（プリンタなど）において、もとの画像と差分情報を合成して、修正画像を形成する。 When outputting the corrected image in step S109, an image obtained by directly rewriting the image acquired in step S101 may be output, or difference information between the original image and the corrected image may be output. Also good. In the latter case, a correction image is formed by synthesizing the original image and difference information in an apparatus (such as a printer) that uses the result.
（実施の形態２）
第２の実施の形態は、第１の実施の形態と同様、写真のプリントサービスを提供するラボラトリィに設置される画像処理装置に、赤目修正作業支援機能を組み込んだ例である。但し、本実施の形態では、赤目修正作業支援機能が組み込まれている第１の画像処理装置と、赤目修正処理を実行する第２の画像処理装置とは異なる装置である。
(Embodiment 2)
As in the first embodiment, the second embodiment is an example in which a red-eye correction work support function is incorporated into an image processing apparatus installed in a laboratory that provides a photo print service. However, in the present embodiment, the first image processing apparatus incorporating the red-eye correction work support function is different from the second image processing apparatus that executes the red-eye correction process.
図９に、第１の画像処理装置が実行する赤目検出処理の概要を示す。フローチャートに示すように、画像処理装置は、赤目検出処理の対象となる画像を取得する（Ｓ５０１）。画像は、ハードディスクや各種メディアに記憶されているデータを読み出すことにより取得する。続いて、取得した画像に対し赤目検出の処理が自動的に施される（Ｓ５０２）。 FIG. 9 shows an outline of the red-eye detection process executed by the first image processing apparatus. As shown in the flowchart, the image processing apparatus acquires an image to be subjected to red-eye detection processing (S501). The image is acquired by reading data stored in a hard disk or various media. Subsequently, a red-eye detection process is automatically performed on the acquired image (S502).
続いて、赤目検出の自信度を算出する（Ｓ５０３）。ステップＳ５０４において、算出された自信度が所定の閾値よりも大きいと判定された場合には、ステップＳ５０２において検出された結果が、ステップＳ５０８において、そのまま出力される。 Subsequently, the degree of confidence in red-eye detection is calculated (S503). If it is determined in step S504 that the calculated degree of confidence is greater than a predetermined threshold, the result detected in step S502 is output as it is in step S508.
ステップＳ５０４において、算出された自信度が所定の閾値以下であると判定された場合には、画像処理装置は通知音を発生させるとともにステップＳ５０２において検出された赤目の位置や大きさなど、赤目検出結果を表示画面に表示する（Ｓ５０５）。オペレータからの修正を指示する入力が検出された場合（Ｓ５０６）には、その指示にしたがって検出結果を修正した後（Ｓ５０７）、検出結果を出力する（Ｓ５０８）。 If it is determined in step S504 that the calculated degree of confidence is equal to or less than a predetermined threshold, the image processing apparatus generates a notification sound and detects the red eye such as the position and size of the red eye detected in step S502. The result is displayed on the display screen (S505). When an input for instructing correction from the operator is detected (S506), the detection result is corrected according to the instruction (S507), and then the detection result is output (S508).
一方、オペレータからの入力がない場合には、ステップＳ５０２において赤目検出の対象となった画像を、その赤目検出結果とともに、確認待ちリストに登録する（Ｓ５０９）。以上の処理が完了したら、ステップＳ５０１に戻り、次の画像を取得して同様の処理を繰り返す。 On the other hand, if there is no input from the operator, the red eye detection target image in step S502 is registered in the confirmation wait list together with the red eye detection result (S509). When the above process is completed, the process returns to step S501, the next image is acquired, and the same process is repeated.
図１０は、確認待ちリストに登録された画像に対する確認処理の概要を示すフローチャートである。図に示すように、画像処理装置は、最初に確認待ちリストを画面に表示する（Ｓ６０１）。オペレータがリストの中から一の画像を選択すると、その選択を受け付け（Ｓ６０２）、選択された画像に対する赤目検出の結果を表示画面に表示する（Ｓ６０３）。オペレータからの修正を指示する入力が検出された場合（Ｓ６０４）には、その指示にしたがって画像を修正した後（Ｓ６０５）、修正済みの検出結果を出力する（Ｓ６０６）。オペレータからの指示入力がない場合には、図９のステップＳ５０２において得られた検出結果をそのまま出力する。 FIG. 10 is a flowchart showing an outline of confirmation processing for an image registered in the confirmation waiting list. As shown in the figure, the image processing apparatus first displays a confirmation waiting list on the screen (S601). When the operator selects one image from the list, the selection is accepted (S602), and the result of red-eye detection for the selected image is displayed on the display screen (S603). If an input for instructing correction from the operator is detected (S604), the image is corrected according to the instruction (S605), and then the corrected detection result is output (S606). If there is no instruction input from the operator, the detection result obtained in step S502 of FIG. 9 is output as it is.
図１１は、第２の画像処理装置が実行する赤目修正処理の概要を示すフローチャートである。図に示すように第２の画像処理装置は、第１の画像処理装置が出力した画像および赤目検出結果を取得する（Ｓ７０１）。そして、検出された赤目を修正して（Ｓ７０２）、修正画像を出力する（Ｓ７０４）。 FIG. 11 is a flowchart showing an outline of red-eye correction processing executed by the second image processing apparatus. As shown in the figure, the second image processing apparatus acquires the image and red-eye detection result output by the first image processing apparatus (S701). Then, the detected red eye is corrected (S702), and a corrected image is output (S704).
なお、赤目検出や赤目修正の方法および自信度の算出方法については、第１の実施の形態と同じであるため説明を省略する。 Note that the red-eye detection and red-eye correction method and the confidence level calculation method are the same as those in the first embodiment, and thus description thereof is omitted.
第１の実施の形態は、ユーザが自動修正された後の画像を確認して修正の指示を入力する形態であったが、第２の実施の形態は画像を修正する前の検出結果のみの段階で、自信度が低い場合にはユーザに確認を促す。画像の修正処理を実行する前に、オペレータに誤認識などを訂正させるので、第１の実施の形態よりも装置にかかる負担は少なくなる。 The first embodiment is a mode in which the user confirms the image after being automatically corrected and inputs a correction instruction, but the second embodiment only includes a detection result before the image is corrected. If the confidence level is low at the stage, the user is prompted for confirmation. Since the operator corrects misrecognition and the like before executing the image correction process, the burden on the apparatus is less than that in the first embodiment.
（実施の形態３)
第３の実施の形態は、デジタルカメラに、赤目修正作業支援機能を組み込んだ例である。図１２に、デジタルカメラが実行する赤目検出処理および赤目修正処理の概要を示す。
(Embodiment 3)
The third embodiment is an example in which a red-eye correction work support function is incorporated in a digital camera. FIG. 12 shows an outline of red-eye detection processing and red-eye correction processing executed by the digital camera.
図１２のフローチャートに示すように、デジタルカメラは、赤目検出、補正処理の対象となる画像を撮影もしくはメモリから読み出すことにより取得する（Ｓ８０１）。続いて、取得した画像に対し赤目検出（Ｓ８０２）および赤目修正（Ｓ８０３）の処理を施す。 As shown in the flowchart of FIG. 12, the digital camera obtains an image to be subjected to red-eye detection and correction processing by capturing or reading from the memory (S801). Subsequently, red-eye detection (S802) and red-eye correction (S803) are performed on the acquired image.
続いて、赤目検出、修正処理の自信度を算出する（Ｓ８０４）。ステップＳ８０５において、算出された自信度が所定の閾値よりも大きいと判定した場合には、修正画像をデジタルカメラが備える液晶モニタに出力する（Ｓ８０６）。 Subsequently, the degree of confidence in red-eye detection and correction processing is calculated (S804). If it is determined in step S805 that the calculated degree of confidence is greater than a predetermined threshold, the corrected image is output to a liquid crystal monitor provided in the digital camera (S806).
ステップＳ８０５において、算出された自信度が所定の閾値以下であると判定した場合には、デジタルカメラは通知音を発生させるとともにステップＳ８０３において修正された画像を液晶モニタに表示する。この際、デジタルカメラはモニタのサイズが小さく確認が難しいため、修正画像を表示するときは修正箇所に枠をつけて強調表示したり、修正箇所を拡大表示するなどして確認が容易になるようにする（Ｓ８０７）。 If it is determined in step S805 that the calculated confidence level is equal to or less than a predetermined threshold, the digital camera generates a notification sound and displays the image corrected in step S803 on the liquid crystal monitor. At this time, since the digital camera has a small monitor size and it is difficult to check, when displaying a corrected image, it is easy to check by adding a frame to the correction part and highlighting the correction part. (S807).
オペレータからの修正を指示する入力を検出した場合（Ｓ８０８）には、その指示にしたがって画像を修正した後（Ｓ８０９）、修正画像を出力する（Ｓ８１０）。 When an input for instructing correction from the operator is detected (S808), the image is corrected according to the instruction (S809), and then the corrected image is output (S810).
一方、オペレータからの入力がない場合には、ステップＳ８０３において修正された画像を、そのまま修正画像として保存する（Ｓ８１０）。以上の処理が完了したら、ステップＳ８０１に戻り次の画像を取得して同様の処理を繰り返す。 On the other hand, if there is no input from the operator, the image corrected in step S803 is stored as it is as a corrected image (S810). When the above processing is completed, the process returns to step S801 to acquire the next image and repeat the same processing.
なお、赤目検出や赤目修正の方法および自信度の算出方法については、第１の実施の形態と同じであるため説明を省略する。 Note that the red-eye detection and red-eye correction method and the confidence level calculation method are the same as those in the first embodiment, and thus description thereof is omitted.
デジタルカメラの場合には、特に液晶モニタが小さい場合、修正操作が必要な画像か否かを判断することは困難である。このため、本実施の形態の装置のように、検出処理の自信度に基づいて自動的に修正を要する画像と修正を必要としない画像とを振り分けることができれば、ユーザの負担は軽減される。 In the case of a digital camera, particularly when the liquid crystal monitor is small, it is difficult to determine whether the image requires a correction operation. For this reason, if the image which needs correction and the image which does not need correction can be automatically distributed based on the confidence degree of a detection process like the apparatus of this Embodiment, a user's burden will be reduced.
１０ 入力画像
１５，１６，１７ 解像度別画像
１８，１８ａ，１８ｂ，２３ 判定対象範囲
１９ 瞳孔
２０ 赤目
２１ａ，２１ｂ 赤目候補
10 Input images 15, 16, 17 Resolution-specific images 18, 18a, 18b, 23 Determination target range 19 Pupil 20 Red-eye 21a, 21b Red-eye candidate
Claims (5)
赤目を自動検出する赤目自動検出部と、
前記赤目自動検出部による赤目の検出結果の自信度を算出する自信度算出部と、
前記赤目の色が修正された画像を得るための処理であってユーザに要求する操作の内容が異なる複数の処理の中から、前記自信度算出部により算出された自信度に基づいて一の処理を選択して実行する処理選択実行部とを備え、
前記処理選択実行部は、前記自信度が高いほど前記ユーザの操作負担が少ない処理を選択することを特徴とする赤目修正作業支援装置。 A red-eye correction work support device that supports the work of detecting red eyes in which at least part of the pupil is displayed in red from an image and correcting the color of the red eyes,
A red-eye automatic detection unit that automatically detects red-eye,
A confidence level calculation unit for calculating the confidence level of the detection result of red eyes by the red eye automatic detection unit;
One process based on the degree of confidence calculated by the confidence degree calculation unit from among a plurality of processes for obtaining an image in which the color of the red eye is corrected and different operations requested from the user A process selection execution unit for selecting and executing
The red eye correction work support apparatus, wherein the process selection execution unit selects a process with less operation burden on the user as the degree of confidence is higher.
赤目を自動検出する赤目自動検出部、
前記赤目自動検出部による赤目の検出結果の自信度を算出する自信度算出部、および
前記赤目の色が修正された画像を得るための処理であってユーザに要求する操作の内容が異なる複数の処理の中から、前記自信度算出部により算出された自信度に基づいて一の処理を選択して実行する処理選択実行部として機能させ、
前記処理選択実行部を、前記自信度が高いほど前記ユーザの操作負担が少ない処理を選択するように機能させることを特徴とする赤目修正作業支援プログラム。 A red-eye correction work support program for causing a computer to execute a process for supporting a work for detecting a red eye in which at least part of a pupil is displayed in red from an image and correcting the color of the red eye.
Red-eye automatic detection unit that automatically detects red-eye,
A confidence level calculation unit that calculates the confidence level of the red-eye detection result by the red-eye automatic detection unit, and a process for obtaining an image in which the color of the red eye is corrected, and a plurality of operations requested by the user are different. From among the processes, function as a process selection execution unit that selects and executes one process based on the confidence level calculated by the confidence level calculation unit,
A red-eye correction work support program that causes the process selection execution unit to function so as to select a process with less operational burden on the user as the degree of confidence increases.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004099936A JP4163651B2 (en) | 2004-03-30 | 2004-03-30 | Red-eye correction work support apparatus and program |
| US11/092,570 US20050220346A1 (en) | 2004-03-30 | 2005-03-29 | Red eye detection device, red eye detection method, and recording medium with red eye detection program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004099936A JP4163651B2 (en) | 2004-03-30 | 2004-03-30 | Red-eye correction work support apparatus and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005286837A true JP2005286837A (en) | 2005-10-13 |
| JP4163651B2 JP4163651B2 (en) | 2008-10-08 |
Family
ID=35184735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004099936A Expired - Fee Related JP4163651B2 (en) | 2004-03-30 | 2004-03-30 | Red-eye correction work support apparatus and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4163651B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007281847A (en) * | 2006-04-06 | 2007-10-25 | Fujifilm Corp | System, method, and program for red-eye correction processing |
| JP2009217510A (en) * | 2008-03-10 | 2009-09-24 | Canon Inc | Image display device and control method thereof |
| JP2011193397A (en) * | 2010-03-16 | 2011-09-29 | Ricoh Co Ltd | Image processing apparatus, image forming apparatus, image processing system, image processing method, image processing program and storage medium |
| JP2018033050A (en) * | 2016-08-25 | 2018-03-01 | 株式会社知能フレームワーク研究所 | State monitoring system |
-
2004
- 2004-03-30 JP JP2004099936A patent/JP4163651B2/en not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007281847A (en) * | 2006-04-06 | 2007-10-25 | Fujifilm Corp | System, method, and program for red-eye correction processing |
| JP4708250B2 (en) * | 2006-04-06 | 2011-06-22 | 富士フイルム株式会社 | Red-eye correction processing system, red-eye correction processing method, and red-eye correction processing program |
| JP2009217510A (en) * | 2008-03-10 | 2009-09-24 | Canon Inc | Image display device and control method thereof |
| US8379916B2 (en) | 2008-03-10 | 2013-02-19 | Canon Kabushiki Kaisha | Image display apparatus and control method thereof |
| JP2011193397A (en) * | 2010-03-16 | 2011-09-29 | Ricoh Co Ltd | Image processing apparatus, image forming apparatus, image processing system, image processing method, image processing program and storage medium |
| JP2018033050A (en) * | 2016-08-25 | 2018-03-01 | 株式会社知能フレームワーク研究所 | State monitoring system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4163651B2 (en) | 2008-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20050220346A1 (en) | Red eye detection device, red eye detection method, and recording medium with red eye detection program | |
| US7450756B2 (en) | Method and apparatus for incorporating iris color in red-eye correction | |
| US10187546B2 (en) | Method and device for correcting document image captured by image pick-up device | |
| US7916893B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5939705B2 (en) | Subject determination device, subject determination method, and program | |
| JP2005316973A (en) | Red-eye detection apparatus, method and program | |
| WO2018233637A1 (en) | Video processing method and apparatus, electronic device, and storage medium | |
| CN111080571B (en) | Camera shielding state detection method, device, terminal and storage medium | |
| US8369619B2 (en) | Method and apparatus for skin color correction and digital photographing apparatus using both | |
| US8625896B2 (en) | Image matting | |
| US7945126B2 (en) | Automatic media edit inspector | |
| JP2007201661A (en) | Unit and method for processing image, and program | |
| JP2007264742A (en) | Method for detecting face and imaging device using it | |
| US9147115B2 (en) | Method and device for detecting an object in an image | |
| JP2009123081A (en) | Face detection method and photographing apparatus | |
| JP2005316958A (en) | Red eye detection device, method, and program | |
| JP4163651B2 (en) | Red-eye correction work support apparatus and program | |
| JP2006323779A (en) | Image processing method and device | |
| JP2015176252A (en) | Image processor and image processing method | |
| JP2016046701A (en) | Image processing apparatus, image processing method and program | |
| JP2011029710A (en) | Image processor, image processing program, and imaging apparatus | |
| JP4779851B2 (en) | Object detection device | |
| CN114359162A (en) | Saliency detection method, saliency detection device, and storage medium | |
| US11238144B2 (en) | User selection assistance apparatus, image forming apparatus, user selection assistance method, and storage medium storing user selection assistance program | |
| US11763561B2 (en) | Information processing apparatus, information processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060518 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080430 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080624 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080722 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080724 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110801 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120801 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130801 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |