JP4807170B2 - Pattern detection method, pattern detection program, pattern detection apparatus, and imaging apparatus - Google Patents

Pattern detection method, pattern detection program, pattern detection apparatus, and imaging apparatus Download PDF

Info

Publication number
JP4807170B2
JP4807170B2 JP2006189254A JP2006189254A JP4807170B2 JP 4807170 B2 JP4807170 B2 JP 4807170B2 JP 2006189254 A JP2006189254 A JP 2006189254A JP 2006189254 A JP2006189254 A JP 2006189254A JP 4807170 B2 JP4807170 B2 JP 4807170B2
Authority
JP
Japan
Prior art keywords
image
suppression
pattern
pattern detection
optical system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006189254A
Other languages
Japanese (ja)
Other versions
JP2008015979A (en
Inventor
暁彦 宇津木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2006189254A priority Critical patent/JP4807170B2/en
Publication of JP2008015979A publication Critical patent/JP2008015979A/en
Application granted granted Critical
Publication of JP4807170B2 publication Critical patent/JP4807170B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、光学系で撮影した画像に関するパターン検出方法、パターン検出プログラム、パターン検出装置に関する。また、本発明は、パターン検出機能を搭載した撮像装置に関する。   The present invention relates to a pattern detection method, a pattern detection program, and a pattern detection apparatus for an image photographed by an optical system. The present invention also relates to an imaging apparatus equipped with a pattern detection function.

ディジタルカメラで撮影した画像から顔を検出し、その顔部分に対してのみ色補正や階調補正を施す技術（逆光補正、肌色補正など）が知られている。
現在、画像処理ソフトウエアで一般的な顔検出方法は、入力画像の各位置にウィンドウを配置し、各ウィンドウによって切り出される各部分領域が顔であるか否かそれぞれ判別するものである（非特許文献１等を参照）。その判別には、テンプレートマッチング、ＳＶＭ（Support Vector Machine）、ニューラルネットワーク、ＡｄａＢｏｏｓｔなど各種の判別方法が適用可能である。
Rowley, Baluja, Kanade, "Rotation Invariant Neural Network-Based Face Detection", Computer Vision and Pattern Recognition, IEEE Computer Society International, P38-44, 1998 Techniques (such as backlight correction and skin color correction) are known in which a face is detected from an image taken with a digital camera and color correction or gradation correction is performed only on the face portion.
Currently, a common face detection method in image processing software is to arrange a window at each position of an input image and determine whether each partial area cut out by each window is a face (non-patent). Reference 1 etc.). For the discrimination, various discrimination methods such as template matching, SVM (Support Vector Machine), neural network, AdaBoost, etc. can be applied.
Rowley, Baluja, Kanade, "Rotation Invariant Neural Network-Based Face Detection", Computer Vision and Pattern Recognition, IEEE Computer Society International, P38-44, 1998

しかしながら、ディジタルカメラで撮影した画像、特に広角レンズで撮影された画像では、画像周辺部の被写体像に或る種の歪みが生じているため、顔検出機能が正常に働かない可能性がある。
そこで本発明は、光学系で撮影した画像から特定パターンをより確実に検出することのできるパターン検出方法、パターン検出プログラム、パターン検出装置、及び撮像装置を提供することを目的とする。 However, in an image photographed with a digital camera, particularly an image photographed with a wide-angle lens, the face detection function may not work normally because some kind of distortion occurs in the subject image at the periphery of the image.
SUMMARY An advantage of some aspects of the invention is that it provides a pattern detection method, a pattern detection program, a pattern detection apparatus, and an imaging apparatus that can detect a specific pattern more reliably from an image captured by an optical system.

本発明のパターン検出方法は、光学系で撮影した画像の各位置における像倍率の周方向成分と径方向成分との不一致を抑制する抑制手順と、前記抑制後の前記画像から特定パターンを検出するパターン検出手順とを含み、前記抑制手順では、前記不一致を抑制するために、前記画像に対して、立体射影方式の光学系で撮影されたのと同じ画像へと幾何変換するための画像処理を施し、前記パターン検出手順では、前記抑制後の前記画像の像傾斜量分布に応じて、前記画像の各位置における前記特定パターンの有無を判別し、前記判別の際には、前記抑制により前記画像に生じる像傾斜量分布に応じて前記画像を領域分けすると共に、検出方向の異なる複数の判別器を領域毎に使い分ける。 The pattern detection method of the present invention detects a specific pattern from the suppression procedure for suppressing the mismatch between the circumferential component and the radial component of the image magnification at each position of an image photographed by the optical system, and the image after the suppression. In order to suppress the mismatch, the suppression procedure includes image processing for geometrically converting the image into the same image captured by a stereoscopic projection optical system. In the pattern detection procedure, the presence / absence of the specific pattern at each position of the image is determined according to the image inclination amount distribution of the image after the suppression. The image is divided into regions according to the image inclination amount distribution occurring in the image, and a plurality of discriminators having different detection directions are used for each region.

また、本発明の別のパターン検出方法は、光学系で撮影した画像の各位置における像倍率の周方向成分と径方向成分との不一致を抑制する抑制手順と、前記抑制後の前記画像から特定パターンを検出するパターン検出手順とを含み、前記抑制手順では、前記不一致を抑制するために、前記画像に対して、立体射影方式の光学系で撮影されたのと同じ画像へと幾何変換するための画像処理を施し、前記パターン検出手順では、前記抑制後の前記画像の像倍率分布に応じて、前記画像の各位置における前記特定パターンの有無を判別し、 前記判別の際には、前記抑制により前記画像に生じる像倍率分布に応じて前記画像を領域分けすると共に、検出サイズの異なる複数の判別器を領域毎に使い分ける。
また、本発明のパターン検出プログラムは、本発明の何れかのパターン検出方法をコンピュータに実行させることを特徴とする。
また、本発明のパターン検出装置は、光学系で撮影した画像の各位置における像倍率の周方向成分と径方向成分との不一致を抑制する抑制手段と、前記抑制後の前記画像から特定パターンを検出するパターン検出手段とを備え、前記抑制手段は、前記不一致を抑制するために、前記画像に対して、立体射影方式の光学系で撮影されたのと同じ画像へと幾何変換するための画像処理を施し、前記パターン検出手段は、前記抑制後の前記画像の像傾斜量分布に応じて、前記画像の各位置における前記特定パターンの有無を判別し、前記判別の際には、前記抑制により前記画像に生じる像傾斜量分布に応じて前記画像を領域分けすると共に、検出方向の異なる複数の判別器を領域毎に使い分ける。 Further, another pattern detection method of the present invention is specified from a suppression procedure for suppressing a mismatch between a circumferential component and a radial component of an image magnification at each position of an image captured by an optical system, and the image after the suppression. A pattern detection procedure for detecting a pattern, and in the suppression procedure, in order to suppress the discrepancy, the image is geometrically transformed into the same image as that captured by a stereoscopic projection optical system. In the pattern detection procedure, the presence or absence of the specific pattern at each position of the image is determined according to the image magnification distribution of the image after suppression, and the suppression is performed during the determination. Thus, the image is divided into regions according to the image magnification distribution generated in the image, and a plurality of discriminators having different detection sizes are used for each region.
The pattern detection program of the present invention causes a computer to execute any one of the pattern detection methods of the present invention.
Further, the pattern detection apparatus of the present invention includes a suppression unit that suppresses a mismatch between a circumferential component and a radial component of image magnification at each position of an image captured by an optical system, and a specific pattern from the image after the suppression. An image for geometrically transforming the image into the same image taken by a stereoscopic projection optical system in order to suppress the mismatch. The pattern detection means determines whether or not there is the specific pattern at each position of the image according to the image inclination amount distribution of the image after the suppression, and at the time of the determination, The image is divided into regions according to the image tilt amount distribution generated in the image, and a plurality of discriminators having different detection directions are used for each region.

また、本発明の別のパターン検出装置は、光学系で撮影した画像の各位置における像倍率の周方向成分と径方向成分との不一致を抑制する抑制手段と、前記抑制後の前記画像から特定パターンを検出するパターン検出手段とを備え、前記抑制手段は、前記不一致を抑制するために、前記画像に対して、立体射影方式の光学系で撮影されたのと同じ画像へと幾何変換するための画像処理を施し、前記パターン検出手段は、前記抑制後の前記画像の像倍率分布に応じて、前記画像の各位置における前記特定パターンの有無を判別し、前記判別の際には、前記抑制により前記画像に生じる像倍率分布に応じて前記画像を領域分けすると共に、検出サイズの異なる複数の判別器を領域毎に使い分ける。
また、本発明の撮像装置は、被写体を撮像して画像を取得する撮像素子と、前記撮像素子が取得した画像に対しパターン検出処理を施す本発明の何れかのパターン検出装置とを備えたことを特徴とする。 In addition, another pattern detection apparatus of the present invention is specified from a suppression unit that suppresses a mismatch between a circumferential component and a radial component of image magnification at each position of an image captured by an optical system, and the image after the suppression. Pattern detecting means for detecting a pattern, and the suppressing means geometrically transforms the image into the same image taken by a stereoscopic projection optical system in order to suppress the mismatch. The pattern detection means determines the presence or absence of the specific pattern at each position of the image according to the image magnification distribution of the image after suppression, and the suppression Thus, the image is divided into regions according to the image magnification distribution generated in the image, and a plurality of discriminators having different detection sizes are used for each region.
Moreover, the imaging device of the present invention includes an imaging element that captures an image of a subject and acquires an image, and any one of the pattern detection apparatuses of the present invention that performs pattern detection processing on the image acquired by the imaging element. It is characterized by.

本発明によれば、光学系で撮影した画像から特定パターンをより確実に検出することのできるパターン検出方法、パターン検出プログラム、パターン検出装置、及び撮像装置が実現する。   According to the present invention, a pattern detection method, a pattern detection program, a pattern detection apparatus, and an imaging apparatus that can detect a specific pattern more reliably from an image captured by an optical system are realized.

［第１実施形態］
第１実施形態を説明する。本実施形態は、顔検出機能を搭載したディジタルカメラの実施形態である。
先ず、ディジタルカメラの構成を説明する。
図１は、ディジタルカメラの構成図である。図１に示すとおり、ディジタルカメラには、撮影レンズ１１、撮像素子１２、Ａ／Ｄ変換器１３、フレームメモリ１４、顔検出部１５、表示部１６、操作釦１７、記録部１９、ＣＰＵ１８などが備えられる。撮影レンズ１１は、歪曲収差の小さい一般的な広角撮影レンズ（被写体角度θと像高ｈとの関係はｈ∝ｔａｎθ）である。顔検出部１５は、顔検出用の画像処理回路である。ＣＰＵ１８は、その他の画像処理を実行する機能と、ディジタルカメラの各部を制御する機能とを備えた画像処理・制御回路である。 [First Embodiment]
A first embodiment will be described. The present embodiment is an embodiment of a digital camera equipped with a face detection function.
First, the configuration of the digital camera will be described.
FIG. 1 is a block diagram of a digital camera. As shown in FIG. 1, the digital camera includes a photographing lens 11, an image sensor 12, an A / D converter 13, a frame memory 14, a face detection unit 15, a display unit 16, an operation button 17, a recording unit 19, a CPU 18, and the like. Provided. The photographing lens 11 is a general wide-angle photographing lens having a small distortion aberration (the relationship between the subject angle θ and the image height h is h∝tan θ). The face detection unit 15 is an image processing circuit for face detection. The CPU 18 is an image processing / control circuit having a function of executing other image processing and a function of controlling each part of the digital camera.

ＣＰＵ１８は、操作釦１７の操作内容からユーザの撮影指示を認識すると、ディジタルカメラの各部を駆動して撮影を行う。撮影時、撮影レンズ１１が捉えた被写界光束は、撮像素子１２上に像を形成する。撮像素子１２は、その像を撮像して画像データを生成する。その画像データは、Ａ／Ｄ変換器１３を介してフレームメモリ１４へ格納され、その後、所定のファイル形式に変換されてから記録部１９へ書き込まれる。   When the CPU 18 recognizes the user's shooting instruction from the operation content of the operation button 17, the CPU 18 drives each part of the digital camera to perform shooting. At the time of photographing, the field light beam captured by the photographing lens 11 forms an image on the image sensor 12. The image sensor 12 captures the image and generates image data. The image data is stored in the frame memory 14 via the A / D converter 13 and then converted into a predetermined file format before being written in the recording unit 19.

また、ＣＰＵ１８は、操作釦１７の操作内容からユーザの補正指示を認識すると、記憶部１９から画像データを読み出し、その画像データへ画像処理を施す。
ユーザの補正指示の中には、「逆光補正」や「肌色補正」など、顔検出を要する補正指示も含まれる。これらの補正指示を認識した場合、ＣＰＵ１８は、記憶部１９から読み出した被処理画像の画像データと、顔検出の実行指示とを顔検出部１５へ与える。その後、顔検出部１５が顔検出処理を実行して検出結果を出力すると、ＣＰＵ１８はその検出結果を利用して被処理画像の画像データへ補正処理を施す。逆光補正や肌色補正などの補正処理は周知なので、説明を省略する。 When the CPU 18 recognizes a user's correction instruction from the operation content of the operation button 17, the CPU 18 reads the image data from the storage unit 19 and performs image processing on the image data.
The user's correction instructions include correction instructions that require face detection, such as “backlight correction” and “skin color correction”. When recognizing these correction instructions, the CPU 18 gives the image data of the processed image read from the storage unit 19 and a face detection execution instruction to the face detection unit 15. Thereafter, when the face detection unit 15 executes face detection processing and outputs a detection result, the CPU 18 performs correction processing on the image data of the processed image using the detection result. Since correction processes such as backlight correction and skin color correction are well known, description thereof will be omitted.

図２は、顔検出部１５の動作フローチャートであり、図３は、顔検出部１５による処理の概念を説明する図である。
（ステップＳ１１）
顔検出部１５は、被処理画像の画像データを入力する。図３（ａ）に示すように、被処理画像上の各位置（特に画像周辺部）では、像倍率の光軸中心周りの成分（周方向成分ａ）と、光軸中心から画像周辺へ向かう成分（径方向成分ｂ）とが一致していない。この不一致（以下、「倍率歪み」という。）は、撮影レンズ１１が無収差であったとしても発生する。 FIG. 2 is an operation flowchart of the face detection unit 15, and FIG. 3 is a diagram for explaining the concept of processing by the face detection unit 15.
(Step S11)
The face detection unit 15 inputs image data of an image to be processed. As shown in FIG. 3A, at each position on the image to be processed (particularly the peripheral portion of the image), the component around the optical axis center of the image magnification (circumferential component a) and the optical axis center toward the image periphery. The component (radial component b) does not match. This disagreement (hereinafter referred to as “magnification distortion”) occurs even if the taking lens 11 has no aberration.

（ステップＳ１２ａ）
顔検出部１５は、被処理画像（図３（ａ））に対し、倍率歪みを無くすような幾何変換処理を施す。この幾何変換処理は、被処理画像を立体射影方式の撮影レンズで撮影されたのと同じ画像へと幾何変換するものである。
すなわち、顔検出部１５は、被処理画像（図３（ａ））上の各座標（ｘ，ｙ）を、撮影レンズ１１に固有の幾何変換特性の逆特性で座標変換してから、被写体角度θと像高ｈとの関係がｈ（θ）∝ｔａｎ（θ／２）である立体射影方式の幾何変換特性で座標（ｘ2，ｙ2）へ座標変換し、変換後の各座標（ｘ2，ｙ2）からなる画像に対し、画素補間処理を施す。このうち、座標変換に関する演算を数式で示すと、以下の通りである。
・被処理画像上の座標（ｘ，ｙ）を、次式（１）により像高ｈで表す。但し、式（１）中の（ｃx，ｃy）は、被処理画像上の光軸中心の座標である。 (Step S12a)
The face detection unit 15 performs geometric transformation processing on the image to be processed (FIG. 3A) so as to eliminate magnification distortion. In this geometric transformation process, the image to be processed is geometrically transformed into the same image as that photographed by a stereoscopic projection type photographing lens.
That is, the face detection unit 15 converts the coordinates (x, y) on the image to be processed (FIG. 3A) with the inverse characteristics of the geometric conversion characteristics unique to the photographing lens 11, and then subjects angles The coordinates are converted to coordinates (x 2 , y 2 ) with the geometric projection characteristic of the stereographic projection method in which the relationship between θ and the image height h is h (θ) ∝tan (θ / 2), and each coordinate (x 2 , y 2 ) is subjected to pixel interpolation processing. Among these, the calculation related to coordinate transformation is represented by mathematical formulas as follows.
A coordinate (x, y) on the image to be processed is represented by an image height h by the following equation (1). However, (c x , c y ) in the expression (1) is the coordinate of the optical axis center on the image to be processed.

Figure 0004807170
・像高ｈに対応する被写体角度θを、次式（２）で求める。但し、式（２）中のｄmaxは、被処理画像上の最大像高を長さに換算したものであり、ｆは、撮影時における撮影レンズ１１の焦点距離であり、ｈmaxは、被処理画像上の最大像高を画素数に換算したものである。このうち、ｄmax，ｈmaxの値は、顔検出部１５が予め記憶する。一方、ｆの値については、撮影時にＣＰＵ１８が認識し、前述した実行指示と共に顔検出部１５へと与えたものである。
Figure 0004807170
 The subject angle θ corresponding to the image height h is obtained by the following equation (2). However, d max in the formula (2) is the maximum image height on the image to be processed converted into length, f is the focal length of the taking lens 11 at the time of shooting, and h max is The maximum image height on the processed image is converted into the number of pixels. Among these, the values of d max and h max are stored in advance by the face detection unit 15. On the other hand, the value of f is recognized by the CPU 18 at the time of shooting and given to the face detection unit 15 together with the execution instruction described above.

Figure 0004807170
・被写体角度θを次式（３）により像高ｈ2へ変換する。
Figure 0004807170
 The subject angle θ is converted to the image height h 2 by the following equation (3).

Figure 0004807170
・像高ｈ2に対応する座標（ｘ2，ｙ2）を次式（４）で求める。
Figure 0004807170
 The coordinates (x 2 , y 2 ) corresponding to the image height h 2 are obtained by the following equation (4).

Figure 0004807170
図３（ｂ）は、以上の幾何変換処理後の画像の概念である。この画像（図３（ｂ））上では、各位置の倍率歪みが抑えられているので、画像上の各位置に存在する全ての顔の歪みが無くなっている。
Figure 0004807170
 FIG. 3B shows the concept of the image after the above geometric transformation process. On this image (FIG. 3 (b)), the magnification distortion at each position is suppressed, so that all face distortions present at each position on the image are eliminated.

（ステップＳ１３ａ）
顔検出部１５は、幾何変換処理後の画像へ肌色検出処理を施し、その画像から、顔の存在している可能性の無い領域を除外する。これによって、顔候補領域が抽出されたことになる。
（ステップＳ１３ｂ）
顔検出部１５は、抽出された顔候補領域（以下、単に「画像」という。）上の各位置に、所定画素サイズのウィンドウＷ（例えば１９画素×１９画素の矩形ウィンドウ）を配置し、そのウィンドウＷによって切り出される各部分領域のパターンを認識する。 (Step S13a)
The face detection unit 15 performs a skin color detection process on the image after the geometric conversion process, and excludes an area where there is no possibility of the face from the image. As a result, the face candidate area is extracted.
(Step S13b)
The face detection unit 15 arranges a window W of a predetermined pixel size (for example, a 19 × 19 rectangular window) at each position on the extracted face candidate area (hereinafter simply referred to as “image”). The pattern of each partial area cut out by the window W is recognized.

さらに、顔検出部１５は、そのパターンが人間の顔であるか否か判別し、人間の顔であったならば、その部分領域を顔の存在領域とみなす（図３（ｃ）参照）。
この判別には、例えば、多数の顔学習サンプルを用いて予め学習した判別器が用いられる。因みに、本実施形態の判別では顔の歪みを考慮する必要が無いので、多数の顔学習サンプルは、何れも歪みの無い通常の顔学習サンプルで構わない。 Further, the face detection unit 15 determines whether or not the pattern is a human face, and if it is a human face, regards the partial area as a face existing area (see FIG. 3C).
For this discrimination, for example, a discriminator learned in advance using a large number of face learning samples is used. Incidentally, since it is not necessary to consider the distortion of the face in the determination of the present embodiment, any number of face learning samples may be normal face learning samples without distortion.

（ステップＳ１２ｂ）
顔検出部１５は、検出した顔の存在領域を、ステップＳ１２ａの幾何変換処理の逆特性で幾何変換する（図３（ｄ）参照）。
（ステップＳ１４）
顔検出部１５は、変換後の存在領域を検出結果として出力する（ステップＳ１４の説明終了）。 (Step S12b)
The face detection unit 15 geometrically transforms the detected face existing area with the inverse characteristics of the geometric transformation processing in step S12a (see FIG. 3D).
(Step S14)
The face detection unit 15 outputs the converted presence area as a detection result (end of description of step S14).

以上、本実施形態の顔検出部１５は、顔検出処理（ステップＳ１３ｂ）に先立ち、被処理画像の倍率歪みを抑制するので（ステップＳ１２ａ）、画像上の各位置に存在する全ての顔からは歪みが無くなる。したがって、顔検出処理（ステップＳ１３ｂ）では、顔の歪みを何ら考慮していないにも拘わらず、顔の存在領域を確実に検出することができる（図３（ｄ）参照）。   As described above, since the face detection unit 15 of the present embodiment suppresses the magnification distortion of the image to be processed (step S12a) prior to the face detection process (step S13b), the face detection unit 15 removes from all the faces existing at each position on the image. Distortion disappears. Therefore, in the face detection process (step S13b), it is possible to reliably detect the face existing area regardless of the distortion of the face (see FIG. 3D).

なお、上述した幾何変換処理後の画像（図３（ｂ））では、倍率歪みが抑えられている反面、画像の一部（画像周辺部）に像倍率の変化及び像傾斜が発生している。このため、幾何変換処理後の画像（図３（ｂ））には、処理前と比較してサイズの変化した顔や、処理前と比較して傾斜した顔が含まれている可能性がある。
このため、上述した顔検出処理（ステップＳ１３ｂ）には、サイズ及び角度対応型の顔検出方法を採用するとよい。サイズ及び角度対応型の顔検出方法は、顔の存在領域を顔のサイズ及び配置角度に依らずに検出できる顔検出方法である。 Note that, in the image after the above-described geometric transformation process (FIG. 3B), the magnification distortion is suppressed, but a change in image magnification and an image inclination occur in a part of the image (image peripheral portion). . For this reason, the image after the geometric transformation process (FIG. 3B) may include a face whose size has changed compared to that before the process or a face that has been tilted compared to that before the process. .
For this reason, the face detection process (step S13b) described above may employ a size and angle type face detection method. The size and angle correspondence type face detection method is a face detection method capable of detecting a face existing region regardless of the face size and the arrangement angle.

例えば、ステップＳ１３において、顔検出部１５は、前述した判別を、図４に示すとおり、部分領域の領域サイズと、パターンの認識角度（矢印）とをそれぞれ変化させながら繰り返し行う。因みに、部分領域の領域サイズを変化させるには、ウィンドウの画素サイズを固定したまま、画像全体の画素サイズを様々な縮小倍率で縮小すればよい。このように、部分領域の領域サイズとパターンの認識角度との組み合わせを様々に変化させれば、顔の存在領域を、その顔のサイズや配置角度に依らず漏れなく検出することができる。このようなサイズ及び角度対応型の顔検出方法は、非特許文献１にも詳しく記載されている。   For example, in step S13, the face detection unit 15 repeatedly performs the above-described determination while changing the area size of the partial area and the pattern recognition angle (arrow) as shown in FIG. Incidentally, in order to change the region size of the partial region, the pixel size of the entire image may be reduced at various reduction magnifications while the pixel size of the window is fixed. As described above, if the combination of the region size of the partial region and the pattern recognition angle is changed variously, the face existing region can be detected without omission regardless of the face size and the arrangement angle. Such a size and angle correspondence type face detection method is also described in detail in Non-Patent Document 1.

［第２実施形態］
第２実施形態を説明する。本実施形態も、顔検出機能を搭載したディジタルカメラの実施形態である。ここでは、第１実施形態との相違点のみ説明する。相違点は、顔検出部１５の動作内容にある。
図５は、本実施形態の顔検出部１５の動作フローチャートである。図５に示すとおり、本実施形態の顔検出部１５は、前述したステップＳ１３ｂに代えてステップＳ１３ｂ’を実行する。以下、ステップＳ１３ｂ’を説明する。 [Second Embodiment]
A second embodiment will be described. This embodiment is also an embodiment of a digital camera equipped with a face detection function. Here, only differences from the first embodiment will be described. The difference is in the operation content of the face detection unit 15.
FIG. 5 is an operation flowchart of the face detection unit 15 of the present embodiment. As shown in FIG. 5, the face detection unit 15 of the present embodiment executes step S13b ′ instead of the above-described step S13b. Hereinafter, step S13b ′ will be described.

（ステップＳ１３ｂ’）
幾何変換処理後の画像（図３（ｂ））では、前述したとおり像傾斜が発生しているので、顔検出部１５は、画像内の像傾斜量分布を認識する。画像内の各位置の像傾斜量Δは、その位置に対応する被写体角度θ及び周方向角度φの関数として、Δ（θ，φ）で表される。 (Step S13b ′)
In the image after the geometric conversion process (FIG. 3B), since the image inclination occurs as described above, the face detection unit 15 recognizes the image inclination amount distribution in the image. The image inclination amount Δ at each position in the image is represented by Δ (θ, φ) as a function of the subject angle θ and the circumferential angle φ corresponding to the position.

顔検出部１５は、その像傾斜量Δ（θ，φ）により、画像内を複数の領域に分類する。ここでは、像傾斜量Δが−３０°〜＋３０°である領域（０°領域）と、傾斜量Δが＋３０°〜＋９０°である領域（６０°領域）と、傾斜量Δが−３０°〜−９０°である領域（−６０°領域）とに分類する。
続いて、顔検出部１５は、第１実施形態のステップＳ１３ｂと同様、画像上の各位置に顔が存在しているか否かの判別を行うが、画像上の領域毎に異なる判別器を使い分ける。 The face detection unit 15 classifies the image into a plurality of regions based on the image inclination amount Δ (θ, φ). Here, a region where the image inclination amount Δ is −30 ° to + 30 ° (0 ° region), a region where the inclination amount Δ is + 30 ° to + 90 ° (60 ° region), and the inclination amount Δ is −30 °. It classify | categorizes into the area | region (-60 degree area) which is -90 degree.
Subsequently, the face detection unit 15 determines whether or not a face exists at each position on the image, as in step S13b of the first embodiment, but uses a different classifier for each region on the image. .

例えば、０°領域に関する判別では、傾斜していない顔学習サンプルで予め学習した判別器を使用し、＋６０°領域に関する判別では、＋６０°だけ傾斜した顔学習サンプルで予め学習した判別器を使用し、−６０°領域に関する判別では、−６０°だけ傾斜した顔学習サンプルで予め学習した判別器を使用する。このような使い分けによると、画像内の領域毎に異なる角度の顔検出が行われることになる（ステップＳ１３ｂ’の説明終了）。   For example, a discriminator previously learned with a non-tilted face learning sample is used for discrimination regarding the 0 ° region, and a discriminator previously learned with a face learning sample inclined by + 60 ° is used for the discrimination regarding the + 60 ° region. In the discrimination regarding the −60 ° region, a discriminator learned in advance with a face learning sample inclined by −60 ° is used. According to such proper use, face detection at a different angle is performed for each region in the image (end of description of step S13b ').

以上、本実施形態の顔検出部１５は、幾何変換処理後の画像の像傾斜量分布に応じて、画像内の領域毎に異なる角度の顔検出を行うので、画像上の有る位置に存在する顔が、幾何変換処理（ステップＳ１２ａ）によって仮に傾斜したとしても、顔検出部１５はその顔を漏れなく検出することができる。
［第３実施形態］
第３実施形態を説明する。本実施形態も、顔検出機能を搭載したディジタルカメラの実施形態である。ここでは、第１実施形態との相違点のみ説明する。相違点は、顔検出部１５の動作内容にある。 As described above, the face detection unit 15 according to the present embodiment performs face detection at different angles for each region in the image according to the image inclination amount distribution of the image after the geometric transformation process, and thus exists at a certain position on the image. Even if the face is inclined by the geometric transformation process (step S12a), the face detection unit 15 can detect the face without omission.
[Third Embodiment]
A third embodiment will be described. This embodiment is also an embodiment of a digital camera equipped with a face detection function. Here, only differences from the first embodiment will be described. The difference is in the operation content of the face detection unit 15.

図６は、本実施形態の顔検出部１５の動作フローチャートである。図６に示すとおり、本実施形態の顔検出部１５は、前述したステップＳ１３ｂに代えてステップＳ１３ｂ”を実行する。以下、ステップＳ１３ｂ”を説明する。
（ステップＳ１３ｂ”）
幾何変換処理後の画像（図３（ｂ））では、前述したとおり像倍率の変化が発生しているので、顔検出部１５は、画像内の像倍率分布を認識する。光軸中心の像倍率を基準とした各位置の像倍率比κは、その位置に対応する被写体角度θの関数として、式（５）で表される。 FIG. 6 is an operation flowchart of the face detection unit 15 of the present embodiment. As illustrated in FIG. 6, the face detection unit 15 according to the present embodiment executes step S13b ″ instead of the above-described step S13b. Hereinafter, step S13b ″ will be described.
(Step S13b ")
In the image after the geometric transformation process (FIG. 3B), since the change in the image magnification has occurred as described above, the face detection unit 15 recognizes the image magnification distribution in the image. The image magnification ratio κ at each position with respect to the image magnification at the center of the optical axis is expressed by Expression (5) as a function of the subject angle θ corresponding to the position.

Figure 0004807170
顔検出部１５は、その像倍率比κ（θ，φ）により、画像内を複数の領域に分類する。ここでは、像倍率比κが１〜１．２５である領域（１倍領域）と、像倍率比κが１．２５〜１．７５である領域（１．５倍領域）と、像倍率比κが１．７５〜２である領域（２倍領域）とに分類する。
Figure 0004807170
 The face detection unit 15 classifies the image into a plurality of regions based on the image magnification ratio κ (θ, φ). Here, a region where the image magnification ratio κ is 1 to 1.25 (1 × region), a region where the image magnification ratio κ is 1.25 to 1.75 (1.5 × region), and the image magnification ratio. It classify | categorizes into the area | region (2 times area | region) whose (kappa) is 1.75-2.

続いて、顔検出部１５は、第１実施形態のステップＳ１３ｂと同様、画像上の各位置に顔が存在しているか否かの判別を行うが、画像上の領域毎に判別器を使い分ける。
例えば、１倍領域に関する判別では、標準サイズの顔学習サンプルで予め学習した判別器を使用し、１．５倍領域に関する判別では、その１．５倍サイズの顔学習サンプルで予め学習した判別器を使用し、２倍領域に関する判別では、その２倍サイズの顔学習サンプルで予め学習した判別器を使用する。このような使い分けによると、画像内の領域毎に異なるサイズの顔検出が行われることになる（ステップＳ１３ｂ”の説明終了）。 Subsequently, the face detection unit 15 determines whether or not there is a face at each position on the image, as in step S13b of the first embodiment, but uses a different classifier for each region on the image.
For example, a discriminator previously learned with a standard size face learning sample is used for discrimination regarding the 1 × region, and a discriminator previously learned with the 1.5 × size face learning sample is used for discrimination with respect to the 1.5 × region. In the discrimination regarding the double region, a discriminator learned in advance with the face learning sample of the double size is used. According to such use, face detection with a different size is performed for each region in the image (end of description of step S13b ″).

以上、本実施形態の顔検出部１５は、幾何変換処理後の画像の像倍率分布に応じて、画像内の領域毎に異なるサイズの顔検出を行うので、画像上の有る位置に存在する顔のサイズが、幾何変換処理（ステップＳ１２ａ）によって仮に変化したとしても、顔検出部１５はその顔を漏れなく検出することができる。
［その他］
なお、上述した第３実施形態は、第１実施形態の変形例であったが、第２実施形態を同様に変形してもよい。 As described above, the face detection unit 15 according to the present embodiment performs face detection of different sizes for each region in the image in accordance with the image magnification distribution of the image after the geometric transformation process, so that the face existing at a certain position on the image Even if the size of the face is changed by the geometric transformation process (step S12a), the face detection unit 15 can detect the face without omission.
[Others]
In addition, although 3rd Embodiment mentioned above was a modification of 1st Embodiment, you may deform | transform 2nd Embodiment similarly.

また、上述した第２実施形態では、画像内の領域毎に異なる角度の顔検出を行ったが、画像内の位置毎に異なる角度の顔検出を行ってもよい。
また、上述した第３実施形態では、画像内の領域毎に異なるサイズの顔検出を行ったが、画像内の位置毎に異なるサイズの顔検出を行ってもよい。
また、上述した各実施形態では、撮影レンズ１１の歪曲収差が小さいので幾何変換処理に式（２）を用いたが、撮影レンズ１１の歪曲収差を無視できないときには、式（２）の代わりに、その歪曲収差を反映させた式を用いればよい。 In the second embodiment described above, face detection at different angles is performed for each region in the image, but face detection at different angles may be performed for each position in the image.
In the third embodiment described above, face detection with a different size is performed for each region in the image, but face detection with a different size may be performed for each position in the image.
Further, in each of the above-described embodiments, Equation (2) is used for the geometric transformation process because the distortion aberration of the photographing lens 11 is small. However, when the distortion of the photographing lens 11 cannot be ignored, instead of Equation (2), An equation reflecting the distortion may be used.

また、上述した各実施形態のディジタルカメラは、顔検出の結果を逆光補正又は肌色補正に利用したが、オートフォーカスに利用してもよい。但し、オートフォーカスに利用する場合、被処理画像は、撮影後に記憶部１９に格納された画像（撮影画像）ではなく、撮影前に撮像素子１２が連続的に取得する粗い画像（スルー画像）となる。
また、上述した各実施形態の判別には、テンプレートマッチング、ＳＶＭ（Support Vector Machine）、ニューラルネットワーク、ＡｄａＢｏｏｓｔなど、公知の各方法が適用可能である。 Moreover, although the digital camera of each embodiment described above uses the result of face detection for backlight correction or skin color correction, it may be used for autofocus. However, when used for autofocusing, the processed image is not an image (captured image) stored in the storage unit 19 after shooting, but a rough image (through image) continuously acquired by the image sensor 12 before shooting. Become.
In addition, for each of the above-described embodiments, various known methods such as template matching, SVM (Support Vector Machine), neural network, and AdaBoost can be applied.

また、上述した各実施形態では、顔検出処理（図２等参照）を顔検出に専用の顔検出部１５に実行させたが、他の処理に兼用される画像処理回路又はＣＰＵ１８に実行させてもよい。
また、上述した各実施形態では、顔検出処理の全てをディジタルカメラが実行したが、顔検出処理の一部又は全部をコンピュータに実行させてもよい。その場合、顔検出処理の一部又は全部をコンピュータに実行させる顔検出プログラムを用意し、それをインターネットや記憶媒体（ＣＤ−ＲＯＭ等）を介してコンピュータへインストールすればよい。 In each of the above-described embodiments, the face detection process (see FIG. 2 and the like) is executed by the face detection unit 15 dedicated to face detection, but is executed by the image processing circuit or CPU 18 that is also used for other processes. Also good.
Further, in each of the above-described embodiments, the digital camera executes all of the face detection processing, but the computer may execute part or all of the face detection processing. In that case, a face detection program for causing a computer to execute part or all of the face detection processing may be prepared and installed in the computer via the Internet or a storage medium (CD-ROM or the like).

また、上述した各実施形態では、人間の顔を検出対象とするパターン検出処理を説明したが、人間の顔以外のものを検出対象とするパターン検出にも本発明は適用可能である。
また、上述した各実施形態では、歪曲収差の小さい一般的な撮影レンズ（被写体角度θと像高ｈとの関係がｈ∝ｔａｎθ）が使用されたが、立体射影方式の撮影レンズ（被写体角度θと像高ｈとの関係がｈ∝ｔａｎ（θ／２））を使用してもよい。その場合、上述した幾何変換処理（ステップＳ１２ａ）の役割を撮影レンズが担うので、幾何変換処理（ステップ１２ａ）及び逆変換処理（ステップＳ１２ｂ）を画像処理回路（顔検出部１５）が実行する必要は無い。 Further, in each of the above-described embodiments, the pattern detection process for detecting a human face is described, but the present invention can also be applied to pattern detection for a target other than a human face.
In each of the above-described embodiments, a general photographing lens having a small distortion aberration (the relationship between the subject angle θ and the image height h is h∝tanθ) is used. However, a stereoscopic projection photographing lens (subject angle θ H∝ tan (θ / 2)) may be used as the relationship between the image height h and the image height h. In this case, since the photographing lens plays the role of the above-described geometric conversion process (step S12a), the image processing circuit (face detection unit 15) needs to execute the geometric conversion process (step 12a) and the inverse conversion process (step S12b). There is no.

また、上述した各実施形態では、ディジタルカメラを説明したが、顔認証システム、監視カメラシステムなど、撮影レンズを備えた他の機器にも本発明は適用可能である。
また、上述した各実施形態では、撮影レンズを備えた機器（ディジタルカメラ、顔認証システム、監視カメラシステムなど）を説明したが、光学系で撮影した画像と、その光学系の固有情報とを取り込むことができる他の機器、例えば、スキャナ、プリンタ、画像ストレージャなどにも本発明は適用可能である。 In each of the above-described embodiments, the digital camera has been described. However, the present invention can be applied to other devices including a photographing lens, such as a face authentication system and a surveillance camera system.
In each of the above-described embodiments, a device (such as a digital camera, a face authentication system, or a surveillance camera system) including a photographing lens has been described. However, an image photographed by an optical system and unique information of the optical system are captured. The present invention can also be applied to other devices that can be used, such as scanners, printers, and image storages.

ディジタルカメラの構成図である。It is a block diagram of a digital camera. 第１実施形態の顔検出部１５の動作フローチャートである。It is an operation | movement flowchart of the face detection part 15 of 1st Embodiment. 顔検出部１５による処理の概念を説明する図である。It is a figure explaining the concept of the process by the face detection part. サイズ及び角度対応型の顔検出方法を説明する図である。It is a figure explaining the size and angle corresponding type face detection method. 第２実施形態の顔検出部１５の動作フローチャートである。It is an operation | movement flowchart of the face detection part 15 of 2nd Embodiment. 第３実施形態の顔検出部１５の動作フローチャートである。It is an operation | movement flowchart of the face detection part 15 of 3rd Embodiment.

符号の説明Explanation of symbols

１１…撮影レンズ，１２…撮像素子，１３…Ａ／Ｄ変換器，１４…フレームメモリ，１５…顔検出部，１６…表示部，１７…操作釦１７，１９…記録部，１８…ＣＰＵ
DESCRIPTION OF SYMBOLS 11 ... Shooting lens, 12 ... Image sensor, 13 ... A / D converter, 14 ... Frame memory, 15 ... Face detection part, 16 ... Display part, 17 ... Operation buttons 17, 19 ... Recording part, 18 ... CPU

Claims (6)

光学系で撮影した画像の各位置における像倍率の周方向成分と径方向成分との不一致を抑制する抑制手順と、
前記抑制後の前記画像から特定パターンを検出するパターン検出手順とを含み、
前記抑制手順では、
前記不一致を抑制するために、前記画像に対して、立体射影方式の光学系で撮影されたのと同じ画像へと幾何変換するための画像処理を施し、
前記パターン検出手順では、
前記抑制後の前記画像の像傾斜量分布に応じて、前記画像の各位置における前記特定パターンの有無を判別し、
前記判別の際には、前記抑制により前記画像に生じる像傾斜量分布に応じて前記画像を領域分けすると共に、検出方向の異なる複数の判別器を領域毎に使い分ける
ことを特徴とするパターン検出方法。 A suppression procedure for suppressing the discrepancy between the circumferential component and the radial component of the image magnification at each position of the image taken by the optical system;
A pattern detection procedure for detecting a specific pattern from the image after the suppression,
In the suppression procedure,
In order to suppress the discrepancy, the image is subjected to image processing for geometric conversion into the same image as that captured by the stereoscopic projection optical system,
In the pattern detection procedure,
According to the image inclination amount distribution of the image after the suppression, the presence or absence of the specific pattern at each position of the image ,
In the discrimination, the image is divided into regions according to an image inclination amount distribution generated in the image by the suppression, and a plurality of discriminators having different detection directions are used for each region. . 光学系で撮影した画像の各位置における像倍率の周方向成分と径方向成分との不一致を抑制する抑制手順と、
前記抑制後の前記画像から特定パターンを検出するパターン検出手順とを含み、
前記抑制手順では、
前記不一致を抑制するために、前記画像に対して、立体射影方式の光学系で撮影されたのと同じ画像へと幾何変換するための画像処理を施し、
前記パターン検出手順では、
前記抑制後の前記画像の像倍率分布に応じて、前記画像の各位置における前記特定パターンの有無を判別し、
前記判別の際には、前記抑制により前記画像に生じる像倍率分布に応じて前記画像を領域分けすると共に、検出サイズの異なる複数の判別器を領域毎に使い分ける
ことを特徴とするパターン検出方法。 A suppression procedure for suppressing the discrepancy between the circumferential component and the radial component of the image magnification at each position of the image taken by the optical system;
A pattern detection procedure for detecting a specific pattern from the image after the suppression,
In the suppression procedure,
In order to suppress the discrepancy, the image is subjected to image processing for geometric conversion into the same image as that captured by the stereoscopic projection optical system,
In the pattern detection procedure,
According to the image magnification distribution of the image after the suppression, determine the presence or absence of the specific pattern at each position of the image ,
In the discrimination, the image is divided into regions according to the image magnification distribution generated in the image by the suppression, and a plurality of discriminators having different detection sizes are used for each region . 請求項１又は請求項２に記載のパターン検出方法をコンピュータに実行させることを特徴とするパターン検出プログラム。 A pattern detection program causing a computer to execute the pattern detection method according to claim 1 . 光学系で撮影した画像の各位置における像倍率の周方向成分と径方向成分との不一致を抑制する抑制手段と、
前記抑制後の前記画像から特定パターンを検出するパターン検出手段とを備え、
前記抑制手段は、
前記不一致を抑制するために、前記画像に対して、立体射影方式の光学系で撮影されたのと同じ画像へと幾何変換するための画像処理を施し、
前記パターン検出手段は、
前記抑制後の前記画像の像傾斜量分布に応じて、前記画像の各位置における前記特定パターンの有無を判別し、
前記判別の際には、前記抑制により前記画像に生じる像傾斜量分布に応じて前記画像を領域分けすると共に、検出方向の異なる複数の判別器を領域毎に使い分ける
ことを特徴とするパターン検出装置。 Suppression means for suppressing the discrepancy between the circumferential component and the radial component of the image magnification at each position of the image taken by the optical system;
Pattern detecting means for detecting a specific pattern from the image after the suppression,
The suppression means is
In order to suppress the discrepancy, the image is subjected to image processing for geometric conversion into the same image as that captured by the stereoscopic projection optical system,
The pattern detection means includes
According to the image inclination amount distribution of the image after the suppression, the presence or absence of the specific pattern at each position of the image ,
In the determination, the image is divided into regions according to an image inclination amount distribution generated in the image by the suppression, and a plurality of discriminators having different detection directions are used for each region. . 光学系で撮影した画像の各位置における像倍率の周方向成分と径方向成分との不一致を抑制する抑制手段と、
前記抑制後の前記画像から特定パターンを検出するパターン検出手段とを備え、
前記抑制手段は、
前記不一致を抑制するために、前記画像に対して、立体射影方式の光学系で撮影されたのと同じ画像へと幾何変換するための画像処理を施し、
前記パターン検出手段は、
前記抑制後の前記画像の像倍率分布に応じて、前記画像の各位置における前記特定パターンの有無を判別し、
前記判別の際には、前記抑制により前記画像に生じる像倍率分布に応じて前記画像を領域分けすると共に、検出サイズの異なる複数の判別器を領域毎に使い分ける
ことを特徴とするパターン検出装置。 Suppression means for suppressing the discrepancy between the circumferential component and the radial component of the image magnification at each position of the image taken by the optical system;
Pattern detecting means for detecting a specific pattern from the image after the suppression,
The suppression means is
In order to suppress the discrepancy, the image is subjected to image processing for geometric conversion into the same image as that captured by the stereoscopic projection optical system,
The pattern detecting means includes
According to the image magnification distribution of the image after the suppression, determine the presence or absence of the specific pattern at each position of the image ,
In the discrimination, the image is divided into regions according to the image magnification distribution generated in the image by the suppression, and a plurality of discriminators having different detection sizes are used for each region . 被写体を撮像して画像を取得する撮像素子と、
前記撮像素子が取得した画像に対しパターン検出処理を施す請求項４又は請求項５に記載のパターン検出装置と
を備えたことを特徴とする撮像装置。 An image sensor for capturing an image of a subject and acquiring an image;
An image pickup apparatus comprising: the pattern detection apparatus according to claim 4 or 5 which performs pattern detection processing on an image acquired by the image pickup element.
JP2006189254A 2006-07-10 2006-07-10 Pattern detection method, pattern detection program, pattern detection apparatus, and imaging apparatus Active JP4807170B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006189254A JP4807170B2 (en) 2006-07-10 2006-07-10 Pattern detection method, pattern detection program, pattern detection apparatus, and imaging apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006189254A JP4807170B2 (en) 2006-07-10 2006-07-10 Pattern detection method, pattern detection program, pattern detection apparatus, and imaging apparatus

Publications (2)

Publication Number Publication Date
JP2008015979A JP2008015979A (en) 2008-01-24
JP4807170B2 true JP4807170B2 (en) 2011-11-02

Family

ID=39072897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006189254A Active JP4807170B2 (en) 2006-07-10 2006-07-10 Pattern detection method, pattern detection program, pattern detection apparatus, and imaging apparatus

Country Status (1)

Country Link
JP (1) JP4807170B2 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5020894B2 (en) * 2008-06-10 2012-09-05 キヤノン株式会社 Image processing apparatus, control method, and program
JP5253194B2 (en) * 2009-01-20 2013-07-31 セコム株式会社 Object detection device
JP6529879B2 (en) * 2015-09-29 2019-06-12 オリンパス株式会社 Image pickup apparatus and control method of image pickup apparatus
JP6688277B2 (en) * 2017-12-27 2020-04-28 本田技研工業株式会社 Program, learning processing method, learning model, data structure, learning device, and object recognition device
JP2020154408A (en) * 2019-03-18 2020-09-24 ソニーセミコンダクタソリューションズ株式会社 Information processing device, information processing method, and information processing system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000221391A (en) * 1998-11-25 2000-08-11 Fitto:Kk Image pickup unit using fisheye lens, picture display device and information recording medium
JP4766841B2 (en) * 2003-09-08 2011-09-07 株式会社オートネットワーク技術研究所 Camera device and vehicle periphery monitoring device mounted on vehicle
JP2005216200A (en) * 2004-02-02 2005-08-11 Alpine Electronics Inc Other vehicle detecting apparatus and method

Also Published As

Publication number Publication date
JP2008015979A (en) 2008-01-24

Similar Documents

Publication Publication Date Title
US8861806B2 (en) Real-time face tracking with reference images
US9661245B2 (en) Image processing apparatus, image processing method, and storage medium
JP5704905B2 (en) Image processing apparatus, image processing method, program, and storage medium
EP1589478B1 (en) Apparatus for magnifying an image
JP5445460B2 (en) Impersonation detection system, impersonation detection method, and impersonation detection program
EP3236391B1 (en) Object detection and recognition under out of focus conditions
JP5906028B2 (en) Image processing apparatus and image processing method
KR101679290B1 (en) Image processing method and apparatus
JP4811462B2 (en) Image processing method, image processing program, image processing apparatus, and imaging apparatus
JP2010218551A (en) Face recognition method, computer readable medium, and image processor
WO2012086188A1 (en) Camera device, image processing system, image processing method and image processing program
JP2006228199A (en) Face extraction device and semiconductor integrated circuit
JP2017091518A (en) Image generating method and apparatus
JP4807170B2 (en) Pattern detection method, pattern detection program, pattern detection apparatus, and imaging apparatus
US20170330025A1 (en) Image processing apparatus, image processing method, and non-transitory computer-readable storage medium
JP2000339476A (en) Eye position and face position detection device
JP6485655B2 (en) Face authentication device, face authentication method, and face authentication program
JP4537143B2 (en) Image processing apparatus and method, imaging apparatus, and program
JP5791361B2 (en) PATTERN IDENTIFICATION DEVICE, PATTERN IDENTIFICATION METHOD, AND PROGRAM
WO2015145977A1 (en) Information processing apparatus, information processing method, recording medium, and pos terminal apparatus
JP2005316958A (en) Red eye detection device, method, and program
JPWO2020213166A1 (en) Image processing device, image processing method, and image processing program
JP2008181439A (en) Face detection device and method, and imaging apparatus
JP2008211534A (en) Face detecting device
JP6460510B2 (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110426

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110719

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110801

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140826

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4807170

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140826

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250