JP2009048558A - Image processing type object detector - Google Patents

Image processing type object detector Download PDF

Info

Publication number
JP2009048558A
JP2009048558A JP2007216216A JP2007216216A JP2009048558A JP 2009048558 A JP2009048558 A JP 2009048558A JP 2007216216 A JP2007216216 A JP 2007216216A JP 2007216216 A JP2007216216 A JP 2007216216A JP 2009048558 A JP2009048558 A JP 2009048558A
Authority
JP
Japan
Prior art keywords
image
detection target
frame
vertical edge
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007216216A
Other languages
Japanese (ja)
Inventor
Yusuke Yamanaka
雄介 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Rika Co Ltd
Original Assignee
Tokai Rika Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Rika Co Ltd filed Critical Tokai Rika Co Ltd
Priority to JP2007216216A priority Critical patent/JP2009048558A/en
Publication of JP2009048558A publication Critical patent/JP2009048558A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide an image processing type object detector for instantaneously detecting an object from an image obtained by a photographing means without a time loss. <P>SOLUTION: A difference image extracting section 21 extracts a projection difference image which shows a difference between a non-projection image and a projection image acquired from a camera 5. A vertical edge image extracting section 23 extracts a vertical edge image as an image with large vertical luminance variation and small horizontal luminance variation on the image using the projection difference image. A feature amount computing section 25 applies a scanning block to the vertical edge image to extract vertical edge values in the block and computes them as feature amounts for every scanning position. A glabella position specifying section 26 specifies a coordinate position on the image specified from a block with the highest feature quantity, as a glabella position and specifies various face parts on the image on the basis of the glabella position. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、カメラ等の撮像機器から得た撮影画像を用い、その撮影画像に映り込んだ特定画像を抽出する画像処理により物体検出を行う画像処理式物体検出装置に関する。   The present invention relates to an image processing type object detection apparatus that uses a captured image obtained from an imaging device such as a camera and performs object detection by image processing that extracts a specific image reflected in the captured image.

従来、物体の配置位置等を検出する物体検出装置には種々のものがあるが、その中の一種として、例えばカメラ等の撮影機器で検出対象を撮影してその撮影画像を画像処理することにより、カメラの撮影画像から物体検出を行う画像処理式物体検出装置がある。この種の画像処理式物体検出装置には、物体検出として検出対象の顔画像を抽出する顔画像検出装置がある。カメラの撮影画像から物体の顔画像を抽出する顔画像検出装置の一例は、例えば特許文献１に開示されている。この特許文献１の技術は、カメラで連続画像を取得し、これら画像間の差分画像を抽出することで目の瞬きの有無を検出し、この瞬き発生位置から眉間位置を類推し、その眉間位置から目、鼻、口等の各種顔パーツを特定する技術である。
特開２００３−１６８１０６号公報 Conventionally, there are various types of object detection devices that detect the arrangement position of an object. As one of them, for example, by photographing a detection target with a photographing device such as a camera and performing image processing on the photographed image There is an image processing type object detection device that detects an object from a photographed image of a camera. This type of image processing type object detection apparatus includes a face image detection apparatus that extracts a face image to be detected as object detection. An example of a face image detection apparatus that extracts a face image of an object from a photographed image of a camera is disclosed in Patent Document 1, for example. The technique of this patent document 1 acquires continuous images with a camera, detects the presence or absence of blinking eyes by extracting a difference image between these images, analogizes the position between the eyebrows from the blinking position, and the position between the eyebrows This technology identifies various facial parts such as eyes, nose and mouth.
JP 2003-168106 A

しかし、特許文献１の顔画像検出技術は、カメラの撮影画像から目の瞬きの有無を検出するとともに眉間位置を類推して撮影画像上の各種顔パーツを特定する技術であることから、各種顔パーツは検出対象が瞬きするまで特定できない状況となる。ところが、瞬きには少なからず個人差があることから、例えば体質や癖として瞬きの回数が少ない被写体を検出対象とする場合には、カメラの撮影画像から各種顔パーツを検出することを直ぐに行うことができない問題があった。このため、検出対象の体質や癖等によって顔パーツ特定の完了が左右されず、顔画像検出の処理を開始してからこれを時間ロスなく瞬時に行うことができる技術が望まれていた。   However, since the face image detection technique of Patent Document 1 is a technique for detecting the presence or absence of blinking eyes from a photographed image of a camera and identifying various face parts on the photographed image by analogy with the position between the eyebrows, The parts cannot be identified until the detection target blinks. However, since there are not a few individual differences in blinking, for example, when a subject with a small number of blinks is detected as a constitution or habit, various face parts must be immediately detected from the captured image of the camera. There was a problem that could not be. For this reason, there has been a demand for a technique that does not affect the completion of face part specification depending on the constitution or wrinkle of the detection target, and can perform this instantly without any time loss after starting the face image detection process.

本発明の目的は、撮影手段の撮影画像から検出対象を検出するに際して、これを時間ロスなく瞬時に行うことができる画像処理式物体検出装置を提供することにある。   An object of the present invention is to provide an image processing type object detection device capable of instantaneously detecting a detection target from a photographed image of a photographing means without time loss.

前記問題点を解決するために、本発明では、少なくとも検出対象を撮影手段で撮影可能であり、前記撮影手段の撮影画像から前記検出対象を検出するに際し、当該撮影画像に映り込んだ前記検出対象の構成部品を抽出することにより物体検出を行う画像処理式物体検出装置において、前記撮影手段が撮影した撮影画像を用い、前記構成部品の画像領域部分が強調して映り出した検出対象画像を抽出する検出対象画像抽出手段と、前記検出対象画像において前記構成部品に対応する画像領域を指定可能な枠体を当該検出対象画像の一領域に当て嵌め、その当て嵌めた前記枠体において該枠体内に映り込んだ構成部品の映り具合として特徴量を算出し、この処理を各々の一領域ごとに順に行う特徴量算出手段と、前記一領域ごとに算出された前記特徴量の中から、値が最も好適な前記特徴量を取り得る時の前記枠体から導き得る前記検出対象画像における画像座標位置を、当該検出対象画像に映り込んだ前記検出対象の前記構成部品を該撮影画像から抽出する際に用いる特定位置として特定する特定手段とを備えたことを要旨とする。   In order to solve the above problems, in the present invention, at least a detection target can be photographed by a photographing unit, and when the detection target is detected from a photographed image of the photographing unit, the detection target reflected in the photographed image In the image processing type object detection apparatus that detects an object by extracting the component, the detection target image in which the image area portion of the component is highlighted is extracted using the captured image captured by the imaging unit A detection target image extracting means, and a frame capable of designating an image area corresponding to the component in the detection target image is fitted to a region of the detection target image, and the frame body in the fitted frame The feature amount is calculated as the reflected state of the component part reflected in the feature amount, and the feature amount calculation means for sequentially performing this process for each region, and the calculated amount for each region The component of the detection target that is reflected in the detection target image, the image coordinate position in the detection target image that can be derived from the frame when the feature value with the most favorable value can be obtained from the collected amount And specifying means for specifying as a specific position to be used when extracting the image from the captured image.

この構成によれば、検出対象画像抽出手段は、撮影手段が検出対象を撮影すると、被写体である検出対象が映り込んだ撮影画像を用い、この検出対象の各種構成部品（例えば目や口等）の画像領域部分が強調して映り出した検出対象画像を抽出する。続いて、特徴量算出手段は、検出対象画像上の映り出た各種構成部品を指定可能な枠体を、検出対象画像をその当て嵌め位置を順に変えて当て嵌め、その当て嵌め位置ごとに、枠体内において検出対象画像上の構成部品の映り具合を反映した値として特徴量を算出する。そして、特定手段は、枠体の各当て嵌め位置ごとに算出した特徴量の中から、最も好適な特徴量をとる時の画像座標位置を、検出対象画像から各種構成部品を特定する際の目安位置として用いる特定位置として特定する。   According to this configuration, the detection target image extraction unit uses the captured image in which the detection target as the subject is reflected when the imaging unit captures the detection target, and various components (for example, eyes and mouth) of the detection target. The image to be detected in which the image area portion of the image is highlighted and extracted. Subsequently, the feature amount calculating means fits a frame that can specify various components appearing on the detection target image by changing the fitting position of the detection target image in order, and for each fitting position, The feature amount is calculated as a value reflecting the appearance of the component on the detection target image in the frame. Then, the specifying means determines the image coordinate position when taking the most suitable feature amount from the feature amounts calculated for each fitting position of the frame, and a guideline for specifying various components from the detection target image. It is specified as a specific position used as a position.

従って、本構成においては、撮影手段が検出対象の映り込んだ撮影画像を撮影した際、この撮影画像に各種画像処理が加えられて特定位置が特定されれば、その位置特定時点で撮影画像に映り込んだ検出対象の各種構成部品の配置位置が検出される。即ち、撮影手段が検出対象の映り込んだ撮影画像を撮影すれば、その撮影画像から一義的に特定位置を特定することが可能である。このため、例えば撮影手段で検出対象の撮影画像を取得しても、その撮影画像からは検出対象の構成部品を特定できないような状況にならずに済み、大きな時間ロスを発生させることなく、撮影手段の撮影画像から検出対象の各種構成部品を特定することが可能となる。   Therefore, in this configuration, when the photographing unit captures a captured image that is a detection target, if a specific position is specified by performing various image processing on the captured image, the captured image is displayed at the position specifying time. The arrangement positions of various components to be detected reflected are detected. That is, if the photographing means captures a captured image that is a detection target, the specific position can be uniquely identified from the captured image. For this reason, for example, even if a captured image of the detection target is acquired by the imaging means, it is not necessary to be able to identify the component to be detected from the captured image, and the imaging can be performed without causing a large time loss. It is possible to specify various components to be detected from the captured image of the means.

本発明では、前記検出対象画像抽出手段は、前記撮影画像上で一方向に沿って連なって現れる輝度変化を垂直エッジとして抽出することにより前記検出対象画像として垂直エッジ画像を抽出し、前記特徴量算出手段は、前記枠体を前記垂直エッジ画像に当て嵌める度に、前記枠体内における前記垂直エッジの総量に応じて決まる垂直エッジ値を前記特徴量として算出することを要旨とする。   In the present invention, the detection target image extracting unit extracts a vertical edge image as the detection target image by extracting a luminance change that appears continuously along one direction on the captured image as a vertical edge, and the feature amount The gist is that the calculation means calculates, as the feature amount, a vertical edge value determined according to a total amount of the vertical edges in the frame every time the frame is fitted to the vertical edge image.

この構成によれば、検出対象画像抽出手段は、撮影手段が検出対象の映り込んだ撮影画像を取得すると、検出対象の各種構成部品の映り込んだ画像領域部分が垂直エッジとして現れた垂直エッジ画像を抽出する。そして、特徴量算出手段は、この垂直エッジ画像を用いて特徴量を算出し、枠体の各当て嵌め位置ごとに算出した特徴量を用いて、撮影画像に映り込んだ検出対象の各種構成部品を検出する。ところで、垂直エッジ画像は精度良く検出対象の各種構成部品が浮き出た画像であることから、本構成のように垂直エッジ画像を用いて撮影画像に映り込んだ各種部品の配置位置を検出するようにすれば、撮影画像に映り込んだ検出対象の各種構成部品を精度良く特定することが可能となる。   According to this configuration, the detection target image extracting unit obtains a captured image on which the detection target is reflected, and the vertical edge image in which the image region portion on which the various components to be detected are reflected appears as a vertical edge. To extract. Then, the feature amount calculating means calculates the feature amount using the vertical edge image, and uses the feature amount calculated for each fitting position of the frame to detect various components to be detected reflected in the captured image. Is detected. By the way, since the vertical edge image is an image in which various components to be detected are raised with high precision, the arrangement position of various components reflected in the photographed image is detected using the vertical edge image as in this configuration. By doing so, it is possible to accurately identify various components to be detected that are reflected in the captured image.

本発明では、前記特徴量算出手段は、前記検出対象画像の前記構成部品に合わせて前記枠体を複数作成し、複数の当該枠体を前記検出対象画像の一領域に順に当て嵌めて前記特徴量を算出する際、複数の前記枠体の中の１枠体である第１枠体の垂直エッジ値と他の１枠体である第２枠体の垂直エッジ値との加算値を算出するとともに、前記第１枠体の前記垂直エッジ値と前記第２枠体の前記垂直エッジ値との乗算値を算出しつつ、前記加算値及び前記乗算値を用いて前記特徴量を算出することを要旨とする。   In the present invention, the feature amount calculation means creates a plurality of the frame bodies in accordance with the component parts of the detection target image, and applies the plurality of the frame bodies to one region of the detection target image in order, and the feature. When calculating the amount, the sum of the vertical edge value of the first frame that is one frame among the plurality of frames and the vertical edge value of the second frame that is the other one of the frames is calculated. And calculating the feature value using the addition value and the multiplication value while calculating a multiplication value of the vertical edge value of the first frame and the vertical edge value of the second frame. The gist.

この構成によれば、特徴量は、第１枠体及び第２枠体の和と、第１枠体及び第２枠体の積とを複合した値で算出される。ところで、第１枠体及び第２枠体の和には、これら枠体の全体の輝度強さを重視する特性があり、第１枠体及び第２枠体の積には、これら枠体の輝度均一性を重視する特性があるが、本構成のように特徴量を第１枠体及び第２枠体の和と積とを用いた値で算出すれば、これは和と積とが各々持つ特性をバランスよく満たした値で算出される。よって、撮影手段の撮影画像から検出対象の各種構成部品を検出するに際して、この検出を精度良く行うことが可能となる。   According to this configuration, the feature amount is calculated as a value obtained by combining the sum of the first frame and the second frame and the product of the first frame and the second frame. By the way, the sum of the first frame body and the second frame body has a characteristic that emphasizes the luminance intensity of the entire frame body, and the product of the first frame body and the second frame body has a characteristic of these frame bodies. Although there is a characteristic that places importance on luminance uniformity, if the feature amount is calculated as a value using the sum and product of the first frame and the second frame as in this configuration, the sum and product are respectively It is calculated as a value that satisfies the characteristics of the balance. Therefore, when detecting various components to be detected from the photographed image of the photographing means, this detection can be performed with high accuracy.

本発明では、前記特徴量算出手段は、前記検出対象画像の前記構成部品に合わせて前記枠体を複数作成し、複数の当該枠体を前記検出対象画像の一領域に順に当て嵌めて前記特徴量を算出する構成であって、複数の前記枠体の中の１枠体である第１枠体の垂直エッジ値と、他の１枠体である第２枠体の垂直エッジ値とを算出した際、これら２つの垂直エッジ値の間の減算値を算出し、当該減算値が閾値以上となって２つの前記エッジ値が大きく乖離する場合、前記検出対象画像上の前記枠体の位置を確認し、当該枠体が前記検出対象画像内にある場合には、この時に特定される前記検出対象画像上の画像座標位置を前記特定位置とはせずに排除する排除手段とを備えたことを要旨とする。   In the present invention, the feature amount calculation means creates a plurality of the frame bodies in accordance with the component parts of the detection target image, and applies the plurality of the frame bodies to one region of the detection target image in order, and the feature. A configuration for calculating an amount, wherein a vertical edge value of a first frame that is one frame among the plurality of frames and a vertical edge value of a second frame that is another frame are calculated. When a subtraction value between these two vertical edge values is calculated and the subtraction value is equal to or greater than a threshold value and the two edge values are greatly deviated, the position of the frame on the detection target image is determined. And when the frame is in the detection target image, an exclusion means is provided that excludes the image coordinate position on the detection target image specified at this time without using the specific position. Is the gist.

この構成によれば、２つの枠体の垂直エッジ値の差（減算値）が閾値以上となって大きく乖離する時は、特定位置として有効パターン（あり得るパターン）と無効パターン（あり得ないパターン）とが発生する。ここで、それぞれのパターン例を考えると、有効パターンの一例は、枠体の一部が検出対象画像領域からはみ出してしまった場合が考えられ、無効パターンの一例は、枠体が本来捕らえなければならない画像領域を捕らえずに、１枠体のみで構成部品を捕らえてしまった場合が考えられる。即ち、２つの枠体の垂直エッジ値の差（減算値）が閾値上となる時、その時の枠体の一部が検出対象画像外にはみ出ていれば、この時の特定位置は有効パターンであり、一方で枠体の全てが検出対象画像内に位置していると、この時の特定位置は無効パターンと見なせる。よって、本構成においては、この見分け方を用いて特定位置があり得るか若しくはあり得ないかを区別するので、特定位置として無効パターンを排除することが可能となる。   According to this configuration, when the difference (subtraction value) between the vertical edge values of the two frames is greater than or equal to the threshold value and greatly deviates, the effective position (possible pattern) and the invalid pattern (impossible pattern) are specified as specific positions. ) Occurs. Here, considering each pattern example, an example of an effective pattern may be that a part of the frame has protruded from the detection target image area, and an example of an invalid pattern must be captured by the frame. It is conceivable that a component is captured by only one frame without capturing an image area that is not to be captured. That is, when the difference (subtraction value) between the vertical edges of the two frames is above the threshold value, if a part of the frame at that time protrudes outside the detection target image, the specific position at this time is an effective pattern. On the other hand, if all the frames are located in the detection target image, the specific position at this time can be regarded as an invalid pattern. Therefore, in this configuration, it is possible to eliminate the invalid pattern as the specific position because this distinction is used to distinguish whether the specific position is possible or not.

本発明では、前記検出対象画像抽出手段は、前記撮影手段が撮影した撮影画像を用いて、前記検出対象の顔画像が映り込んだ前記検出対象画像を抽出し、前記特徴量算出手段は、前記検出対象画像の一領域に前記枠体を当て嵌め、その当て嵌めた前記枠体において該枠体内に映り込んだ前記顔画像の光反射具合で決まる前記特徴量を抽出し、この処理を各々の一領域ごとに順に行い、前記特定手段は、前記一領域ごとに抽出された前記特徴量の中から、値が最も好適な前記特徴量を取り得る時の前記枠体から導き得る前記顔画像上の画像座標位置を、当該顔画像に映り込んだ人体の顔部品を該顔画像から抽出する際に用いる前記特定位置としての眉間位置を特定することを要旨とする。   In the present invention, the detection target image extraction unit extracts the detection target image in which the face image of the detection target is reflected, using the captured image captured by the imaging unit, and the feature amount calculation unit includes the feature amount calculation unit, The frame body is fitted to one area of the detection target image, and the feature amount determined by the light reflection state of the face image reflected in the frame body is extracted from the fitted frame body. The identification unit performs the determination on the face image that can be derived from the frame when the feature value having the most suitable value can be obtained from the feature values extracted for each region. The gist of the image coordinate position is to specify the position between the eyebrows as the specific position used when the facial part of the human body reflected in the face image is extracted from the face image.

この構成によれば、撮影手段が検出対象として人物の顔部分を撮影した際、この撮影画像に映り込む顔部品（例えば、眉毛、目、鼻、口等）を精度良く検出することが可能となる。   According to this configuration, it is possible to accurately detect facial parts (for example, eyebrows, eyes, nose, mouth, etc.) reflected in the photographed image when the photographing means photographs a human face portion as a detection target. Become.

本発明によれば、撮影手段の撮影画像から検出対象を検出するに際して、これを時間ロスなく瞬時に行うことができる。   According to the present invention, when detecting a detection target from a photographed image of the photographing means, this can be performed instantaneously without time loss.

（第１実施形態）
以下、本発明を具体化した画像処理式物体検出装置の一実施形態を図１〜図１４に従って説明する。 (First embodiment)
Hereinafter, an embodiment of an image processing type object detection apparatus embodying the present invention will be described with reference to FIGS.

図１に示すように、例えば車両運転者等の検出対象１を検出する一検出装置として、撮像機器が撮影した撮影画像から検出対象１そのものや或いはその動き等を検出する画像処理式物体検出装置２がある。画像処理式物体検出装置２には、この画像処理式物体検出装置２を統括制御するコントロールユニットとして働くコントローラ３と、検出対象１及びその背景４を撮影可能なカメラ５と、検出対象１及びその背景４を照射可能な照明装置６とが設けられている。なお、カメラ５が撮影手段に相当する。   As shown in FIG. 1, for example, as a detection device for detecting a detection target 1 such as a vehicle driver, an image processing type object detection device for detecting the detection target 1 itself or its movement from a captured image taken by an imaging device. There are two. The image processing type object detection device 2 includes a controller 3 that functions as a control unit that performs overall control of the image processing type object detection device 2, a camera 5 that can photograph the detection target 1 and its background 4, and the detection target 1 and its An illumination device 6 capable of irradiating the background 4 is provided. Note that the camera 5 corresponds to a photographing unit.

カメラ５は、検出対象１を画像認識すべく検出対象１から出た光がレンズ７を通して撮像面８に結像し、その撮像面８における明るさ度合いを電気信号に変換して出力する。カメラ５は、撮像面８の箇所に並設された複数のイメージセンサ９，９…を持つとともに、これらイメージセンサ９，９…の１つひとつの各画素が検出単位として働いて、検出した光の輝度に応じた値を持つ電気信号を画像データＤpcとして出力する。カメラ５がカラー式の場合には、プリズムで光をＲＧＢに分ける３板式や、１つのイメージセンサ９，９…ごとにカラーフィルタを並べる単板式等がある。また、カメラ５は、映像出力方式として画像データＤpcの出力形式がアナログ信号であるアナログビデオ出力方式となっている。   The camera 5 forms an image on the imaging surface 8 through the lens 7 so that the light emitted from the detection target 1 is recognized in order to recognize the image of the detection target 1, and converts the brightness level on the imaging surface 8 into an electrical signal and outputs the electrical signal. The camera 5 has a plurality of image sensors 9, 9... Arranged in parallel at the location of the imaging surface 8, and each pixel of the image sensors 9, 9. An electric signal having a value corresponding to the luminance of the image is output as image data Dpc. When the camera 5 is a color type, there are a three-plate type in which light is divided into RGB by a prism, a single-plate type in which color filters are arranged for each of the image sensors 9, 9. The camera 5 is an analog video output method in which the output format of the image data Dpc is an analog signal as a video output method.

カメラ５は、図２に示すようにコントローラ３から撮影要求信号Ｓkpを入力すると、その信号入力タイミングをシャッタタイミングとして画像撮影を行ってその撮影画像Ｐicをコントローラ３に出力し、撮影要求信号Ｓkpを入力する度に画像撮影及びその撮影画像出力を行って、撮影画像Ｐicを連続的に出力することにより動画信号Ｓdpをコントローラ３に出力する。なお、撮影画像Ｐicというのは、画像データＤpcを画面表示した際の１枚の画像として表現された画像データＤpc群のことを便宜上言うことにする。ところで、単位時間当たりに撮影要求信号Ｓkpが多パルスでコントローラ３からカメラ５に出力されれば、カメラ５は短い間隔で撮影画像Ｐicをコントローラ３に出力することになるので、この時間間隔Ｗを短くすればするほど単位時間内における撮影画像数が多くなり、動画をより連続的な映像で得ることが可能である。なお、この時間間隔Ｗは最小の値が一般的に決まっており、例えば１／３０秒が一般的である。   When the camera 5 receives the shooting request signal Skp from the controller 3 as shown in FIG. 2, the camera 5 takes an image with the signal input timing as the shutter timing, outputs the shot image Pic to the controller 3, and receives the shooting request signal Skp. Each time an image is input, an image is captured and the captured image is output, and the captured image Pic is continuously output to output a moving image signal Sdp to the controller 3. Note that the photographed image Pic is a group of image data Dpc expressed as one image when the image data Dpc is displayed on the screen for convenience. By the way, if the imaging request signal Skp is output from the controller 3 to the camera 5 with multiple pulses per unit time, the camera 5 outputs the captured image Pic to the controller 3 at a short interval. The shorter the number, the larger the number of captured images within a unit time, and the more continuous video can be obtained. The time interval W is generally determined to have a minimum value, for example, 1/30 seconds is generally used.

また、画像処理式物体検出装置２には、カメラ５が検出対象１を撮影する際に検出対象１をその背景４に亘り人工照明を照射可能な照明装置６が設けられている。照明装置６は、カメラ５に隣接する位置に配置され、例えばＬＥＤやランプ等を光源としている。照明装置６は、カメラ５が検出対象１（背景４を含む）を撮影する時に、照明のオンオフがカメラ５のシャッタタイミングに対応して切り換わるパルス照明が用いられ、より具体的に言うと、カメラ５がインターレース方式で画像撮影を行う場合、そのインターレース方式における偶奇フィールドごとにオンオフを切り換えることで検出対象１の照射を行う。照明装置６の照明強さは、検出対象１に外部光が照射されていない時に検出対象１への照射動作を行っても、その明るさが気にならない程度の強度に設定されている。   Further, the image processing type object detection device 2 is provided with an illumination device 6 capable of irradiating the detection target 1 over the background 4 with artificial illumination when the camera 5 captures the detection target 1. The illumination device 6 is disposed at a position adjacent to the camera 5 and uses, for example, an LED or a lamp as a light source. The illumination device 6 uses pulse illumination in which on / off of illumination is switched corresponding to the shutter timing of the camera 5 when the camera 5 captures the detection target 1 (including the background 4). When the camera 5 captures an image by the interlace method, the detection target 1 is irradiated by switching on / off for each even / odd field in the interlace method. The illumination intensity of the illuminating device 6 is set to such an intensity that the brightness does not matter even if the irradiation operation is performed on the detection target 1 when the detection target 1 is not irradiated with external light.

コントローラ３は、カメラ系各種データの伝送経路である第１ケーブル１０を介してカメラ５に接続されるとともに、このケーブル１０を介してカメラ５を統括制御する。また、コントローラ３は、照明装置系各種データの伝送経路である第２ケーブル１１を介して照明装置６に接続され、このケーブル１１を介して照明装置６を統括制御する。コントローラ３は、例えばＣＰＵ１２やメモリ１３（ＲＯＭ、ＲＡＭ）等の各種デバイスから成り、これら部品群を１部品として取り扱い可能となるようにユニット化されている。   The controller 3 is connected to the camera 5 via the first cable 10 that is a transmission path for various camera system data, and controls the camera 5 via this cable 10. The controller 3 is connected to the lighting device 6 via the second cable 11 that is a transmission path for various data of the lighting device system, and controls the lighting device 6 through the cable 11. The controller 3 includes various devices such as a CPU 12 and a memory 13 (ROM, RAM), for example, and is unitized so that these component groups can be handled as one component.

コントローラ３のメモリ１３には、カメラ５から取得する撮影画像Ｐicを画像処理してその撮影画像Ｐicから検出対象１を抽出することにより検出対象１を検出する画像処理制御プログラムＤprが格納されている。本例の画像処理制御プログラムＤprは、カメラ５で撮影した撮影画像Ｐicから検出対象１の顔領域を抽出しつつ、この顔領域を用いて検出対象１の眉間位置１４（図１参照）を特定するとともにこの眉間位置１４を目安にして撮影画像Ｐicに映り込んだ検出対象１の顔部品１５（例えば、眉１５ａ、目１５ｂ、鼻（鼻下）１５ｃ、口１５ｄ等）を検出するプログラムである。コントローラ３は、この画像処理制御プログラムＤprを逐次実行し、カメラ５が撮影した撮影画像Ｐicに映り込んだ検出対象１の顔部品検出を行う。なお、眉間位置１４が特定位置に相当し、顔部品１５が構成部品に相当する。   The memory 13 of the controller 3 stores an image processing control program Dpr for detecting the detection target 1 by performing image processing on the captured image Pic acquired from the camera 5 and extracting the detection target 1 from the captured image Pic. . The image processing control program Dpr of this example extracts the face area of the detection target 1 from the captured image Pic taken by the camera 5, and specifies the inter-brow position 14 (see FIG. 1) of the detection target 1 using this face area. In addition, this is a program for detecting the face part 15 (for example, eyebrows 15a, eyes 15b, nose (under the nose) 15c, mouth 15d, etc.) of the detection target 1 reflected in the captured image Pic using the inter-brow position 14 as a guide. . The controller 3 sequentially executes the image processing control program Dpr to detect the face part of the detection target 1 reflected in the captured image Pic captured by the camera 5. Note that the position 14 between the eyebrows corresponds to a specific position, and the face part 15 corresponds to a component.

図３に示すように、コントローラ３には、画像処理式物体検出装置２の全体を制御するシステム制御部１６と、カメラ５が撮影した画像データＤpcをシステム制御部１６から受け取りこれに画像処理を加えることで画像データＤpcに映り込んだ検出対象１を検出する画像処理部１７とが設けられている。なお、これらシステム制御部１６及び画像処理部１７は、ＣＰＵ１２と画像処理制御プログラムＤprとが協同することにより機能的に生成されるのもであって、本例においてはこれをブロック図で表現している。   As shown in FIG. 3, the controller 3 receives from the system control unit 16 a system control unit 16 that controls the entire image processing type object detection apparatus 2 and image data Dpc taken by the camera 5, and performs image processing on this. In addition, an image processing unit 17 that detects the detection target 1 reflected in the image data Dpc is provided. The system control unit 16 and the image processing unit 17 are functionally generated by the cooperation of the CPU 12 and the image processing control program Dpr. In the present example, these are represented by a block diagram. ing.

システム制御部１６は、画像処理制御プログラムＤprに沿いカメラ５に撮影要求信号Ｓkpを出力してこれに画像撮影を行わせる際、その撮影走査方式としてインターレース方式を用いてカメラ５による画像撮影を行う。インターレース方式とは、カメラ５の画像を画面表示する際に目に対する画面のちらつきを少なくする目的で、カメラ走査時に水平走査線を１本おきに飛び越して走査し、これを２回繰り返すことによって１枚の画面を完成させる走査方式のことである。   When the system control unit 16 outputs the shooting request signal Skp to the camera 5 in accordance with the image processing control program Dpr and causes the camera 5 to take an image, the system controller 16 takes an image by the camera 5 using the interlace method as its shooting scanning method. . The interlace method is to reduce the flickering of the screen with respect to the eyes when displaying the image of the camera 5 on the screen, and scans every other horizontal scanning line while scanning the camera and repeats this twice. This is a scanning method that completes a single screen.

また、システム制御部１６は、画像処理制御プログラムＤprに沿い照明装置６に人工照明を行わせる際、インターレース方式における偶奇フィールドごとに照明装置６のオンオフを切り換えて、検出対象１が人工照明されていない時のカメラ５の撮影画像Ｐicである非投光画像１８（図４参照）と、検出対象１が人工照明された時のカメラ５の撮影画像Ｐicである投光画像１９（図５参照）とを取得し、これら画像１８，１９を画像処理部１７に出力する。システム制御部１６は、カメラ５の撮影時に取得する非投光画像１８と投光画像１９とがほぼ同じ画像となるように、短い時間間隔でカメラ５に撮影動作を行わせて、非投光画像１８と投光画像１９とを連続的に取得する。   In addition, when the system control unit 16 causes the illumination device 6 to perform artificial illumination according to the image processing control program Dpr, the detection target 1 is artificially illuminated by switching the illumination device 6 on and off for each even-odd field in the interlace method. A non-projected image 18 (see FIG. 4) which is a photographed image Pic of the camera 5 when there is not, and a projected image 19 (see FIG. 5) which is a photographed image Pic of the camera 5 when the detection target 1 is artificially illuminated. And outputs these images 18 and 19 to the image processing unit 17. The system control unit 16 causes the camera 5 to perform a shooting operation at a short time interval so that the non-projected image 18 and the projected image 19 acquired at the time of shooting by the camera 5 become substantially the same image, and the non-projected image The image 18 and the projected image 19 are acquired continuously.

画像処理部１７には、カメラ５が撮影した非投光画像１８及び投光画像１９の差分をとって投光差分画像２０（図６参照）を抽出する差分画像抽出部２１と、カメラ５が撮影した撮影画像Ｐic（投光差分画像２０）から検出対象１の垂直エッジ画像２２（図７参照）を抽出する垂直エッジ画像抽出部２３とが設けられている。また、画像処理部１７には、この垂直エッジ画像２２に映り出した顔部品１５に当て嵌め得るブロック２４（図８及び図９参照）を垂直エッジ画像２２の各領域に順に当て嵌めていき、そのブロック当て嵌め時の各々においてブロック２４内の垂直エッジ値Ｃspから求まる特徴量Ｒｘを算出する特徴量算出部２５と、複数の特徴量Ｒｘのうち最も大きい値をとる時のブロック２４から指定される画像座標位置Ｐnt（図１０参照）を眉間位置１４として特定する眉間位置特定部２６とが設けられている。   The image processing unit 17 includes a difference image extraction unit 21 that extracts the projection difference image 20 (see FIG. 6) by taking the difference between the non-projection image 18 and the projection image 19 captured by the camera 5, and the camera 5. A vertical edge image extraction unit 23 is provided that extracts the vertical edge image 22 (see FIG. 7) of the detection target 1 from the captured image Pic (light projection difference image 20). Further, in the image processing unit 17, blocks 24 (see FIG. 8 and FIG. 9) that can be applied to the face part 15 shown in the vertical edge image 22 are sequentially applied to each area of the vertical edge image 22. Designated from the feature amount calculation unit 25 that calculates the feature amount Rx obtained from the vertical edge value Csp in the block 24 at each block fitting time, and the block 24 that takes the largest value among the plurality of feature amounts Rx. An eyebrow position specifying unit 26 for specifying the image coordinate position Pnt (see FIG. 10) as the eyebrow position 14 is provided.

なお、差分画像抽出部２１、垂直エッジ画像抽出部２３、特徴量算出部２５及び眉間位置特定部２６も、ＣＰＵ１２と画像処理制御プログラムＤprとが協同することにより機能的に生成されるもので、本例においてはこれをブロック図で表現している。また、垂直エッジ画像２２が検出対象画像に相当し、垂直エッジ画像抽出部２３が検出対象画像抽出手段に相当し、ブロック２４が枠体に相当する。また、特徴量算出部２５が特徴量算出手段及び排除手段を構成し、眉間位置特定部２６が特定手段に相当する。   The difference image extraction unit 21, the vertical edge image extraction unit 23, the feature amount calculation unit 25, and the inter-brow position specifying unit 26 are also functionally generated by the cooperation of the CPU 12 and the image processing control program Dpr. In this example, this is represented by a block diagram. The vertical edge image 22 corresponds to the detection target image, the vertical edge image extraction unit 23 corresponds to the detection target image extraction unit, and the block 24 corresponds to the frame. Further, the feature amount calculation unit 25 constitutes a feature amount calculation unit and an exclusion unit, and the inter-brow position specifying unit 26 corresponds to the specifying unit.

次に、カメラ５の撮影画像Ｐicから検出対象１の顔部品１５（眉１５ａ、目１５ｂ、鼻（鼻下）１５ｃ、口１５ｄ等）を検出するまでの動作を説明する。
システム制御部１６は、例えば画像処理式物体検出装置２の起動開始スイッチがオン操作されるなどしてカメラ撮影の開始要求操作が行われたことを検出すると、画像処理制御プログラムＤprを実行して起動を開始する。このとき、システム制御部１６は、撮影要求信号Ｓkpをカメラ５に出力して、検出対象１及びその背景４を含めた領域部分をカメラ５に撮影させる。カメラ５は、システム制御部１６から撮影要求信号Ｓkpを取得する度に画像撮影を行い、この撮影画像Ｐicを連続的にシステム制御部１６に出力することで動画信号Ｓdpを出力する。 Next, the operation until the face part 15 (eyebrow 15a, eyes 15b, nose (under the nose) 15c, mouth 15d, etc.) of the detection target 1 is detected from the captured image Pic of the camera 5 will be described.
When the system control unit 16 detects that a camera shooting start request operation has been performed by, for example, turning on the start start switch of the image processing type object detection device 2, the system control unit 16 executes the image processing control program Dpr. Start booting. At this time, the system control unit 16 outputs the photographing request signal Skp to the camera 5 to cause the camera 5 to photograph the region including the detection target 1 and its background 4. The camera 5 captures an image every time it obtains the photographing request signal Skp from the system control unit 16, and outputs the moving image signal Sdp by continuously outputting the photographed image Pic to the system control unit 16.

また、システム制御部１６は、カメラ５に検出対象１（背景４も含む）の撮影を行わせる際、インターレース方式における偶奇フィールドごとに照明装置６のオンオフを切り換えて、検出対象１に人工照明を与える。よって、システム制御部１６は、照明装置６が検出対象１を人工照明していない時にカメラ５から得る撮影画像Ｐicを非投光画像１８として取得し、照明装置６が検出対象１を人工照明した時にカメラ５から得る撮影画像Ｐicを投光画像１９として取得し、これら画像１８，１９を画像処理部１７に出力する。なお、非投光画像１８と投光画像１９は、非常に短いシャッタ間隔で撮影された画像であることから、ほぼ同じ画像をとる。   In addition, when the system control unit 16 causes the camera 5 to shoot the detection target 1 (including the background 4), the lighting device 6 is switched on and off for each even-odd field in the interlace method, and the detection target 1 is artificially illuminated. give. Therefore, the system control unit 16 acquires the captured image Pic obtained from the camera 5 as the non-projected image 18 when the illumination device 6 is not artificially illuminating the detection target 1, and the illumination device 6 artificially illuminates the detection target 1. Sometimes, a captured image Pic obtained from the camera 5 is acquired as a projected image 19, and these images 18 and 19 are output to the image processing unit 17. It should be noted that the non-projected image 18 and the projected image 19 are substantially the same images because they are images taken with a very short shutter interval.

ところで、この種の照明装置６は、検出対象１を照らし出す目的で配置することから、検出対象１と照明装置６との間の距離が背景４と照明装置６との間の距離よりも短い距離となることは必然である。よって、照明装置６から検出対象１に至る光量は、照明装置６から背景４に至る光量に比べて多くなり、照明装置６が検出対象１及びその背景４を人工照明した際には、結果として検出対象１が背景４に比べて明るく照射される。このため、カメラ５に撮影画像Ｐicとして検出対象１のみならず背景４までが映り込んでいたとしても、投光画像１９は検出対象１の撮影領域部分が明るく照らし出され、背景４の撮影領域部分は非投光画像１８と明るさが変わらない画像となる。従って、投光差分画像２０は、検出対象１が映り込んだ画像領域が明るく光り、背景４に対応する画像領域が暗くぼやけた画像となる。よって、非投光画像１８と投光画像１９とから投光差分画像２０を抽出して、この画像中の明るい部分のみを抜き出せば、これは検出対象１が映り込んだ画像領域として抽出できるはずである。   By the way, since this kind of illuminating device 6 is arrange | positioned in order to illuminate the detection target 1, the distance between the detection target 1 and the illuminating device 6 is shorter than the distance between the background 4 and the illuminating device 6. It is inevitable that it will be a distance. Therefore, the amount of light from the illumination device 6 to the detection target 1 is larger than the amount of light from the illumination device 6 to the background 4, and when the illumination device 6 artificially illuminates the detection target 1 and its background 4, as a result The detection target 1 is illuminated brighter than the background 4. For this reason, even if not only the detection target 1 but also the background 4 is reflected in the camera 5 as the captured image Pic, the projected image 19 is brightly illuminated in the shooting area portion of the detection target 1, and the background 4 shooting area. The portion is an image whose brightness does not change from the non-projected image 18. Therefore, the light projection difference image 20 is an image area in which the detection target 1 is reflected, and the image area corresponding to the background 4 is dark and blurred. Therefore, if the light projection difference image 20 is extracted from the non-light projection image 18 and the light projection image 19 and only a bright part in the image is extracted, this should be extracted as an image region in which the detection target 1 is reflected. It is.

このため、差分画像抽出部２１は、カメラ５から非投光画像１８と投光画像１９とを取得すると、これら画像１８，１９の差分をとって、図６に示すような投光差分画像２０を抽出する。そして、差分画像抽出部２１は、投光差分画像２０において輝度（濃度）Ｃkxが閾値Ｃkr以上となる画像領域を抜き出し、この画像領域を検出対象１の顔が映り出した顔画像２７として認識する。差分画像抽出部２１は、組を成す非投光画像１８と投光画像１９とを取得する度に、この２画像１８，１９から投光差分画像２０を抽出して顔画像２７を抽出する処理を行う。   For this reason, when the difference image extraction unit 21 acquires the non-projection image 18 and the projection image 19 from the camera 5, the difference image extraction unit 21 takes the difference between the images 18 and 19 to obtain the projection difference image 20 as shown in FIG. 6. To extract. Then, the difference image extraction unit 21 extracts an image area in which the luminance (density) Ckx is equal to or higher than the threshold value Ckr in the light projection difference image 20, and recognizes this image area as a face image 27 in which the face of the detection target 1 is reflected. . The difference image extraction unit 21 extracts the projection difference image 20 from the two images 18 and 19 and extracts the face image 27 each time the paired non-projection image 18 and the projection image 19 are acquired. I do.

差分画像抽出部２１が顔画像２７を抽出すると、続いて垂直エッジ画像抽出部２３は、図７に示すように、この顔画像２７において垂直方向（画像縦方向）の輝度変化が大きくかつ水平方向（画像横方向）には輝度変化が少ない箇所である垂直エッジ２８を抽出し、顔画像２７をこの垂直エッジ２８により表現した画像として垂直エッジ画像２２を抽出する。垂直エッジ２８は、上述したように顔画像２７に映り出た顔部分において水平方向に連なって存在する垂直方向の輝度変化（濃度変化）の大きい箇所を表す画素単位データ群であって、検出対象１の顔部品１５（例えば、眉毛１５ａ、目１５ｂ、鼻１５ｃ、口１５ｄ等）の画素位置に現れるものである。また、垂直エッジ画像２２とは、この垂直エッジ２８の集合体であって、検出対象１の各種顔部品１５に対応する画素領域が垂直エッジ２８によって眉毛画像２８ａ、目画像２８ｂ、鼻画像２８ｃ及び口画像２８ｄとして浮き出た画像である。   When the differential image extraction unit 21 extracts the face image 27, the vertical edge image extraction unit 23 subsequently has a large luminance change in the vertical direction (image vertical direction) and the horizontal direction in the face image 27 as shown in FIG. In the (horizontal direction of the image), the vertical edge 28 which is a portion where the luminance change is small is extracted, and the vertical edge image 22 is extracted as an image expressing the face image 27 by the vertical edge 28. As described above, the vertical edge 28 is a pixel unit data group that represents a portion where a large luminance change (density change) in the vertical direction exists continuously in the face portion reflected in the face image 27 and is detected. One facial part 15 (for example, eyebrows 15a, eyes 15b, nose 15c, mouth 15d, etc.) appears at the pixel position. The vertical edge image 22 is an aggregate of the vertical edges 28, and the pixel areas corresponding to the various facial parts 15 of the detection target 1 are formed by the vertical edges 28 with the eyebrow image 28 a, eye image 28 b, nose image 28 c, and It is an image that emerges as the mouth image 28d.

垂直エッジ画像２２の抽出方式としては、その一例として例えば式(1) に示すPrewittフィルタを用いて顔画像２７の全体をフィルタリングすることにより垂直エッジ２８を得るPrewittフィルタ式がある。

Figure 2009048558
As an example of the extraction method of the vertical edge image 22, there is a Prewitt filter equation that obtains the vertical edge 28 by filtering the entire face image 27 using the Prewitt filter shown in Equation (1), for example.
Figure 2009048558

また、この垂直エッジ画像２２の抽出方式は、必ずしもPrewittフィルタ式を用いることに限らず、例えば撮影画像Ｐic上において単に輝度変化の大きな箇所を抜き出すことにより抽出する輝度変化抽出式を用いてもよい。即ち、図７からも分かるように、顔部品１５付近の垂直エッジ２８は、顔部品１５の上下に組（ペア）で現れることが多いことから、組が存在する垂直エッジ２８を顔部品１５として特定することにより垂直エッジ画像２２を作成してもよい。   Further, the extraction method of the vertical edge image 22 is not necessarily limited to using the Prewitt filter equation, and for example, a luminance change extraction equation that is extracted by simply extracting a portion having a large luminance change on the photographed image Pic may be used. . That is, as can be seen from FIG. 7, the vertical edges 28 in the vicinity of the face part 15 often appear in pairs above and below the face part 15. The vertical edge image 22 may be created by specifying.

垂直エッジ画像抽出部２３が垂直エッジ画像２２を抽出した後、続いて特徴量算出部２５は、垂直エッジ画像２２をそのスキャン点を順にずらしてスキャンする時に使用するブロック２４を作成する。このブロック２４は、垂直エッジ画像２２をそのスキャン点をずらして順にスキャンする時の画像上におけるスキャン対象を指定する枠領域であって、顔画像２７の大きさに応じて設定される。本例のブロック２４は、右ブロック２４Ｒ及び左ブロック２４Ｌで各々２つずつ合計４つ設けられ、画面左上部に位置する右上部ブロック２４Ｒｕが検出対象１の右眉及び右目に対応し、画面左下部に位置する右下部ブロック２４Ｒｄが検出対象１の鼻及び口の右側半分に対応し、画面右上部に位置する左上部ブロック２４Ｌｕが検出対象１の左眉及び左目に対応し、画面右下部に位置する左下部ブロック２４Ｌｄが検出対象１の鼻及び口の左側半分に対応している。なお、ブロック２４Ｒｕ，２４Ｒｄ，２４Ｌｕ，２４Ｌｄで表す右左は、垂直エッジ画像２２を見た方向からの右左ではなく、垂直エッジ画像２２に映り込む検出対象１の右左に合わせている。   After the vertical edge image extraction unit 23 extracts the vertical edge image 22, the feature amount calculation unit 25 subsequently creates a block 24 that is used when scanning the vertical edge image 22 by sequentially shifting the scan points. This block 24 is a frame region for designating a scan target on an image when the vertical edge image 22 is sequentially scanned while shifting its scan point, and is set according to the size of the face image 27. There are four blocks 24 in this example, two each for the right block 24R and the left block 24L. The upper right block 24Ru located at the upper left of the screen corresponds to the right eyebrow and right eye of the detection target 1, and the lower left of the screen. The lower right block 24Rd located in the upper part corresponds to the right half of the nose and mouth of the detection target 1, and the upper left block 24Lu located in the upper right part of the screen corresponds to the left eyebrow and left eye of the detection target 1, and The lower left block 24 </ b> Ld located corresponds to the left half of the nose and mouth of the detection target 1. The right and left represented by the blocks 24Ru, 24Rd, 24Lu, and 24Ld are not the right and left from the direction in which the vertical edge image 22 is viewed, but the right and left of the detection target 1 reflected in the vertical edge image 22.

ここで、ブロック２４の作成手順を説明するが、これらブロック２４は右ブロック２４Ｒ（右上部ブロック２４Ｒｕ及び右下部ブロック２４Ｒｄ）と左ブロック２４Ｌ（左上部ブロック２４Ｌｕ及び左下部ブロック２４Ｌｄ）とが同様の原理で作成されるので、ここでは右側のブロック２４Ｒｕ，２４Ｒｄの作成手順のみ説明する。図８に示すように、上部ブロック２４Ｒｕは垂直エッジ画像２２に映り込んだ検出対象１の右眉を含んだ右目側画像２８arを収め得る大きさ（サイズ）及び位置に作成し、下部ブロック２４Ｒｄは垂直エッジ画像２２に映り込んだ検出対象１の鼻及び口の右側部分画像２８crを収め得る大きさ及び位置に作成する必要がある。なお、右ブロック２４Ｒが第１枠体に相当し、左ブロック２４Ｌが第２枠体に相当する。   Here, the creation procedure of the block 24 will be described. These blocks 24 are similar to the right block 24R (upper right block 24Ru and lower right block 24Rd) and the left block 24L (upper left block 24Lu and lower left block 24Ld). Since it is created in principle, only the procedure for creating the right blocks 24Ru and 24Rd will be described here. As shown in FIG. 8, the upper block 24Ru is created in a size (size) and position that can accommodate the right eye side image 28ar including the right eyebrow of the detection target 1 reflected in the vertical edge image 22, and the lower block 24Rd It is necessary to create a size and position that can accommodate the right partial image 28cr of the nose and mouth of the detection target 1 reflected in the vertical edge image 22. The right block 24R corresponds to the first frame, and the left block 24L corresponds to the second frame.

このため、まずは図７に示すように、上部ブロック２４Ｒｕ及び下部ブロック２４Ｒｄを設定する際の基準枠として使用する四角形状のブロック抽出用枠領域２９を作成する。このブロック抽出用枠領域２９の枠領域幅ｗと枠領域高さｈとは、垂直エッジ画像２２に映り込んだ顔画像２７の全領域幅をＷ（図７参照）とし、同じく垂直エッジ画像２２に映り込んだ顔画像２７の全領域高さをＨ（図７参照）とし、垂直エッジ画像２２において顔部品１５の眉１５ａ、目１５ｂ、鼻１５ｃ及び口１５ｄを含ませ得る最小限のブロック抽出用枠領域２９を設定する際に必要な幅方向側の係数をａとし、同条件のブロック抽出用枠領域２９を設定する際に必要な高さ方向側の係数をｂとすると、次式(2)，(3) により算出される。
ｗ＝Ｗ／ａ … (2)
ｈ＝Ｈ／ｂ … (3) For this reason, first, as shown in FIG. 7, a rectangular block extraction frame region 29 used as a reference frame for setting the upper block 24Ru and the lower block 24Rd is created. The frame area width w and the frame area height h of the block extraction frame area 29 are W (see FIG. 7), and the vertical edge image 22 is the same as the total area width of the face image 27 reflected in the vertical edge image 22. The height of the entire region of the face image 27 reflected in the image is H (see FIG. 7), and the minimum block extraction that can include the eyebrows 15a, eyes 15b, nose 15c, and mouth 15d of the face part 15 in the vertical edge image 22 is performed. Assuming that a coefficient in the width direction necessary for setting the frame area 29 is a and a coefficient in the height direction necessary for setting the block extraction frame area 29 of the same condition is b, the following equation ( Calculated by 2) and (3).
w = W / a (2)
h = H / b (3)

続いて、上部ブロック２４Ｒｕの大きさ及び位置を決定するが、図８に示すように上部ブロック２４Ｒｕは、ブロック抽出用枠領域２９の画面左上頂点３０を支点に、この画面左上頂点３０から画像幅方向にどの程度の幅だけ延び、かつ画像高さ方向にどの程度の高さだけ延びるかを設定することにより、大きさ及び位置が設定される。上部ブロック２４Ｒｕのブロック領域幅Ｒuw及びブロック領域高さＲuhは、処理幅に対する累積取得領域幅割合、即ちブロック抽出用枠領域２９の画面左上頂点３０からどの程度だけ画像幅方向に長さを延ばすのかを決める際に必要な割合をｘとし、処理幅に対する累積取得領域高さ割合、即ちブロック抽出用枠領域２９の画面左上頂点３０からどの程度だけ画像高さ方向に長さを延ばすのかを決める際に必要な割合をｙとすると、次式(4)，(5) により算出される。
Ｒuw＝ｗ−ｗ／ｘ … (4)
Ｒuh＝ｈ／ｙ … (5) Subsequently, the size and position of the upper block 24Ru are determined. As shown in FIG. 8, the upper block 24Ru uses the upper left vertex 30 of the screen of the block extraction frame area 29 as a fulcrum, and the image width from the upper left vertex 30 of the screen. The size and position are set by setting how much width extends in the direction and how much height extends in the image height direction. The block area width Ruw and the block area height Ruh of the upper block 24Ru are the cumulative acquisition area width ratio with respect to the processing width, that is, how much the length of the block extraction frame area 29 extends in the image width direction from the upper left vertex 30 of the screen. X is the ratio necessary for determining the cumulative width of the acquired area with respect to the processing width, that is, how much the length of the block extraction frame area 29 is to be extended in the image height direction from the upper left vertex 30 of the screen. If y is a ratio necessary for, the following equations (4) and (5) are used.
Ruw = w−w / x (4)
Ruh = h / y (5)

また、下部ブロック２４Ｒｄの大きさ及び位置も上部ブロック２４Ｒｕと同様の手順により設定されるが、本例の下部ブロック２４Ｒｄはブロック抽出用枠領域２９の画面右下頂点３１を支点に、この画面右下頂点３１から画像幅方向にどの程度の幅だけ延び、かつ画像高さ方向にどの程度の高さだけ延びるかを設定することにより、大きさ及び位置が設定される。下部ブロック２４Ｒｄのブロック領域幅Ｒdw及びブロック領域高さＲdhは、次式(6)，(7) により算出される。
Ｒdw＝ｗ／ｘ … (6)
Ｒdh＝ｈ／ｙ … (7) The size and position of the lower block 24Rd are set in the same procedure as the upper block 24Ru, but the lower block 24Rd in this example uses the lower right vertex 31 of the screen of the block extraction frame area 29 as a fulcrum, and The size and position are set by setting how much width extends from the lower vertex 31 in the image width direction and how much height extends in the image height direction. The block area width Rdw and the block area height Rdh of the lower block 24Rd are calculated by the following equations (6) and (7).
Rdw = w / x (6)
Rdh = h / y (7)

特徴量算出部２５は、以上の手順を経てブロック２４（２４Ｒｕ，２４Ｒｄ，２４Ｌｕ，２４Ｌｄ）を作成すると、図９に示すように垂直エッジ画像２２を一領域部分からブロック２４で順にスキャンし、そのスキャンごとに各ブロック２４Ｒｕ，２４Ｒｄ，２４Ｌｕ，２４Ｌｄ…内の垂直エッジ値Ｃspを算出するとともに、ブロック２４Ｒｕ，２４Ｒｄ，２４Ｌｕ，２４Ｌｄごとに算出した垂直エッジ値Ｃspを用いて特徴量Ｒｘを算出する。なお、ブロック２４Ｒｕ，２４Ｒｄ，２４Ｌｕ，２４Ｌｄ内におけるそれぞれの垂直エッジ値Ｃspとは、各々のブロック２４Ｒｕ，２４Ｒｄ，２４Ｌｕ，２４Ｌｄ内において垂直エッジ２８を構成する画素の総和に相当する。即ち、右上部ブロック２４Ｒｕ内の垂直エッジ値は、右上部ブロック２４Ｒｕ内の垂直エッジ画素数の総和（加算値）になり、右下部ブロック２４Ｒｄ、左上部ブロック２４Ｌｕ、左下部ブロック２４Ｌｄもこれと同様である。   When the feature amount calculation unit 25 creates the block 24 (24Ru, 24Rd, 24Lu, 24Ld) through the above procedure, the feature amount calculation unit 25 scans the vertical edge image 22 in order from the one region portion to the block 24 as shown in FIG. The vertical edge value Csp in each block 24Ru, 24Rd, 24Lu, 24Ld... Is calculated for each scan, and the feature amount Rx is calculated using the vertical edge value Csp calculated for each block 24Ru, 24Rd, 24Lu, 24Ld. Note that the respective vertical edge values Csp in the blocks 24Ru, 24Rd, 24Lu, and 24Ld correspond to the sum of the pixels constituting the vertical edge 28 in each of the blocks 24Ru, 24Rd, 24Lu, and 24Ld. That is, the vertical edge value in the upper right block 24Ru is the sum (added value) of the number of vertical edge pixels in the upper right block 24Ru, and the same applies to the lower right block 24Rd, the upper left block 24Lu, and the lower left block 24Ld. It is.

特徴量算出部２５は、特徴量Ｒｘを算出するに際して、まずは右上部ブロック２４Ｒｕ及び右下部ブロック２４Ｒｄの垂直エッジ値Ｃspの総計である右ブロック値Ｋriと、左上部ブロック２４Ｌｕ及び左下部ブロック２４Ｌｄの垂直エッジ値Ｃspの総計である左ブロック値Ｋliとを算出する。右ブロック値Ｋri及び左ブロック値Ｋliは、右上部ブロック２４Ｒｕ内の垂直エッジ値Ｃspを右上部ブロック値Ｋruとし、右下部ブロック２４Ｒｄ内の垂直エッジ値Ｃspを右下部ブロック値Ｋrlとし、左上部ブロック２４Ｌｕ内の垂直エッジ値Ｃspを左上部ブロック値Ｋluとし、左下部ブロック２４Ｌｄ内の垂直エッジ値Ｃspを左下部ブロック値Ｋllとすると、次式(8)，(9) により算出される。
Ｋri＝Ｋru×Ｋrl … (8)
Ｋli＝Ｋlu×Ｋll … (9)
特徴量算出部２５は、右ブロック値Ｋri及び左ブロック値Ｋliを算出すると、これらブロック値Ｋri，Ｋliを用いて特徴量Ｒｘを算出する。特徴量Ｒｘは、右ブロック値Ｋri及び左ブロック値Ｋliの和（加算値）と積（乗算値）とを用いて算出され、具体的に言うと次式(10)により算出される。

Figure 2009048558
When calculating the feature amount Rx, the feature amount calculation unit 25 first calculates the right block value Kri that is the sum of the vertical edge values Csp of the upper right block 24Ru and the lower right block 24Rd, and the upper left block 24Lu and the lower left block 24Ld. The left block value Kli, which is the sum of the vertical edge values Csp, is calculated. For the right block value Kri and the left block value Kli, the vertical edge value Csp in the upper right block 24Ru is the upper right block value Kru, the vertical edge value Csp in the lower right block 24Rd is the lower right block value Krl, and the upper left block When the vertical edge value Csp in 24Lu is the upper left block value Klu and the vertical edge value Csp in the lower left block 24Ld is the lower left block value Kll, the following equations (8) and (9) are calculated.
Kri = Kru x Krl (8)
Kli = Klu × Kll (9)
When calculating the right block value Kri and the left block value Kli, the feature amount calculation unit 25 calculates the feature amount Rx using the block values Kri and Kli. The feature amount Rx is calculated using the sum (added value) and product (multiplied value) of the right block value Kri and the left block value Kli, and more specifically, is calculated by the following equation (10).
Figure 2009048558

特徴量算出部２５は、ブロック２４を垂直エッジ画像２２の一領域部分に当て嵌めて、垂直エッジ画像２２を一領域部分からブロック２４で順にスキャンしていくが、そのスキャンごとに、ブロック２４内の垂直エッジ値Ｃspの総計として特徴量Ｒｘを算出する。このスキャンは、図９に示すように、まずは最初にブロック２４Ｒｕが画面左端に位置する箇所（図９の垂直エッジ画像２２ａの状態）から開始され、特徴量算出が完了する度に画面右側に数画素分ずつシフトしていく。そして、ブロック２４が垂直エッジ画像２２の画面右端に位置（図９の垂直エッジ画像２２ｂの状態）した際には、今度はブロック２４が数画素だけ画面下側にシフト（図９の垂直エッジ画像２２ｃの状態）し、その後は特徴量算出が完了する度に画面左側に数画素分ずつシフトしていく。このように、スキャンは、ブロック２４が画面端に到達したら画面下側にシフトして、それまでとは逆側の横方向にシフト移動する動きを繰り返すことにより行われる。   The feature amount calculation unit 25 applies the block 24 to one area portion of the vertical edge image 22 and scans the vertical edge image 22 in order from the one area portion to the block 24. The feature amount Rx is calculated as the sum of the vertical edge values Csp. As shown in FIG. 9, this scan is started first from the position where the block 24Ru is positioned at the left end of the screen (the state of the vertical edge image 22a in FIG. 9). Shift by pixel. When the block 24 is positioned at the right end of the screen of the vertical edge image 22 (the state of the vertical edge image 22b in FIG. 9), the block 24 is now shifted down the screen by several pixels (the vertical edge image in FIG. 9). 22c), and thereafter, every time the calculation of the feature amount is completed, the pixel is shifted by several pixels to the left side of the screen. In this way, scanning is performed by repeating the movement of shifting to the lower side of the screen when the block 24 reaches the end of the screen and shifting in the lateral direction opposite to the previous screen.

このとき、特徴量Ｒｘは、ブロック２４内の垂直エッジ値Ｃspが高い画像領域をスキャンした時、即ち垂直エッジ画像２２に映り込んだ顔部品画像領域（眉毛画像２８ａ、目画像２８ｂ、鼻画像２８ｃ及び口画像２８ｄ等）をブロック２４でスキャンした時（図９の垂直エッジ画像２２ｄの状態）に最も大きい値をとる。具体的に言うならば、特徴量Ｒｘは、右上部ブロック２４Ｒｕが垂直エッジ画像２２の右眉及び右目部分に当て嵌まり、左上部ブロック２４Ｌｕが垂直エッジ画像２２の左眉及び左目部分に当て嵌まり、右下部ブロック２４Ｒｄが垂直エッジ画像２２の目や口の右側部分に当て嵌まり、左下部ブロック２４Ｌｄが垂直エッジ画像２２の目や口の左側部分に当て嵌まった時に、最も大きい値をとる。   At this time, the feature amount Rx is the face component image area (eyebrow image 28a, eye image 28b, nose image 28c) reflected in the vertical edge image 22 when an image area having a high vertical edge value Csp in the block 24 is scanned. And the mouth image 28d, etc.) are scanned at the block 24 (the state of the vertical edge image 22d in FIG. 9) and take the largest value. Specifically, in the feature amount Rx, the upper right block 24Ru applies to the right eyebrow and right eye part of the vertical edge image 22, and the upper left block 24Lu applies to the left eyebrow and left eye part of the vertical edge image 22, When the lower right block 24Rd is applied to the right part of the eyes and mouth of the vertical edge image 22, and the lower left block 24Ld is applied to the left part of the eyes and mouth of the vertical edge image 22, the largest value is obtained.

特徴量算出部２５が各々のスキャン位置において全ての特徴量Ｒｘを算出すると、続いて眉間位置特定部２６は、この特徴量Ｒｘを用いて眉間位置１４を特定する。眉間位置特定部２６は、ブロック２４が垂直エッジ画像２２で各スキャン位置をとる時に、図１０に示すように各々のスキャン位置において右上部ブロック２４Ｒｕと左上部ブロック２４Ｌｕとの中間に位置する画像座標を、撮影画像Ｐicに映り込んだ検出対象１の眉間位置の候補点Ｐxaとして認識する。本例の候補点Ｐxaは、より具体的に言うと、右上部ブロック２４Ｒｕの上辺と左上部ブロック２４Ｌｕの上辺とを結んだ結線Ｌｘ（図１０参照）の中間位置に相当する点として設定されている。そして、眉間位置特定部２６は、全てのスキャン位置において特徴量Ｒｘを算出すると、各々のスキャン位置ごとに抽出されたこれら候補点Ｐxaの中から、特徴量Ｒｘが最も高くなる時の候補点Ｐxaを眉間位置１４として特定する。   When the feature amount calculation unit 25 calculates all the feature amounts Rx at each scan position, the inter-eyebrow position specifying unit 26 specifies the inter-eyebrow position 14 using the feature amount Rx. When the block 24 takes each scan position in the vertical edge image 22, the inter-brow position specifying unit 26, as shown in FIG. 10, image coordinates positioned between the upper right block 24 </ b> Ru and the upper left block 24 </ b> Lu at each scan position. Is recognized as a candidate point Pxa of the position between the eyebrows of the detection target 1 reflected in the captured image Pic. More specifically, the candidate point Pxa in this example is set as a point corresponding to an intermediate position of a connection line Lx (see FIG. 10) connecting the upper side of the upper right block 24Ru and the upper side of the upper left block 24Lu. Yes. When the inter-eyebrow position specifying unit 26 calculates the feature amount Rx at all the scan positions, the candidate point Pxa when the feature amount Rx is the highest among the candidate points Pxa extracted for each scan position. Is specified as a position 14 between the eyebrows.

ところで、式(10)からも分かるように、本例の特徴量Ｒｘは右ブロック値Ｋri及び左ブロック値Ｋliの和（＝Ｋri＋Ｋli）と、右ブロック値Ｋri及び左ブロック値Ｋliの積（＝Ｋri×Ｋli）とを用いて算出される。このように、特徴量Ｒｘをこれらブロック値Ｋri，Ｋliの和と積とを用いて算出する理由は以下の通りである。例えば、特徴量Ｒｘが右ブロック値Ｋriと左ブロック値Ｋliとの和のみで算出される場合を考えると、これらブロック値Ｋri，Ｋliの和というのは、画像全体のエッジ強さを重視するものであることから、例えば検出対象１が横を向いた時に左右のうち一方の垂直エッジ値が「０」となりつつ他方が極端に高い値をとった場合でも、これを眉間位置１４として誤検出する状況に陥ってしまうことがある。また、一方で特徴量Ｒｘが右ブロック値Ｋriと左ブロック値Ｋliとの積のみで算出される場合を考えると、これらブロック値Ｋri，Ｋliの積というのは、左右のエッジ均一性を重視するものであることから、例えば片目隠蔽時には片目側の垂直エッジ値Ｃspが極端に低下するので、合計のエッジ値が大きく低下してこの時には眉間位置１４を特定できない状況に陥ってしまうことがある。   As can be seen from the equation (10), the feature amount Rx of this example is the product of the sum of the right block value Kri and the left block value Kli (= Kri + Kli) and the right block value Kri and the left block value Kli (= Kri). × Kli). Thus, the reason for calculating the feature amount Rx using the sum and product of these block values Kri and Kli is as follows. For example, considering the case where the feature amount Rx is calculated only by the sum of the right block value Kri and the left block value Kli, the sum of the block values Kri and Kli places importance on the edge strength of the entire image. Therefore, for example, even when the detection target 1 is turned sideways and the vertical edge value of one of the left and right is “0” and the other takes an extremely high value, this is erroneously detected as the inter-brow position 14. You may fall into a situation. On the other hand, considering that the feature amount Rx is calculated only by the product of the right block value Kri and the left block value Kli, the product of these block values Kri and Kli places importance on the left and right edge uniformity. Therefore, for example, when one eye is concealed, the vertical edge value Csp on one eye side is extremely lowered, so that the total edge value is greatly reduced, and at this time, the position 14 between the eyebrows cannot be specified.

しかし、本例の特徴量Ｒｘは、右ブロック値Ｋri及び左ブロック値Ｋliの和と積により算出されるこれらの複合値であることから、和のみで特徴量Ｒｘを算出する時に生じる懸念と、積のみで特徴量Ｒｘを算出する時に生じる懸念との両方が緩和された値をとる。即ち、本例の特徴量Ｒｘは、和で特徴量Ｒｘを算出する時の有利点である全体の垂直エッジ強さと、積で特徴量Ｒｘを算出する時の有利点である左右の垂直エッジ均一性確保との２点をバランスよく満たす値をとる。よって、このような特性値として好適な値をとる特徴量Ｒｘにより眉間位置１４を特定すれば、この時に特定される眉間位置１４はより正確に垂直エッジ画像２２上における眉間部分をとる。   However, since the feature amount Rx in this example is a composite value calculated by the sum and product of the right block value Kri and the left block value Kli, there is a concern that arises when the feature amount Rx is calculated only by the sum. Both the concern that arises when calculating the feature value Rx only by the product takes a relaxed value. That is, the feature amount Rx in this example is the same as the total vertical edge strength that is an advantage when calculating the feature amount Rx as a sum, and the left and right vertical edges that are the advantage when calculating the feature amount Rx as a product. The value that satisfies the two points of ensuring the balance with good balance. Therefore, if the inter-brow position 14 is specified by the feature amount Rx that takes a suitable value as such a characteristic value, the inter-brow position 14 specified at this time more accurately takes the inter-brow portion on the vertical edge image 22.

また、特徴量算出部２５は、各々のスキャン位置において特徴量Ｒｘを算出する際、特徴量Ｒｘの算出とともに、右ブロック値Ｋriと左ブロック値Ｋliとの差をとって減算値Ｋds（＝Ｋri−Ｋli）の絶対値を算出し、この減算値Ｋdsが閾値Ｋds以上となるか否かを判定する。減算値Ｋdsが閾値Ｋds以上となる場合というのは、例えば図１１（ａ），（ｂ）に示すように、検出対象１が横向きとなった時にカメラ５が検出対象１を撮影した際に起こり得るものである。このときは、左右ブロックのうちの一方で垂直エッジ２８を検出するが、他方では垂直エッジ２８を検出しない状態となるので、右ブロック値Ｋriと左ブロック値Ｋliとの間で値が大きくずれ、その減算値Ｋdsが閾値Ｋds以上となる。   Further, when calculating the feature value Rx at each scan position, the feature value calculation unit 25 calculates the feature value Rx and calculates the difference between the right block value Kri and the left block value Kli to obtain a subtraction value Kds (= Kri). The absolute value of -Kli) is calculated, and it is determined whether or not the subtraction value Kds is greater than or equal to the threshold value Kds. The case where the subtraction value Kds is equal to or greater than the threshold value Kds occurs, for example, when the camera 5 captures the detection target 1 when the detection target 1 is turned sideways, as shown in FIGS. To get. At this time, the vertical edge 28 is detected in one of the left and right blocks, but the vertical edge 28 is not detected in the other, so that the value greatly deviates between the right block value Kri and the left block value Kli. The subtraction value Kds is equal to or greater than the threshold value Kds.

ここで、図１１（ａ）と図１１（ｂ）とを見てみると、図１１（ａ）に示す状況は、右上部ブロック２４Ｒｕが垂直エッジ画像２２の枠外にはみ出して、右ブロック値Ｋriが「０」に近い値をとることを原因として起こるものである。また、図１１（ｂ）に示す状況は、右上部ブロック２４Ｒｕが検出対象１の左眉画像２８aaや左目画像２８baを検出してそれ以外のブロック２４Ｒｄ，２４Ｌｕ，２４Ｒｄは顔部品１５を検出せず、左ブロック値Ｋliが「０」に近い値をとることを原因として起こるものである。このように、図１１（ａ），（ｂ）のいずれの場合も、右ブロック値Ｋriと左ブロック値Ｋliとが大きな差を持つことになり、減算値Ｋdsが閾値Ｋds以上となる。   Here, looking at FIG. 11A and FIG. 11B, the situation shown in FIG. 11A is that the upper right block 24Ru protrudes out of the frame of the vertical edge image 22, and the right block value Kri. Is caused by taking a value close to “0”. 11B, the upper right block 24Ru detects the left eyebrow image 28aa and the left eye image 28ba of the detection target 1, and the other blocks 24Rd, 24Lu, and 24Rd do not detect the face part 15. This occurs because the left block value Kli takes a value close to “0”. As described above, in both cases of FIGS. 11A and 11B, the right block value Kri and the left block value Kli have a large difference, and the subtraction value Kds is equal to or greater than the threshold value Kds.

ここで、図１１（ａ）に示す状況というのは、右上部ブロック２４Ｒｕが垂直エッジ画像２２からはみ出してしまっているだけで、この時の特徴量Ｒｘから導かれる垂直エッジ画像２２上の候補点Ｐxaは眉間位置１４としてあり得るパターンであると見なせる。一方、図１１（ｂ）に示す状況というのは、ブロック２４Ｒｕ，２４Ｒｄ，２４Ｌｕ，２４Ｌｄが垂直エッジ画像２２内に全て位置して、その中の右上部ブロック２４Ｒｕで左眉画像２８aaや左目画像２８baを検出してしまっていることから、この時の特徴量Ｒｘから導かれる垂直エッジ画像２２上の候補点Ｐxaは検出対象１の左耳付近の位置を指し示す位置となってしまい、これは眉間位置１４として無効パターン（あり得ないパターン）であると見なせる。   Here, the situation shown in FIG. 11A is that the upper right block 24Ru only protrudes from the vertical edge image 22, and the candidate point on the vertical edge image 22 derived from the feature amount Rx at this time. Pxa can be regarded as a possible pattern as the position 14 between the eyebrows. On the other hand, the situation shown in FIG. 11B is that the blocks 24Ru, 24Rd, 24Lu, and 24Ld are all located in the vertical edge image 22, and the left eyebrow image 28aa and the left eye image 28ba are located in the upper right block 24Ru. Therefore, the candidate point Pxa on the vertical edge image 22 derived from the feature amount Rx at this time is a position indicating the position near the left ear of the detection target 1, and this is the position between the eyebrows. 14 can be regarded as an invalid pattern (impossible pattern).

よって、特徴量算出部２５は、右ブロック値Ｋriと左ブロック値Ｋliとの差（減算値Ｋds）が閾値Ｋdz以上をとる場合、ブロック２４Ｒｕ，２４Ｒｄ，２４Ｌｕ，２４Ｌｄの配置位置を確認し、もし仮にブロック２４Ｒｕ，２４Ｒｄ，２４Ｌｕ，２４Ｌｄの中の少なくとも１つでも垂直エッジ画像２２の画像領域から外れていれば、この時の候補点Ｐxaを許容し、特徴量Ｒｘをそのままの値で取り込む。一方、特徴量算出部２５は、右ブロック値Ｋriと左ブロック値Ｋliとの差（減算値Ｋds）が閾値Ｋdz以上をとった時にブロック２４Ｒｕ，２４Ｒｄ，２４Ｌｕ，２４Ｌｄの配置位置を確認した際、もし仮にブロック２４Ｒｕ，２４Ｒｄ，２４Ｌｕ，２４Ｌｄが全て垂直エッジ画像２２の画像領域内に含まれていれば、この時の候補点Ｐxaを眉間位置１４として取り込まないようにするために、特徴量Ｒｘの値を所定量下げたり、或いは「０」にしたりする。特徴量Ｒｘの値が所定量下げられていたり、或いは「０」になったりすれば、この時に候補点Ｐxaが眉間位置１４に選出されることはないので、この時の候補点Ｐxaが眉間位置１４の候補対象から排除される。   Therefore, when the difference (subtraction value Kds) between the right block value Kri and the left block value Kli is greater than or equal to the threshold value Kdz, the feature amount calculation unit 25 checks the arrangement positions of the blocks 24Ru, 24Rd, 24Lu, and 24Ld. If at least one of the blocks 24Ru, 24Rd, 24Lu, and 24Ld is out of the image area of the vertical edge image 22, the candidate point Pxa at this time is allowed and the feature amount Rx is captured as it is. On the other hand, when the difference between the right block value Kri and the left block value Kli (subtraction value Kds) is equal to or greater than the threshold value Kdz, the feature amount calculation unit 25 checks the arrangement positions of the blocks 24Ru, 24Rd, 24Lu, and 24Ld. If the blocks 24Ru, 24Rd, 24Lu, and 24Ld are all included in the image area of the vertical edge image 22, in order to prevent the candidate point Pxa at this time from being captured as the inter-brow position 14, Decrease the value by a predetermined amount or set it to “0”. If the value of the feature amount Rx is lowered by a predetermined amount or becomes “0”, the candidate point Pxa is not selected as the eyebrow position 14 at this time. Excluded from 14 candidate targets.

従って、本例の眉間位置検出処理は、撮影画像Ｐicから垂直エッジ画像２２を抽出するとともに、その垂直エッジ画像２２からサイズが決定されるブロック２４で、垂直エッジ画像２２をその一画像領域から順にスキャンしていき、ブロック２４内の垂直エッジ値Ｃspの総計である特徴量Ｒｘをスキャン位置ごとに算出し、その特徴量Ｒｘが最も高い値をとる時の候補点Ｐxa（画像座標位置Ｐnt）を眉間位置１４として特定する処理である。よって、このように抽出した特徴量Ｒｘというのは、例え仮に検出対象１が横を向いていたり、或いは片目を閉じていたりした状態であっても、これら状況が許容された値として算出されるので、この特徴量Ｒｘを用いて抽出した眉間位置１４を特定するようにすれば、眉間位置１４を精度良く特定することが可能となる。   Accordingly, the eyebrow position detection process of this example extracts the vertical edge image 22 from the captured image Pic, and in the block 24 whose size is determined from the vertical edge image 22, the vertical edge image 22 is sequentially processed from the one image area. The feature amount Rx, which is the total of the vertical edge values Csp in the block 24, is calculated for each scan position, and the candidate point Pxa (image coordinate position Pnt) when the feature amount Rx takes the highest value is calculated. This is a process for identifying the position 14 between the eyebrows. Therefore, the feature amount Rx extracted in this way is calculated as an allowable value even if the detection target 1 is facing sideways or one eye is closed. Therefore, if the inter-brow position 14 extracted using the feature amount Rx is specified, the inter-brow position 14 can be specified with high accuracy.

また、本例の眉間位置検出処理は、カメラ５で非投光画像１８と投光画像１９とを取得してこれら画像１８，１９間の差分である投光差分画像２０を抽出して、その投光差分画像２０を用いて特徴量Ｒｘを抽出することができれば、その時点で眉間位置１４を特定することが可能である。このため、カメラ５が撮影画像Ｐicを取り込めばその画像から一義的に眉間位置１４が特定されることになるので、カメラ５から撮影画像Ｐicを取得できても眉間位置１４を特定できないという状況が生じなくなり、時間ロスが発生することなくカメラ５の撮影画像Ｐicにおける検出対象１の眉間位置１４を特定することが可能となる。   In addition, the position detection process between the eyebrows in this example is performed by acquiring the non-projected image 18 and the projected image 19 with the camera 5 and extracting the projected difference image 20 that is the difference between the images 18 and 19. If the feature amount Rx can be extracted using the light projection difference image 20, it is possible to specify the position 14 between the eyebrows at that time. For this reason, if the camera 5 captures the captured image Pic, the position 14 between the eyebrows is uniquely identified from the image. Therefore, even if the captured image Pic can be acquired from the camera 5, the position 14 between the eyebrows cannot be identified. The position 14 between the eyebrows of the detection target 1 in the captured image Pic of the camera 5 can be specified without causing any time loss.

更に、本例においてカメラ５の撮影画像Ｐicから検出対象１の眉間位置１４を特定するに際しては特徴量Ｒｘという特性値を算出するが、この特徴量Ｒｘというのは、右ブロック値Ｋriと左ブロック値Ｋliの和と積とを用いて算出される。このため、右ブロック値Ｋriと左ブロック値Ｋliとの和が利点として持つ特性である全体の垂直エッジ２８の強さ確保と、右ブロック値Ｋriと左ブロック値Ｋliとの積が利点として持つ特性である左右エッジの均一性とをバランスよく満たす特徴量Ｒｘを算出することが可能となる。よって、このような好適な値を満たす特徴量Ｒｘを用いて眉間位置１４を算出するので、眉間位置１４をより精度良く特定することが可能となる。   Furthermore, in this example, when specifying the position 14 between the eyebrows of the detection target 1 from the captured image Pic of the camera 5, a characteristic value called a feature value Rx is calculated. The feature value Rx is the right block value Kri and the left block. It is calculated using the sum and product of the values Kli. For this reason, the characteristic that the sum of the right block value Kri and the left block value Kli has an advantage is the characteristic that the strength of the entire vertical edge 28 is an advantage, and the product of the right block value Kri and the left block value Kli has an advantage. It is possible to calculate the feature amount Rx that satisfies the uniformity of the left and right edges. Therefore, since the inter-brow position 14 is calculated using the feature amount Rx satisfying such a suitable value, the inter-brow position 14 can be specified with higher accuracy.

また、本例のブロック２４は右ブロック２４Ｒと左ブロック２４Ｌとで同サイズ（同形状）のものを使用したが、両ブロック２４Ｒ，２４Ｌが同サイズの場合は、検出対象１の顔がカメラ５に対して正面を向いているときには、垂直エッジ画像２２は左右対称画像をとることから、両ブロック２４Ｒ，２４Ｌが同サイズでも眉間位置１４を好適に特定することができる。しかし、例えば図１２（ａ）に示すように、検出対象１が斜めを向いた時の撮影画像Ｐicが撮影された場合には、検出対象１は左右がアンバランスな斜め向き状態で垂直エッジ画像２２に映り込むことから、右ブロック２４Ｒ及び左ブロック２４Ｌが同サイズのものを用いた場合には、厳密な眉間位置１４の特定に支障を来す。   The block 24 of this example uses the right block 24R and the left block 24L having the same size (same shape). However, when both the blocks 24R and 24L have the same size, the face of the detection target 1 is the camera 5. Since the vertical edge image 22 is a bilaterally symmetric image when facing the front, the position 14 between the eyebrows can be suitably specified even if both the blocks 24R and 24L are the same size. However, as shown in FIG. 12A, for example, when a captured image Pic is captured when the detection target 1 is tilted, the detection target 1 is a vertical edge image in a tilted state in which the left and right are unbalanced. Therefore, when the right block 24R and the left block 24L are of the same size, it is difficult to specify the exact position 14 between the eyebrows.

そこで、垂直エッジ画像抽出部２３がブロック２４を作成する際、ブロック２４を左右でサイズを異ならせた形状で作成してもよい。この例の場合、垂直エッジ画像抽出部２３は、まずは上記した通りの手順に則って左右が同サイズのブロック２４を作成して通常通りに眉間位置１４を特定し、眉間位置１４の特定後、図１２（ｂ）に示すようにその眉間位置１４が垂直エッジ画像２２の画像中央位置Ｐstに対してどれだけずれているのかのズレ量Ｘを算出する。そして、垂直エッジ画像抽出部２３は、図１２（ｃ）に示すようにそのズレ量Ｘの大きさに応じて右ブロック２４Ｒ及び左ブロック２４Ｌのサイズを異ならせ、このブロック２４Ｒ，２４Ｌを使用して眉間位置１４を再抽出する。   Therefore, when the vertical edge image extraction unit 23 creates the block 24, the block 24 may be created in a shape with different sizes on the left and right. In the case of this example, the vertical edge image extraction unit 23 first creates the block 24 having the same size on the left and right according to the procedure as described above, specifies the inter-brow position 14 as usual, and after specifying the inter-brow position 14, As shown in FIG. 12B, a deviation amount X is calculated as to how much the inter-brow position 14 is deviated from the image center position Pst of the vertical edge image 22. Then, as shown in FIG. 12C, the vertical edge image extraction unit 23 changes the sizes of the right block 24R and the left block 24L according to the amount of the deviation X, and uses the blocks 24R and 24L. Then, the position 14 between the eyebrows is extracted again.

図１２（ａ）に示すように、候補点Ｐxaが垂直エッジ画像２２の画像中央位置かＰstら画面左側にずれている場合、この時に撮影画像Ｐicに映り込んだ検出対象１というのは、画面左側に傾く状態で映り込んでいることから、検出対象１は右目画像２８bb側が小さく、一方で左目画像２８ba側はそれよりも大きい状態で映り出している。このため、垂直エッジ画像抽出部２３は、左右で同じサイズで作成したブロック２４を左右で異ならせるべく、本例においてはその時のズレ量Ｘに応じた縮小率で右ブロック２４Ｒを縮小し、左ブロック２４Ｌはそのままの大きさをとらせることにより、図１２（ｃ）に示すような左右でサイズ率の異なる新たなブロック２４ｘを作成する。本例のブロック２４Ｒの縮小は、各ブロック２４Ｒｕ，２４Ｒｄの内寄りの辺２４Ｒu1，２４Ｒd1をそのままにして、外側の辺２４Ｒu2，２４Ｒd2を内寄りに移動させることにより行う。そして、垂直エッジ画像抽出部２３は、この新たなブロック２４ｘで垂直エッジ画像２２を再スキャンして特徴量Ｒｘを再度算出して、眉間位置１４を特定し直す。なお、この場合は、左右でサイズの異なるブロック２４ｘを用いて特徴量算出を行うことになるので、ブロック値Ｋri，Ｋliを垂直エッジ値Ｃspの累積とするのではなく、平均値を求める処理が必要となる。   As shown in FIG. 12A, when the candidate point Pxa is shifted from the image center position of the vertical edge image 22 to the left side of the screen from the Pst, the detection target 1 reflected in the captured image Pic at this time is the screen Since the image is reflected in a state of being tilted to the left, the detection target 1 is projected on the right eye image 28bb side, while the left eye image 28ba side is projected larger. For this reason, the vertical edge image extraction unit 23 reduces the right block 24R at a reduction rate according to the amount of deviation X at that time in order to make the left and right blocks 24 created in the same size different on the left and right, By making the block 24L take the same size, a new block 24x having different size ratios on the left and right as shown in FIG. 12C is created. The reduction of the block 24R in this example is performed by moving the outer sides 24Ru2 and 24Rd2 inward while leaving the inner sides 24Ru1 and 24Rd1 of the blocks 24Ru and 24Rd as they are. Then, the vertical edge image extraction unit 23 re-scans the vertical edge image 22 with the new block 24x, recalculates the feature amount Rx, and specifies the inter-brow position 14 again. In this case, since the feature amount calculation is performed using the blocks 24x having different sizes on the left and right, the block values Kri and Kli are not accumulated as the vertical edge values Csp, but a process for obtaining an average value is performed. Necessary.

よって、この処理方式を採用した場合、もし仮に撮影画像Ｐicに映り込んだ検出対象１が画面に対して横を向く傾き状態をとっていたときは、左右のブロック２４Ｒ，２４Ｌのブロックサイズをこの時の横向き量に応じたサイズ率に変更し、この左右でサイズの異なるブロック２４ｘを用いて眉間位置１４を再特定する。このため、ただ単に左右同サイズのブロック２４を用いて眉間位置１４を特定する場合に比べ、検出対象１が横を向く状態の時に適したブロックサイズを持つブロック２４ｘで特徴量Ｒｘが算出されるので、眉間位置１４をより一層精度良く特定することが可能となる。   Therefore, when this processing method is adopted, if the detection target 1 reflected in the captured image Pic is inclined sideways with respect to the screen, the block sizes of the left and right blocks 24R and 24L are set to this size. The size ratio is changed according to the amount of horizontal orientation at the time, and the inter-brow position 14 is specified again using the blocks 24x having different sizes on the left and right. For this reason, the feature amount Rx is calculated with the block 24x having a block size suitable when the detection target 1 is facing sideways, as compared with the case where the right and left eyebrow position 14 is simply specified using the right and left size blocks 24. Therefore, it is possible to specify the inter-brow position 14 with higher accuracy.

また、状況によっては、カメラ５の被写体である検出対象１が、図１３に示すように画面に対して所定の回転量θだけ回転した状態で垂直エッジ画像２２に映り出す場合もある。この時も検出対象１は左右がアンバランスな状態で垂直エッジ画像２２に映り込むことになるので、もし仮に右ブロック２４Ｒ及び左ブロック２４Ｌが同サイズのものを用いて眉間位置１４の検出を行うと、厳密な眉間位置１４の特定に支障を来すことになることが分かる。   Further, depending on the situation, the detection target 1 that is the subject of the camera 5 may appear on the vertical edge image 22 in a state of being rotated by a predetermined rotation amount θ with respect to the screen as shown in FIG. At this time as well, the detection target 1 is reflected in the vertical edge image 22 in a state where the left and right are unbalanced. Therefore, if the right block 24R and the left block 24L have the same size, the inter-brow position 14 is detected. It will be understood that this would hinder the exact specification of the position 14 between the eyebrows.

そこで、垂直エッジ画像抽出部２３は、特徴量Ｒｘの算出処理時においてブロック２４で画像スキャンを行う際、このブロック２４を必要に応じて回転させ、その回転位置ごとに特徴量Ｒｘを順次算出することを行うものでもよい。この例の場合、垂直エッジ画像抽出部２３は、まずは上記した通りの手順に則って左右が同サイズのブロック２４を作成し、このブロック２４を各スキャン位置において一定角度（例えば５〜１０度等）ごとに回転させて、その角度位置ごとに特徴量Ｒｘを算出する。そして、垂直エッジ画像抽出部２３は、各々のスキャン位置において所定角度ずつ回転させてその時々の特徴量Ｒｘを算出するという処理を、垂直エッジ画像２２（投光差分画像２０）を取得する度に繰り返し行う。   Therefore, the vertical edge image extraction unit 23 rotates the block 24 as necessary when the image is scanned in the block 24 during the feature Rx calculation process, and sequentially calculates the feature Rx for each rotation position. You may do things. In the case of this example, the vertical edge image extraction unit 23 first creates a block 24 having the same size on the left and right according to the procedure as described above, and this block 24 is set at a certain angle (for example, 5 to 10 degrees, etc.) at each scan position. ) To calculate the feature amount Rx for each angular position. Each time the vertical edge image 22 (projected difference image 20) is acquired, the vertical edge image extracting unit 23 performs a process of calculating the feature amount Rx at each scan position by rotating by a predetermined angle. Repeat.

このため、もし仮に撮影画像Ｐicに映り込んだ検出対象１が画面に対して回転していたとしても、この場合の特徴量Ｒｘは垂直エッジ画像２２に映り込んだ検出対象１の回転位置に適した特性値として算出されることになる。よって、ただ単に左右同サイズのブロック２４を用いて眉間位置１４を特定する場合に比べ、より適した角度向きのブロック２４で特徴量Ｒｘを算出可能となるので、眉間位置１４の特定精度をより一層向上することが可能となる。   For this reason, even if the detection target 1 reflected in the captured image Pic is rotated with respect to the screen, the feature amount Rx in this case is suitable for the rotational position of the detection target 1 reflected in the vertical edge image 22. It is calculated as a characteristic value. Therefore, the feature amount Rx can be calculated with the block 24 having a more suitable angle orientation as compared with the case where the inter-brow position 14 is simply specified using the blocks 24 having the same size on the left and right. This can be further improved.

また、ブロック２４を回転させるに際しては、ブロック２４を一定角度ずつ順に回転させる手法をとることに限定されない。例えば、垂直エッジ画像抽出部２３は、垂直エッジ画像２２を抽出した際に、図１４に示すように、この垂直エッジ画像２２（顔画像）の右端エッジ３２の傾き（水平方向における垂直エッジの角度）を抽出しつつ、同じく垂直エッジ画像２２（顔画像）の左端エッジ３３の傾きを抽出して、これら傾きから検出対象１の画面に対する回転量θを算出する。垂直エッジ画像抽出部２３は、垂直エッジ画像２２から顔画像２７の輪郭をとることで左右のエッジ３２，３３を類推する。垂直エッジ画像抽出部２３は、この回転量θに応じた角度だけブロック２４を回転させ、その回転位置で特徴量Ｒｘを算出する。この場合は、ブロック２４を回転させる回数が少なく済むので、特徴量Ｒｘの算出時間の短時間化を図ることが可能となる。   Moreover, when rotating the block 24, it is not limited to taking the method of rotating the block 24 in order by a fixed angle. For example, when the vertical edge image extraction unit 23 extracts the vertical edge image 22, as shown in FIG. 14, the inclination of the right edge 32 of the vertical edge image 22 (face image) (the angle of the vertical edge in the horizontal direction). ), The inclination of the left edge 33 of the vertical edge image 22 (face image) is also extracted, and the rotation amount θ with respect to the screen of the detection target 1 is calculated from these inclinations. The vertical edge image extraction unit 23 estimates the left and right edges 32 and 33 by taking the outline of the face image 27 from the vertical edge image 22. The vertical edge image extraction unit 23 rotates the block 24 by an angle corresponding to the rotation amount θ, and calculates the feature amount Rx at the rotation position. In this case, since the number of times of rotating the block 24 can be reduced, it is possible to shorten the calculation time of the feature amount Rx.

本実施形態の構成によれば、以下に記載の効果を得ることができる。
（１）カメラ５の撮影画像Ｐicから垂直エッジ画像２２を抽出し、垂直エッジ画像２２の一特定領域を当て嵌め可能な領域範囲を持つブロック２４で垂直エッジ画像２２の画像領域を順にスキャンして、そのスキャン位置ごとにブロック２４内の垂直エッジ値Ｃspの総計である特徴量Ｒｘを算出し、特徴量Ｒｘが最も高い値をとる時のブロック２４のスキャン位置から導かれる画像座標位置Ｐntを眉間位置１４として特定する。このため、カメラ５が検出対象１の画像撮影を行って撮影画像Ｐicを取り込んだ際、その撮影画像Ｐicからは一義的に眉間位置１４が特定される。よって、カメラ５で検出対象１の撮影画像Ｐicを取得してもその撮影画像Ｐicから検出対象１の眉間位置１４を特定できないという状況が生じずに済み、カメラ５で検出対象１の撮影を開始して直ぐに眉間位置１４を特定することができ、眉間位置１４の特定に際して大きな時間ロスが生じることない。 According to the configuration of the present embodiment, the following effects can be obtained.
(1) The vertical edge image 22 is extracted from the captured image Pic of the camera 5, and the image area of the vertical edge image 22 is sequentially scanned by the block 24 having an area range in which one specific area of the vertical edge image 22 can be fitted. The feature amount Rx, which is the sum of the vertical edge values Csp in the block 24, is calculated for each scan position, and the image coordinate position Pnt derived from the scan position of the block 24 when the feature amount Rx takes the highest value is calculated between the eyebrows. The position 14 is specified. For this reason, when the camera 5 captures an image of the detection target 1 and captures the captured image Pic, the position 14 between the eyebrows is uniquely specified from the captured image Pic. Therefore, even if the captured image Pic of the detection target 1 is acquired by the camera 5, the situation that the inter-brow position 14 of the detection target 1 cannot be specified from the captured image Pic does not occur, and the camera 5 starts capturing the detection target 1. Thus, the position 14 between the eyebrows can be immediately specified, and no large time loss occurs when the position 14 between the eyebrows is specified.

（２）特徴量Ｒｘを算出するに際しては、垂直エッジ画像２２にブロック２４をスキャンすることによって行われる。ところで、この種の垂直エッジ画像２２は精度良く検出対象１の顔部品１５が浮き出る画像となることから、このような特性を持つ垂直エッジ画像２２を用いて撮影画像Ｐicに映り込んだ顔部品１５の配置位置を検出するようにすれば、撮影画像Ｐicに映り込む眉間位置１４（各種顔部品１５）を精度良く特定することができる。   (2) The feature amount Rx is calculated by scanning the block 24 on the vertical edge image 22. By the way, this type of vertical edge image 22 is an image in which the facial part 15 of the detection target 1 is accurately raised, and thus the facial part 15 reflected in the captured image Pic using the vertical edge image 22 having such characteristics. If the arrangement position is detected, the inter-brow position 14 (various facial parts 15) reflected in the captured image Pic can be accurately identified.

（３）眉間位置１４の特定の際に用いられる特徴量Ｒｘは、右ブロック２４Ｒ及び左ブロック２４Ｌの和と、右ブロック２４Ｒ及び左ブロック２４Ｌの積との両方を用いた値で算出される。このため、右ブロック２４Ｒ及び左ブロック２４Ｌの和には、全体の垂直エッジ値Ｃspの強さが重視される利点があり、一方で右ブロック２４Ｒ及び左ブロック２４Ｌの積には、左右の垂直エッジ値Ｃspの均一性が重視される利点があるが、本例のように特徴量Ｒｘが左右のブロック２４Ｒ，２４Ｌの和と積とから算出されるようにすれば、特徴量Ｒｘを和と積とが各々持つ利点をバランス良く満たした値として算出することができる。よって、高特性値を持つ特徴量Ｒｘを用いて眉間位置１４が抽出されるので、眉間位置１４の検出精度を一層高いものとすることができる。   (3) The feature amount Rx used in specifying the inter-brow position 14 is calculated as a value using both the sum of the right block 24R and the left block 24L and the product of the right block 24R and the left block 24L. Therefore, the sum of the right block 24R and the left block 24L has an advantage that the strength of the entire vertical edge value Csp is emphasized, while the product of the right block 24R and the left block 24L has a right and left vertical edge. Although there is an advantage that the uniformity of the value Csp is emphasized, if the feature value Rx is calculated from the sum and product of the left and right blocks 24R and 24L as in this example, the feature value Rx is summed and multiplied. Can be calculated as a value satisfying each of the advantages of and. Therefore, since the eyebrow position 14 is extracted using the feature amount Rx having a high characteristic value, the detection accuracy of the eyebrow position 14 can be further increased.

（４）右ブロック値Ｋriと左ブロック値Ｋliとの差（減算値Ｋds）が閾値Ｋdz以上となって大きく乖離する場合、この時に導出される眉間位置１４は、眉間位置１４としてあり得るパターン（図１１（ａ）に示す状態）とあり得ないパターン（図１１（ｂ）の状態）とが発生する。このとき、眉間位置１４としてあり得るパターンの場合はブロック２４の少なくとも一部が垂直エッジ画像２２からはみ出し、一方で眉間位置１４としてあり得ないパターンの場合はブロック２４が全て垂直エッジ画像２２に収まる状態となるので、右ブロック値Ｋriと左ブロック値Ｋliとの差（減算値Ｋds）が閾値Ｋdz以上となって大きく乖離する時にブロック２４の配置位置を確認するようにすれば、眉間位置１４としてあり得ないパターンを無効パターンとして排除することができる。   (4) When the difference (subtraction value Kds) between the right block value Kri and the left block value Kli is greater than or equal to the threshold value Kdz, the inter-brow position 14 derived at this time is a pattern that can be the inter-brow position 14 ( The state shown in FIG. 11A and an impossible pattern (state shown in FIG. 11B) occur. At this time, in the case of a pattern that can be the inter-brow position 14, at least a part of the block 24 protrudes from the vertical edge image 22. If the difference between the right block value Kri and the left block value Kli (subtraction value Kds) is greater than or equal to the threshold value Kdz and the position of the block 24 is confirmed greatly, the interbrow position 14 is obtained. Impossible patterns can be excluded as invalid patterns.

（５）本例の画像処理式物体検出装置２は、カメラ５で人体（顔部分）を撮影し、その撮影画像Ｐicに映り込んだ顔画像２７から人体の顔部品１５を抽出するものである。従って、本例の画像処理式物体検出装置２を使用すれば、カメラ５に映り込んだ人体の顔部品１５を精度良く検出することができる。   (5) The image processing type object detection device 2 of the present example captures a human body (face part) with the camera 5 and extracts the facial part 15 of the human body from the face image 27 reflected in the captured image Pic. . Therefore, if the image processing type object detection device 2 of this example is used, it is possible to accurately detect the human face part 15 reflected in the camera 5.

（６）カメラ５の撮影画像Ｐicからの顔画像２７の抽出は、照明装置６が検出対象１を人工照明しない時の撮影画像である非投光画像１８と、照明装置６が検出対象１を人工照明した時の撮影画像である投光画像１９との差分である投光差分画像２０を抽出することにより行う。このため、カメラ５の撮影画像Ｐicから顔画像２７を抽出するに際しては、２画像の差分をとるという簡単な画像処理で顔画像２７を抽出することができる。   (6) Extraction of the face image 27 from the captured image Pic of the camera 5 is performed by extracting the non-projected image 18 that is a captured image when the illumination device 6 does not artificially illuminate the detection target 1 and the illumination device 6 using the detection target 1. This is performed by extracting a light projection difference image 20 that is a difference from the light projection image 19 that is a photographed image when artificial lighting is performed. For this reason, when extracting the face image 27 from the photographed image Pic of the camera 5, the face image 27 can be extracted by a simple image process of taking the difference between the two images.

（７）垂直エッジ画像２２をスキャンする時に使用するブロック２４は、検出対象１の顔部品１５、即ち右目、左目、口（鼻）の右部分、口（鼻）の左部分に対応するように４つのブロック２４Ｒｕ，２４Ｒｄ，２４Ｌｕ，２４Ｌｄから成る。このため、垂直エッジ画像２２のスキャン時にブロック２４により抽出される垂直エッジ値Ｃspは、顔部品１５に対応付けられた値として算出され易くなるので、特徴量Ｒｘを精度良く算出することができ、ひいては眉間位置１４を精度良く特定することができる。   (7) The block 24 used when scanning the vertical edge image 22 corresponds to the face component 15 of the detection target 1, that is, the right eye, the left eye, the right part of the mouth (nose), and the left part of the mouth (nose). It consists of four blocks 24Ru, 24Rd, 24Lu, and 24Ld. For this reason, the vertical edge value Csp extracted by the block 24 during the scanning of the vertical edge image 22 is easily calculated as a value associated with the face component 15, so that the feature amount Rx can be calculated with high accuracy. As a result, the position 14 between the eyebrows can be specified with high accuracy.

（８）撮影画像Ｐicに映り込んだ検出対象１の傾き量に合わせてブロック２４のサイズを左右で異ならせた場合、ブロック２４のサイズは撮影画像Ｐicに映り込んだ各々の顔部品１５の部品サイズに対応した大きさをとる。このため、ブロック２４により抽出される垂直エッジ値Ｃspが顔部品１５に対応付けられた値をとり易くなるので、特徴量Ｒｘを一層精度良く算出することができ、ひいては眉間位置１４も一層精度良く特定することができる。   (8) When the size of the block 24 is different on the left and right according to the amount of inclination of the detection target 1 reflected in the captured image Pic, the size of the block 24 is the component of each face component 15 reflected in the captured image Pic. Take a size corresponding to the size. For this reason, since the vertical edge value Csp extracted by the block 24 can easily take a value associated with the face part 15, the feature amount Rx can be calculated with higher accuracy, and the interbrow position 14 can also be improved with higher accuracy. Can be identified.

（９）撮影画像Ｐicに映り込んだ検出対象１の回転量θに合わせてブロック２４を回転させた場合、ブロック２４の回転向きは撮影画像Ｐicに映り込んだ各々の顔部品の回転向きに応じた配置向きをとる。よって、この時もブロック２４により抽出される垂直エッジ値Ｃspが顔部品１５に対応付けられた値をとり易くなるので、特徴量Ｒｘを一層精度良く算出することができ、ひいては眉間位置１４も一層精度良く特定することができる。   (9) When the block 24 is rotated in accordance with the rotation amount θ of the detection target 1 reflected in the captured image Pic, the rotation direction of the block 24 depends on the rotation direction of each facial part reflected in the captured image Pic. Take the correct orientation. Therefore, since the vertical edge value Csp extracted by the block 24 can easily take the value associated with the face part 15 at this time, the feature amount Rx can be calculated with higher accuracy, and the interbrow position 14 is further increased. It can be specified with high accuracy.

なお、実施形態はこれまでの構成に限らず、以下の態様に変更してもよい。
・ 特徴量Ｒｘを算出する際にブロック２４がスキャンする画像は、必ずしも撮影画像Ｐicの濃淡が垂直エッジ値Ｃspで現された垂直エッジ画像２２に限定されず、例えばこの種のスキャン対象画像は、例えば単に濃度変化の強弱のみが付いた濃度変化画像でもよい。 The embodiment is not limited to the configuration so far, and may be changed to the following modes.
The image scanned by the block 24 when calculating the feature amount Rx is not necessarily limited to the vertical edge image 22 in which the density of the captured image Pic is represented by the vertical edge value Csp. For example, the image may be a density change image with only density change intensity.

・ 特徴量Ｒｘの算出は、左右のブロック値Ｋri，Ｋliの和と積との両方を用いる場合、必ずしも式(8) 〜(10)の各式を用いた算出方法をとることに限定されず、種々の計算式を用いてもよい。また、特徴量Ｒｘの算出は、必ずしも左右のブロック値Ｋri，Ｋliの和と積とを用いた算出方法により行うことに限らず、例えば和のみを用いた値でもよいし、或いは積のみを用いた値でもよい。   The calculation of the feature amount Rx is not necessarily limited to the calculation method using the equations (8) to (10) when both the sum and the product of the left and right block values Kri and Kli are used. Various calculation formulas may be used. The calculation of the feature amount Rx is not necessarily performed by a calculation method using the sum and product of the left and right block values Kri and Kli. For example, a value using only the sum may be used, or only the product may be used. It may be a value.

・ ブロック２４のブロックサイズを左右で変更する場合、まずは左右で同サイズのブロック２４を用いて眉間位置１４を抽出し、その眉間位置１４との垂直エッジ画像２２の画像中央位置Ｐstとの間のズレ量Ｘを算出して、このズレ量Ｘに応じたサイズ比率にブロックサイズを変更する手法をとることに限定されない。例えば、垂直エッジ画像２２に映り込んだ顔画像２７から画面に対する顔画像２７の傾き量を類推し、その傾き量に応じてブロック２４のサイズを左右で変更する手法をとってもよい。   When changing the block size of the block 24 on the left and right, firstly, the inter-brow position 14 is extracted using the same size block 24 on the left and right, and between the image center position Pst of the vertical edge image 22 with the inter-brow position 14 The present invention is not limited to the method of calculating the shift amount X and changing the block size to the size ratio corresponding to the shift amount X. For example, a method may be used in which the inclination amount of the face image 27 with respect to the screen is estimated from the face image 27 reflected in the vertical edge image 22 and the size of the block 24 is changed on the left and right according to the inclination amount.

・ ブロック２４の作成は、式(2)〜(7)の各式を用いた作成手法に限定されず、これは種々のものに自由に置き換え可能である。
・ ブロック２４は、垂直エッジ画像２２から特徴量Ｒｘを算出する際においてその都度作成されることに限定されず、例えば最初からデフォルトとして設定されていてもよい。 The creation of the block 24 is not limited to the creation method using the formulas (2) to (7), and this can be freely replaced with various types.
The block 24 is not limited to being created each time the feature amount Rx is calculated from the vertical edge image 22, and may be set as a default from the beginning, for example.

・ ブロック２４の個数は、必ずしも４つに限らず、例えば左右１つずつの計２つなど、その個数は自由に置き換え可能である。また、ブロック２４の形状は、必ずしも四角形状に限定されず、例えば三角や丸等の種々の形状に置き換え可能である。   The number of blocks 24 is not necessarily limited to four, and the number of blocks 24 can be freely replaced, for example, a total of two blocks, one on each side. Further, the shape of the block 24 is not necessarily limited to a square shape, and can be replaced with various shapes such as a triangle and a circle.

・ ブロック２４の左右間サイズ変更や回転は、必ずしも一方のみを行うのみの構成に限らず、これら両方を行ってもよい。
・ ブロック２４のサイズを左右で異ならせる場合、これは一方のブロックサイズはそのままで他方のみを縮小（又は拡大）する方法を用いることに限定されない。例えば、垂直エッジ画像２２に映り込んだ顔画像２７の横向き量（傾き量）に応じた縮小率で一方のブロックを縮小し、他方を顔画像２７の横向き量に応じた拡大率で拡大するようにしてもよい。 -The size change and rotation between the left and right sides of the block 24 are not necessarily limited to the configuration in which only one is performed, and both may be performed.
When the sizes of the blocks 24 are different on the left and right, this is not limited to using a method of reducing (or enlarging) only the other while keeping one block size as it is. For example, one block is reduced at a reduction rate corresponding to the horizontal amount (tilt amount) of the face image 27 reflected in the vertical edge image 22, and the other is enlarged at an enlargement rate corresponding to the horizontal amount of the face image 27. It may be.

・ 画像処理式物体検出装置２は、検出対象１として人体の顔部品１５を検出するものに限らず、カメラ５の撮影画像Ｐicの中から所定の物体検出を行うものであれば、その検出対象は特に限定されない。   The image processing type object detection device 2 is not limited to detecting the human face part 15 as the detection target 1, and any detection target can be used as long as it can detect a predetermined object from the captured image Pic of the camera 5. Is not particularly limited.

次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
（１）請求項１〜５のいずれかにおいて、前記検出対象画像抽出手段は、前記検出対象を人工照明可能な照明手段で前記検出対象を照明していない時に前記撮影手段が撮影した非投光画像と、前記照明手段で前記検出対象を人工照明した時に前記撮影手段が撮影した投光画像とを連続的に取得し、前記非投光画像と前記投光画像との差分である差分画像を抽出するとともに当該差分画像から前記検出対象画像を抽出する。この構成によれば、非投光画像と投光画像との差分画像をとることにより撮影画像から背景部分を除去して、検出対象のみが映り出した検出対象画像を抽出することになるが、２画像間の差分をとるという処理は比較的簡単な画像処理であることから、この場合は簡単な画像処理で検出対象画像を取得することが可能となる。 Next, technical ideas that can be grasped from the above-described embodiment and other examples will be described below together with their effects.
(1) In any one of Claims 1-5, the said detection target image extraction means is the non-light projection which the said imaging | photography means image | photographed when the said detection target is not illuminated with the illumination means which can artificially illuminate the said detection target An image and a projected image captured by the imaging unit when the detection target is artificially illuminated by the illumination unit are continuously acquired, and a difference image that is a difference between the non-projected image and the projected image is obtained. In addition to extraction, the detection target image is extracted from the difference image. According to this configuration, by removing the background portion from the captured image by taking the difference image between the non-projected image and the projected image, the detection target image in which only the detection target appears is extracted. Since the process of obtaining the difference between the two images is relatively simple image processing, in this case, the detection target image can be acquired by simple image processing.

（２）請求項１〜５のいずれかにおいて、前記撮影画像に映り込んだ前記検出対象が正面向きに対してどれだけ傾いているかの傾き量を検出する傾き量検出手段と、前記特徴量算出手段が前記特徴量を算出する際に用いる前記枠体を、当該枠体の面積を前記傾き量に応じた面積に調整する枠体面積調整手段とを備えた。この構成によれば、特徴量算出手段が枠体を用いて特徴量を算出する際に、最適な大きさの枠体を使用することが可能となるので、特徴量をより精度良く算出することが可能となる。   (2) In any one of Claims 1-5, the inclination amount detection means which detects the inclination amount of how much the detection object reflected in the photographed image is inclined with respect to the front direction, and the feature amount calculation The frame body used when the means calculates the feature amount includes frame body area adjusting means for adjusting the area of the frame body to an area corresponding to the inclination amount. According to this configuration, when the feature amount calculation unit calculates the feature amount using the frame, it is possible to use the optimally sized frame, so that the feature amount can be calculated more accurately. Is possible.

（３）請求項１〜５のいずれかにおいて、前記撮影画像に映り込んだ前記検出対象が正面向きに対してどれだけ回転しているかの回転量を検出する回転量検出手段と、前記特徴量算出手段が前記特徴量を算出する際に用いる前記枠体を、当該枠体の回転向きを前記回転量に応じた向きに調整する枠体回転位置調整手段とを備えた。この構成によれば、特徴量算出手段が枠体を用いて特徴量を算出する際に、最適な回転向きの枠体を使用することが可能となるので、特徴量をより精度良く算出することが可能となる。   (3) In any one of claims 1 to 5, a rotation amount detecting means for detecting a rotation amount of how much the detection object reflected in the photographed image is rotated with respect to the front direction, and the feature amount The frame body used when the calculation means calculates the feature amount includes a frame body rotation position adjustment means for adjusting the rotation direction of the frame body to a direction corresponding to the rotation amount. According to this configuration, when the feature amount calculation unit calculates the feature amount using the frame body, it is possible to use the frame body with the optimum rotation direction, so that the feature amount can be calculated with higher accuracy. Is possible.

一実施形態の画像処理式物体検出装置の概略構成を示す構成図。1 is a configuration diagram illustrating a schematic configuration of an image processing type object detection device according to an embodiment. コントローラがカメラとやり取りする各種信号の波形を示す波形図。The wave form diagram which shows the waveform of the various signals which a controller communicates with a camera. 画像処理式物体検出装置を機能ブロックで表現したブロック図。The block diagram which expressed the image processing type object detection apparatus with the functional block. カメラにより撮影される非投光画像の画像図。The image figure of the non-projection image image | photographed with a camera. カメラにより撮影される投光画像の画像図。The image figure of the light projection image image | photographed with a camera. 非投光画像と投光画像との間の差分である投光差分画像の画像図。The image figure of the light projection difference image which is a difference between a non-light projection image and a light projection image. 垂直エッジ画像のイメージを表す画像図。The image figure showing the image of a vertical edge image. ブロックの具体的作成例を示す説明図。Explanatory drawing which shows the specific example of a block creation. 垂直エッジ画像をブロックでスキャンする際の動作を示す動作図。The operation | movement figure which shows the operation | movement at the time of scanning a vertical edge image by a block. 眉間位置の候補点の決め方を示す説明図。Explanatory drawing which shows how to determine the candidate point of a position between eyebrows. （ａ）は候補点が有効パターンをとる際の画像図、（ｂ）は候補点が無効パターンをとる際の画像図。(A) is an image figure when a candidate point takes an effective pattern, (b) is an image figure when a candidate point takes an invalid pattern. （ａ）は検出対象が横を向いて撮影画像に映り込んだ時の垂直エッジ画像の画像図、（ｂ）はズレ量の算出例を示す説明図、（ｃ）は左右でブロックサイズを異ならせた時のスキャン動作を示す動作図。(A) is an image diagram of a vertical edge image when a detection target is turned sideways and is reflected in a photographed image, (b) is an explanatory diagram showing an example of calculating a shift amount, and (c) is a block size different on the left and right. The operation | movement figure which shows the scanning operation | movement at the time of letting. ブロックを回転させた時のスキャン動作を示す動作図。The operation | movement figure which shows the scanning operation | movement when rotating a block. 垂直エッジ画像に映った顔画像の回転量の算出例を示す説明図。Explanatory drawing which shows the example of calculation of the rotation amount of the face image reflected on the vertical edge image.

符号の説明Explanation of symbols

１…検出対象、２…画像処理式物体検出装置、５…撮影手段としてのカメラ、１４…特定位置としての眉間位置、１５…構成部品としての顔部品、２２…検出対象画像としての垂直エッジ画像、２３…検出対象画像抽出手段としての垂直エッジ画像抽出部、２４…枠体としてのブロック、２４Ｒ…第１枠体としての右ブロック、２４Ｌ…第２枠体としての左ブロック、２５…特徴量算出手段及び排除手段を構成する特徴量算出部、２６…特定手段としての眉間位置特定部、２７…顔画像、２８…垂直エッジ、Ｐic…撮影画像、Ｒｘ…特徴量、Ｐnt…画像座標位置、Ｃsp…垂直エッジ値、Ｋds…減算値、Ｋdz…閾値。   DESCRIPTION OF SYMBOLS 1 ... Detection object, 2 ... Image processing type object detection apparatus, 5 ... Camera as imaging | photography means, 14 ... Position between eyebrows as specific position, 15 ... Facial part as component, 22 ... Vertical edge image as detection target image , 23... Vertical edge image extraction unit as detection target image extraction means, 24... Block as frame, 24 R. Right block as first frame, 24 L. Left block as second frame, 25. Feature amount calculation unit constituting calculation unit and exclusion unit, 26... Eyebrow position specifying unit as specifying unit, 27 .. face image, 28... Vertical edge, Pic .. photographed image, Rx .. feature amount, Pnt. Csp: vertical edge value, Kds: subtraction value, Kdz: threshold value.

Claims (5)

少なくとも検出対象を撮影手段で撮影可能であり、前記撮影手段の撮影画像から前記検出対象を検出するに際し、当該撮影画像に映り込んだ前記検出対象の構成部品を抽出することにより物体検出を行う画像処理式物体検出装置において、
前記撮影手段が撮影した撮影画像を用い、前記構成部品の画像領域部分が強調して映り出した検出対象画像を抽出する検出対象画像抽出手段と、
前記検出対象画像において前記構成部品に対応する画像領域を指定可能な枠体を当該検出対象画像の一領域に当て嵌め、その当て嵌めた前記枠体において該枠体内に映り込んだ構成部品の映り具合として特徴量を算出し、この処理を各々の一領域ごとに順に行う特徴量算出手段と、
前記一領域ごとに算出された前記特徴量の中から、値が最も好適な前記特徴量を取り得る時の前記枠体から導き得る前記検出対象画像における画像座標位置を、当該検出対象画像に映り込んだ前記検出対象の前記構成部品を該撮影画像から抽出する際に用いる特定位置として特定する特定手段と
を備えたことを特徴とする画像処理式物体検出装置。 An image in which at least a detection target can be photographed by a photographing means, and when detecting the detection target from a photographed image of the photographing means, an object detection is performed by extracting a component of the detection target reflected in the photographed image. In the processing type object detection device,
A detection target image extracting means for extracting a detection target image in which an image region portion of the component is emphasized and projected using a captured image captured by the photographing means;
A frame capable of designating an image area corresponding to the component in the detection target image is fitted to one area of the detection target image, and the component reflected in the frame in the fitted frame A feature amount calculating means for calculating a feature amount as a condition, and performing this processing in order for each area;
The image coordinate position in the detection target image that can be derived from the frame when the feature amount having the most suitable value can be obtained from the feature amounts calculated for each region is reflected in the detection target image. An image processing type object detection apparatus comprising: a specifying unit that specifies a specific position to be used when extracting the detected component to be detected from the captured image. 前記検出対象画像抽出手段は、前記撮影画像上で一方向に沿って連なって現れる輝度変化を垂直エッジとして抽出することにより前記検出対象画像として垂直エッジ画像を抽出し、
前記特徴量算出手段は、前記枠体を前記垂直エッジ画像に当て嵌める度に、前記枠体内における前記垂直エッジの総量に応じて決まる垂直エッジ値を前記特徴量として算出することを特徴とする請求項１に記載の画像処理式物体検出装置。 The detection target image extraction unit extracts a vertical edge image as the detection target image by extracting a luminance change appearing continuously along one direction on the captured image as a vertical edge,
The feature amount calculating unit calculates a vertical edge value determined according to a total amount of the vertical edges in the frame as the feature amount each time the frame is fitted to the vertical edge image. Item 2. The image processing type object detection device according to Item 1. 前記特徴量算出手段は、前記検出対象画像の前記構成部品に合わせて前記枠体を複数作成し、複数の当該枠体を前記検出対象画像の一領域に順に当て嵌めて前記特徴量を算出する際、複数の前記枠体の中の１枠体である第１枠体の垂直エッジ値と他の１枠体である第２枠体の垂直エッジ値との加算値を算出するとともに、前記第１枠体の前記垂直エッジ値と前記第２枠体の前記垂直エッジ値との乗算値を算出しつつ、前記加算値及び前記乗算値を用いて前記特徴量を算出することを特徴とする請求項２に記載の画像処理式物体検出装置。   The feature amount calculation means creates a plurality of the frame bodies according to the component parts of the detection target image, and calculates the feature amounts by sequentially fitting the plurality of the frame bodies to a region of the detection target image. In this case, the sum of the vertical edge value of the first frame that is one frame among the plurality of frames and the vertical edge value of the second frame that is the other one frame is calculated, and the first The feature amount is calculated using the addition value and the multiplication value while calculating a multiplication value of the vertical edge value of one frame and the vertical edge value of the second frame. Item 3. The image processing type object detection device according to Item 2. 前記特徴量算出手段は、前記検出対象画像の前記構成部品に合わせて前記枠体を複数作成し、複数の当該枠体を前記検出対象画像の一領域に順に当て嵌めて前記特徴量を算出する構成であって、
複数の前記枠体の中の１枠体である第１枠体の垂直エッジ値と、他の１枠体である第２枠体の垂直エッジ値とを算出した際、これら２つの垂直エッジ値の間の減算値を算出し、当該減算値が閾値以上となって２つの前記エッジ値が大きく乖離する場合、前記検出対象画像上の前記枠体の位置を確認し、当該枠体が前記検出対象画像内にある場合には、この時に特定される前記検出対象画像上の画像座標位置を前記特定位置とはせずに排除する排除手段とを備えたことを特徴とする請求項２又は３に記載の画像処理式物体検出装置。 The feature amount calculation means creates a plurality of the frame bodies according to the component parts of the detection target image, and calculates the feature amounts by sequentially fitting the plurality of the frame bodies to a region of the detection target image. Configuration,
When the vertical edge value of the first frame that is one frame among the plurality of frames and the vertical edge value of the second frame that is the other one frame are calculated, these two vertical edge values If the subtraction value is greater than or equal to a threshold value and the two edge values greatly deviate, the position of the frame on the detection target image is confirmed, and the frame is detected. 4. An exclusion means for excluding the image coordinate position on the detection target image specified at this time without being the specific position when it is in the target image. 2. An image processing type object detection device according to 1. 前記検出対象画像抽出手段は、前記撮影手段が撮影した撮影画像を用いて、前記検出対象の顔画像が映り込んだ前記検出対象画像を抽出し、
前記特徴量算出手段は、前記検出対象画像の一領域に前記枠体を当て嵌め、その当て嵌めた前記枠体において該枠体内に映り込んだ前記顔画像の光反射具合で決まる前記特徴量を抽出し、この処理を各々の一領域ごとに順に行い、
前記特定手段は、前記一領域ごとに抽出された前記特徴量の中から、値が最も好適な前記特徴量を取り得る時の前記枠体から導き得る前記顔画像上の画像座標位置を、当該顔画像に映り込んだ人体の顔部品を該顔画像から抽出する際に用いる前記特定位置としての眉間位置を特定することを特徴とする請求項１〜４のうちいずれか一項に記載の画像処理式物体検出装置。 The detection target image extraction unit extracts the detection target image in which the face image of the detection target is reflected, using the captured image captured by the capturing unit,
The feature amount calculating means applies the frame body to one area of the detection target image, and determines the feature amount determined by a light reflection state of the face image reflected in the frame body in the fitted frame body. Extract and perform this process for each area in turn,
The specifying means determines the image coordinate position on the face image that can be derived from the frame when the feature value having the most suitable value can be obtained from the feature values extracted for each region. 5. The image according to claim 1, wherein the position between the eyebrows is specified as the specific position used when extracting the facial part of the human body reflected in the face image from the face image. 6. Processing type object detection device.
JP2007216216A 2007-08-22 2007-08-22 Image processing type object detector Pending JP2009048558A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007216216A JP2009048558A (en) 2007-08-22 2007-08-22 Image processing type object detector

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007216216A JP2009048558A (en) 2007-08-22 2007-08-22 Image processing type object detector

Publications (1)

Publication Number Publication Date
JP2009048558A true JP2009048558A (en) 2009-03-05

Family

ID=40500684

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007216216A Pending JP2009048558A (en) 2007-08-22 2007-08-22 Image processing type object detector

Country Status (1)

Country Link
JP (1) JP2009048558A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155152A1 (en) * 2010-06-07 2011-12-15 本田技研工業株式会社 Vehicle surroundings monitoring device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011155152A1 (en) * 2010-06-07 2011-12-15 本田技研工業株式会社 Vehicle surroundings monitoring device
US9030560B2 (en) 2010-06-07 2015-05-12 Honda Motor Co., Ltd. Apparatus for monitoring surroundings of a vehicle

Similar Documents

Publication Publication Date Title
WO2011061940A1 (en) Image processing method, and image processing device
EP2324391B1 (en) In-camera based method of detecting defect eye with high accuracy
JP4307496B2 (en) Facial part detection device and program
KR101098087B1 (en) Image processing device, image processing method, and computer readable medium having recorded thereon an image processing program
US20160014328A1 (en) Image processing device, endoscope apparatus, information storage device, and image processing method
TWI689892B (en) Background blurred method and electronic apparatus based on foreground image
WO2015029537A1 (en) Organ imaging apparatus
WO2019109805A1 (en) Method and device for processing image
TWI432168B (en) Endoscope navigation method and endoscopy navigation system
JP5298425B2 (en) Projector and camera
JP2008029702A (en) Method and device for detecting pupil
CN107992866B (en) Biopsy method based on video flowing eye reflective spot
JP2008015915A (en) Image processing method, input interface device
US9826884B2 (en) Image processing device for correcting captured image based on extracted irregularity information and enhancement level, information storage device, and image processing method
WO2022037397A1 (en) Endoscope system and method for detecting when tail end of endoscope comes into contact with tissue
JP2007025758A (en) Face image extracting method for person, and device therefor
US20150363942A1 (en) Image processing device, endoscope apparatus, image processing method, and information storage device
JP2009244946A (en) Traffic light recognizing apparatus, traffic light recognizing method, and traffic light recognizing program
KR101516487B1 (en) Image processing device using difference camera
CN106934349A (en) Dual camera is imaged and iris capturing identification integration apparatus
CN110555809B (en) Background blurring method based on foreground image and electronic device
JP2009048558A (en) Image processing type object detector
JP4452835B2 (en) Method and apparatus for detecting pupils
JP5004099B2 (en) Cursor movement control method and cursor movement control apparatus
JP2009042098A (en) Object detector of image processing type