JP2009048558A - Image processing type object detector - Google Patents
Image processing type object detector Download PDFInfo
- Publication number
- JP2009048558A JP2009048558A JP2007216216A JP2007216216A JP2009048558A JP 2009048558 A JP2009048558 A JP 2009048558A JP 2007216216 A JP2007216216 A JP 2007216216A JP 2007216216 A JP2007216216 A JP 2007216216A JP 2009048558 A JP2009048558 A JP 2009048558A
- Authority
- JP
- Japan
- Prior art keywords
- image
- detection target
- frame
- vertical edge
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、カメラ等の撮像機器から得た撮影画像を用い、その撮影画像に映り込んだ特定画像を抽出する画像処理により物体検出を行う画像処理式物体検出装置に関する。 The present invention relates to an image processing type object detection apparatus that uses a captured image obtained from an imaging device such as a camera and performs object detection by image processing that extracts a specific image reflected in the captured image.
従来、物体の配置位置等を検出する物体検出装置には種々のものがあるが、その中の一種として、例えばカメラ等の撮影機器で検出対象を撮影してその撮影画像を画像処理することにより、カメラの撮影画像から物体検出を行う画像処理式物体検出装置がある。この種の画像処理式物体検出装置には、物体検出として検出対象の顔画像を抽出する顔画像検出装置がある。カメラの撮影画像から物体の顔画像を抽出する顔画像検出装置の一例は、例えば特許文献1に開示されている。この特許文献1の技術は、カメラで連続画像を取得し、これら画像間の差分画像を抽出することで目の瞬きの有無を検出し、この瞬き発生位置から眉間位置を類推し、その眉間位置から目、鼻、口等の各種顔パーツを特定する技術である。
しかし、特許文献1の顔画像検出技術は、カメラの撮影画像から目の瞬きの有無を検出するとともに眉間位置を類推して撮影画像上の各種顔パーツを特定する技術であることから、各種顔パーツは検出対象が瞬きするまで特定できない状況となる。ところが、瞬きには少なからず個人差があることから、例えば体質や癖として瞬きの回数が少ない被写体を検出対象とする場合には、カメラの撮影画像から各種顔パーツを検出することを直ぐに行うことができない問題があった。このため、検出対象の体質や癖等によって顔パーツ特定の完了が左右されず、顔画像検出の処理を開始してからこれを時間ロスなく瞬時に行うことができる技術が望まれていた。
However, since the face image detection technique of
本発明の目的は、撮影手段の撮影画像から検出対象を検出するに際して、これを時間ロスなく瞬時に行うことができる画像処理式物体検出装置を提供することにある。 An object of the present invention is to provide an image processing type object detection device capable of instantaneously detecting a detection target from a photographed image of a photographing means without time loss.
前記問題点を解決するために、本発明では、少なくとも検出対象を撮影手段で撮影可能であり、前記撮影手段の撮影画像から前記検出対象を検出するに際し、当該撮影画像に映り込んだ前記検出対象の構成部品を抽出することにより物体検出を行う画像処理式物体検出装置において、前記撮影手段が撮影した撮影画像を用い、前記構成部品の画像領域部分が強調して映り出した検出対象画像を抽出する検出対象画像抽出手段と、前記検出対象画像において前記構成部品に対応する画像領域を指定可能な枠体を当該検出対象画像の一領域に当て嵌め、その当て嵌めた前記枠体において該枠体内に映り込んだ構成部品の映り具合として特徴量を算出し、この処理を各々の一領域ごとに順に行う特徴量算出手段と、前記一領域ごとに算出された前記特徴量の中から、値が最も好適な前記特徴量を取り得る時の前記枠体から導き得る前記検出対象画像における画像座標位置を、当該検出対象画像に映り込んだ前記検出対象の前記構成部品を該撮影画像から抽出する際に用いる特定位置として特定する特定手段とを備えたことを要旨とする。 In order to solve the above problems, in the present invention, at least a detection target can be photographed by a photographing unit, and when the detection target is detected from a photographed image of the photographing unit, the detection target reflected in the photographed image In the image processing type object detection apparatus that detects an object by extracting the component, the detection target image in which the image area portion of the component is highlighted is extracted using the captured image captured by the imaging unit A detection target image extracting means, and a frame capable of designating an image area corresponding to the component in the detection target image is fitted to a region of the detection target image, and the frame body in the fitted frame The feature amount is calculated as the reflected state of the component part reflected in the feature amount, and the feature amount calculation means for sequentially performing this process for each region, and the calculated amount for each region The component of the detection target that is reflected in the detection target image, the image coordinate position in the detection target image that can be derived from the frame when the feature value with the most favorable value can be obtained from the collected amount And specifying means for specifying as a specific position to be used when extracting the image from the captured image.
この構成によれば、検出対象画像抽出手段は、撮影手段が検出対象を撮影すると、被写体である検出対象が映り込んだ撮影画像を用い、この検出対象の各種構成部品(例えば目や口等)の画像領域部分が強調して映り出した検出対象画像を抽出する。続いて、特徴量算出手段は、検出対象画像上の映り出た各種構成部品を指定可能な枠体を、検出対象画像をその当て嵌め位置を順に変えて当て嵌め、その当て嵌め位置ごとに、枠体内において検出対象画像上の構成部品の映り具合を反映した値として特徴量を算出する。そして、特定手段は、枠体の各当て嵌め位置ごとに算出した特徴量の中から、最も好適な特徴量をとる時の画像座標位置を、検出対象画像から各種構成部品を特定する際の目安位置として用いる特定位置として特定する。 According to this configuration, the detection target image extraction unit uses the captured image in which the detection target as the subject is reflected when the imaging unit captures the detection target, and various components (for example, eyes and mouth) of the detection target. The image to be detected in which the image area portion of the image is highlighted and extracted. Subsequently, the feature amount calculating means fits a frame that can specify various components appearing on the detection target image by changing the fitting position of the detection target image in order, and for each fitting position, The feature amount is calculated as a value reflecting the appearance of the component on the detection target image in the frame. Then, the specifying means determines the image coordinate position when taking the most suitable feature amount from the feature amounts calculated for each fitting position of the frame, and a guideline for specifying various components from the detection target image. It is specified as a specific position used as a position.
従って、本構成においては、撮影手段が検出対象の映り込んだ撮影画像を撮影した際、この撮影画像に各種画像処理が加えられて特定位置が特定されれば、その位置特定時点で撮影画像に映り込んだ検出対象の各種構成部品の配置位置が検出される。即ち、撮影手段が検出対象の映り込んだ撮影画像を撮影すれば、その撮影画像から一義的に特定位置を特定することが可能である。このため、例えば撮影手段で検出対象の撮影画像を取得しても、その撮影画像からは検出対象の構成部品を特定できないような状況にならずに済み、大きな時間ロスを発生させることなく、撮影手段の撮影画像から検出対象の各種構成部品を特定することが可能となる。 Therefore, in this configuration, when the photographing unit captures a captured image that is a detection target, if a specific position is specified by performing various image processing on the captured image, the captured image is displayed at the position specifying time. The arrangement positions of various components to be detected reflected are detected. That is, if the photographing means captures a captured image that is a detection target, the specific position can be uniquely identified from the captured image. For this reason, for example, even if a captured image of the detection target is acquired by the imaging means, it is not necessary to be able to identify the component to be detected from the captured image, and the imaging can be performed without causing a large time loss. It is possible to specify various components to be detected from the captured image of the means.
本発明では、前記検出対象画像抽出手段は、前記撮影画像上で一方向に沿って連なって現れる輝度変化を垂直エッジとして抽出することにより前記検出対象画像として垂直エッジ画像を抽出し、前記特徴量算出手段は、前記枠体を前記垂直エッジ画像に当て嵌める度に、前記枠体内における前記垂直エッジの総量に応じて決まる垂直エッジ値を前記特徴量として算出することを要旨とする。 In the present invention, the detection target image extracting unit extracts a vertical edge image as the detection target image by extracting a luminance change that appears continuously along one direction on the captured image as a vertical edge, and the feature amount The gist is that the calculation means calculates, as the feature amount, a vertical edge value determined according to a total amount of the vertical edges in the frame every time the frame is fitted to the vertical edge image.
この構成によれば、検出対象画像抽出手段は、撮影手段が検出対象の映り込んだ撮影画像を取得すると、検出対象の各種構成部品の映り込んだ画像領域部分が垂直エッジとして現れた垂直エッジ画像を抽出する。そして、特徴量算出手段は、この垂直エッジ画像を用いて特徴量を算出し、枠体の各当て嵌め位置ごとに算出した特徴量を用いて、撮影画像に映り込んだ検出対象の各種構成部品を検出する。ところで、垂直エッジ画像は精度良く検出対象の各種構成部品が浮き出た画像であることから、本構成のように垂直エッジ画像を用いて撮影画像に映り込んだ各種部品の配置位置を検出するようにすれば、撮影画像に映り込んだ検出対象の各種構成部品を精度良く特定することが可能となる。 According to this configuration, the detection target image extracting unit obtains a captured image on which the detection target is reflected, and the vertical edge image in which the image region portion on which the various components to be detected are reflected appears as a vertical edge. To extract. Then, the feature amount calculating means calculates the feature amount using the vertical edge image, and uses the feature amount calculated for each fitting position of the frame to detect various components to be detected reflected in the captured image. Is detected. By the way, since the vertical edge image is an image in which various components to be detected are raised with high precision, the arrangement position of various components reflected in the photographed image is detected using the vertical edge image as in this configuration. By doing so, it is possible to accurately identify various components to be detected that are reflected in the captured image.
本発明では、前記特徴量算出手段は、前記検出対象画像の前記構成部品に合わせて前記枠体を複数作成し、複数の当該枠体を前記検出対象画像の一領域に順に当て嵌めて前記特徴量を算出する際、複数の前記枠体の中の1枠体である第1枠体の垂直エッジ値と他の1枠体である第2枠体の垂直エッジ値との加算値を算出するとともに、前記第1枠体の前記垂直エッジ値と前記第2枠体の前記垂直エッジ値との乗算値を算出しつつ、前記加算値及び前記乗算値を用いて前記特徴量を算出することを要旨とする。 In the present invention, the feature amount calculation means creates a plurality of the frame bodies in accordance with the component parts of the detection target image, and applies the plurality of the frame bodies to one region of the detection target image in order, and the feature. When calculating the amount, the sum of the vertical edge value of the first frame that is one frame among the plurality of frames and the vertical edge value of the second frame that is the other one of the frames is calculated. And calculating the feature value using the addition value and the multiplication value while calculating a multiplication value of the vertical edge value of the first frame and the vertical edge value of the second frame. The gist.
この構成によれば、特徴量は、第1枠体及び第2枠体の和と、第1枠体及び第2枠体の積とを複合した値で算出される。ところで、第1枠体及び第2枠体の和には、これら枠体の全体の輝度強さを重視する特性があり、第1枠体及び第2枠体の積には、これら枠体の輝度均一性を重視する特性があるが、本構成のように特徴量を第1枠体及び第2枠体の和と積とを用いた値で算出すれば、これは和と積とが各々持つ特性をバランスよく満たした値で算出される。よって、撮影手段の撮影画像から検出対象の各種構成部品を検出するに際して、この検出を精度良く行うことが可能となる。 According to this configuration, the feature amount is calculated as a value obtained by combining the sum of the first frame and the second frame and the product of the first frame and the second frame. By the way, the sum of the first frame body and the second frame body has a characteristic that emphasizes the luminance intensity of the entire frame body, and the product of the first frame body and the second frame body has a characteristic of these frame bodies. Although there is a characteristic that places importance on luminance uniformity, if the feature amount is calculated as a value using the sum and product of the first frame and the second frame as in this configuration, the sum and product are respectively It is calculated as a value that satisfies the characteristics of the balance. Therefore, when detecting various components to be detected from the photographed image of the photographing means, this detection can be performed with high accuracy.
本発明では、前記特徴量算出手段は、前記検出対象画像の前記構成部品に合わせて前記枠体を複数作成し、複数の当該枠体を前記検出対象画像の一領域に順に当て嵌めて前記特徴量を算出する構成であって、複数の前記枠体の中の1枠体である第1枠体の垂直エッジ値と、他の1枠体である第2枠体の垂直エッジ値とを算出した際、これら2つの垂直エッジ値の間の減算値を算出し、当該減算値が閾値以上となって2つの前記エッジ値が大きく乖離する場合、前記検出対象画像上の前記枠体の位置を確認し、当該枠体が前記検出対象画像内にある場合には、この時に特定される前記検出対象画像上の画像座標位置を前記特定位置とはせずに排除する排除手段とを備えたことを要旨とする。 In the present invention, the feature amount calculation means creates a plurality of the frame bodies in accordance with the component parts of the detection target image, and applies the plurality of the frame bodies to one region of the detection target image in order, and the feature. A configuration for calculating an amount, wherein a vertical edge value of a first frame that is one frame among the plurality of frames and a vertical edge value of a second frame that is another frame are calculated. When a subtraction value between these two vertical edge values is calculated and the subtraction value is equal to or greater than a threshold value and the two edge values are greatly deviated, the position of the frame on the detection target image is determined. And when the frame is in the detection target image, an exclusion means is provided that excludes the image coordinate position on the detection target image specified at this time without using the specific position. Is the gist.
この構成によれば、2つの枠体の垂直エッジ値の差(減算値)が閾値以上となって大きく乖離する時は、特定位置として有効パターン(あり得るパターン)と無効パターン(あり得ないパターン)とが発生する。ここで、それぞれのパターン例を考えると、有効パターンの一例は、枠体の一部が検出対象画像領域からはみ出してしまった場合が考えられ、無効パターンの一例は、枠体が本来捕らえなければならない画像領域を捕らえずに、1枠体のみで構成部品を捕らえてしまった場合が考えられる。即ち、2つの枠体の垂直エッジ値の差(減算値)が閾値上となる時、その時の枠体の一部が検出対象画像外にはみ出ていれば、この時の特定位置は有効パターンであり、一方で枠体の全てが検出対象画像内に位置していると、この時の特定位置は無効パターンと見なせる。よって、本構成においては、この見分け方を用いて特定位置があり得るか若しくはあり得ないかを区別するので、特定位置として無効パターンを排除することが可能となる。 According to this configuration, when the difference (subtraction value) between the vertical edge values of the two frames is greater than or equal to the threshold value and greatly deviates, the effective position (possible pattern) and the invalid pattern (impossible pattern) are specified as specific positions. ) Occurs. Here, considering each pattern example, an example of an effective pattern may be that a part of the frame has protruded from the detection target image area, and an example of an invalid pattern must be captured by the frame. It is conceivable that a component is captured by only one frame without capturing an image area that is not to be captured. That is, when the difference (subtraction value) between the vertical edges of the two frames is above the threshold value, if a part of the frame at that time protrudes outside the detection target image, the specific position at this time is an effective pattern. On the other hand, if all the frames are located in the detection target image, the specific position at this time can be regarded as an invalid pattern. Therefore, in this configuration, it is possible to eliminate the invalid pattern as the specific position because this distinction is used to distinguish whether the specific position is possible or not.
本発明では、前記検出対象画像抽出手段は、前記撮影手段が撮影した撮影画像を用いて、前記検出対象の顔画像が映り込んだ前記検出対象画像を抽出し、前記特徴量算出手段は、前記検出対象画像の一領域に前記枠体を当て嵌め、その当て嵌めた前記枠体において該枠体内に映り込んだ前記顔画像の光反射具合で決まる前記特徴量を抽出し、この処理を各々の一領域ごとに順に行い、前記特定手段は、前記一領域ごとに抽出された前記特徴量の中から、値が最も好適な前記特徴量を取り得る時の前記枠体から導き得る前記顔画像上の画像座標位置を、当該顔画像に映り込んだ人体の顔部品を該顔画像から抽出する際に用いる前記特定位置としての眉間位置を特定することを要旨とする。 In the present invention, the detection target image extraction unit extracts the detection target image in which the face image of the detection target is reflected, using the captured image captured by the imaging unit, and the feature amount calculation unit includes the feature amount calculation unit, The frame body is fitted to one area of the detection target image, and the feature amount determined by the light reflection state of the face image reflected in the frame body is extracted from the fitted frame body. The identification unit performs the determination on the face image that can be derived from the frame when the feature value having the most suitable value can be obtained from the feature values extracted for each region. The gist of the image coordinate position is to specify the position between the eyebrows as the specific position used when the facial part of the human body reflected in the face image is extracted from the face image.
この構成によれば、撮影手段が検出対象として人物の顔部分を撮影した際、この撮影画像に映り込む顔部品(例えば、眉毛、目、鼻、口等)を精度良く検出することが可能となる。 According to this configuration, it is possible to accurately detect facial parts (for example, eyebrows, eyes, nose, mouth, etc.) reflected in the photographed image when the photographing means photographs a human face portion as a detection target. Become.
本発明によれば、撮影手段の撮影画像から検出対象を検出するに際して、これを時間ロスなく瞬時に行うことができる。 According to the present invention, when detecting a detection target from a photographed image of the photographing means, this can be performed instantaneously without time loss.
(第1実施形態)
以下、本発明を具体化した画像処理式物体検出装置の一実施形態を図1〜図14に従って説明する。
(First embodiment)
Hereinafter, an embodiment of an image processing type object detection apparatus embodying the present invention will be described with reference to FIGS.
図1に示すように、例えば車両運転者等の検出対象1を検出する一検出装置として、撮像機器が撮影した撮影画像から検出対象1そのものや或いはその動き等を検出する画像処理式物体検出装置2がある。画像処理式物体検出装置2には、この画像処理式物体検出装置2を統括制御するコントロールユニットとして働くコントローラ3と、検出対象1及びその背景4を撮影可能なカメラ5と、検出対象1及びその背景4を照射可能な照明装置6とが設けられている。なお、カメラ5が撮影手段に相当する。
As shown in FIG. 1, for example, as a detection device for detecting a
カメラ5は、検出対象1を画像認識すべく検出対象1から出た光がレンズ7を通して撮像面8に結像し、その撮像面8における明るさ度合いを電気信号に変換して出力する。カメラ5は、撮像面8の箇所に並設された複数のイメージセンサ9,9…を持つとともに、これらイメージセンサ9,9…の1つひとつの各画素が検出単位として働いて、検出した光の輝度に応じた値を持つ電気信号を画像データDpcとして出力する。カメラ5がカラー式の場合には、プリズムで光をRGBに分ける3板式や、1つのイメージセンサ9,9…ごとにカラーフィルタを並べる単板式等がある。また、カメラ5は、映像出力方式として画像データDpcの出力形式がアナログ信号であるアナログビデオ出力方式となっている。
The
カメラ5は、図2に示すようにコントローラ3から撮影要求信号Skpを入力すると、その信号入力タイミングをシャッタタイミングとして画像撮影を行ってその撮影画像Picをコントローラ3に出力し、撮影要求信号Skpを入力する度に画像撮影及びその撮影画像出力を行って、撮影画像Picを連続的に出力することにより動画信号Sdpをコントローラ3に出力する。なお、撮影画像Picというのは、画像データDpcを画面表示した際の1枚の画像として表現された画像データDpc群のことを便宜上言うことにする。ところで、単位時間当たりに撮影要求信号Skpが多パルスでコントローラ3からカメラ5に出力されれば、カメラ5は短い間隔で撮影画像Picをコントローラ3に出力することになるので、この時間間隔Wを短くすればするほど単位時間内における撮影画像数が多くなり、動画をより連続的な映像で得ることが可能である。なお、この時間間隔Wは最小の値が一般的に決まっており、例えば1/30秒が一般的である。
When the
また、画像処理式物体検出装置2には、カメラ5が検出対象1を撮影する際に検出対象1をその背景4に亘り人工照明を照射可能な照明装置6が設けられている。照明装置6は、カメラ5に隣接する位置に配置され、例えばLEDやランプ等を光源としている。照明装置6は、カメラ5が検出対象1(背景4を含む)を撮影する時に、照明のオンオフがカメラ5のシャッタタイミングに対応して切り換わるパルス照明が用いられ、より具体的に言うと、カメラ5がインターレース方式で画像撮影を行う場合、そのインターレース方式における偶奇フィールドごとにオンオフを切り換えることで検出対象1の照射を行う。照明装置6の照明強さは、検出対象1に外部光が照射されていない時に検出対象1への照射動作を行っても、その明るさが気にならない程度の強度に設定されている。
Further, the image processing type
コントローラ3は、カメラ系各種データの伝送経路である第1ケーブル10を介してカメラ5に接続されるとともに、このケーブル10を介してカメラ5を統括制御する。また、コントローラ3は、照明装置系各種データの伝送経路である第2ケーブル11を介して照明装置6に接続され、このケーブル11を介して照明装置6を統括制御する。コントローラ3は、例えばCPU12やメモリ13(ROM、RAM)等の各種デバイスから成り、これら部品群を1部品として取り扱い可能となるようにユニット化されている。
The controller 3 is connected to the
コントローラ3のメモリ13には、カメラ5から取得する撮影画像Picを画像処理してその撮影画像Picから検出対象1を抽出することにより検出対象1を検出する画像処理制御プログラムDprが格納されている。本例の画像処理制御プログラムDprは、カメラ5で撮影した撮影画像Picから検出対象1の顔領域を抽出しつつ、この顔領域を用いて検出対象1の眉間位置14(図1参照)を特定するとともにこの眉間位置14を目安にして撮影画像Picに映り込んだ検出対象1の顔部品15(例えば、眉15a、目15b、鼻(鼻下)15c、口15d等)を検出するプログラムである。コントローラ3は、この画像処理制御プログラムDprを逐次実行し、カメラ5が撮影した撮影画像Picに映り込んだ検出対象1の顔部品検出を行う。なお、眉間位置14が特定位置に相当し、顔部品15が構成部品に相当する。
The
図3に示すように、コントローラ3には、画像処理式物体検出装置2の全体を制御するシステム制御部16と、カメラ5が撮影した画像データDpcをシステム制御部16から受け取りこれに画像処理を加えることで画像データDpcに映り込んだ検出対象1を検出する画像処理部17とが設けられている。なお、これらシステム制御部16及び画像処理部17は、CPU12と画像処理制御プログラムDprとが協同することにより機能的に生成されるのもであって、本例においてはこれをブロック図で表現している。
As shown in FIG. 3, the controller 3 receives from the system control unit 16 a
システム制御部16は、画像処理制御プログラムDprに沿いカメラ5に撮影要求信号Skpを出力してこれに画像撮影を行わせる際、その撮影走査方式としてインターレース方式を用いてカメラ5による画像撮影を行う。インターレース方式とは、カメラ5の画像を画面表示する際に目に対する画面のちらつきを少なくする目的で、カメラ走査時に水平走査線を1本おきに飛び越して走査し、これを2回繰り返すことによって1枚の画面を完成させる走査方式のことである。
When the
また、システム制御部16は、画像処理制御プログラムDprに沿い照明装置6に人工照明を行わせる際、インターレース方式における偶奇フィールドごとに照明装置6のオンオフを切り換えて、検出対象1が人工照明されていない時のカメラ5の撮影画像Picである非投光画像18(図4参照)と、検出対象1が人工照明された時のカメラ5の撮影画像Picである投光画像19(図5参照)とを取得し、これら画像18,19を画像処理部17に出力する。システム制御部16は、カメラ5の撮影時に取得する非投光画像18と投光画像19とがほぼ同じ画像となるように、短い時間間隔でカメラ5に撮影動作を行わせて、非投光画像18と投光画像19とを連続的に取得する。
In addition, when the
画像処理部17には、カメラ5が撮影した非投光画像18及び投光画像19の差分をとって投光差分画像20(図6参照)を抽出する差分画像抽出部21と、カメラ5が撮影した撮影画像Pic(投光差分画像20)から検出対象1の垂直エッジ画像22(図7参照)を抽出する垂直エッジ画像抽出部23とが設けられている。また、画像処理部17には、この垂直エッジ画像22に映り出した顔部品15に当て嵌め得るブロック24(図8及び図9参照)を垂直エッジ画像22の各領域に順に当て嵌めていき、そのブロック当て嵌め時の各々においてブロック24内の垂直エッジ値Cspから求まる特徴量Rxを算出する特徴量算出部25と、複数の特徴量Rxのうち最も大きい値をとる時のブロック24から指定される画像座標位置Pnt(図10参照)を眉間位置14として特定する眉間位置特定部26とが設けられている。
The
なお、差分画像抽出部21、垂直エッジ画像抽出部23、特徴量算出部25及び眉間位置特定部26も、CPU12と画像処理制御プログラムDprとが協同することにより機能的に生成されるもので、本例においてはこれをブロック図で表現している。また、垂直エッジ画像22が検出対象画像に相当し、垂直エッジ画像抽出部23が検出対象画像抽出手段に相当し、ブロック24が枠体に相当する。また、特徴量算出部25が特徴量算出手段及び排除手段を構成し、眉間位置特定部26が特定手段に相当する。
The difference
次に、カメラ5の撮影画像Picから検出対象1の顔部品15(眉15a、目15b、鼻(鼻下)15c、口15d等)を検出するまでの動作を説明する。
システム制御部16は、例えば画像処理式物体検出装置2の起動開始スイッチがオン操作されるなどしてカメラ撮影の開始要求操作が行われたことを検出すると、画像処理制御プログラムDprを実行して起動を開始する。このとき、システム制御部16は、撮影要求信号Skpをカメラ5に出力して、検出対象1及びその背景4を含めた領域部分をカメラ5に撮影させる。カメラ5は、システム制御部16から撮影要求信号Skpを取得する度に画像撮影を行い、この撮影画像Picを連続的にシステム制御部16に出力することで動画信号Sdpを出力する。
Next, the operation until the face part 15 (
When the
また、システム制御部16は、カメラ5に検出対象1(背景4も含む)の撮影を行わせる際、インターレース方式における偶奇フィールドごとに照明装置6のオンオフを切り換えて、検出対象1に人工照明を与える。よって、システム制御部16は、照明装置6が検出対象1を人工照明していない時にカメラ5から得る撮影画像Picを非投光画像18として取得し、照明装置6が検出対象1を人工照明した時にカメラ5から得る撮影画像Picを投光画像19として取得し、これら画像18,19を画像処理部17に出力する。なお、非投光画像18と投光画像19は、非常に短いシャッタ間隔で撮影された画像であることから、ほぼ同じ画像をとる。
In addition, when the
ところで、この種の照明装置6は、検出対象1を照らし出す目的で配置することから、検出対象1と照明装置6との間の距離が背景4と照明装置6との間の距離よりも短い距離となることは必然である。よって、照明装置6から検出対象1に至る光量は、照明装置6から背景4に至る光量に比べて多くなり、照明装置6が検出対象1及びその背景4を人工照明した際には、結果として検出対象1が背景4に比べて明るく照射される。このため、カメラ5に撮影画像Picとして検出対象1のみならず背景4までが映り込んでいたとしても、投光画像19は検出対象1の撮影領域部分が明るく照らし出され、背景4の撮影領域部分は非投光画像18と明るさが変わらない画像となる。従って、投光差分画像20は、検出対象1が映り込んだ画像領域が明るく光り、背景4に対応する画像領域が暗くぼやけた画像となる。よって、非投光画像18と投光画像19とから投光差分画像20を抽出して、この画像中の明るい部分のみを抜き出せば、これは検出対象1が映り込んだ画像領域として抽出できるはずである。
By the way, since this kind of illuminating device 6 is arrange | positioned in order to illuminate the
このため、差分画像抽出部21は、カメラ5から非投光画像18と投光画像19とを取得すると、これら画像18,19の差分をとって、図6に示すような投光差分画像20を抽出する。そして、差分画像抽出部21は、投光差分画像20において輝度(濃度)Ckxが閾値Ckr以上となる画像領域を抜き出し、この画像領域を検出対象1の顔が映り出した顔画像27として認識する。差分画像抽出部21は、組を成す非投光画像18と投光画像19とを取得する度に、この2画像18,19から投光差分画像20を抽出して顔画像27を抽出する処理を行う。
For this reason, when the difference
差分画像抽出部21が顔画像27を抽出すると、続いて垂直エッジ画像抽出部23は、図7に示すように、この顔画像27において垂直方向(画像縦方向)の輝度変化が大きくかつ水平方向(画像横方向)には輝度変化が少ない箇所である垂直エッジ28を抽出し、顔画像27をこの垂直エッジ28により表現した画像として垂直エッジ画像22を抽出する。垂直エッジ28は、上述したように顔画像27に映り出た顔部分において水平方向に連なって存在する垂直方向の輝度変化(濃度変化)の大きい箇所を表す画素単位データ群であって、検出対象1の顔部品15(例えば、眉毛15a、目15b、鼻15c、口15d等)の画素位置に現れるものである。また、垂直エッジ画像22とは、この垂直エッジ28の集合体であって、検出対象1の各種顔部品15に対応する画素領域が垂直エッジ28によって眉毛画像28a、目画像28b、鼻画像28c及び口画像28dとして浮き出た画像である。
When the differential
垂直エッジ画像22の抽出方式としては、その一例として例えば式(1) に示すPrewittフィルタを用いて顔画像27の全体をフィルタリングすることにより垂直エッジ28を得るPrewittフィルタ式がある。
また、この垂直エッジ画像22の抽出方式は、必ずしもPrewittフィルタ式を用いることに限らず、例えば撮影画像Pic上において単に輝度変化の大きな箇所を抜き出すことにより抽出する輝度変化抽出式を用いてもよい。即ち、図7からも分かるように、顔部品15付近の垂直エッジ28は、顔部品15の上下に組(ペア)で現れることが多いことから、組が存在する垂直エッジ28を顔部品15として特定することにより垂直エッジ画像22を作成してもよい。
Further, the extraction method of the
垂直エッジ画像抽出部23が垂直エッジ画像22を抽出した後、続いて特徴量算出部25は、垂直エッジ画像22をそのスキャン点を順にずらしてスキャンする時に使用するブロック24を作成する。このブロック24は、垂直エッジ画像22をそのスキャン点をずらして順にスキャンする時の画像上におけるスキャン対象を指定する枠領域であって、顔画像27の大きさに応じて設定される。本例のブロック24は、右ブロック24R及び左ブロック24Lで各々2つずつ合計4つ設けられ、画面左上部に位置する右上部ブロック24Ruが検出対象1の右眉及び右目に対応し、画面左下部に位置する右下部ブロック24Rdが検出対象1の鼻及び口の右側半分に対応し、画面右上部に位置する左上部ブロック24Luが検出対象1の左眉及び左目に対応し、画面右下部に位置する左下部ブロック24Ldが検出対象1の鼻及び口の左側半分に対応している。なお、ブロック24Ru,24Rd,24Lu,24Ldで表す右左は、垂直エッジ画像22を見た方向からの右左ではなく、垂直エッジ画像22に映り込む検出対象1の右左に合わせている。
After the vertical edge
ここで、ブロック24の作成手順を説明するが、これらブロック24は右ブロック24R(右上部ブロック24Ru及び右下部ブロック24Rd)と左ブロック24L(左上部ブロック24Lu及び左下部ブロック24Ld)とが同様の原理で作成されるので、ここでは右側のブロック24Ru,24Rdの作成手順のみ説明する。図8に示すように、上部ブロック24Ruは垂直エッジ画像22に映り込んだ検出対象1の右眉を含んだ右目側画像28arを収め得る大きさ(サイズ)及び位置に作成し、下部ブロック24Rdは垂直エッジ画像22に映り込んだ検出対象1の鼻及び口の右側部分画像28crを収め得る大きさ及び位置に作成する必要がある。なお、右ブロック24Rが第1枠体に相当し、左ブロック24Lが第2枠体に相当する。
Here, the creation procedure of the
このため、まずは図7に示すように、上部ブロック24Ru及び下部ブロック24Rdを設定する際の基準枠として使用する四角形状のブロック抽出用枠領域29を作成する。このブロック抽出用枠領域29の枠領域幅wと枠領域高さhとは、垂直エッジ画像22に映り込んだ顔画像27の全領域幅をW(図7参照)とし、同じく垂直エッジ画像22に映り込んだ顔画像27の全領域高さをH(図7参照)とし、垂直エッジ画像22において顔部品15の眉15a、目15b、鼻15c及び口15dを含ませ得る最小限のブロック抽出用枠領域29を設定する際に必要な幅方向側の係数をaとし、同条件のブロック抽出用枠領域29を設定する際に必要な高さ方向側の係数をbとすると、次式(2),(3) により算出される。
w=W/a … (2)
h=H/b … (3)
For this reason, first, as shown in FIG. 7, a rectangular block
w = W / a (2)
h = H / b (3)
続いて、上部ブロック24Ruの大きさ及び位置を決定するが、図8に示すように上部ブロック24Ruは、ブロック抽出用枠領域29の画面左上頂点30を支点に、この画面左上頂点30から画像幅方向にどの程度の幅だけ延び、かつ画像高さ方向にどの程度の高さだけ延びるかを設定することにより、大きさ及び位置が設定される。上部ブロック24Ruのブロック領域幅Ruw及びブロック領域高さRuhは、処理幅に対する累積取得領域幅割合、即ちブロック抽出用枠領域29の画面左上頂点30からどの程度だけ画像幅方向に長さを延ばすのかを決める際に必要な割合をxとし、処理幅に対する累積取得領域高さ割合、即ちブロック抽出用枠領域29の画面左上頂点30からどの程度だけ画像高さ方向に長さを延ばすのかを決める際に必要な割合をyとすると、次式(4),(5) により算出される。
Ruw=w−w/x … (4)
Ruh=h/y … (5)
Subsequently, the size and position of the upper block 24Ru are determined. As shown in FIG. 8, the upper block 24Ru uses the upper left
Ruw = w−w / x (4)
Ruh = h / y (5)
また、下部ブロック24Rdの大きさ及び位置も上部ブロック24Ruと同様の手順により設定されるが、本例の下部ブロック24Rdはブロック抽出用枠領域29の画面右下頂点31を支点に、この画面右下頂点31から画像幅方向にどの程度の幅だけ延び、かつ画像高さ方向にどの程度の高さだけ延びるかを設定することにより、大きさ及び位置が設定される。下部ブロック24Rdのブロック領域幅Rdw及びブロック領域高さRdhは、次式(6),(7) により算出される。
Rdw=w/x … (6)
Rdh=h/y … (7)
The size and position of the lower block 24Rd are set in the same procedure as the upper block 24Ru, but the lower block 24Rd in this example uses the lower
Rdw = w / x (6)
Rdh = h / y (7)
特徴量算出部25は、以上の手順を経てブロック24(24Ru,24Rd,24Lu,24Ld)を作成すると、図9に示すように垂直エッジ画像22を一領域部分からブロック24で順にスキャンし、そのスキャンごとに各ブロック24Ru,24Rd,24Lu,24Ld…内の垂直エッジ値Cspを算出するとともに、ブロック24Ru,24Rd,24Lu,24Ldごとに算出した垂直エッジ値Cspを用いて特徴量Rxを算出する。なお、ブロック24Ru,24Rd,24Lu,24Ld内におけるそれぞれの垂直エッジ値Cspとは、各々のブロック24Ru,24Rd,24Lu,24Ld内において垂直エッジ28を構成する画素の総和に相当する。即ち、右上部ブロック24Ru内の垂直エッジ値は、右上部ブロック24Ru内の垂直エッジ画素数の総和(加算値)になり、右下部ブロック24Rd、左上部ブロック24Lu、左下部ブロック24Ldもこれと同様である。
When the feature
特徴量算出部25は、特徴量Rxを算出するに際して、まずは右上部ブロック24Ru及び右下部ブロック24Rdの垂直エッジ値Cspの総計である右ブロック値Kriと、左上部ブロック24Lu及び左下部ブロック24Ldの垂直エッジ値Cspの総計である左ブロック値Kliとを算出する。右ブロック値Kri及び左ブロック値Kliは、右上部ブロック24Ru内の垂直エッジ値Cspを右上部ブロック値Kruとし、右下部ブロック24Rd内の垂直エッジ値Cspを右下部ブロック値Krlとし、左上部ブロック24Lu内の垂直エッジ値Cspを左上部ブロック値Kluとし、左下部ブロック24Ld内の垂直エッジ値Cspを左下部ブロック値Kllとすると、次式(8),(9) により算出される。
Kri=Kru×Krl … (8)
Kli=Klu×Kll … (9)
特徴量算出部25は、右ブロック値Kri及び左ブロック値Kliを算出すると、これらブロック値Kri,Kliを用いて特徴量Rxを算出する。特徴量Rxは、右ブロック値Kri及び左ブロック値Kliの和(加算値)と積(乗算値)とを用いて算出され、具体的に言うと次式(10)により算出される。
Kri = Kru x Krl (8)
Kli = Klu × Kll (9)
When calculating the right block value Kri and the left block value Kli, the feature
特徴量算出部25は、ブロック24を垂直エッジ画像22の一領域部分に当て嵌めて、垂直エッジ画像22を一領域部分からブロック24で順にスキャンしていくが、そのスキャンごとに、ブロック24内の垂直エッジ値Cspの総計として特徴量Rxを算出する。このスキャンは、図9に示すように、まずは最初にブロック24Ruが画面左端に位置する箇所(図9の垂直エッジ画像22aの状態)から開始され、特徴量算出が完了する度に画面右側に数画素分ずつシフトしていく。そして、ブロック24が垂直エッジ画像22の画面右端に位置(図9の垂直エッジ画像22bの状態)した際には、今度はブロック24が数画素だけ画面下側にシフト(図9の垂直エッジ画像22cの状態)し、その後は特徴量算出が完了する度に画面左側に数画素分ずつシフトしていく。このように、スキャンは、ブロック24が画面端に到達したら画面下側にシフトして、それまでとは逆側の横方向にシフト移動する動きを繰り返すことにより行われる。
The feature
このとき、特徴量Rxは、ブロック24内の垂直エッジ値Cspが高い画像領域をスキャンした時、即ち垂直エッジ画像22に映り込んだ顔部品画像領域(眉毛画像28a、目画像28b、鼻画像28c及び口画像28d等)をブロック24でスキャンした時(図9の垂直エッジ画像22dの状態)に最も大きい値をとる。具体的に言うならば、特徴量Rxは、右上部ブロック24Ruが垂直エッジ画像22の右眉及び右目部分に当て嵌まり、左上部ブロック24Luが垂直エッジ画像22の左眉及び左目部分に当て嵌まり、右下部ブロック24Rdが垂直エッジ画像22の目や口の右側部分に当て嵌まり、左下部ブロック24Ldが垂直エッジ画像22の目や口の左側部分に当て嵌まった時に、最も大きい値をとる。
At this time, the feature amount Rx is the face component image area (
特徴量算出部25が各々のスキャン位置において全ての特徴量Rxを算出すると、続いて眉間位置特定部26は、この特徴量Rxを用いて眉間位置14を特定する。眉間位置特定部26は、ブロック24が垂直エッジ画像22で各スキャン位置をとる時に、図10に示すように各々のスキャン位置において右上部ブロック24Ruと左上部ブロック24Luとの中間に位置する画像座標を、撮影画像Picに映り込んだ検出対象1の眉間位置の候補点Pxaとして認識する。本例の候補点Pxaは、より具体的に言うと、右上部ブロック24Ruの上辺と左上部ブロック24Luの上辺とを結んだ結線Lx(図10参照)の中間位置に相当する点として設定されている。そして、眉間位置特定部26は、全てのスキャン位置において特徴量Rxを算出すると、各々のスキャン位置ごとに抽出されたこれら候補点Pxaの中から、特徴量Rxが最も高くなる時の候補点Pxaを眉間位置14として特定する。
When the feature
ところで、式(10)からも分かるように、本例の特徴量Rxは右ブロック値Kri及び左ブロック値Kliの和(=Kri+Kli)と、右ブロック値Kri及び左ブロック値Kliの積(=Kri×Kli)とを用いて算出される。このように、特徴量Rxをこれらブロック値Kri,Kliの和と積とを用いて算出する理由は以下の通りである。例えば、特徴量Rxが右ブロック値Kriと左ブロック値Kliとの和のみで算出される場合を考えると、これらブロック値Kri,Kliの和というのは、画像全体のエッジ強さを重視するものであることから、例えば検出対象1が横を向いた時に左右のうち一方の垂直エッジ値が「0」となりつつ他方が極端に高い値をとった場合でも、これを眉間位置14として誤検出する状況に陥ってしまうことがある。また、一方で特徴量Rxが右ブロック値Kriと左ブロック値Kliとの積のみで算出される場合を考えると、これらブロック値Kri,Kliの積というのは、左右のエッジ均一性を重視するものであることから、例えば片目隠蔽時には片目側の垂直エッジ値Cspが極端に低下するので、合計のエッジ値が大きく低下してこの時には眉間位置14を特定できない状況に陥ってしまうことがある。
As can be seen from the equation (10), the feature amount Rx of this example is the product of the sum of the right block value Kri and the left block value Kli (= Kri + Kli) and the right block value Kri and the left block value Kli (= Kri). × Kli). Thus, the reason for calculating the feature amount Rx using the sum and product of these block values Kri and Kli is as follows. For example, considering the case where the feature amount Rx is calculated only by the sum of the right block value Kri and the left block value Kli, the sum of the block values Kri and Kli places importance on the edge strength of the entire image. Therefore, for example, even when the
しかし、本例の特徴量Rxは、右ブロック値Kri及び左ブロック値Kliの和と積により算出されるこれらの複合値であることから、和のみで特徴量Rxを算出する時に生じる懸念と、積のみで特徴量Rxを算出する時に生じる懸念との両方が緩和された値をとる。即ち、本例の特徴量Rxは、和で特徴量Rxを算出する時の有利点である全体の垂直エッジ強さと、積で特徴量Rxを算出する時の有利点である左右の垂直エッジ均一性確保との2点をバランスよく満たす値をとる。よって、このような特性値として好適な値をとる特徴量Rxにより眉間位置14を特定すれば、この時に特定される眉間位置14はより正確に垂直エッジ画像22上における眉間部分をとる。
However, since the feature amount Rx in this example is a composite value calculated by the sum and product of the right block value Kri and the left block value Kli, there is a concern that arises when the feature amount Rx is calculated only by the sum. Both the concern that arises when calculating the feature value Rx only by the product takes a relaxed value. That is, the feature amount Rx in this example is the same as the total vertical edge strength that is an advantage when calculating the feature amount Rx as a sum, and the left and right vertical edges that are the advantage when calculating the feature amount Rx as a product. The value that satisfies the two points of ensuring the balance with good balance. Therefore, if the
また、特徴量算出部25は、各々のスキャン位置において特徴量Rxを算出する際、特徴量Rxの算出とともに、右ブロック値Kriと左ブロック値Kliとの差をとって減算値Kds(=Kri−Kli)の絶対値を算出し、この減算値Kdsが閾値Kds以上となるか否かを判定する。減算値Kdsが閾値Kds以上となる場合というのは、例えば図11(a),(b)に示すように、検出対象1が横向きとなった時にカメラ5が検出対象1を撮影した際に起こり得るものである。このときは、左右ブロックのうちの一方で垂直エッジ28を検出するが、他方では垂直エッジ28を検出しない状態となるので、右ブロック値Kriと左ブロック値Kliとの間で値が大きくずれ、その減算値Kdsが閾値Kds以上となる。
Further, when calculating the feature value Rx at each scan position, the feature
ここで、図11(a)と図11(b)とを見てみると、図11(a)に示す状況は、右上部ブロック24Ruが垂直エッジ画像22の枠外にはみ出して、右ブロック値Kriが「0」に近い値をとることを原因として起こるものである。また、図11(b)に示す状況は、右上部ブロック24Ruが検出対象1の左眉画像28aaや左目画像28baを検出してそれ以外のブロック24Rd,24Lu,24Rdは顔部品15を検出せず、左ブロック値Kliが「0」に近い値をとることを原因として起こるものである。このように、図11(a),(b)のいずれの場合も、右ブロック値Kriと左ブロック値Kliとが大きな差を持つことになり、減算値Kdsが閾値Kds以上となる。
Here, looking at FIG. 11A and FIG. 11B, the situation shown in FIG. 11A is that the upper right block 24Ru protrudes out of the frame of the
ここで、図11(a)に示す状況というのは、右上部ブロック24Ruが垂直エッジ画像22からはみ出してしまっているだけで、この時の特徴量Rxから導かれる垂直エッジ画像22上の候補点Pxaは眉間位置14としてあり得るパターンであると見なせる。一方、図11(b)に示す状況というのは、ブロック24Ru,24Rd,24Lu,24Ldが垂直エッジ画像22内に全て位置して、その中の右上部ブロック24Ruで左眉画像28aaや左目画像28baを検出してしまっていることから、この時の特徴量Rxから導かれる垂直エッジ画像22上の候補点Pxaは検出対象1の左耳付近の位置を指し示す位置となってしまい、これは眉間位置14として無効パターン(あり得ないパターン)であると見なせる。
Here, the situation shown in FIG. 11A is that the upper right block 24Ru only protrudes from the
よって、特徴量算出部25は、右ブロック値Kriと左ブロック値Kliとの差(減算値Kds)が閾値Kdz以上をとる場合、ブロック24Ru,24Rd,24Lu,24Ldの配置位置を確認し、もし仮にブロック24Ru,24Rd,24Lu,24Ldの中の少なくとも1つでも垂直エッジ画像22の画像領域から外れていれば、この時の候補点Pxaを許容し、特徴量Rxをそのままの値で取り込む。一方、特徴量算出部25は、右ブロック値Kriと左ブロック値Kliとの差(減算値Kds)が閾値Kdz以上をとった時にブロック24Ru,24Rd,24Lu,24Ldの配置位置を確認した際、もし仮にブロック24Ru,24Rd,24Lu,24Ldが全て垂直エッジ画像22の画像領域内に含まれていれば、この時の候補点Pxaを眉間位置14として取り込まないようにするために、特徴量Rxの値を所定量下げたり、或いは「0」にしたりする。特徴量Rxの値が所定量下げられていたり、或いは「0」になったりすれば、この時に候補点Pxaが眉間位置14に選出されることはないので、この時の候補点Pxaが眉間位置14の候補対象から排除される。
Therefore, when the difference (subtraction value Kds) between the right block value Kri and the left block value Kli is greater than or equal to the threshold value Kdz, the feature
従って、本例の眉間位置検出処理は、撮影画像Picから垂直エッジ画像22を抽出するとともに、その垂直エッジ画像22からサイズが決定されるブロック24で、垂直エッジ画像22をその一画像領域から順にスキャンしていき、ブロック24内の垂直エッジ値Cspの総計である特徴量Rxをスキャン位置ごとに算出し、その特徴量Rxが最も高い値をとる時の候補点Pxa(画像座標位置Pnt)を眉間位置14として特定する処理である。よって、このように抽出した特徴量Rxというのは、例え仮に検出対象1が横を向いていたり、或いは片目を閉じていたりした状態であっても、これら状況が許容された値として算出されるので、この特徴量Rxを用いて抽出した眉間位置14を特定するようにすれば、眉間位置14を精度良く特定することが可能となる。
Accordingly, the eyebrow position detection process of this example extracts the
また、本例の眉間位置検出処理は、カメラ5で非投光画像18と投光画像19とを取得してこれら画像18,19間の差分である投光差分画像20を抽出して、その投光差分画像20を用いて特徴量Rxを抽出することができれば、その時点で眉間位置14を特定することが可能である。このため、カメラ5が撮影画像Picを取り込めばその画像から一義的に眉間位置14が特定されることになるので、カメラ5から撮影画像Picを取得できても眉間位置14を特定できないという状況が生じなくなり、時間ロスが発生することなくカメラ5の撮影画像Picにおける検出対象1の眉間位置14を特定することが可能となる。
In addition, the position detection process between the eyebrows in this example is performed by acquiring the
更に、本例においてカメラ5の撮影画像Picから検出対象1の眉間位置14を特定するに際しては特徴量Rxという特性値を算出するが、この特徴量Rxというのは、右ブロック値Kriと左ブロック値Kliの和と積とを用いて算出される。このため、右ブロック値Kriと左ブロック値Kliとの和が利点として持つ特性である全体の垂直エッジ28の強さ確保と、右ブロック値Kriと左ブロック値Kliとの積が利点として持つ特性である左右エッジの均一性とをバランスよく満たす特徴量Rxを算出することが可能となる。よって、このような好適な値を満たす特徴量Rxを用いて眉間位置14を算出するので、眉間位置14をより精度良く特定することが可能となる。
Furthermore, in this example, when specifying the
また、本例のブロック24は右ブロック24Rと左ブロック24Lとで同サイズ(同形状)のものを使用したが、両ブロック24R,24Lが同サイズの場合は、検出対象1の顔がカメラ5に対して正面を向いているときには、垂直エッジ画像22は左右対称画像をとることから、両ブロック24R,24Lが同サイズでも眉間位置14を好適に特定することができる。しかし、例えば図12(a)に示すように、検出対象1が斜めを向いた時の撮影画像Picが撮影された場合には、検出対象1は左右がアンバランスな斜め向き状態で垂直エッジ画像22に映り込むことから、右ブロック24R及び左ブロック24Lが同サイズのものを用いた場合には、厳密な眉間位置14の特定に支障を来す。
The
そこで、垂直エッジ画像抽出部23がブロック24を作成する際、ブロック24を左右でサイズを異ならせた形状で作成してもよい。この例の場合、垂直エッジ画像抽出部23は、まずは上記した通りの手順に則って左右が同サイズのブロック24を作成して通常通りに眉間位置14を特定し、眉間位置14の特定後、図12(b)に示すようにその眉間位置14が垂直エッジ画像22の画像中央位置Pstに対してどれだけずれているのかのズレ量Xを算出する。そして、垂直エッジ画像抽出部23は、図12(c)に示すようにそのズレ量Xの大きさに応じて右ブロック24R及び左ブロック24Lのサイズを異ならせ、このブロック24R,24Lを使用して眉間位置14を再抽出する。
Therefore, when the vertical edge
図12(a)に示すように、候補点Pxaが垂直エッジ画像22の画像中央位置かPstら画面左側にずれている場合、この時に撮影画像Picに映り込んだ検出対象1というのは、画面左側に傾く状態で映り込んでいることから、検出対象1は右目画像28bb側が小さく、一方で左目画像28ba側はそれよりも大きい状態で映り出している。このため、垂直エッジ画像抽出部23は、左右で同じサイズで作成したブロック24を左右で異ならせるべく、本例においてはその時のズレ量Xに応じた縮小率で右ブロック24Rを縮小し、左ブロック24Lはそのままの大きさをとらせることにより、図12(c)に示すような左右でサイズ率の異なる新たなブロック24xを作成する。本例のブロック24Rの縮小は、各ブロック24Ru,24Rdの内寄りの辺24Ru1,24Rd1をそのままにして、外側の辺24Ru2,24Rd2を内寄りに移動させることにより行う。そして、垂直エッジ画像抽出部23は、この新たなブロック24xで垂直エッジ画像22を再スキャンして特徴量Rxを再度算出して、眉間位置14を特定し直す。なお、この場合は、左右でサイズの異なるブロック24xを用いて特徴量算出を行うことになるので、ブロック値Kri,Kliを垂直エッジ値Cspの累積とするのではなく、平均値を求める処理が必要となる。
As shown in FIG. 12A, when the candidate point Pxa is shifted from the image center position of the
よって、この処理方式を採用した場合、もし仮に撮影画像Picに映り込んだ検出対象1が画面に対して横を向く傾き状態をとっていたときは、左右のブロック24R,24Lのブロックサイズをこの時の横向き量に応じたサイズ率に変更し、この左右でサイズの異なるブロック24xを用いて眉間位置14を再特定する。このため、ただ単に左右同サイズのブロック24を用いて眉間位置14を特定する場合に比べ、検出対象1が横を向く状態の時に適したブロックサイズを持つブロック24xで特徴量Rxが算出されるので、眉間位置14をより一層精度良く特定することが可能となる。
Therefore, when this processing method is adopted, if the
また、状況によっては、カメラ5の被写体である検出対象1が、図13に示すように画面に対して所定の回転量θだけ回転した状態で垂直エッジ画像22に映り出す場合もある。この時も検出対象1は左右がアンバランスな状態で垂直エッジ画像22に映り込むことになるので、もし仮に右ブロック24R及び左ブロック24Lが同サイズのものを用いて眉間位置14の検出を行うと、厳密な眉間位置14の特定に支障を来すことになることが分かる。
Further, depending on the situation, the
そこで、垂直エッジ画像抽出部23は、特徴量Rxの算出処理時においてブロック24で画像スキャンを行う際、このブロック24を必要に応じて回転させ、その回転位置ごとに特徴量Rxを順次算出することを行うものでもよい。この例の場合、垂直エッジ画像抽出部23は、まずは上記した通りの手順に則って左右が同サイズのブロック24を作成し、このブロック24を各スキャン位置において一定角度(例えば5〜10度等)ごとに回転させて、その角度位置ごとに特徴量Rxを算出する。そして、垂直エッジ画像抽出部23は、各々のスキャン位置において所定角度ずつ回転させてその時々の特徴量Rxを算出するという処理を、垂直エッジ画像22(投光差分画像20)を取得する度に繰り返し行う。
Therefore, the vertical edge
このため、もし仮に撮影画像Picに映り込んだ検出対象1が画面に対して回転していたとしても、この場合の特徴量Rxは垂直エッジ画像22に映り込んだ検出対象1の回転位置に適した特性値として算出されることになる。よって、ただ単に左右同サイズのブロック24を用いて眉間位置14を特定する場合に比べ、より適した角度向きのブロック24で特徴量Rxを算出可能となるので、眉間位置14の特定精度をより一層向上することが可能となる。
For this reason, even if the
また、ブロック24を回転させるに際しては、ブロック24を一定角度ずつ順に回転させる手法をとることに限定されない。例えば、垂直エッジ画像抽出部23は、垂直エッジ画像22を抽出した際に、図14に示すように、この垂直エッジ画像22(顔画像)の右端エッジ32の傾き(水平方向における垂直エッジの角度)を抽出しつつ、同じく垂直エッジ画像22(顔画像)の左端エッジ33の傾きを抽出して、これら傾きから検出対象1の画面に対する回転量θを算出する。垂直エッジ画像抽出部23は、垂直エッジ画像22から顔画像27の輪郭をとることで左右のエッジ32,33を類推する。垂直エッジ画像抽出部23は、この回転量θに応じた角度だけブロック24を回転させ、その回転位置で特徴量Rxを算出する。この場合は、ブロック24を回転させる回数が少なく済むので、特徴量Rxの算出時間の短時間化を図ることが可能となる。
Moreover, when rotating the
本実施形態の構成によれば、以下に記載の効果を得ることができる。
(1)カメラ5の撮影画像Picから垂直エッジ画像22を抽出し、垂直エッジ画像22の一特定領域を当て嵌め可能な領域範囲を持つブロック24で垂直エッジ画像22の画像領域を順にスキャンして、そのスキャン位置ごとにブロック24内の垂直エッジ値Cspの総計である特徴量Rxを算出し、特徴量Rxが最も高い値をとる時のブロック24のスキャン位置から導かれる画像座標位置Pntを眉間位置14として特定する。このため、カメラ5が検出対象1の画像撮影を行って撮影画像Picを取り込んだ際、その撮影画像Picからは一義的に眉間位置14が特定される。よって、カメラ5で検出対象1の撮影画像Picを取得してもその撮影画像Picから検出対象1の眉間位置14を特定できないという状況が生じずに済み、カメラ5で検出対象1の撮影を開始して直ぐに眉間位置14を特定することができ、眉間位置14の特定に際して大きな時間ロスが生じることない。
According to the configuration of the present embodiment, the following effects can be obtained.
(1) The
(2)特徴量Rxを算出するに際しては、垂直エッジ画像22にブロック24をスキャンすることによって行われる。ところで、この種の垂直エッジ画像22は精度良く検出対象1の顔部品15が浮き出る画像となることから、このような特性を持つ垂直エッジ画像22を用いて撮影画像Picに映り込んだ顔部品15の配置位置を検出するようにすれば、撮影画像Picに映り込む眉間位置14(各種顔部品15)を精度良く特定することができる。
(2) The feature amount Rx is calculated by scanning the
(3)眉間位置14の特定の際に用いられる特徴量Rxは、右ブロック24R及び左ブロック24Lの和と、右ブロック24R及び左ブロック24Lの積との両方を用いた値で算出される。このため、右ブロック24R及び左ブロック24Lの和には、全体の垂直エッジ値Cspの強さが重視される利点があり、一方で右ブロック24R及び左ブロック24Lの積には、左右の垂直エッジ値Cspの均一性が重視される利点があるが、本例のように特徴量Rxが左右のブロック24R,24Lの和と積とから算出されるようにすれば、特徴量Rxを和と積とが各々持つ利点をバランス良く満たした値として算出することができる。よって、高特性値を持つ特徴量Rxを用いて眉間位置14が抽出されるので、眉間位置14の検出精度を一層高いものとすることができる。
(3) The feature amount Rx used in specifying the
(4)右ブロック値Kriと左ブロック値Kliとの差(減算値Kds)が閾値Kdz以上となって大きく乖離する場合、この時に導出される眉間位置14は、眉間位置14としてあり得るパターン(図11(a)に示す状態)とあり得ないパターン(図11(b)の状態)とが発生する。このとき、眉間位置14としてあり得るパターンの場合はブロック24の少なくとも一部が垂直エッジ画像22からはみ出し、一方で眉間位置14としてあり得ないパターンの場合はブロック24が全て垂直エッジ画像22に収まる状態となるので、右ブロック値Kriと左ブロック値Kliとの差(減算値Kds)が閾値Kdz以上となって大きく乖離する時にブロック24の配置位置を確認するようにすれば、眉間位置14としてあり得ないパターンを無効パターンとして排除することができる。
(4) When the difference (subtraction value Kds) between the right block value Kri and the left block value Kli is greater than or equal to the threshold value Kdz, the
(5)本例の画像処理式物体検出装置2は、カメラ5で人体(顔部分)を撮影し、その撮影画像Picに映り込んだ顔画像27から人体の顔部品15を抽出するものである。従って、本例の画像処理式物体検出装置2を使用すれば、カメラ5に映り込んだ人体の顔部品15を精度良く検出することができる。
(5) The image processing type
(6)カメラ5の撮影画像Picからの顔画像27の抽出は、照明装置6が検出対象1を人工照明しない時の撮影画像である非投光画像18と、照明装置6が検出対象1を人工照明した時の撮影画像である投光画像19との差分である投光差分画像20を抽出することにより行う。このため、カメラ5の撮影画像Picから顔画像27を抽出するに際しては、2画像の差分をとるという簡単な画像処理で顔画像27を抽出することができる。
(6) Extraction of the
(7)垂直エッジ画像22をスキャンする時に使用するブロック24は、検出対象1の顔部品15、即ち右目、左目、口(鼻)の右部分、口(鼻)の左部分に対応するように4つのブロック24Ru,24Rd,24Lu,24Ldから成る。このため、垂直エッジ画像22のスキャン時にブロック24により抽出される垂直エッジ値Cspは、顔部品15に対応付けられた値として算出され易くなるので、特徴量Rxを精度良く算出することができ、ひいては眉間位置14を精度良く特定することができる。
(7) The
(8)撮影画像Picに映り込んだ検出対象1の傾き量に合わせてブロック24のサイズを左右で異ならせた場合、ブロック24のサイズは撮影画像Picに映り込んだ各々の顔部品15の部品サイズに対応した大きさをとる。このため、ブロック24により抽出される垂直エッジ値Cspが顔部品15に対応付けられた値をとり易くなるので、特徴量Rxを一層精度良く算出することができ、ひいては眉間位置14も一層精度良く特定することができる。
(8) When the size of the
(9)撮影画像Picに映り込んだ検出対象1の回転量θに合わせてブロック24を回転させた場合、ブロック24の回転向きは撮影画像Picに映り込んだ各々の顔部品の回転向きに応じた配置向きをとる。よって、この時もブロック24により抽出される垂直エッジ値Cspが顔部品15に対応付けられた値をとり易くなるので、特徴量Rxを一層精度良く算出することができ、ひいては眉間位置14も一層精度良く特定することができる。
(9) When the
なお、実施形態はこれまでの構成に限らず、以下の態様に変更してもよい。
・ 特徴量Rxを算出する際にブロック24がスキャンする画像は、必ずしも撮影画像Picの濃淡が垂直エッジ値Cspで現された垂直エッジ画像22に限定されず、例えばこの種のスキャン対象画像は、例えば単に濃度変化の強弱のみが付いた濃度変化画像でもよい。
The embodiment is not limited to the configuration so far, and may be changed to the following modes.
The image scanned by the
・ 特徴量Rxの算出は、左右のブロック値Kri,Kliの和と積との両方を用いる場合、必ずしも式(8) 〜(10)の各式を用いた算出方法をとることに限定されず、種々の計算式を用いてもよい。また、特徴量Rxの算出は、必ずしも左右のブロック値Kri,Kliの和と積とを用いた算出方法により行うことに限らず、例えば和のみを用いた値でもよいし、或いは積のみを用いた値でもよい。 The calculation of the feature amount Rx is not necessarily limited to the calculation method using the equations (8) to (10) when both the sum and the product of the left and right block values Kri and Kli are used. Various calculation formulas may be used. The calculation of the feature amount Rx is not necessarily performed by a calculation method using the sum and product of the left and right block values Kri and Kli. For example, a value using only the sum may be used, or only the product may be used. It may be a value.
・ ブロック24のブロックサイズを左右で変更する場合、まずは左右で同サイズのブロック24を用いて眉間位置14を抽出し、その眉間位置14との垂直エッジ画像22の画像中央位置Pstとの間のズレ量Xを算出して、このズレ量Xに応じたサイズ比率にブロックサイズを変更する手法をとることに限定されない。例えば、垂直エッジ画像22に映り込んだ顔画像27から画面に対する顔画像27の傾き量を類推し、その傾き量に応じてブロック24のサイズを左右で変更する手法をとってもよい。
When changing the block size of the
・ ブロック24の作成は、式(2)〜(7)の各式を用いた作成手法に限定されず、これは種々のものに自由に置き換え可能である。
・ ブロック24は、垂直エッジ画像22から特徴量Rxを算出する際においてその都度作成されることに限定されず、例えば最初からデフォルトとして設定されていてもよい。
The creation of the
The
・ ブロック24の個数は、必ずしも4つに限らず、例えば左右1つずつの計2つなど、その個数は自由に置き換え可能である。また、ブロック24の形状は、必ずしも四角形状に限定されず、例えば三角や丸等の種々の形状に置き換え可能である。
The number of
・ ブロック24の左右間サイズ変更や回転は、必ずしも一方のみを行うのみの構成に限らず、これら両方を行ってもよい。
・ ブロック24のサイズを左右で異ならせる場合、これは一方のブロックサイズはそのままで他方のみを縮小(又は拡大)する方法を用いることに限定されない。例えば、垂直エッジ画像22に映り込んだ顔画像27の横向き量(傾き量)に応じた縮小率で一方のブロックを縮小し、他方を顔画像27の横向き量に応じた拡大率で拡大するようにしてもよい。
-The size change and rotation between the left and right sides of the
When the sizes of the
・ 画像処理式物体検出装置2は、検出対象1として人体の顔部品15を検出するものに限らず、カメラ5の撮影画像Picの中から所定の物体検出を行うものであれば、その検出対象は特に限定されない。
The image processing type
次に、上記実施形態及び別例から把握できる技術的思想について、それらの効果とともに以下に追記する。
(1)請求項1〜5のいずれかにおいて、前記検出対象画像抽出手段は、前記検出対象を人工照明可能な照明手段で前記検出対象を照明していない時に前記撮影手段が撮影した非投光画像と、前記照明手段で前記検出対象を人工照明した時に前記撮影手段が撮影した投光画像とを連続的に取得し、前記非投光画像と前記投光画像との差分である差分画像を抽出するとともに当該差分画像から前記検出対象画像を抽出する。この構成によれば、非投光画像と投光画像との差分画像をとることにより撮影画像から背景部分を除去して、検出対象のみが映り出した検出対象画像を抽出することになるが、2画像間の差分をとるという処理は比較的簡単な画像処理であることから、この場合は簡単な画像処理で検出対象画像を取得することが可能となる。
Next, technical ideas that can be grasped from the above-described embodiment and other examples will be described below together with their effects.
(1) In any one of Claims 1-5, the said detection target image extraction means is the non-light projection which the said imaging | photography means image | photographed when the said detection target is not illuminated with the illumination means which can artificially illuminate the said detection target An image and a projected image captured by the imaging unit when the detection target is artificially illuminated by the illumination unit are continuously acquired, and a difference image that is a difference between the non-projected image and the projected image is obtained. In addition to extraction, the detection target image is extracted from the difference image. According to this configuration, by removing the background portion from the captured image by taking the difference image between the non-projected image and the projected image, the detection target image in which only the detection target appears is extracted. Since the process of obtaining the difference between the two images is relatively simple image processing, in this case, the detection target image can be acquired by simple image processing.
(2)請求項1〜5のいずれかにおいて、前記撮影画像に映り込んだ前記検出対象が正面向きに対してどれだけ傾いているかの傾き量を検出する傾き量検出手段と、前記特徴量算出手段が前記特徴量を算出する際に用いる前記枠体を、当該枠体の面積を前記傾き量に応じた面積に調整する枠体面積調整手段とを備えた。この構成によれば、特徴量算出手段が枠体を用いて特徴量を算出する際に、最適な大きさの枠体を使用することが可能となるので、特徴量をより精度良く算出することが可能となる。 (2) In any one of Claims 1-5, the inclination amount detection means which detects the inclination amount of how much the detection object reflected in the photographed image is inclined with respect to the front direction, and the feature amount calculation The frame body used when the means calculates the feature amount includes frame body area adjusting means for adjusting the area of the frame body to an area corresponding to the inclination amount. According to this configuration, when the feature amount calculation unit calculates the feature amount using the frame, it is possible to use the optimally sized frame, so that the feature amount can be calculated more accurately. Is possible.
(3)請求項1〜5のいずれかにおいて、前記撮影画像に映り込んだ前記検出対象が正面向きに対してどれだけ回転しているかの回転量を検出する回転量検出手段と、前記特徴量算出手段が前記特徴量を算出する際に用いる前記枠体を、当該枠体の回転向きを前記回転量に応じた向きに調整する枠体回転位置調整手段とを備えた。この構成によれば、特徴量算出手段が枠体を用いて特徴量を算出する際に、最適な回転向きの枠体を使用することが可能となるので、特徴量をより精度良く算出することが可能となる。
(3) In any one of
1…検出対象、2…画像処理式物体検出装置、5…撮影手段としてのカメラ、14…特定位置としての眉間位置、15…構成部品としての顔部品、22…検出対象画像としての垂直エッジ画像、23…検出対象画像抽出手段としての垂直エッジ画像抽出部、24…枠体としてのブロック、24R…第1枠体としての右ブロック、24L…第2枠体としての左ブロック、25…特徴量算出手段及び排除手段を構成する特徴量算出部、26…特定手段としての眉間位置特定部、27…顔画像、28…垂直エッジ、Pic…撮影画像、Rx…特徴量、Pnt…画像座標位置、Csp…垂直エッジ値、Kds…減算値、Kdz…閾値。
DESCRIPTION OF
Claims (5)
前記撮影手段が撮影した撮影画像を用い、前記構成部品の画像領域部分が強調して映り出した検出対象画像を抽出する検出対象画像抽出手段と、
前記検出対象画像において前記構成部品に対応する画像領域を指定可能な枠体を当該検出対象画像の一領域に当て嵌め、その当て嵌めた前記枠体において該枠体内に映り込んだ構成部品の映り具合として特徴量を算出し、この処理を各々の一領域ごとに順に行う特徴量算出手段と、
前記一領域ごとに算出された前記特徴量の中から、値が最も好適な前記特徴量を取り得る時の前記枠体から導き得る前記検出対象画像における画像座標位置を、当該検出対象画像に映り込んだ前記検出対象の前記構成部品を該撮影画像から抽出する際に用いる特定位置として特定する特定手段と
を備えたことを特徴とする画像処理式物体検出装置。 An image in which at least a detection target can be photographed by a photographing means, and when detecting the detection target from a photographed image of the photographing means, an object detection is performed by extracting a component of the detection target reflected in the photographed image. In the processing type object detection device,
A detection target image extracting means for extracting a detection target image in which an image region portion of the component is emphasized and projected using a captured image captured by the photographing means;
A frame capable of designating an image area corresponding to the component in the detection target image is fitted to one area of the detection target image, and the component reflected in the frame in the fitted frame A feature amount calculating means for calculating a feature amount as a condition, and performing this processing in order for each area;
The image coordinate position in the detection target image that can be derived from the frame when the feature amount having the most suitable value can be obtained from the feature amounts calculated for each region is reflected in the detection target image. An image processing type object detection apparatus comprising: a specifying unit that specifies a specific position to be used when extracting the detected component to be detected from the captured image.
前記特徴量算出手段は、前記枠体を前記垂直エッジ画像に当て嵌める度に、前記枠体内における前記垂直エッジの総量に応じて決まる垂直エッジ値を前記特徴量として算出することを特徴とする請求項1に記載の画像処理式物体検出装置。 The detection target image extraction unit extracts a vertical edge image as the detection target image by extracting a luminance change appearing continuously along one direction on the captured image as a vertical edge,
The feature amount calculating unit calculates a vertical edge value determined according to a total amount of the vertical edges in the frame as the feature amount each time the frame is fitted to the vertical edge image. Item 2. The image processing type object detection device according to Item 1.
複数の前記枠体の中の1枠体である第1枠体の垂直エッジ値と、他の1枠体である第2枠体の垂直エッジ値とを算出した際、これら2つの垂直エッジ値の間の減算値を算出し、当該減算値が閾値以上となって2つの前記エッジ値が大きく乖離する場合、前記検出対象画像上の前記枠体の位置を確認し、当該枠体が前記検出対象画像内にある場合には、この時に特定される前記検出対象画像上の画像座標位置を前記特定位置とはせずに排除する排除手段とを備えたことを特徴とする請求項2又は3に記載の画像処理式物体検出装置。 The feature amount calculation means creates a plurality of the frame bodies according to the component parts of the detection target image, and calculates the feature amounts by sequentially fitting the plurality of the frame bodies to a region of the detection target image. Configuration,
When the vertical edge value of the first frame that is one frame among the plurality of frames and the vertical edge value of the second frame that is the other one frame are calculated, these two vertical edge values If the subtraction value is greater than or equal to a threshold value and the two edge values greatly deviate, the position of the frame on the detection target image is confirmed, and the frame is detected. 4. An exclusion means for excluding the image coordinate position on the detection target image specified at this time without being the specific position when it is in the target image. 2. An image processing type object detection device according to 1.
前記特徴量算出手段は、前記検出対象画像の一領域に前記枠体を当て嵌め、その当て嵌めた前記枠体において該枠体内に映り込んだ前記顔画像の光反射具合で決まる前記特徴量を抽出し、この処理を各々の一領域ごとに順に行い、
前記特定手段は、前記一領域ごとに抽出された前記特徴量の中から、値が最も好適な前記特徴量を取り得る時の前記枠体から導き得る前記顔画像上の画像座標位置を、当該顔画像に映り込んだ人体の顔部品を該顔画像から抽出する際に用いる前記特定位置としての眉間位置を特定することを特徴とする請求項1〜4のうちいずれか一項に記載の画像処理式物体検出装置。 The detection target image extraction unit extracts the detection target image in which the face image of the detection target is reflected, using the captured image captured by the capturing unit,
The feature amount calculating means applies the frame body to one area of the detection target image, and determines the feature amount determined by a light reflection state of the face image reflected in the frame body in the fitted frame body. Extract and perform this process for each area in turn,
The specifying means determines the image coordinate position on the face image that can be derived from the frame when the feature value having the most suitable value can be obtained from the feature values extracted for each region. 5. The image according to claim 1, wherein the position between the eyebrows is specified as the specific position used when extracting the facial part of the human body reflected in the face image from the face image. 6. Processing type object detection device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007216216A JP2009048558A (en) | 2007-08-22 | 2007-08-22 | Image processing type object detector |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007216216A JP2009048558A (en) | 2007-08-22 | 2007-08-22 | Image processing type object detector |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009048558A true JP2009048558A (en) | 2009-03-05 |
Family
ID=40500684
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007216216A Pending JP2009048558A (en) | 2007-08-22 | 2007-08-22 | Image processing type object detector |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009048558A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011155152A1 (en) * | 2010-06-07 | 2011-12-15 | 本田技研工業株式会社 | Vehicle surroundings monitoring device |
-
2007
- 2007-08-22 JP JP2007216216A patent/JP2009048558A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2011155152A1 (en) * | 2010-06-07 | 2011-12-15 | 本田技研工業株式会社 | Vehicle surroundings monitoring device |
US9030560B2 (en) | 2010-06-07 | 2015-05-12 | Honda Motor Co., Ltd. | Apparatus for monitoring surroundings of a vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2011061940A1 (en) | Image processing method, and image processing device | |
EP2324391B1 (en) | In-camera based method of detecting defect eye with high accuracy | |
JP4307496B2 (en) | Facial part detection device and program | |
KR101098087B1 (en) | Image processing device, image processing method, and computer readable medium having recorded thereon an image processing program | |
US20160014328A1 (en) | Image processing device, endoscope apparatus, information storage device, and image processing method | |
TWI689892B (en) | Background blurred method and electronic apparatus based on foreground image | |
WO2015029537A1 (en) | Organ imaging apparatus | |
WO2019109805A1 (en) | Method and device for processing image | |
TWI432168B (en) | Endoscope navigation method and endoscopy navigation system | |
JP5298425B2 (en) | Projector and camera | |
JP2008029702A (en) | Method and device for detecting pupil | |
CN107992866B (en) | Biopsy method based on video flowing eye reflective spot | |
JP2008015915A (en) | Image processing method, input interface device | |
US9826884B2 (en) | Image processing device for correcting captured image based on extracted irregularity information and enhancement level, information storage device, and image processing method | |
WO2022037397A1 (en) | Endoscope system and method for detecting when tail end of endoscope comes into contact with tissue | |
JP2007025758A (en) | Face image extracting method for person, and device therefor | |
US20150363942A1 (en) | Image processing device, endoscope apparatus, image processing method, and information storage device | |
JP2009244946A (en) | Traffic light recognizing apparatus, traffic light recognizing method, and traffic light recognizing program | |
KR101516487B1 (en) | Image processing device using difference camera | |
CN106934349A (en) | Dual camera is imaged and iris capturing identification integration apparatus | |
CN110555809B (en) | Background blurring method based on foreground image and electronic device | |
JP2009048558A (en) | Image processing type object detector | |
JP4452835B2 (en) | Method and apparatus for detecting pupils | |
JP5004099B2 (en) | Cursor movement control method and cursor movement control apparatus | |
JP2009042098A (en) | Object detector of image processing type |