JP2012105130A - Image processing method and image processing system - Google Patents
Image processing method and image processing system Download PDFInfo
- Publication number
- JP2012105130A JP2012105130A JP2010252744A JP2010252744A JP2012105130A JP 2012105130 A JP2012105130 A JP 2012105130A JP 2010252744 A JP2010252744 A JP 2010252744A JP 2010252744 A JP2010252744 A JP 2010252744A JP 2012105130 A JP2012105130 A JP 2012105130A
- Authority
- JP
- Japan
- Prior art keywords
- specific area
- image data
- distance information
- distance
- specific
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、順次入力されてくる画像データについて顔領域など特定領域を検出する画像処理方法および画像処理装置にかかわり、詳しくは特定領域の検出に要する演算量を画像状況に応じて最適化し、特定領域検出に要する時間を可及的に短時間化するための技術に関する。 The present invention relates to an image processing method and an image processing apparatus for detecting a specific area such as a face area for sequentially input image data. Specifically, the calculation amount required for detection of a specific area is optimized and specified according to the image situation. The present invention relates to a technique for shortening the time required for area detection as much as possible.
近年、デジタルカメラ等の撮像装置における画像処理装置はインテリジェント化が進み、顔領域検出機能の搭載が一般的となってきている。顔領域検出手法の一例として、テンプレートマッチング手法がある。以下、従来の技術におけるテンプレートマッチングの概略を図17を用いて説明する。 In recent years, an image processing apparatus in an image pickup apparatus such as a digital camera has become more intelligent, and a face area detection function is generally installed. An example of the face area detection method is a template matching method. The outline of template matching in the conventional technique will be described below with reference to FIG.
図17(a)に示すように、予め大量のサンプル顔画像データIsから顔らしさを表現する特徴を基準顔画像データItとして抽出しておく。次いで、図17(b)に示すように、顔領域検出対象画像データIdの全域に亘って部分領域を走査しながら、基準顔画像データItとの類似度を算出して、部分領域が顔領域であるか否かを判定しながら、顔領域の検出を実施する。 As shown in FIG. 17 (a), a feature representing facialness is extracted in advance from a large amount of sample face image data Is as reference face image data It. Next, as shown in FIG. 17 (b), while the partial area is scanned over the entire area of the face area detection target image data Id, the similarity with the reference face image data It is calculated, and the partial area becomes the face area. The face area is detected while determining whether or not it is.
また、図17(c)に示すように、顔領域検出対象画像データIdを拡大または縮小した上で同様の処理を行うことにより、大小様々な大きさの顔領域を検出する。 Further, as shown in FIG. 17C, the face area detection target image data Id is enlarged or reduced, and the same process is performed to detect face areas of various sizes.
この従来技術ではマッチング回数が膨れ上がり、その演算量は非常に大きいものとなる。 In this prior art, the number of matching operations increases, and the amount of calculation becomes very large.
図18に先行技術の特許文献1に開示の対象画像検索装置の構成図および制御の概念図を示す。特許文献1では、顔検出部21において順次入力されてくる画像データに対し顔領域検出を行い、顔領域を示す座標情報を出力する。出力された座標情報は顔検出結果蓄積部23に蓄積される。次いで、検出対象領域設定部22において、顔検出結果蓄積部23に蓄積されている(N−2)フレーム画像データでの顔領域座標C(N-2)および(N−1)フレーム画像データでの顔領域座標C(N-1)に基づき、Nフレーム画像データにおける顔領域座標C(N)を予測し、予測領域を検出対象範囲に設定する。この顔領域座標C(N)の予測により、演算量を画像状況に応じて最適化し、演算量を削減する。
FIG. 18 shows a configuration diagram and a conceptual diagram of control of the target image search device disclosed in
上記の従来の技術においては、被写体が撮像装置に対して前後に動いた場合や、撮影者がズームアップまたはズームアウトの操作をした場合において、過去フレーム画像データの特定領域(顔領域)座標から現在フレーム画像データの特定領域座標を予測することはむずかしく、画像状況に応じた演算量の最適化を通じての演算量削減が困難になる。 In the above-described conventional technique, when the subject moves back and forth with respect to the imaging apparatus, or when the photographer performs a zoom-up or zoom-out operation, the specific area (face area) coordinates of the past frame image data are used. It is difficult to predict the specific area coordinates of the current frame image data, and it is difficult to reduce the amount of calculation through optimization of the amount of calculation according to the image situation.
本発明は、このような事情に鑑みて創作したものであり、顔領域など特定領域の検出に要する演算量を画像状況に応じて最適化する機能を、被写体の前後動作やズームアップ・ズームアウトの操作に際しても有効化し、演算量削減効果を可及的に高いものにすることを目的としている。 The present invention has been created in view of such circumstances, and has a function for optimizing the amount of calculation required for detection of a specific area such as a face area according to the image situation. The purpose of this is to make it effective at the time of the operation and to make the calculation amount reduction effect as high as possible.
本発明は、次のような手段を講じることにより上記の課題を解決する。《1》,《2》,《3》…等の括弧付き数字は〔特許請求の範囲〕の請求項番号と呼応するものであるので、以下の記載においては必ずしも通し番号とはならず、順番が飛ぶ場合がある。 The present invention solves the above problems by taking the following measures. Since numbers in parentheses such as << 1 >>, << 2 >>, << 3 >>, etc. correspond to claim numbers in [Claims], they are not necessarily serial numbers in the following description. May fly.
《1》本発明による画像処理方法は、次のような内容の複数のステップを含むものとして構成されている。それは少なくとも、距離算出ステップ、距離比較ステップ、特定領域検出用パラメータの設定ステップおよび特定領域検出ステップである。 << 1 >> The image processing method according to the present invention is configured to include a plurality of steps having the following contents. It is at least a distance calculation step, a distance comparison step, a specific region detection parameter setting step, and a specific region detection step.
距離算出ステップでは、順次入力されてくる画像データにおいて距離情報を算出する。ここで距離情報とは、撮像装置から被写体までの距離またはそれに対応した物理量に関する情報である。 In the distance calculation step, distance information is calculated in the sequentially input image data. Here, the distance information is information related to the distance from the imaging device to the subject or a physical quantity corresponding to the distance.
距離比較ステップでは、現在フレーム画像データおよび過去フレーム画像データについてそれぞれ距離算出ステップで得られた距離情報を比較する。比較結果については、増減、変化量(差分)、比率などどのような形式でもよい。 In the distance comparison step, the distance information obtained in the distance calculation step is compared for each of the current frame image data and the past frame image data. The comparison result may be in any form such as increase / decrease, change amount (difference), and ratio.
特定領域検出用パラメータの設定ステップでは、距離比較ステップにおける比較結果に基づいて特定領域検出用のパラメータを設定する。特定領域検出用のパラメータとは、検出する特定領域のサイズや検出範囲あるいはこれらに相当する物理量を規定する情報のことであり、その形式もどのようなものでもよい。 In the specific region detection parameter setting step, the specific region detection parameter is set based on the comparison result in the distance comparison step. The parameter for detecting the specific area is information that defines the size of the specific area to be detected, the detection range, or a physical quantity corresponding to the size, and may have any format.
特定領域検出ステップでは、特定領域検出用パラメータの設定ステップにおいて設定された特定領域検出用のパラメータに基づいて特定領域を検出する。 In the specific region detection step, the specific region is detected based on the specific region detection parameter set in the specific region detection parameter setting step.
上記の構成による作用は次のとおりである。現在フレーム画像データにおける距離情報が過去フレーム画像データにおける距離情報と比較され、その比較結果に応じて特定領域検出用のパラメータが設定され、特定領域が検出される。撮像装置から被写体までの距離またはそれに対応した物理量に関する情報である距離情報は、従来技術のテンプレートマッチング方式や予測方式に比べて迅速容易に算出することが可能である。このことは、被写体の前後動作やズームアップ・ズームアウトの操作に際しての各フレームの画像データにも当てはまる。また、現在フレーム画像データと過去フレーム画像データの距離情報の比較結果から特定領域検出用のパラメータが設定されるが、この設定もテンプレートマッチング方式や予測方式に比べて迅速容易に行うことが可能である。 The effect | action by said structure is as follows. The distance information in the current frame image data is compared with the distance information in the past frame image data, a parameter for detecting a specific area is set according to the comparison result, and the specific area is detected. The distance information, which is information about the distance from the imaging device to the subject or the physical quantity corresponding to the distance, can be calculated quickly and easily as compared with the template matching method and the prediction method of the prior art. This also applies to the image data of each frame when the subject moves back and forth or zooms in and out. In addition, a specific area detection parameter is set from the comparison result of the distance information between the current frame image data and the past frame image data. This setting can also be performed quickly and easily compared to the template matching method and the prediction method. is there.
したがって、本発明の上記の方式によって設定された特定領域検出用のパラメータに基づく特定領域は、その都度の現在フレーム画像データの画像状況に過不足のない最適なパラメータによる特定領域となる。距離情報の比較結果に基づいて特定領域検出用のパラメータを設定するということは、特定領域検出用のパラメータを全サイズに対して設定するのではなく、限定したサイズについて設定するということである。これはつまり、検出対象の特定領域をそのサイズにおいて絞り込んでいることに相当する。この絞り込みにより、演算量を大幅に削減することが可能になる。 Therefore, the specific area based on the specific area detection parameters set by the above-described method of the present invention is a specific area based on the optimum parameters that are not excessive or insufficient in the image status of the current frame image data each time. Setting the specific area detection parameter based on the comparison result of the distance information means that the specific area detection parameter is not set for all sizes but is set for a limited size. In other words, this corresponds to narrowing down the specific area to be detected in that size. This narrowing down makes it possible to greatly reduce the amount of calculation.
さらに、前述のように、過不足のない最適なパラメータによる特定領域とすることにより、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、特定領域検出に要する演算量は、現在フレーム画像データにおける距離情報に応じた最適な演算量となる。 Furthermore, as described above, by setting a specific area with optimal parameters without excess or deficiency, the amount of calculation required for detecting the specific area during the forward / backward movement of the subject or the zoom-up / zoom-out operation is the current frame image data. The optimal amount of computation according to the distance information at.
以上の相乗により、本発明によれば、演算量過多に起因する撮像の困難性を回避することが可能となり、顔領域など特定領域の検出に要する時間の削減効果を高めることが可能となる。 Due to the above synergy, according to the present invention, it is possible to avoid the difficulty of imaging due to the excessive amount of calculation, and it is possible to enhance the effect of reducing the time required for detecting a specific area such as a face area.
《11》上記《1》の構成の画像処理方法において、さらに、特定領域の動き有無を解析する動作解析ステップと、その解析結果に基づいて次のステップへの分岐を制御する分岐制御ステップとを含む画像処理方法も有用である。上記《1》の構成においては、特定領域検出用のパラメータの設定の基礎が現在フレーム画像データと過去フレーム画像データの距離情報の比較結果にある。ところが、現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報との間に相違が生じるのは、被写体の前後動作やズームアップ・ズームアウトの操作に際してだけのものとは限らない。撮像装置の光軸が左右または上下に振れた場合や被写体が左右または上下に動いた場合でも、両距離情報に相違が生じる。現在フレーム画像データと過去フレーム画像データの距離情報の比較結果から特定領域検出用のパラメータを設定する理由は、被写体の前後動作やズームアップ・ズームアウトの操作にかかわらず、特定領域検出に要する演算量を、現在フレーム画像データにおける距離情報に応じた最適な演算量とし、演算量過多に起因する撮像の困難性を回避するためである。しかし、この演算量調整を、撮像装置の光軸振れや被写体の左右上下の動きのために両距離情報に相違が生じた場合にも適用するとなると、却って、演算量の最適化の妨げになってしまう。そこで、このような場合には、現在フレーム画像データと過去フレーム画像データの距離情報の比較結果から特定領域検出用のパラメータが設定する機能を働かせないように調整する。 <11> In the image processing method configured as described in <1> above, an operation analysis step for analyzing the presence / absence of movement of a specific region, and a branch control step for controlling a branch to the next step based on the analysis result Including image processing methods are also useful. In the above configuration <1>, the basis for setting the parameter for detecting the specific area is the result of comparison of the distance information between the current frame image data and the past frame image data. However, the difference between the distance information in the current frame image data and the distance information in the past frame image data is not necessarily limited to the front-rear movement of the subject and the zoom-up / zoom-out operation. Even when the optical axis of the image pickup apparatus swings left and right or up and down and when the subject moves left and right or up and down, the distance information is different. The reason for setting the parameters for specific area detection from the comparison results of the distance information between the current frame image data and the past frame image data is the calculation required for the specific area detection regardless of the subject's back-and-forth movement and zoom-up / zoom-out operations. This is because the amount is set to an optimum calculation amount corresponding to the distance information in the current frame image data, and the difficulty of imaging due to the excessive calculation amount is avoided. However, if this calculation amount adjustment is applied even when there is a difference in both distance information due to the optical axis shake of the image pickup device or the left / right / upper / lower movement of the subject, it will hinder optimization of the calculation amount. End up. Therefore, in such a case, adjustment is performed so that the function set by the parameter for detecting the specific region is not used from the comparison result of the distance information between the current frame image data and the past frame image data.
前記の動作解析ステップは、前記の距離算出ステップと距離比較ステップとの間に設定される。この動作解析ステップは、過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する。 The motion analysis step is set between the distance calculation step and the distance comparison step. In this motion analysis step, it is analyzed whether or not there is a left / right / up / down movement in the specific area based on the distance information in the past frame image data and the distance information in the current frame image data.
前記の分岐制御ステップは、動作解析ステップにおける解析結果が特定領域は左右上下の動きを伴わないとする場合は距離比較ステップに進み、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較ステップをスキップして特定領域検出用パラメータの設定ステップに進む。 The branching control step proceeds to the distance comparison step when the analysis result in the motion analysis step does not involve the left / right / up / down movement in the specific region, and the analysis result indicates that the specific region has the left / right / up / down motion. The distance comparison step is skipped and the process proceeds to a specific region detection parameter setting step.
さらに、解析結果が特定領域は左右上下の動きを伴うとする場合に、特定領域検出用パラメータの設定ステップでは、特定領域検出用のパラメータを全サイズに対して設定する。全サイズに対して設定するというのは、《1》のように検出対象の特定領域をそのサイズにおいて絞り込み限定するということはしないということである。ここで、特定領域に左右上下の動きがあるか否かの判断において、上記《1》の特定領域検出用のパラメータの設定の場合と同様に、過去および現在のフレーム画像データの距離情報を用いていることが1つの技術ポイントとなる。 Further, when the analysis result indicates that the specific area is accompanied by a horizontal and vertical movement, the specific area detection parameter setting step sets the specific area detection parameter for all sizes. The setting for all sizes does not mean that the specific area to be detected is limited to that size as in << 1 >>. Here, in determining whether the specific area has left / right / up / down movement, the distance information of the past and current frame image data is used, as in the case of setting the parameter for detecting the specific area in << 1 >>. This is one technical point.
本項の構成によれば、現在フレーム画像データと過去フレーム画像データの距離情報に変化があるとき、その原因が被写体の前後動作やズームアップ・ズームアウトの操作にあるときは、上記《1》の処理を行い、一方、その原因が撮像装置の光軸振れや被写体の左右上下の動きに起因して特定領域の左右上下の動きがあるときは、上記《1》の処理は不動作とし、特定領域検出用のパラメータを全サイズに対して設定することとしている。その結果、撮像装置の光軸振れや被写体の左右上下の動きの場合の検出漏れを防止することが可能となる。 According to the configuration of this section, when there is a change in the distance information between the current frame image data and the past frame image data, and the cause is the back-and-forth movement of the subject or the zoom-up / zoom-out operation, << 1 >> On the other hand, when there is a horizontal movement of the specific area due to the optical axis shake of the imaging device or the horizontal and vertical movement of the subject, the process of << 1 >> is disabled. Parameters for detecting a specific area are set for all sizes. As a result, it is possible to prevent detection omissions in the case of an optical axis shake of the imaging device or a left / right / up / down movement of the subject.
本項の技術内容は、後述する《2》〜《10》にも適用可能である。 The technical contents of this section can also be applied to << 2 >> to << 10 >> described later.
《14》上記《1》の構成の画像処理方法において、特定領域に左右上下の動きがあるか否かを解析するに当たり、上記《11》とは別の方式もある。ここでは、距離情報の比較結果に代えて、動きベクトルを用いることとする。本項では、上記《1》の構成の画像処理方法において、さらに、動きベクトル生成ステップと、動きベクトル解析ステップとを含んでいる。 << 14 >> In the image processing method configured as described in the above << 1 >>, there is another system different from the above << 11 >> in analyzing whether or not the specific area has a horizontal and vertical movement. Here, a motion vector is used instead of the comparison result of the distance information. In this section, the image processing method having the above configuration <1> further includes a motion vector generation step and a motion vector analysis step.
前記の動きベクトル生成ステップは、入力されてくる画像データにおいて動きベクトル情報を生成する。 The motion vector generation step generates motion vector information in the input image data.
前記の動きベクトル解析ステップは、動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析する。この動きベクトル解析ステップは分岐制御の機能も担っている。解析結果が特定領域は左右上下の動きを伴わないとする場合は前記の距離比較ステップに進み、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較ステップをスキップして前記の特定領域検出用パラメータの設定ステップに進む。 The motion vector analyzing step analyzes whether there is a left / right / up / down motion in the specific area based on the motion vector information. This motion vector analysis step also has a branch control function. If the analysis result indicates that the specific area does not involve left / right / up / down movement, the process proceeds to the distance comparison step. If the analysis result indicates that the specific area includes left / right / up / down movement, the distance comparison step is skipped. The process proceeds to a parameter setting step for detecting a specific area.
さらに、解析結果が特定領域は左右上下の動きを伴うとする場合に、特定領域検出用パラメータの設定ステップでは、特定領域検出用のパラメータを全サイズに対して設定する。全サイズに対して設定するというのは、検出対象の特定領域をそのサイズにおいて絞り込み限定することはしないということである。ここで、特定領域に左右上下の動きがあるか否かの判断において、上記《1》,《11》とは異なり、動きベクトル情報を用いていることが1つの技術ポイントとなる。 Further, when the analysis result indicates that the specific area is accompanied by a horizontal and vertical movement, the specific area detection parameter setting step sets the specific area detection parameter for all sizes. Setting for all sizes means that the specific area to be detected is not limited and limited in size. Here, different from the above << 1 >> and << 11 >>, one technical point is to use motion vector information in determining whether there is a left / right / up / down movement in a specific area.
本項の構成によれば、動きベクトルに変化がある場合で、その原因が被写体の前後動作やズームアップ・ズームアウトの操作にあるときは、上記《1》の処理を行い、一方、その原因が撮像装置の光軸振れや被写体の左右上下の動きに起因して特定領域の左右上下の動きがあるときは、上記《1》の処理は不動作とし、特定領域検出用のパラメータを全サイズに対して設定することとしている。その結果、撮像装置の光軸振れや被写体の左右上下の動きの場合の検出漏れを防止することが可能となる。 According to the configuration of this section, when there is a change in the motion vector and the cause is the back-and-forth movement of the subject or the zoom-up / zoom-out operation, the processing of << 1 >> is performed, while the cause is However, when there is left / right / up / down movement of the specific area due to the optical axis shake of the image pickup device or the left / right / up / down movement of the subject, the processing of << 1 >> is disabled, and the parameters for detecting the specific area are set to all sizes. It is supposed to be set against. As a result, it is possible to prevent detection omissions in the case of an optical axis shake of the imaging device or a left / right / up / down movement of the subject.
本項の技術内容は、後述する《2》〜《10》にも適用可能である。 The technical contents of this section can also be applied to << 2 >> to << 10 >> described later.
《21》上記《1》の構成の画像処理方法に対応する画像処理装置として、順次入力されてくる画像データにおいて距離情報を算出する距離算出部と、現在フレーム画像データおよび過去フレーム画像データについてそれぞれ前記距離算出部で得られた距離情報を比較する距離比較部と、前記距離比較部における比較結果に基づいて特定領域検出用のパラメータを設定する特定領域検出用パラメータ設定部と、前記特定領域検出用パラメータ設定部において設定された前記特定領域検出用のパラメータに基づいて特定領域を検出する特定領域検出部とを備えた画像処理装置が有効である。 << 21 >> As an image processing apparatus corresponding to the image processing method configured as described in <1> above, a distance calculation unit that calculates distance information in sequentially input image data, and current frame image data and past frame image data, respectively. A distance comparison unit that compares distance information obtained by the distance calculation unit; a specific region detection parameter setting unit that sets a specific region detection parameter based on a comparison result in the distance comparison unit; and the specific region detection An image processing apparatus including a specific area detection unit that detects a specific area based on the specific area detection parameter set in the parameter setting unit is effective.
この構成の本発明の画像処理装置によれば、演算量過多に起因する撮像の困難性を回避することが可能となり、顔領域など特定領域の検出に要する時間の削減効果を高めることが可能となる。 According to the image processing apparatus of the present invention having this configuration, it is possible to avoid the difficulty of imaging due to an excessive amount of calculation, and it is possible to improve the effect of reducing the time required to detect a specific area such as a face area. Become.
《22》上記《11》の構成の画像処理方法に対応する画像処理装置として、上記《21》の構成の画像処理装置において、さらに、過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する動作解析部と、前記動作解析部における解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較部を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較部を不動作とした上で前記特定領域検出用パラメータ設定部を動作させる分岐制御部とを備え、解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータ設定部では、特定領域検出用のパラメータを全サイズに対して設定するように構成された画像処理装置が有効である。 << 22 >> As an image processing apparatus corresponding to the image processing method having the above configuration <11>, in the image processing apparatus having the above structure <21>, further, distance information in past frame image data and distance information in current frame image data Based on the motion analysis unit for analyzing whether the specific region has left and right and up and down movement, and if the analysis result in the motion analysis unit is that the specific region does not have a horizontal and vertical movement, the distance comparison unit A branch control unit that operates the specific region detection parameter setting unit after disabling the distance comparison unit when the analysis result is that the specific region is accompanied by left / right / up / down movement. However, in the case where the specific area is accompanied by left / right / up / down movements, the specific area detection parameter setting unit sets the specific area detection parameters for all sizes. Configured image processing apparatus as it is effective.
この構成の画像処理装置によれば、撮像装置の光軸振れや被写体の左右上下の動きの場合の検出漏れを防止することが可能となる。 According to the image processing apparatus having this configuration, it is possible to prevent omission of detection in the case of an optical axis shake of the imaging apparatus and a left / right / up / down movement of the subject.
《23》上記《14》の構成の画像処理方法に対応する画像処理装置として、上記《21》の構成の画像処理装置において、さらに、入力されてくる画像データにおいて動きベクトル情報を生成する動きベクトル生成部と、前記動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析し、解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較部を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較部を不動作とした上で前記特定領域検出用パラメータ設定部を動作させる動きベクトル解析部とを備え、解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータ設定部では、特定領域検出用のパラメータを全サイズに対して設定するように構成された画像処理装置が有効である。
<< 23 >> As an image processing apparatus corresponding to the image processing method having the above configuration <14>, in the image processing apparatus having the above structure <21>, a motion vector for generating motion vector information in input image data Based on the motion vector information, the generation unit analyzes whether the specific area has left / right / up / down movement, and if the analysis result indicates that the specific area does not have left / right / up / down movement, operates the distance comparison unit. And a motion vector analysis unit that operates the parameter setting unit for detecting the specific region after the distance comparison unit is inoperable when the specific result is that the specific region is accompanied by left / right / up / down motion. However, in the case where the specific area is accompanied by left / right / up / down movement, the specific area detection parameter setting unit sets the specific area detection parameters for all sizes. Configured image processing apparatus is effective.
この構成の画像処理装置によれば、撮像装置の光軸振れや被写体の左右上下の動きの場合の検出漏れを防止することが可能となる。 According to the image processing apparatus having this configuration, it is possible to prevent omission of detection in the case of an optical axis shake of the imaging apparatus and a left / right / up / down movement of the subject.
また、上記《1》,《11》,《14》の画像処理方法は、それぞれの画像処理方法をコンピュータに実行させるためのプログラムとしても展開可能である。 Further, the image processing methods << 1 >>, << 11 >>, and << 14 >> can be developed as programs for causing a computer to execute each image processing method.
《27》さらに、上記の《21》〜《23》の画像処理装置は、次のような構成の撮像装置として展開される。それは、光学レンズを介して入射した被写体光を受光して撮像信号に変換して出力する撮像素子と、前記撮像素子から出力された撮像信号をデジタル信号に変換するA/D変換部と、前記A/D変換部の出力したデジタル信号に対して画像処理を行う画像処理回路を含むデジタル信号処理回路と、前記デジタル信号処理回路が出力する画像データをメディアに記録する記録回路と、記録された信号を再生する再生回路とを備え、前記画像処理回路として上記《21》〜《23》のいずれかの画像処理装置を備えたものである。 << 27 >> Further, the image processing apparatuses of the above << 21 >> to << 23 >> are developed as an imaging apparatus having the following configuration. An image sensor that receives subject light incident via an optical lens, converts the light into an image signal, and outputs the image signal; an A / D converter that converts the image signal output from the image sensor into a digital signal; A digital signal processing circuit including an image processing circuit that performs image processing on a digital signal output from the A / D converter, a recording circuit that records image data output from the digital signal processing circuit on a medium, and A reproduction circuit for reproducing a signal, and the image processing circuit according to any one of the above << 21 >> to << 23 >>.
本発明によれば、現在フレーム画像データにおける距離情報を過去フレーム画像データにおける距離情報と比較した結果に基づいて特定領域検出用のパラメータを設定し、現在フレームにおける顔領域など特定領域のサイズを予測しかつ限定するので、顔領域など特定領域の検出に要する演算量を画像状況に応じて最適化する機能を、被写体の前後動作やズームアップ・ズームアウトの操作に際しても有効化することができる。すなわち、演算量過多に起因する撮像の困難性を回避しつつ、特定領域の検出における演算量削減効果を可及的に高いものにすることができる。 According to the present invention, the specific area detection parameter is set based on the result of comparing the distance information in the current frame image data with the distance information in the past frame image data, and the size of the specific area such as the face area in the current frame is predicted. In addition, the function of optimizing the amount of calculation required for detecting a specific area such as a face area according to the image state can be validated even when the subject moves back and forth or zooms in and out. That is, the calculation amount reduction effect in detecting a specific region can be made as high as possible while avoiding the difficulty of imaging due to excessive calculation amount.
上記した《1》の構成の本発明の画像処理方法は、次のような実施の形態においてさらに有利に展開することが可能である。 The image processing method of the present invention having the above configuration <1> can be further advantageously developed in the following embodiment.
《2》上記《1》の構成の画像処理方法において、前記の特定領域検出用パラメータの設定ステップにおける特定領域検出用のパラメータについては、検出する特定領域のサイズまたは検出範囲に関するパラメータとするのが好ましい。すなわち、現在フレーム画像データにおける距離情報が過去フレーム画像データにおける距離情報に比べて大きくなったとき、特定領域のサイズまたは検出範囲を縮小するように特定領域検出用のパラメータを設定する。また、逆に、現在フレーム画像データにおける距離情報が過去フレーム画像データにおける距離情報に比べて小さくなったとき、特定領域のサイズまたは検出範囲を拡大するように特定領域検出用のパラメータを設定する。 << 2 >> In the image processing method configured as described in <1> above, the specific area detection parameter in the specific area detection parameter setting step is a parameter related to the size or detection range of the specific area to be detected. preferable. That is, when the distance information in the current frame image data is larger than the distance information in the past frame image data, the specific area detection parameters are set so as to reduce the size of the specific area or the detection range. Conversely, when the distance information in the current frame image data becomes smaller than the distance information in the past frame image data, the parameters for detecting the specific area are set so that the size of the specific area or the detection range is expanded.
《3》上記《1》の構成の画像処理方法において、前記の距離比較ステップについては、現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報との差分を閾値と比較するという態様がある。これは、特定領域検出用のパラメータを設定する上で最も簡単な方式の1つである。 <3> In the image processing method configured as described in <1>, the distance comparison step includes a mode in which a difference between distance information in current frame image data and distance information in past frame image data is compared with a threshold value. . This is one of the simplest methods for setting parameters for detecting a specific area.
《4》距離情報の差分と閾値との比較に言及した上記《3》の構成の画像処理方法において、前記の距離比較ステップについては、過去フレーム画像データで検出された特定領域の内部または周辺の距離情報と現在フレーム画像データにおける同位置の距離情報を比較することは好ましい態様の1つである。 <4> In the image processing method having the above configuration <3> mentioned in the comparison of the difference between the distance information and the threshold value, the distance comparison step includes the inside or the periphery of the specific area detected in the past frame image data. Comparing the distance information with the distance information at the same position in the current frame image data is one of the preferable modes.
過去フレーム画像データで検出された特定領域は、その位置座標が確定している。これに対して、現在フレーム画像データでは、これからその特定領域を定めるので、特定領域の位置座標は未確定である。そこで、位置座標がすでに確定している過去フレーム画像データで検出された特定領域の内部または周辺と同じ位置において、現在フレーム画像データにおける距離情報を求めることとする。こうすることにより、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、過去・現在の両フレーム画像データの距離情報の比較の精度を高いものにすることが可能となる。 The position coordinates of the specific area detected in the past frame image data are fixed. On the other hand, in the current frame image data, since the specific area is determined from now on, the position coordinates of the specific area are not yet determined. Therefore, distance information in the current frame image data is obtained at the same position as the inside or the periphery of the specific area detected in the past frame image data whose position coordinates have already been determined. By doing so, it is possible to increase the accuracy of comparison of the distance information of both the past and current frame image data even when the subject moves back and forth or zooms in and out.
《5》距離情報の差分と閾値との比較に言及した上記《3》の構成の画像処理方法において、前記の距離比較ステップについては、前記の比較結果に基づいて検出する特定領域のサイズに優先順位を付けるようにし、また、前記の特定領域検出用パラメータの設定ステップにおいては、前記の優先順位に基づいたパラメータを設定するようにし、さらに、前記の特定領域検出ステップにおいては、前記の優先順位順に特定領域を検出するようにすることは好ましい態様の1つである。 << 5 >> In the image processing method configured as described in <3> above, which refers to the comparison between the difference in distance information and the threshold value, the distance comparison step has priority over the size of the specific area detected based on the comparison result. In the specific area detection parameter setting step, a parameter based on the priority is set, and in the specific area detection step, the priority is set. It is one of preferred embodiments to detect specific areas in order.
入力画像データについての拡大・縮小画像データを複数生成する。これら複数の拡大・縮小画像データが候補となる。いま、過去フレーム画像についての複数の拡大・縮小画像データのうちのある1つの拡大・縮小画像データで特定領域が検出されているとする。候補とするのは、その特定領域が検出されている拡大・縮小画像データに対して連続するいくつかの拡大・縮小画像データである。このようにして選択されたいくつかの拡大・縮小画像データのパラメータに優先順位を付ける。すべての候補の中からいくつかに絞り込んで優先順位を付け、優先順位に従って現在フレーム画像データで特定領域を検出するので、特定領域検出に要する演算量の削減が促進され、演算量過多に起因する撮像の困難性をさらに良好に回避することが可能となる。 A plurality of enlarged / reduced image data are generated for the input image data. These multiple enlarged / reduced image data are candidates. Now, it is assumed that the specific area is detected from one enlarged / reduced image data among a plurality of enlarged / reduced image data of the past frame image. Candidates are several enlarged / reduced image data continuous with respect to the enlarged / reduced image data in which the specific area is detected. Priorities are assigned to the parameters of some enlarged / reduced image data selected in this way. The priority is determined by narrowing down to some of all candidates, and the specific area is detected from the current frame image data according to the priority order. This reduces the amount of calculation required for detecting the specific area, resulting in excessive calculation amount. It becomes possible to avoid the difficulty of imaging even better.
《6》距離情報の差分と閾値との比較に言及した上記《3》の構成の画像処理方法において、前記の特定領域検出用パラメータの設定ステップについては、前記の距離情報の差分についての判定基準として適当な値の閾値P(P>0)を定めておき、前記の距離情報の差分が閾値P以上となったとき、過去フレーム画像データで検出された特定領域のサイズよりも小さいサイズの特定領域を検出するためのパラメータを設定し、さらに、前記の特定領域検出ステップにおいては、前記の小さいサイズの特定領域を検出するようにすることは好ましい態様の1つである。 << 6 >> In the image processing method configured as described in <3> above, which refers to the comparison between the distance information difference and the threshold value, the specific area detection parameter setting step includes a determination criterion for the distance information difference. When a threshold value P (P> 0) having an appropriate value is determined, and the difference between the distance information is equal to or larger than the threshold value P, a size smaller than the size of the specific region detected in the past frame image data is specified. It is a preferable aspect to set a parameter for detecting a region, and to detect the small-sized specific region in the specific region detecting step.
現在フレーム画像データにおける距離情報をS、過去フレーム画像データにおける距離情報をRとすると、距離情報の差分は(S−R)となる。この距離情報の差分(S−R)を閾値P(P>0)と比較する。 If the distance information in the current frame image data is S and the distance information in the past frame image data is R, the difference in distance information is (S−R). The difference (S−R) of the distance information is compared with a threshold value P (P> 0).
0<P≦(S−R)
となるときは、現在フレーム画像データにおける距離情報が増大中であるということが分かる。このときは、特定領域の検出対象サイズが小さくなるように特定領域検出用のパラメータを設定すればよい。
0 <P ≦ (S−R)
It can be seen that the distance information in the current frame image data is increasing. In this case, the specific region detection parameters may be set so that the detection target size of the specific region is small.
《7》距離情報の差分と閾値との比較に言及した上記《3》の構成の画像処理方法において、前記の特定領域検出用パラメータの設定ステップについては、前記の距離情報の差分についての判定基準として適当な値の閾値Q(Q<0)を定めておき、前記の距離情報の差分が閾値Qより小さくなったとき、過去フレーム画像データで検出された特定領域のサイズよりも大きいサイズの特定領域を検出するためのパラメータを設定し、さらに、前記の特定領域検出ステップにおいては、前記の大きいサイズの特定領域を検出するようにすることは好ましい態様の1つである。 << 7 >> In the image processing method configured as described in <3> above, which refers to the comparison between the difference in distance information and the threshold value, the determination criterion for the difference in distance information is set as the specific region detection parameter setting step. A threshold value Q (Q <0) having an appropriate value is set as follows, and when the difference in the distance information is smaller than the threshold value Q, the size of the specified region larger than the size of the specific region detected in the past frame image data is specified. It is a preferable aspect to set a parameter for detecting a region and to detect the large-sized specific region in the specific region detecting step.
現在フレーム画像データにおける距離情報をS、過去フレーム画像データにおける距離情報をRとすると、距離情報の差分は(S−R)となる。この距離情報の差分(S−R)を閾値Q(Q<0)と比較する。 If the distance information in the current frame image data is S and the distance information in the past frame image data is R, the difference in distance information is (S−R). The difference (S−R) in the distance information is compared with a threshold value Q (Q <0).
(S−R)<Q<0
となるときは、現在フレーム画像データにおける距離情報が減少中であるということが分かる。このときは、特定領域の検出対象サイズが大きくなるように特定領域検出用のパラメータを設定すればよい。
(S−R) <Q <0
It can be seen that the distance information in the current frame image data is decreasing. In this case, the specific area detection parameters may be set so that the detection target size of the specific area is large.
《8》距離情報の差分と閾値との比較に言及した上記《3》の構成の画像処理方法において、前記の特定領域検出用パラメータの設定ステップについては、前記の距離情報の差分が閾値P(P>0)より小さくかつ閾値Q(Q<0)以上となったとき、過去フレーム画像データで検出された特定領域のサイズと同等のサイズの特定領域を検出するためのパラメータを設定し、さらに、前記の特定領域検出ステップにおいては、前記同等のサイズの特定領域を検出するようにすることは好ましい態様の1つである。 <8> In the image processing method having the above configuration <3> mentioned in the comparison between the difference in distance information and the threshold value, the difference in the distance information is the threshold value P ( When P> 0) and a threshold Q (Q <0) or more, a parameter for detecting a specific area having a size equivalent to the size of the specific area detected in the past frame image data is set. In the specific area detecting step, it is one of preferred modes to detect the specific area having the same size.
現在フレーム画像データにおける距離情報をS、過去フレーム画像データにおける距離情報をRとすると、距離情報の差分は(S−R)となる。この距離情報の差分(S−R)を閾値P(P>0)、閾値Q(Q<0)と比較する。 If the distance information in the current frame image data is S and the distance information in the past frame image data is R, the difference in distance information is (S−R). The distance information difference (S−R) is compared with a threshold value P (P> 0) and a threshold value Q (Q <0).
Q≦(S−R)<P
となるときは、現在フレーム画像データにおける距離情報が増加中であるとも、また減少中であるとも言い難いことが分かる。このときは、特定領域の検出対象サイズが過去フレーム画像データでの特定領域の検出対象サイズと同等となるように特定領域検出用のパラメータを設定すればよい。
Q ≦ (S−R) <P
It can be understood that it is difficult to say that the distance information in the current frame image data is increasing or decreasing. In this case, the specific area detection parameters may be set so that the detection area size of the specific area is equivalent to the detection area size of the specific area in the past frame image data.
《9》距離情報の差分が閾値P(P>0)以上となったとき、過去フレーム画像データよりも小さいサイズの特定領域を検出するためのパラメータを設定することとした上記《6》の構成の画像処理方法において、前記の閾値Pについて、複数個の閾値P1〜Pn(nは正の整数、P1<P2<…<Pn)に細分化する。そして、前記の特定領域検出用パラメータの設定ステップにおいては、前記の距離情報の差分と細分化された閾値P1〜Pnとの大小関係により、特定サイズの特定領域を検出するためのパラメータを設定し、さらに、前記の特定領域検出ステップにおいては、前記の特定サイズの特定領域を検出するようにすることは好ましい態様の1つである。 <9> Configuration of the above <6>, in which a parameter for detecting a specific area having a size smaller than the past frame image data is set when the difference in distance information is equal to or greater than a threshold value P (P> 0). In the image processing method, the threshold value P is subdivided into a plurality of threshold values P1 to Pn (n is a positive integer, P1 <P2 <... <Pn). In the specific area detection parameter setting step, parameters for detecting a specific area of a specific size are set according to the magnitude relationship between the difference in the distance information and the subdivided threshold values P1 to Pn. Furthermore, in the specific area detecting step, it is one of preferred embodiments to detect the specific area of the specific size.
現在フレーム画像データにおける距離情報をS、過去フレーム画像データにおける距離情報をRとすると、距離情報の差分は(S−R)となる。この距離情報の差分(S−R)を閾値P1,P2,…,Pn(0<P1<P2<…<Pn)と各々比較する。 If the distance information in the current frame image data is S and the distance information in the past frame image data is R, the difference in distance information is (S−R). This distance information difference (S−R) is compared with threshold values P1, P2,..., Pn (0 <P1 <P2 <... <Pn).
P1≦(S−R)<P2の場合、選択されたいくつかの候補のうち最小サイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。 When P1 ≦ (S−R) <P2, parameters are set for the enlarged / reduced image data corresponding to the minimum size among the selected candidates, and the detection process is performed.
P2≦(S−R)<P3の場合、選択されたいくつかの候補のうち最小サイズの次に大きいサイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。 When P2 ≦ (S−R) <P3, a parameter is set for the enlarged / reduced image data corresponding to the next largest size among the selected candidates, and the detection process is performed.
Pn−1≦(S−R)<Pnの場合、選択されたいくつかの候補のうち最大サイズの次に小さいサイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。 When Pn−1 ≦ (S−R) <Pn, a parameter is set for the enlarged / reduced image data corresponding to the next smallest size among the selected candidates, and the detection process is performed. To do.
Pn≦(S−R)の場合、選択されたいくつかの候補のうち最大サイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。 When Pn ≦ (S−R), parameters are set for the enlarged / reduced image data corresponding to the maximum size among the selected candidates, and the detection process is performed.
このようにキメの細かいパラメータ設定を行うので、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、特定領域の検出の精度を高いものにすることが可能となる。 Since fine parameter setting is performed in this way, it is possible to increase the accuracy of detection of a specific area even when the subject moves back and forth or zooms in and out.
《10》距離情報の差分が閾値Q(Q<0)より小さくなったとき、過去フレーム画像データよりも大きいサイズの特定領域を検出するためのパラメータを設定することとした上記《7》の構成の画像処理方法において、前記の閾値Qについて、複数個の閾値Q1〜Qn(nは正の整数、Qn<…<Q2<Q1)に細分化する。そして、前記の特定領域検出用パラメータの設定ステップにおいては、前記の距離情報の差分と細分化された閾値Q1〜Qnとの大小関係により、特定サイズの特定領域を検出するためのパラメータを設定し、さらに、前記の特定領域検出ステップにおいては、前記の特定サイズの特定領域を検出するようにすることは好ましい態様の1つである。 <10> Configuration of the above <7>, in which a parameter for detecting a specific area having a size larger than the past frame image data is set when the difference in the distance information becomes smaller than the threshold value Q (Q <0). In the image processing method, the threshold value Q is subdivided into a plurality of threshold values Q1 to Qn (n is a positive integer, Qn <... <Q2 <Q1). In the specific area detection parameter setting step, parameters for detecting a specific area of a specific size are set according to the magnitude relationship between the difference in the distance information and the subdivided threshold values Q1 to Qn. Furthermore, in the specific area detecting step, it is one of preferred embodiments to detect the specific area of the specific size.
現在フレーム画像データにおける距離情報をS、過去フレーム画像データにおける距離情報をRとすると、距離情報の差分は(S−R)となる。この距離情報の差分(S−R)を閾値Q1,Q2,…,Qn(Qn<…<Q2<Q1<0)と各々比較する。 If the distance information in the current frame image data is S and the distance information in the past frame image data is R, the difference in distance information is (S−R). The distance information difference (S−R) is compared with threshold values Q1, Q2,..., Qn (Qn <... <Q2 <Q1 <0).
Q2≦(S−R)<Q1の場合、選択されたいくつかの候補のうち最大サイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。 When Q2 ≦ (S−R) <Q1, parameters are set for the enlarged / reduced image data corresponding to the maximum size among the selected candidates, and the detection process is performed.
Q3≦(S−R)<Q2の場合、選択されたいくつかの候補のうち最大サイズの次に小さいサイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。 When Q3 ≦ (S−R) <Q2, parameters are set for the enlarged / reduced image data corresponding to the next smallest size among the selected candidates, and the detection process is performed.
Qn≦(S−R)<Qn−1の場合、選択されたいくつかの候補のうち最小サイズの次に大きいサイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。 When Qn ≦ (S−R) <Qn−1, a parameter is set for the enlarged / reduced image data corresponding to the next largest size among the selected candidates, and the detection process is performed. To do.
(S−R)<Qnの場合、選択されたいくつかの候補のうち最小サイズに対応する拡大・縮小画像データに対してパラメータを設定し、検出処理を実施する。 When (S−R) <Qn, parameters are set for the enlarged / reduced image data corresponding to the minimum size among the selected candidates, and the detection process is performed.
このようにキメの細かいパラメータ設定を行うので、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、特定領域の検出の精度を高いものにすることが可能となる。 Since fine parameter setting is performed in this way, it is possible to increase the accuracy of detection of a specific area even when the subject moves back and forth or zooms in and out.
《12》動作解析ステップについて言及した上記《11》の構成の画像処理方法において、前記の動作解析ステップについては、過去フレーム画像データで検出された特定領域の内部または周辺の距離情報と現在フレーム画像データにおける同位置の距離情報とに基づいて特定領域に左右上下の動きがあるか否かを解析することは好ましい態様の1つである。 <12> In the image processing method having the above-described configuration <11> referring to the motion analysis step, the motion analysis step includes distance information inside or around a specific area detected from past frame image data and the current frame image. It is one of the preferable modes to analyze whether or not there is a left / right / up / down movement in the specific area based on the distance information of the same position in the data.
過去フレーム画像データで検出された特定領域は、その位置座標が確定している。これに対して、現在フレーム画像データでは、これからその特定領域を定めるので、特定領域の位置座標は未確定である。そこで、位置座標がすでに確定している過去フレーム画像データで検出された特定領域の内部または周辺と同じ位置において、現在フレーム画像データにおける距離情報を求め、この距離情報とに基づいて特定領域に左右上下の動きがあるか否かを解析することとする。こうすることにより、撮像装置の光軸振れや被写体の左右上下の動きによる特定領域の左右上下の動きの判断を精度の高いものにすることが可能となる。 The position coordinates of the specific area detected in the past frame image data are fixed. On the other hand, in the current frame image data, since the specific area is determined from now on, the position coordinates of the specific area are not yet determined. Therefore, the distance information in the current frame image data is obtained at the same position as the inside or the periphery of the specific area detected in the past frame image data whose position coordinates have already been determined, and the specific area is affected by the distance information. Let us analyze whether there is vertical movement. By doing so, it is possible to make the determination of the left / right / up / down movement of the specific region due to the optical axis shake of the imaging apparatus and the left / right / up / down movement of the subject with high accuracy.
《13》上記《12》の構成の画像処理方法において、前記の動作解析ステップについては、過去フレーム画像データで検出された特定領域の内部または周辺の距離情報と現在フレーム画像データにおける同位置の距離情報との大小関係を各々算出し、1つでも異なる大小関係が現れた場合は特定領域が左右上下の動きを伴うと判断するようにすることは好ましい態様の1つである。 << 13 >> In the image processing method configured as described in <12> above, the motion analysis step includes the distance information of the inside or the periphery of the specific area detected in the past frame image data and the distance at the same position in the current frame image data. It is one of the preferable modes to calculate the magnitude relationship with the information, and to determine that the specific area is accompanied by the horizontal and vertical movements when one or more different magnitude relationships appear.
撮像装置の光軸振れや被写体の左右上下の動きに起因して特定領域の左右上下の動きがあるときは、現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報との差分において、その正負の符号が反転し、両距離情報の大小関係が不規則なものとなる。このような不規則が現れてきた場合には、特定領域が左右上下の動きを伴うと判断して上記《1》の処理は不動作とし、特定領域検出用のパラメータを全サイズに対して設定することとする。これによれば、特定領域の左右上下の動きの判断を精度の高いものにすることが可能となる。 When there is left / right / up / down movement of the specific area due to the optical axis shake of the image pickup device or the left / right / up / down movement of the subject, the difference between the distance information in the current frame image data and the distance information in the past frame image data The sign of positive / negative is reversed, and the magnitude relationship between the two distance information becomes irregular. If such irregularities appear, it is determined that the specific area is accompanied by a horizontal and vertical movement, and the processing of << 1 >> is disabled, and the specific area detection parameters are set for all sizes. I decided to. According to this, it is possible to make the determination of the left / right / up / down movement of the specific region highly accurate.
《15》特定領域に左右上下の動きがあるか否かの解析に動きベクトルを用いる上記《14》の構成の画像処理方法において、前記の動きベクトル解析ステップについて、過去フレーム画像データで検出された特定領域の内部または周辺と同位置の現在フレーム画像データにおける動きベクトルに基づいて特定領域に左右上下の動きがあるか否かを解析するという態様がある。 <15> In the image processing method having the above configuration <14>, in which a motion vector is used to analyze whether there is a left / right / up / down motion in a specific region, the motion vector analysis step is detected from past frame image data There is a mode in which it is analyzed whether or not there is a horizontal and vertical movement in the specific area based on the motion vector in the current frame image data at the same position as or inside the specific area.
過去フレーム画像データで検出された特定領域は、その位置座標が確定している。これに対して、現在フレーム画像データでは、これからその特定領域を定めるので、特定領域の位置座標は未確定である。そこで、位置座標がすでに確定している過去フレーム画像データで検出された特定領域の内部または周辺と同じ位置において、現在フレーム画像データにおける距離情報を求めることとする。こうすることにより、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、過去・現在の両フレーム画像データの距離情報の比較の精度を高いものにすることが可能となる。 The position coordinates of the specific area detected in the past frame image data are fixed. On the other hand, in the current frame image data, since the specific area is determined from now on, the position coordinates of the specific area are not yet determined. Therefore, distance information in the current frame image data is obtained at the same position as the inside or the periphery of the specific area detected in the past frame image data whose position coordinates have already been determined. By doing so, it is possible to increase the accuracy of comparison of the distance information of both the past and current frame image data even when the subject moves back and forth or zooms in and out.
《16》上記《15》の構成の画像処理方法において、前記の動きベクトル解析ステップにおいて、過去フレーム画像データで検出された特定領域の内部または周辺と同位置の入力されてくる画像データにおける動きベクトル情報の合計値を算出し、その合計値が閾値以上となったときに特定領域が左右上下の動きを伴うと判断するという態様がある。 <16> In the image processing method configured as described in <15> above, in the motion vector analysis step, the motion vector in the input image data at the same position as the inside or the periphery of the specific area detected in the past frame image data There is a mode in which a total value of information is calculated, and it is determined that the specific area is accompanied by a vertical movement when the total value is equal to or greater than a threshold value.
特定領域が左右上下の動きを伴う場合には動きベクトル情報に規則性がなく、その合計値が相対的に大きくなる。このような場合には、左右上下動作有りと判定し、全サイズの特定領域を検出するためのパラメータを設定する。 When the specific area is accompanied by left / right / up / down movement, the motion vector information is not regular, and the total value thereof is relatively large. In such a case, it is determined that there is a left / right / up / down motion, and a parameter for detecting a specific area of all sizes is set.
一方、被写体の前後動作やズームアップ・ズームアウトの操作のときは特定領域が左右上下の動きを伴わないが、このような場合には、動きベクトル情報に規則的に算出され、ベクトルの合計値が相対的に小さくなる。このような場合には、左右上下動作無しと判定し、サイズを限定した特定領域を検出するためのパラメータを設定する。 On the other hand, the specific area does not move left / right / up / down during the subject's back-and-forth movement or zoom-up / zoom-out operation, but in such a case, the motion vector information is regularly calculated and the total value of the vectors Becomes relatively small. In such a case, it is determined that there is no left / right / up / down motion, and a parameter for detecting a specific area with a limited size is set.
《17》動作解析ステップについて言及した上記《11》の構成の画像処理方法において、前記動作解析ステップで特定領域が左右上下の動きを伴わないと判断したときは、前記特定領域検出用パラメータの設定ステップにおいて、特定領域検出用パラメータを検出対象の特定領域のサイズに対して設定するものとする。 <17> In the image processing method configured as described in <11>, which refers to the motion analysis step, when the motion analysis step determines that the specific region does not move left and right and up and down, the specific region detection parameter is set. In the step, the specific area detection parameter is set for the size of the specific area to be detected.
《18》動きベクトル解析ステップについて言及した上記《14》の構成の画像処理方法において、前記動きベクトル解析ステップで特定領域が左右上下の動きを伴わないと判断したときは、前記特定領域検出用パラメータの設定ステップにおいて、特定領域検出用パラメータを検出対象の特定領域のサイズに対して設定するものとする。 <18> In the image processing method having the above configuration <14> that refers to the motion vector analysis step, when it is determined in the motion vector analysis step that the specific region does not move left and right and up and down, the specific region detection parameter In the setting step, the specific area detection parameter is set for the size of the specific area to be detected.
《19》上記《1》〜《18》の構成の画像処理方法において、前記の特定領域としては顔領域を設定するのが典型である。ただし、本発明においては、特定領域は顔領域のみに限定されるものではなく、広く任意の形態の領域に適用され得るものとする。 << 19 >> In the image processing method configured as described in the above << 1 >> to << 18 >>, it is typical to set a face area as the specific area. However, in the present invention, the specific area is not limited to the face area, but can be widely applied to areas of any form.
《20》上記《1》〜《19》の構成の画像処理方法において、前記の距離情報としては視差情報を設定してもよい。2つの撮像素子を用いて得られる2つの画像間の視差は、被写体と撮像装置との距離に応じて変化する。この性質を利用して、視差を距離に換算することが可能である。 <20> In the image processing method configured as described in << 1 >> to << 19 >>, parallax information may be set as the distance information. The parallax between two images obtained using two imaging elements changes according to the distance between the subject and the imaging device. Using this property, it is possible to convert the parallax into a distance.
以下、本発明の画像処理方法および画像処理装置の実施例について図面を参照しながら説明する。以下では、特定領域を顔領域として説明する。 Embodiments of an image processing method and an image processing apparatus according to the present invention will be described below with reference to the drawings. Hereinafter, the specific area will be described as a face area.
(実施例1)
図16は本発明の実施例にかかわる画像処理装置が搭載されている撮像装置(例えばデジタルスチルカメラ)の構成を示すブロック図である。
Example 1
FIG. 16 is a block diagram showing a configuration of an image pickup apparatus (for example, a digital still camera) equipped with an image processing apparatus according to an embodiment of the present invention.
図16において、1は光学レンズ、2は光学レンズ1を介して入射した被写体光を受光して撮像信号に変換して出力するCMOSイメージセンサなどの撮像素子、3は撮像素子2から出力された撮像信号をデジタル信号に変換するA/D変換部、4はA/D変換部3の出力したデジタル信号に対して画像処理を行うデジタル信号処理回路、5はデジタル信号処理回路4内に装備される画像処理回路、6はデジタル信号処理回路4が出力する画像データをメディアに記録する記録回路、7は記録回路6に記録された信号を再生する再生回路、8は撮像素子2、A/D変換部3、デジタル信号処理回路4の駆動をタイミング制御するタイミング制御回路、9は撮像装置CAの全体を制御するシステム制御回路である。
In FIG. 16, 1 is an optical lens, 2 is an image sensor such as a CMOS image sensor that receives subject light incident through the
次に、図16の撮像装置CAの動作を説明する。光学レンズ1を通って入射した画像光は撮像素子2上に結像される。撮像素子2は、タイミング制御回路8によって駆動されることにより、結像された画像光を蓄積し、電気信号へと光電変換する。撮像素子2から読み出された電気信号は、A/D変換部3によってデジタル信号へと変換された後に、画像処理回路5を含むデジタル信号処理回路4に入力される。デジタル信号処理回路4においては、Y/C処理、エッジ処理、画像データの拡大縮小および本発明にかかわる画像圧縮伸張処理などの画像処理が行われる。画像処理された信号は、記録回路6においてメディアへ記録される。記録された信号は、再生回路7により再生される。
Next, the operation of the imaging apparatus CA in FIG. 16 will be described. The image light incident through the
図1は本発明の実施例1における画像処理装置の構成を示すブロック図である。この画像処理装置は、図16における画像処理回路5に相当するものである。なお、図16は、画像処理回路5が後述する実施例2,3の画像処理方法のいずれかの機能を備えている場合に準用される。
FIG. 1 is a block diagram showing the configuration of the image processing apparatus in
図1において、10は順次入力されてくる画像データにおいて距離情報を算出する距離算出部、20は現在フレーム画像データおよび過去フレーム画像データについてそれぞれ距離算出部10で得られた距離情報を比較する距離比較部、30は距離比較部20における比較結果に基づいて特定領域検出用のパラメータを設定する特定領域検出用パラメータ設定部、40は特定領域検出用パラメータ設定部30において設定された特定領域検出用のパラメータに基づいて特定領域を検出する特定領域検出部である。
In FIG. 1, 10 is a distance calculation unit that calculates distance information in sequentially input image data, and 20 is a distance that compares distance information obtained by the
図2は本発明の実施例1における画像処理装置の動作(全体フロー)を示すフローチャートである。以下、画像処理装置の動作を説明する。以下での特定領域は顔領域のことである。
FIG. 2 is a flowchart showing the operation (overall flow) of the image processing apparatus in
ステップn10において、順次入力されてくる画像データデータにおける撮像装置CAから被写体までの距離を算出する(距離算出ステップ)。この動作は距離算出部10において実行される。距離算出部10は、入力した画像データを蓄積したり算出した距離情報を蓄積しておくための記憶部を付帯している。この記憶部は、外部におくのが一般的であるが、内部にあってもよい。
In step n10, the distance from the imaging device CA to the subject in the sequentially input image data data is calculated (distance calculation step). This operation is executed in the
次いでステップn20において、現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報とを比較する(距離比較ステップ)。この動作は距離比較部20において実行される。距離比較部20は、前記の記憶部から現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報とを同時的に読み出し、両者を比較し、その比較結果を特定領域検出用パラメータ設定部30に渡す。比較の態様については後述する。
Next, in step n20, the distance information in the current frame image data is compared with the distance information in the past frame image data (distance comparison step). This operation is executed in the
次いでステップn30において、距離比較ステップn20における比較結果に基づいて特定領域検出で用いるパラメータを設定する(特定領域検出用パラメータの設定ステップ)。この動作は特定領域検出用パラメータ設定部30において実行される。特定領域検出用のパラメータの態様については後述する。
Next, in step n30, parameters used in specific area detection are set based on the comparison result in the distance comparison step n20 (specific area detection parameter setting step). This operation is executed in the specific area detection
次いでステップn40において、特定領域検出用パラメータの設定ステップn30において設定されたパラメータに基づいて特定領域を検出する(特定領域検出ステップ)。この動作は特定領域検出部40において実行される。
Next, in step n40, the specific area is detected based on the parameters set in the specific area detection parameter setting step n30 (specific area detection step). This operation is executed in the specific
ここで、本発明における撮像装置から被写体までの距離の算出方法に関して、例として2つの方法を説明する。 Here, as a method for calculating the distance from the imaging device to the subject in the present invention, two methods will be described as examples.
1つはレーザー光や電磁波等を被写体に照射し、その反射光の時間遅れに基づいて被写体との距離を算出するアクティブ方式である。 One is an active method in which a subject is irradiated with laser light, electromagnetic waves, or the like, and the distance to the subject is calculated based on the time delay of the reflected light.
もう1つは、2つの撮像素子を用いて得られる2つの画像データの相関を計算し、2つの画像データ間の視差情報に基づいて距離を算出するパッシブ方式である。 The other is a passive method in which a correlation between two image data obtained using two image sensors is calculated, and a distance is calculated based on parallax information between the two image data.
両方式ともに、画像データをN×Mブロック(N,M:正の整数)に分割したブロック単位または画素単位で距離情報を算出することが可能である。 In both methods, it is possible to calculate distance information in block units or pixel units obtained by dividing image data into N × M blocks (N, M: positive integers).
なお、2つの距離算出方法を例として説明したが、本発明における距離算出方法はこれらに限定されるものではない。 Although two distance calculation methods have been described as examples, the distance calculation method in the present invention is not limited to these.
図3は実施例1における初期フローを示す。順次入力されてくる画像データデータに対して特定領域検出ステップn2で特定領域検出処理を実施し、特定領域検出有無判定ステップn4で特定領域(顔領域)が検出されたと判断した場合は、距離算出ステップn6で被写体までの距離を算出し、検出結果を出力する。また、次フレーム以降の画像データに対しては図2に示すフローを実施する。特定領域(顔領域)が検出されなかったと判断した場合は、再度、初期フローの処理を実施する。 FIG. 3 shows an initial flow in the first embodiment. If the specific area detection process is performed on the sequentially input image data data in the specific area detection step n2, and it is determined that the specific area (face area) is detected in the specific area detection presence / absence determination step n4, the distance calculation is performed. In step n6, the distance to the subject is calculated, and the detection result is output. Further, the flow shown in FIG. 2 is performed on the image data of the subsequent frames. If it is determined that the specific area (face area) is not detected, the initial flow process is performed again.
図2のフローに先立って図3の初期フローをおくのは、図2の距離比較ステップn20において、現在フレーム画像データにおける距離情報に対して過去フレーム画像データにおける距離情報を必要とするからである。 The reason why the initial flow of FIG. 3 is set prior to the flow of FIG. 2 is that distance information in the past frame image data is required for distance information in the current frame image data in the distance comparison step n20 of FIG. .
上記の距離算出ステップn10での被写体までの距離の算出と、距離比較ステップn20での過去フレーム画像データにおける距離情報との比較について、図4を用いて説明する。Iinは入力画像データである。特定領域Aの典型例は顔領域である。 The calculation of the distance to the subject in the distance calculation step n10 and the comparison with the distance information in the past frame image data in the distance comparison step n20 will be described with reference to FIG. Iin is input image data. A typical example of the specific area A is a face area.
距離情報の比較において比較対象となる画像データ内の位置に関しては、過去フレームで検出された特定領域Aの内部または周辺のブロックまたは画素を比較すればよい。すなわち、距離算出ステップn10では、入力画像データに対してN×Mブロック(N,M:正の整数)に分割したときのブロック単位B0で距離情報を算出するものとする。また、距離比較ステップn20では、過去フレーム画像データで検出された特定領域Aの内部のブロックBc(顔領域の中心座標CCを含むブロック)における距離情報を比較する。 As for the position in the image data to be compared in the comparison of distance information, the block or pixel in or around the specific area A detected in the past frame may be compared. That is, in the distance calculation step n10, the distance information is calculated in block unit B0 when the input image data is divided into N × M blocks (N, M: positive integers). In the distance comparison step n20, the distance information in the block Bc (the block including the center coordinates CC of the face area) inside the specific area A detected from the past frame image data is compared.
次に、図5(a)に示す入力画像データに対する実施例に関して図2を用いて説明する。図5(a)は過去フレーム画像データF- で検出された特定領域よりも現在フレーム画像データFの特定領域が大きい場合である。 Next, an example of the input image data shown in FIG. 5A will be described with reference to FIG. FIG. 5A shows a case where the specific area of the current frame image data F is larger than the specific area detected in the past frame image data F − .
過去フレーム画像データF- における距離情報をR1、現在フレーム画像データFにおける距離情報をS1(S1<R1)として、距離差分(S1−R1)を所定の閾値Q(Q<0)と比較する。 Previous frame image data F - distance information in R1, compares the current distance information in the frame image data F as S1 (S1 <R1), the distance difference of (S1-R1) a predetermined threshold value Q and (Q <0).
(S1−R1)<Qの場合、これは撮像装置CAと被写体とが接近中であることを意味し、特定領域サイズが大きくなることが想定される。この場合、特定領域検出用パラメータの設定ステップn30において、過去フレーム画像データF- で検出された特定領域サイズよりも大きいサイズの特定領域を検出するためのパラメータを設定し、特定領域検出ステップn40において、設定したパラメータに従って検出処理を実施する。ここで、特定領域検出用のパラメータについては、検出する特定領域のサイズまたは検出範囲に関するパラメータとする。 In the case of (S1-R1) <Q, this means that the imaging device CA and the subject are approaching, and it is assumed that the specific area size becomes large. In this case, a parameter for detecting a specific region having a size larger than the specific region size detected in the past frame image data F − is set in the specific region detection parameter setting step n30, and in the specific region detection step n40. The detection process is performed according to the set parameters. Here, the specific area detection parameter is a parameter related to the size or detection range of the specific area to be detected.
次に、前述した特定領域検出用のパラメータの設定および特定領域検出の処理に関して図6を用いて説明する。 Next, the above-described parameter setting for specific area detection and specific area detection processing will be described with reference to FIG.
特定領域検出ステップn40では、入力画像データに対して拡大・縮小をi回(i:正の整数)実施するものとし、各拡大・縮小画像データをI0〜Ii-1で表す。 In the specific area detection step n40, the input image data is enlarged / reduced i times (i: positive integer), and each enlarged / reduced image data is represented by I 0 to I i−1 .
過去フレームF- において拡大・縮小画像データIi-4で特定領域が検出された場合、現在フレーム画像データFに対しては、特定領域検出用パラメータの設定ステップn30において、特定領域が検出された拡大・縮小画像データIi-4に連続する複数の拡大・縮小画像データIi-3,Ii-2,Ii-1に対して特定領域検出処理を実施するパラメータを設定する。さらに、特定領域検出ステップn40において、設定したパラメータに従って検出処理を実施する。 Past frame F - If the specific area in the enlarged or reduced image data I i-4 in is detected, for the current frame image data F, in the setting step n30 of the specific area detection parameter, the specific area is detected A parameter for executing the specific area detection process is set for a plurality of enlarged / reduced image data I i-3 , I i-2 , I i-1 continuous to the enlarged / reduced image data I i-4 . Furthermore, in the specific area detection step n40, detection processing is performed according to the set parameters.
検出処理を実施する拡大・縮小画像データの順番に関しては、連続する複数の拡大・縮小画像データIi-3,Ii-2,Ii-1に対して次のように優先順位を決めてもよい。 Regarding the order of the enlarged / reduced image data to be subjected to the detection process, priority is determined as follows for a plurality of continuous enlarged / reduced image data I i-3 , I i-2 , I i-1 . Also good.
距離差分(S1−R1)と所定の閾値X(X<Q)と比較して、(S1−R1)<Xの場合、これは撮像装置CAと被写体とが接近中で、接近の速度が比較的速いことを意味するため、拡大・縮小画像データIi-1→Ii-2→Ii-3の順番で検出処理を実施する。 Compared with the distance difference (S1-R1) and a predetermined threshold value X (X <Q), if (S1-R1) <X, this means that the imaging device CA and the subject are approaching, and the approach speed is compared. Therefore, detection processing is performed in the order of enlarged / reduced image data I i-1 → I i-2 → I i-3 .
一方、X<(S1−R1)の場合、これは撮像装置CAと被写体とが接近中で、接近の速度が比較的遅いことを意味するため、上記とは逆の、拡大・縮小画像データIi-3→Ii-2→Ii-1の順番で検出処理を実施する。 On the other hand, in the case of X <(S1-R1), this means that the imaging apparatus CA is approaching and the subject is approaching and the approaching speed is relatively slow. The detection process is performed in the order of i-3 → I i-2 → I i-1 .
以上の処理においては、すべての拡大・縮小画像データに対して検出処理を実施するのではなく、それの一部に限定して実施するようにしているため、特定領域検出処理の演算量を削減することができる。 In the above processing, the detection processing is not performed for all the enlarged / reduced image data, but only for a part of the detection processing, so that the calculation amount of the specific area detection processing is reduced. can do.
前述した拡大・縮小画像データの優先順位に従って検出処理を実施し、途中で特定領域が検出された場合には、残りの処理を打ち切ることとする。逆に、検出対象となった拡大・縮小画像データにて特定領域が検出されなかった場合には、検出対象外となっていた拡大・縮小画像データに対して検出処理を実施するものとする。 The detection process is performed in accordance with the priority order of the enlarged / reduced image data described above. If a specific area is detected during the process, the remaining processes are terminated. On the other hand, when a specific area is not detected in the enlarged / reduced image data that is the detection target, the detection process is performed on the enlarged / reduced image data that is not the detection target.
次に、図5(b)に示す入力画像データに対する実施例に関して図2を用いて説明する。図5(b)は過去フレーム画像データF- で検出された特定領域よりも現在フレーム画像データFの特定領域が小さい場合である。 Next, an example of the input image data shown in FIG. 5B will be described with reference to FIG. FIG. 5B shows a case where the specific area of the current frame image data F is smaller than the specific area detected in the past frame image data F − .
距離算出ステップn10において、入力されてくる現在フレーム画像データFに対して被写体までの距離を算出し、距離比較ステップn20において、過去フレーム画像データF- における距離情報との比較を実施する。距離情報の比較において比較対象となる画像データ内の位置に関しては、図5(a)ですでに説明してあるため省略する。 In the distance calculation step n10, the distance to the subject is calculated with respect to the input current frame image data F, and in the distance comparison step n20, comparison with the distance information in the past frame image data F − is performed. The position in the image data to be compared in the distance information comparison has already been described with reference to FIG.
過去フレーム画像データF- における距離情報をR2、現在フレーム画像データFにおける距離情報をS2(R2<S2)として、距離差分(S2−R2)を所定の閾値P(P>0)と比較する。 The distance information in the past frame image data F − is R2, the distance information in the current frame image data F is S2 (R2 <S2), and the distance difference (S2−R2) is compared with a predetermined threshold P (P> 0).
P≦(S2−R2)の場合、これは撮像装置CAと被写体とが離間中であることを意味し、特定領域サイズが小さくなることが想定される。この場合、特定領域検出用パラメータの設定ステップn30において、過去フレーム画像データF- で検出された特定領域サイズよりも小さいサイズの特定領域を検出するためのパラメータを設定し、特定領域検出ステップn40において、設定したパラメータに従って検出処理を実施する。 In the case of P ≦ (S2-R2), this means that the imaging apparatus CA and the subject are being separated from each other, and it is assumed that the specific area size becomes small. In this case, in the setting step n30 of the specific region detection parameters, past frame image data F - set the parameters for detecting a specific area of a size smaller than the detected specific region size, in the specific region detection step n40 The detection process is performed according to the set parameters.
特定領域検出用のパラメータの設定および特定領域検出の処理に関しては、図5(a)ですでに説明してあるため詳細は省略するが、拡大・縮小画像データI0〜Ii-5に対して同様の処理を実施するものである。 The parameter setting for specific area detection and the specific area detection process have already been described with reference to FIG. 5A and will not be described in detail. However, the enlarged / reduced image data I 0 to I i-5 are not described in detail. The same processing is performed.
以上の処理においては、すべての拡大・縮小画像データに対して検出処理を実施するのではなく、それの一部に限定して実施するようにしているため、特定領域検出処理の演算量を削減することができる。 In the above processing, the detection processing is not performed for all the enlarged / reduced image data, but only for a part of the detection processing, so that the calculation amount of the specific area detection processing is reduced. can do.
次に、図5(c)に示す入力画像データに対する実施例に関して図2を用いて説明する。図5(c)は過去フレーム画像データF- で検出された特定領域と現在フレーム画像データFの特定領域が同等の場合である。 Next, an example of the input image data shown in FIG. 5C will be described with reference to FIG. FIG. 5C shows a case where the specific area detected in the past frame image data F − is equivalent to the specific area of the current frame image data F −.
距離算出ステップn10において、入力されてくる現在フレーム画像データFに対して被写体までの距離を算出し、距離比較ステップn20において、過去フレーム画像データF- における距離情報との比較を実施する。距離情報の比較において比較対象となる画像データ内の位置に関しては、図5(a)ですでに説明してあるため省略する。 In the distance calculation step n10, the distance to the subject is calculated with respect to the input current frame image data F, and in the distance comparison step n20, comparison with the distance information in the past frame image data F − is performed. The position in the image data to be compared in the distance information comparison has already been described with reference to FIG.
過去フレーム画像データF- における距離情報をR3、現在フレーム画像データFにおける距離情報をS3(R3=S3)として、距離差分(S3−R3)を所定の閾値P,Q(P>0、Q<0)と比較する。 Previous frame image data F - distance information in R3, the current distance information in the frame image data F as S3 (R3 = S3), the distance difference (S3-R3) a predetermined threshold value P, Q (P> 0, Q < Compare with 0).
(S3−R3)<PかつQ≦(S3−R3)の場合、これは撮像装置CAと被写体とがほとんど接近または離間していないことを意味し、特定領域サイズがほぼ変わらないことが想定される。この場合、特定領域検出用パラメータの設定ステップn30において、過去フレーム画像データF- で検出された特定領域サイズと同等のサイズの特定領域を検出するためのパラメータを設定し、特定領域検出ステップn40において、設定したパラメータに従って検出処理を実施する。 In the case of (S3-R3) <P and Q ≦ (S3-R3), this means that the imaging apparatus CA and the subject are hardly approaching or separating from each other, and it is assumed that the specific area size is not substantially changed. The In this case, in the setting step n30 of the specific region detection parameters, past frame image data F - set the parameters for detecting the specific area of the specific region size detected in the same size, in the specific region detection step n40 The detection process is performed according to the set parameters.
特定領域検出用のパラメータの設定および特定領域検出の処理に関しては、図5(a)ですでに説明してあるため詳細は省略するが、過去フレームF- において特定領域が検出された拡大・縮小画像データIi-4に対して同様の処理を実施するものである。 For the process of setting and the specific region detection parameters for a particular region detection, omitted detail because you have already described in FIGS. 5 (a) is, past frame F - scaling the specific area in is detected A similar process is performed on the image data I i-4 .
なお、距離算出ステップn10における算出誤差を許容するために、前後の拡大・縮小画像データに対しても検出処理を実施してもよい。 In addition, in order to allow the calculation error in the distance calculation step n10, the detection process may be performed on the front and rear enlarged / reduced image data.
以上の処理においては、検出処理はすべての拡大・縮小画像データに対して実施するのではなく、それの一部に限定して実施するようにしているため、特定領域検出処理の演算量を削減することができる。 In the above processing, the detection processing is not performed for all the enlarged / reduced image data, but only for a part of the enlarged / reduced image data, so that the calculation amount of the specific area detection processing is reduced. can do.
次に、図7を用いて、図6の設定方法よりも詳細にパラメータを設定する方法に関して説明する。 Next, a method for setting parameters in more detail than the setting method of FIG. 6 will be described with reference to FIG.
図5(a)に示す画像データが入力された場合、距離算出ステップn10において、現在フレーム画像データFに対して被写体までの距離を算出し、距離比較ステップn20において、過去フレーム画像データF- における距離情報との比較を実施する。距離情報の比較において比較対象となる画像データ内の位置に関しては、図5(a)ですでに説明してあるため省略する。 If the image data is input as shown in FIG. 5 (a), in the distance calculation step n10, the current is calculated the distance to the object with respect to the frame image data F, at a distance comparing step n20, the previous frame image data F - in Compare with distance information. The position in the image data to be compared in the distance information comparison has already been described with reference to FIG.
過去フレーム画像データF- における距離情報をR1、現在フレーム画像データFにおける距離情報をS1(S1<R1)として、距離差分(S1−R1)と所定の閾値Q1,Q2,…,Qn(Qn<…<Q2<Q1<0)とを各々比較する。 Previous frame image data F - distance information in R1, the distance information currently in the frame image data F S1 (S1 <R1), the distance difference (S1-R1) with a predetermined threshold value Q1, Q2, ..., Qn ( Qn < ... <Q2 <Q1 <0) are compared with each other.
Q2≦(S1−R1)<Q1<0の場合、これは撮像装置CAと被写体とが接近中で、接近の速度が比較的遅いことを意味し、特定領域サイズが徐々に大きくなることが想定される。この場合、特定領域検出用パラメータの設定ステップn30において、拡大・縮小画像データIi-3に対して特定領域検出処理を実施するパラメータを設定し、特定領域検出ステップn40において、設定したパラメータに従って検出処理を実施する。 In the case of Q2 ≦ (S1-R1) <Q1 <0, this means that the imaging apparatus CA and the subject are approaching and the approaching speed is relatively slow, and it is assumed that the specific area size gradually increases. Is done. In this case, a parameter for executing the specific area detection process is set for the enlarged / reduced image data I i-3 in the specific area detection parameter setting step n30, and detection is performed according to the set parameter in the specific area detection step n40. Perform the process.
Q3≦(S1−R1)<Q2の場合、これは撮像装置CAと被写体とが接近中で、接近の速度が中間状態であることを意味し、特定領域サイズが中間速度で大きくなることが想定される。この場合、特定領域検出用パラメータの設定ステップn30において、拡大・縮小画像データIi-2に対して特定領域検出処理を実施するパラメータを設定し、特定領域検出ステップn40において、設定したパラメータに従って検出処理を実施する。 In the case of Q3 ≦ (S1-R1) <Q2, this means that the imaging apparatus CA and the subject are approaching and the approaching speed is in an intermediate state, and it is assumed that the specific area size increases at the intermediate speed. Is done. In this case, a parameter for executing the specific area detection process is set for the enlarged / reduced image data I i-2 in the specific area detection parameter setting step n30, and detection is performed according to the set parameter in the specific area detection step n40. Perform the process.
(S1−R1)<Q3の場合、これは撮像装置CAと被写体とが接近中で、接近の速度が比較的速いことを意味し、特定領域サイズが急速に大きくなることが想定される。この場合、特定領域検出用パラメータの設定ステップn30において、拡大・縮小画像データIi-1に対して特定領域検出処理を実施するパラメータを設定し、特定領域検出ステップn40において、設定したパラメータに従って検出処理を実施する。 In the case of (S1-R1) <Q3, this means that the imaging device CA and the subject are approaching and the approaching speed is relatively fast, and it is assumed that the specific area size increases rapidly. In this case, a parameter for executing the specific area detection process is set for the enlarged / reduced image data I i-1 in the specific area detection parameter setting step n30, and detection is performed according to the set parameter in the specific area detection step n40. Perform the process.
なお、1つの条件に対して複数の拡大・縮小画像データを割り当ててもよい。 A plurality of enlarged / reduced image data may be assigned to one condition.
また、同様に図5(b)に示す画像データが入力された場合に関しても、過去フレーム画像データF- における距離情報をR2、現在フレーム画像データFにおける距離情報をS2(R2<S2)として、距離差分(S2−R2)と所定の閾値P1〜Pn(0<P1<P2<…<Pn)とを各々比較し、特定領域検出用パラメータの設定ステップn30において、各条件に対応した拡大・縮小画像データに対して特定領域検出処理を実施するパラメータを設定し、特定領域検出ステップn40において、設定したパラメータに従って検出処理を実施する。 Similarly, when the image data shown in FIG. 5B is input, the distance information in the past frame image data F − is R2, and the distance information in the current frame image data F is S2 (R2 <S2). The distance difference (S2-R2) and predetermined threshold values P1 to Pn (0 <P1 <P2 <... <Pn) are respectively compared, and in the specific region detection parameter setting step n30, enlargement / reduction corresponding to each condition is performed. A parameter for executing the specific area detection process is set for the image data, and the detection process is executed according to the set parameter in the specific area detection step n40.
なお、図8に示すフローのように本実施例における距離情報を視差情報に置き換えて処理を実施することも可能である。 In addition, it is also possible to replace the distance information in this embodiment with disparity information as in the flow shown in FIG.
(実施例2)
本発明の実施例2は、上記の実施例1にさらに特定領域の左右上下動作の有無判定を導入した画像処理方法に関する。特定領域の左右上下動作の有無判定は、現在フレーム画像データおよび過去フレーム画像データデータにおける距離情報に基づいて行われる。
(Example 2)
The second embodiment of the present invention relates to an image processing method in which the presence / absence determination of the left / right / up / down motion of a specific area is further introduced in the first embodiment. The presence / absence determination of the left / right up / down motion of the specific area is performed based on distance information in the current frame image data and the past frame image data data.
図9は本発明の実施例2における画像処理装置の構成を示すブロック図である。この画像処理装置は、図16における画像処理回路5に相当するものである。図9において、実施例1の図1におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。12は距離算出部10で得られる過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する動作解析部である。14は動作解析部12における解析結果が特定領域は左右上下の動きを伴わないとする場合は距離比較部20を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較部20を不動作とした上で特定領域検出用パラメータ設定部30aを動作させる分岐制御部である。特定領域検出用パラメータ設定部30aは、解析結果が特定領域は左右上下の動きを伴うとする場合に、特定領域検出用のパラメータを全サイズに対して設定するように構成されている。
FIG. 9 is a block diagram showing the configuration of the image processing apparatus in
図10は図9の画像処理装置が実行するフローであって、現在フレーム画像データおよび過去フレーム画像データデータにおける距離情報に基づいて特定領域の左右上下動作の有無判定を導入したフローを示す。図5(d)に示す入力画像データに対する実施例に関して図10を用いて説明する。 FIG. 10 is a flow executed by the image processing apparatus of FIG. 9 and shows a flow in which determination of presence / absence of left / right up / down motion of a specific region is introduced based on distance information in current frame image data and past frame image data data. An embodiment for the input image data shown in FIG. 5D will be described with reference to FIG.
図5(d)は過去フレーム画像データF- と現在フレーム画像データFで特定領域に左右上下の動作が有る場合を示している。 FIG. 5D shows a case where the specific area has left and right up and down movements in the past frame image data F − and the current frame image data F.
距離算出ステップn10において、入力されてくる現在フレーム画像データFに対して被写体までの距離を算出する。 In the distance calculation step n10, the distance to the subject is calculated with respect to the input current frame image data F.
次いでステップn12において、過去フレーム画像データF- における距離情報と現在フレーム画像データFにおける距離情報に基づいて左右上下動作の有無を解析する(動作解析ステップ)。この動作は動作解析部12において実行される。動作解析部12は、距離算出部10における記憶部から現在フレーム画像データにおける距離情報と過去フレーム画像データにおける距離情報とを同時的に読み出し、左右上下動作の有無を解析し、その解析結果を分岐制御部14に渡す。
Next, at step n12, the presence / absence of the left / right up / down motion is analyzed based on the distance information in the past frame image data F- and the distance information in the current frame image data F (operation analysis step). This operation is executed in the
次いでステップn14において、動作解析ステップn12における解析結果が特定領域は左右上下の動きを伴わないとする場合は距離比較ステップn20に進み、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較ステップn20をスキップして特定領域検出用パラメータの設定ステップn30aに進む(分岐制御ステップ)。この動作は分岐制御部14において実行される。
Next, at step n14, when the analysis result at the motion analysis step n12 indicates that the specific area does not move left and right and up and down, the process proceeds to the distance comparison step n20, and when the analysis result indicates that the specific area includes left and right and up and down movement. The distance comparison step n20 is skipped and the process proceeds to a specific region detection parameter setting step n30a (branch control step). This operation is executed in the
続く特定領域検出用パラメータの設定ステップn30aにおいては、ステップn20からのフローのときは実施例1と同様の処理を実行し、ステップS14からのフローのときは、全サイズの特定領域を検出するためのパラメータを設定する。後者の動作は特定領域検出用パラメータ設定部30aにおいて実行される。
In the subsequent specific area detection parameter setting step n30a, the same processing as in the first embodiment is executed in the flow from step n20, and the specific area of all sizes is detected in the flow from step S14. Set the parameters. The latter operation is executed in the specific area detection
次いで特定領域検出ステップn40において、設定したパラメータに従って検出処理を実施する。 Next, in a specific area detection step n40, detection processing is performed according to the set parameters.
ここで、左右上下動作の有無の解析方法に関して図11を用いて説明する。 Here, a method for analyzing the presence / absence of left / right up / down motion will be described with reference to FIG.
距離情報は実施例1と同様に、距離算出ステップn10において、入力画像データに対してN×Mブロック(N,M:正の整数)に分割したときのブロック単位で算出されるものとする。 Similar to the first embodiment, the distance information is calculated in units of blocks when the input image data is divided into N × M blocks (N, M: positive integers) in the distance calculation step n10.
動作解析ステップn12では、過去フレーム画像データF- における特定領域の周辺ブロックまたは内部ブロックの距離情報と現在フレーム画像データFにおける同位置のブロックの距離情報を各々比較すればよいが、本実施例では周辺ブロック(図11の網掛けされたブロック)を各々比較し、大小関係を算出する。 In operation analysis step n12, the previous frame image data F - may be compared the distance information of the peripheral blocks or interior blocks of the distance information and the block of the current the same position in the frame image data F in a specific area in each, but in this embodiment Peripheral blocks (shaded blocks in FIG. 11) are respectively compared, and the magnitude relationship is calculated.
図11(a)においては、過去フレーム画像データF- より現在フレーム画像データFの距離情報が大きいブロックB1および過去フレーム画像データF- より現在フレーム画像データFの距離情報が小さいブロックB2の両方が存在している。そのため、分岐制御ステップn14において左右上下動作有りと判定し、特定領域検出用パラメータの設定ステップn30aにおいて、全サイズの特定領域を検出するためのパラメータを設定する。 In FIG. 11 (a), the previous frame image data F - both more current frame image data F of the distance information is smaller blocks B2 - more current frame image data F of the distance information is larger blocks B1 and past frame image data F Existing. Therefore, it is determined in the branch control step n14 that there is a left / right up / down motion, and a parameter for detecting specific regions of all sizes is set in a specific region detection parameter setting step n30a.
図11(b)においては、過去フレーム画像データF- より現在フレーム画像データFの距離情報が大きいブロックB1のみが存在している。そのため、動作解析ステップn12において左右上下動作無しと判定し、分岐制御ステップn14からステップn20に分岐し、以降、実施例1と同様の処理を実施する。 In FIG. 11 (b), only the block B1 in which the distance information of the current frame image data F is larger than the past frame image data F − is present. Therefore, it is determined that there is no left / right / up / down motion in the motion analysis step n12, the process branches from the branch control step n14 to step n20, and thereafter the same processing as in the first embodiment is performed.
以上の処理を実施することにより、特定領域が左右上下の動作を伴ったとしても検出漏れを防止することができる。 By performing the above processing, it is possible to prevent omission of detection even if the specific area is accompanied by a left / right / up / down motion.
また、図12に示すように特定領域が左右上下動作を伴わない場合、特定領域検出用のパラメータにて現在フレーム画像データFにおける検出対象の特定領域A* を設定し、特定領域検出ステップn40において、設定したパラメータに従って検出処理を実施することで、特定領域検出処理の演算量を削減することができる。設定する検出対象の特定領域A* については、実施例1で説明した拡大・縮小画像データから現在フレーム画像データFにおける特定領域サイズを予測し、その予測に基づいて設定することが望ましい。過去フレーム画像データF- における特定領域より現在フレーム画像データFにおける特定領域が大きい場合も同様である。 Also, as shown in FIG. 12, when the specific area does not involve left / right and up / down movements, the specific area A * to be detected in the current frame image data F is set by the specific area detection parameter, and in the specific area detection step n40. By performing the detection process according to the set parameters, it is possible to reduce the calculation amount of the specific area detection process. The specific area A * to be detected is desirably set based on the prediction by predicting the specific area size in the current frame image data F from the enlarged / reduced image data described in the first embodiment. Previous frame image data F - If the specific area currently in the frame image data F from the specific region in the larger is the same.
(実施例3)
本発明の実施例3は、上記の実施例1にさらに動きベクトル情報に基づく特定領域の左右上下動作の有無判定を導入した画像処理方法に関する。
(Example 3)
The third embodiment of the present invention relates to an image processing method in which the presence / absence determination of the left / right / up / down motion of the specific region based on the motion vector information is further introduced in the first embodiment.
図13は本発明の実施例3における画像処理装置の構成を示すブロック図である。この画像処理装置は、図16における画像処理回路5に相当するものである。図13において、実施例1の図1におけるのと同じ符号は同一構成要素を指しているので、詳しい説明は省略する。16は入力されてくる画像データにおいて動きベクトル情報を生成する動きベクトル生成部である。18は動きベクトル生成部16による動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析するとともに、その解析結果が特定領域は左右上下の動きを伴わないとする場合は距離比較部20を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較部20を不動作とした上で特定領域検出用パラメータ設定部30aを動作させる動きベクトル解析部(分岐制御機能付き)である。特定領域検出用パラメータ設定部30aは、解析結果が特定領域は左右上下の動きを伴うとする場合に、特定領域検出用のパラメータを全サイズに対して設定するように構成されている。
FIG. 13 is a block diagram showing the configuration of the image processing apparatus in
図14は図13の画像処理装置が実行するフローであって、動きベクトル情報に基づく特定領域の左右上下動作の有無判定を導入したフローを示す。図5(d)に示す入力画像データに対する実施例に関して図14を用いて説明する。 FIG. 14 is a flow executed by the image processing apparatus of FIG. 13 and introduces a flow in which determination of presence / absence of left / right / up / down motion of a specific region based on motion vector information is introduced. An embodiment for the input image data shown in FIG. 5D will be described with reference to FIG.
距離算出ステップn10において、入力されてくる現在フレーム画像データFに対して被写体までの距離を算出する。 In the distance calculation step n10, the distance to the subject is calculated with respect to the input current frame image data F.
次いでステップn16において動きベクトルを算出する(動きベクトル生成ステップ)。この動作は動きベクトル生成部16において実行される。
Next, in step n16, a motion vector is calculated (motion vector generation step). This operation is executed in the
動きベクトル情報は、入力画像データに対してN×Mブロック(N,M:正の整数)に分割したときのブロック単位で算出されるものとする。 The motion vector information is calculated in units of blocks when the input image data is divided into N × M blocks (N, M: positive integers).
次いでステップn18において、動きベクトル情報に基づいて左右上下動作の有無を解析し、解析結果が特定領域は左右上下の動きを伴わないとする場合は距離比較ステップn20に進み、解析結果が特定領域は左右上下の動きを伴うとする場合は距離比較ステップn20をスキップして特定領域検出用パラメータの設定ステップn30aに進む(動きベクトル解析ステップ)。この動作は動きベクトル解析部18において実行される。
Next, in step n18, the presence / absence of left / right / up / down motion is analyzed based on the motion vector information. If the analysis result is that the specific region does not involve left / right / up / down motion, the process proceeds to distance comparison step n20. If it is accompanied by left / right / up / down movement, the distance comparison step n20 is skipped and the process proceeds to a specific region detection parameter setting step n30a (motion vector analysis step). This operation is executed in the motion
続く特定領域検出用パラメータの設定ステップn30aにおいては、ステップn20からのフローのときは実施例1と同様の処理を実行し、ステップS18からのフローのときは、実施例2と同様に全サイズの特定領域を検出するためのパラメータを設定する。後者の動作は特定領域検出用パラメータ設定部30aにおいて実行される。
In the subsequent specific region detection parameter setting step n30a, the same processing as in the first embodiment is executed in the flow from step n20, and in the flow from step S18, all the sizes are processed as in the second embodiment. Set parameters for detecting specific areas. The latter operation is executed in the specific area detection
次いで特定領域検出ステップn40において、設定したパラメータに従って検出処理を実施する。 Next, in a specific area detection step n40, detection processing is performed according to the set parameters.
ここで、左右上下動作の有無の解析方法に関して図15を用いて説明する。 Here, a method for analyzing the presence / absence of left / right up / down motion will be described with reference to FIG.
動きベクトル解析ステップn18では過去フレーム画像データF- における特定領域の周辺ブロックまたは内部ブロックの動きベクトル情報を解析すればよいが、本実施例では周辺ブロック(図15の矢印のブロック)の動きベクトルを解析する。解析方法は周辺ブロックにおける動きベクトル情報の合計値を算出し、所定の閾値MVとの比較を実施する。 In the motion vector analysis step n18, the motion vector information of the peripheral block or the internal block of the specific area in the past frame image data F − may be analyzed. In this embodiment, the motion vector of the peripheral block (arrow block in FIG. 15) is analyzed. To analyze. In the analysis method, a total value of motion vector information in the peripheral blocks is calculated and compared with a predetermined threshold MV.
図15(a)においては、周辺ブロックの動きベクトル情報に規則性がなく、ベクトルの合計値が所定の閾値MV以上となるため、左右上下動作有りと判定し、特定領域検出用パラメータの設定ステップn30aにおいて、全サイズの特定領域を検出するためのパラメータを設定する。 In FIG. 15A, since the motion vector information of the peripheral blocks is not regular and the total value of the vectors is equal to or greater than a predetermined threshold MV, it is determined that there is a left / right up / down motion, and a specific region detection parameter setting step In n30a, parameters for detecting specific areas of all sizes are set.
図15(b)においては、周辺ブロックの動きベクトル情報に規則的に算出され、ベクトルの合計値が所定の閾値MVより小さくなるため、左右上下動作無しと判定し、以降実施例1と同様の処理を実施する。 In FIG. 15B, the motion vector information of the neighboring blocks is regularly calculated, and the total value of the vectors is smaller than a predetermined threshold MV, so that it is determined that there is no left / right up / down motion. Perform the process.
以上の処理を実施することにより、撮像装置CAに対して特定領域が左右上下の動作を伴ったとしても検出漏れを防止することができる。 By performing the above processing, it is possible to prevent omission of detection even if the specific region is accompanied by up / down and up / down movements with respect to the imaging apparatus CA.
また、実施例2と同様に、図12に示すように特定領域が左右上下動作を伴わない場合、特定領域検出用のパラメータにて現在フレーム画像データFにおける検出対象の特定領域A* を設定し、特定領域検出ステップn40において、設定したパラメータに従って検出処理を実施することで特定領域検出処理の演算量を削減することができる。設定する検出対象の特定領域A* は実施例1で説明した拡大・縮小画像データから現在フレーム画像データFにおける特定領域サイズを予測し、その予測に基づいて設定することが望ましい。過去フレーム画像データF- における特定領域より現在フレーム画像データFにおける特定領域が大きい場合も同様である。 Similarly to the second embodiment, as shown in FIG. 12, when the specific area does not move left and right and up and down, the specific area A * to be detected in the current frame image data F is set by the specific area detection parameter. In the specific area detecting step n40, the amount of calculation of the specific area detecting process can be reduced by performing the detecting process according to the set parameters. The specific area A * to be detected is preferably set based on the prediction by predicting the specific area size in the current frame image data F from the enlarged / reduced image data described in the first embodiment. Previous frame image data F - If the specific area currently in the frame image data F from the specific region in the larger is the same.
なお、画像処理回路5における画像処理は、必ずしも光学レンズ1を介して撮像素子2に結像された画像光に基づく信号のみに適用されるものではなく、例えば外部装置から電気信号として入力されてくる画像データ信号を処理する際にも適用可能であることは言うまでもない。
The image processing in the image processing circuit 5 is not necessarily applied only to a signal based on the image light imaged on the
なお、上記で説明した実施例1〜3はあくまで一例であり、これらに対して様々な改変を行うことが可能である。 The first to third embodiments described above are merely examples, and various modifications can be made thereto.
本発明は、顔領域など特定領域の検出機能を備えるデジタルカメラ(デジタルスチルカメラ、デジタルビデオカメラ、カメラ付き携帯等)やネットワークカメラ、監視カメラ、テレビ内蔵型カメラ、インターホンカメラ、その他のインテリジェントカメラ等の撮像装置において、被写体の前後動作やズームアップ・ズームアウトの操作に際しても、演算量過多に起因する撮像の困難性を回避しつつ、特定領域の検出における演算量削減効果を達成する上で有用である。 The present invention is a digital camera (digital still camera, digital video camera, camera-equipped mobile phone, etc.), a network camera, a surveillance camera, a TV built-in camera, an interphone camera, and other intelligent cameras having a detection function for a specific area such as a face area. This imaging device is useful for achieving the effect of reducing the amount of computation in detecting a specific area, while avoiding the difficulty of imaging due to the excessive amount of computation, even when the subject moves back and forth or zooms in and out. It is.
n4 特定領域検出有無判定ステップ
n6,n10 距離算出ステップ
n10a 視差算出ステップ
n12 動作解析ステップ
n14 分岐制御ステップ
n16 動きベクトル生成ステップ
n18 動きベクトル解析ステップ
n20 距離比較ステップ
n20a 視差比較ステップ
n30 特定領域検出用パラメータの設定ステップ
n40 特定領域検出ステップ
CA 撮像装置
1 光学レンズ
2 撮像素子
3 A/D変換部
4 デジタル信号処理回路
5 画像処理回路
10 距離算出部
12 動作解析部
14 分岐制御部
16 動きベクトル生成部
18 動きベクトル解析部
20 距離比較部
30,30a 特定領域検出用パラメータ設定部
40 特定領域検出部
n4 Specific region detection presence / absence determination step n6, n10 Distance calculation step n10a Parallax calculation step n12 Motion analysis step n14 Branch control step n16 Motion vector generation step n18 Motion vector analysis step n20 Distance comparison step n20a Parallax comparison step n30 Specific region detection parameter Setting step n40 Specific area detection step
Claims (27)
現在フレーム画像データおよび過去フレーム画像データについてそれぞれ前記距離算出ステップで得られた距離情報を比較する距離比較ステップと、
前記距離比較ステップにおける比較結果に基づいて特定領域検出用のパラメータを設定する特定領域検出用パラメータの設定ステップと、
前記特定領域検出用パラメータの設定ステップにおいて設定された前記特定領域検出用のパラメータに基づいて特定領域を検出する特定領域検出ステップとを含む画像処理方法。 A distance calculating step for calculating distance information in sequentially input image data;
A distance comparison step for comparing the distance information obtained in the distance calculation step for each of the current frame image data and the past frame image data;
A specific region detection parameter setting step for setting a specific region detection parameter based on the comparison result in the distance comparison step;
An image processing method comprising: a specific area detecting step of detecting a specific area based on the specific area detecting parameter set in the specific area detecting parameter setting step.
過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する動作解析ステップと、
前記動作解析ステップにおける解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較ステップに進み、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較ステップをスキップして前記特定領域検出用パラメータの設定ステップに進む分岐制御ステップとを含み、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータの設定ステップでは、特定領域検出用のパラメータを全サイズに対して設定する請求項1から請求項10までのいずれか1項に記載の画像処理方法。 Between the distance calculating step and the distance comparing step,
An operation analysis step for analyzing whether there is a left-right up-down movement in the specific area based on the distance information in the past frame image data and the distance information in the current frame image data;
If the analysis result in the motion analysis step indicates that the specific area does not move left and right and up and down, the process proceeds to the distance comparison step. If the analysis result indicates that the specific area includes movement left and right and up and down, the distance comparison step is performed. A branch control step skipping and proceeding to the step of setting the specific area detection parameter,
11. The specific region detection parameter is set for all sizes in the specific region detection parameter setting step when the analysis result indicates that the specific region is accompanied by horizontal and vertical movements. The image processing method according to any one of the above.
入力されてくる画像データにおいて動きベクトル情報を生成する動きベクトル生成ステップと、
前記動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析し、解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較ステップに進み、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較ステップをスキップして前記特定領域検出用パラメータの設定ステップに進む動きベクトル解析ステップとを含み、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータの設定ステップでは、特定領域検出用のパラメータを全サイズに対して設定する請求項1から請求項10までのいずれか1項に記載の画像処理方法。 Between the distance calculating step and the distance comparing step,
A motion vector generation step for generating motion vector information in the input image data;
Based on the motion vector information, it is analyzed whether the specific area has left / right / up / down movement, and if the analysis result is that the specific area does not have left / right / up / down movement, the process proceeds to the distance comparison step. A motion vector analysis step that skips the distance comparison step and proceeds to the parameter setting step for the specific region detection when the specific region is accompanied by left and right and up and down movements,
11. The specific region detection parameter is set for all sizes in the specific region detection parameter setting step when the analysis result indicates that the specific region is accompanied by horizontal and vertical movements. The image processing method according to any one of the above.
現在フレーム画像データおよび過去フレーム画像データについてそれぞれ前記距離算出部で得られた距離情報を比較する距離比較部と、
前記距離比較部における比較結果に基づいて特定領域検出用のパラメータを設定する特定領域検出用パラメータ設定部と、
前記特定領域検出用パラメータ設定部において設定された前記特定領域検出用のパラメータに基づいて特定領域を検出する特定領域検出部とを備えた画像処理装置。 A distance calculation unit that calculates distance information in sequentially input image data;
A distance comparison unit that compares the distance information obtained by the distance calculation unit for each of the current frame image data and the past frame image data;
A specific region detection parameter setting unit for setting a specific region detection parameter based on the comparison result in the distance comparison unit;
An image processing apparatus comprising: a specific area detection unit configured to detect a specific area based on the specific area detection parameter set in the specific area detection parameter setting unit.
過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する動作解析部と、
前記動作解析部における解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較部を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較部を不動作とした上で前記特定領域検出用パラメータ設定部を動作させる分岐制御部とを備え、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータ設定部では、特定領域検出用のパラメータを全サイズに対して設定する請求項21に記載の画像処理装置。 further,
An action analysis unit that analyzes whether or not there is a left / right / up / down movement in the specific area based on the distance information in the past frame image data and the distance information in the current frame image data;
When the analysis result in the motion analysis unit indicates that the specific region does not move left and right and up and down, the distance comparison unit is operated, and when the analysis result indicates that the specific region includes left and right and up and down movement, the distance comparison unit A branch control unit for operating the specific region detection parameter setting unit,
The image processing apparatus according to claim 21, wherein when the analysis result is that the specific area is accompanied by a horizontal and vertical movement, the specific area detection parameter setting unit sets a specific area detection parameter for all sizes. .
入力されてくる画像データにおいて動きベクトル情報を生成する動きベクトル生成部と、
前記動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析し、解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離比較部を動作させ、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離比較部を不動作とした上で前記特定領域検出用パラメータ設定部を動作させる動きベクトル解析部とを備え、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータ設定部では、特定領域検出用のパラメータを全サイズに対して設定する請求項21に記載の画像処理装置。 further,
A motion vector generation unit for generating motion vector information in the input image data;
Based on the motion vector information, it is analyzed whether the specific area has left / right / up / down movement, and if the analysis result is that the specific area does not have left / right / up / down movement, the distance comparison unit is operated, and the analysis result When the specific area is accompanied by left and right and up and down movement, the distance comparison unit is disabled, and the motion vector analysis unit that operates the specific area detection parameter setting unit,
The image processing apparatus according to claim 21, wherein when the analysis result is that the specific area is accompanied by a horizontal and vertical movement, the specific area detection parameter setting unit sets a specific area detection parameter for all sizes. .
現在フレーム画像データおよび過去フレーム画像データについてそれぞれ前記距離算出手順で得られた距離情報を比較する手順と、
前記距離情報を比較する手順における比較結果に基づいて特定領域検出用のパラメータを設定する手順と、
前記特定領域検出用パラメータを設定する手順において設定された前記特定領域検出用のパラメータに基づいて特定領域を検出する手順とをコンピュータに実行させるための画像処理用のプログラム。 A procedure for calculating distance information in sequentially inputted image data;
A procedure for comparing the distance information obtained in the distance calculation procedure for each of the current frame image data and the past frame image data;
A procedure for setting a parameter for detecting a specific region based on a comparison result in the procedure for comparing the distance information;
An image processing program for causing a computer to execute a procedure of detecting a specific area based on the parameter for detecting the specific area set in the procedure of setting the parameter for detecting the specific area.
過去フレーム画像データにおける距離情報と現在フレーム画像データにおける距離情報に基づいて特定領域に左右上下の動きがあるか否かを解析する手順と、
前記左右上下の動きがあるか否かを解析する手順における解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離情報を比較する手順に進み、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離情報を比較する手順をスキップして前記特定領域検出用パラメータを設定する手順に進む手順とを含み、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータを設定する手順では、特定領域検出用のパラメータを全サイズに対して設定する請求項24に記載の画像処理用のプログラム。 Between the step of calculating the distance information and the step of comparing the distance information,
A procedure for analyzing whether or not there is a left / right / up / down movement in the specific area based on the distance information in the past frame image data and the distance information in the current frame image data;
If the analysis result in the procedure for analyzing whether there is left / right / up / down motion is that the specific area does not involve left / right / up / down motion, the process proceeds to the procedure for comparing the distance information. Including the step of skipping the step of comparing the distance information and proceeding to the step of setting the specific region detection parameter.
25. The image according to claim 24, wherein the specific region detection parameter is set for all sizes in the procedure of setting the specific region detection parameter when the analysis result is that the specific region is accompanied by a horizontal and vertical movement. Program for processing.
入力されてくる画像データにおいて動きベクトル情報を生成する手順と、
前記動きベクトル情報に基づいて特定領域に左右上下の動きがあるか否かを解析し、解析結果が特定領域は左右上下の動きを伴わないとする場合は前記距離情報を比較する手順に進み、解析結果が特定領域は左右上下の動きを伴うとする場合は前記距離情報を比較する手順をスキップして前記特定領域検出用パラメータの設定手順に進む手順とを含み、
解析結果が特定領域は左右上下の動きを伴うとする場合に、前記特定領域検出用パラメータを設定する手順では、特定領域検出用のパラメータを全サイズに対して設定する請求項24に記載の画像処理用のプログラム。 Between the step of calculating the distance information and the step of comparing the distance information,
A procedure for generating motion vector information in input image data;
Based on the motion vector information, analyze whether the specific area has left, right, up and down movement, and if the analysis result is that the specific area does not involve left, right, up and down movement, proceed to the procedure of comparing the distance information, If the analysis result is that the specific area is accompanied by left and right and up and down movement, the procedure of comparing the distance information and skipping the procedure for setting the specific area detection parameter,
25. The image according to claim 24, wherein the specific region detection parameter is set for all sizes in the procedure of setting the specific region detection parameter when the analysis result is that the specific region is accompanied by a horizontal and vertical movement. Program for processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010252744A JP2012105130A (en) | 2010-11-11 | 2010-11-11 | Image processing method and image processing system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010252744A JP2012105130A (en) | 2010-11-11 | 2010-11-11 | Image processing method and image processing system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012105130A true JP2012105130A (en) | 2012-05-31 |
Family
ID=46395007
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010252744A Pending JP2012105130A (en) | 2010-11-11 | 2010-11-11 | Image processing method and image processing system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012105130A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018521414A (en) * | 2015-07-03 | 2018-08-02 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | Image processing apparatus and image processing method |
-
2010
- 2010-11-11 JP JP2010252744A patent/JP2012105130A/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2018521414A (en) * | 2015-07-03 | 2018-08-02 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | Image processing apparatus and image processing method |
US10504234B2 (en) | 2015-07-03 | 2019-12-10 | Huawei Technologies Co., Ltd. | Image processing apparatus and method |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3752510B2 (en) | Automatic subject detection method for images | |
KR101290611B1 (en) | Imaging apparatus, subject tracking method and storage medium | |
JP4823179B2 (en) | Imaging apparatus and imaging control method | |
JP5631229B2 (en) | Imaging apparatus, control method thereof, and program | |
EP3562143B1 (en) | Image processing device, image processing method, and program | |
JP5483953B2 (en) | Focus adjustment device, focus adjustment method and program | |
US20120147150A1 (en) | Electronic equipment | |
JP4974812B2 (en) | Electronic camera | |
US20120140994A1 (en) | Image processing apparatus and image processing method | |
JP5213813B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
US7893964B2 (en) | Image correction apparatus, method thereof and electronics device | |
JP5163429B2 (en) | Motion vector detection apparatus, processing method thereof, and program | |
US10313577B2 (en) | Focus detection apparatus, focus detection method, and image capturing apparatus | |
JP2003189290A (en) | Apparatus and method for controlling camera using video compression algorithm | |
JP6210062B2 (en) | Imaging control apparatus, imaging control method, and program | |
US20130293768A1 (en) | Imaging apparatus, imaging method, imaging program and computer readable information recording medium | |
KR100965320B1 (en) | Automatic controlling device of a continuous auto focus and Automatic controlling method of the same | |
JP2011166409A (en) | Motion-recognizing remote-control receiving device, and motion-recognizing remote-control control method | |
KR100961121B1 (en) | Method and apparatus for auto focusing | |
JP2012105130A (en) | Image processing method and image processing system | |
US11838628B2 (en) | Image capturing apparatus, control method therefor, and storage medium | |
CN115297262A (en) | Focusing method, focusing device, storage medium and electronic equipment | |
JP4671696B2 (en) | Motion vector detection device | |
JP2011205719A (en) | Imaging device | |
JP2011135285A (en) | Imaging apparatus, and imaging control program |