JP2009159356A - Subject tracing apparatus, subject tracing program and subject tracing method - Google Patents
Subject tracing apparatus, subject tracing program and subject tracing method Download PDFInfo
- Publication number
- JP2009159356A JP2009159356A JP2007335713A JP2007335713A JP2009159356A JP 2009159356 A JP2009159356 A JP 2009159356A JP 2007335713 A JP2007335713 A JP 2007335713A JP 2007335713 A JP2007335713 A JP 2007335713A JP 2009159356 A JP2009159356 A JP 2009159356A
- Authority
- JP
- Japan
- Prior art keywords
- pixel blocks
- pixel block
- block
- tracking
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000011156 evaluation Methods 0.000 claims abstract description 55
- 230000007717 exclusion Effects 0.000 claims description 19
- 230000003287 optical effect Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 claims description 10
- 238000006243 chemical reaction Methods 0.000 description 5
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 101100115215 Caenorhabditis elegans cul-2 gene Proteins 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、逐次撮像されるフレーム内における被写対象を追跡する被写対象追跡装置、被写対象追跡プログラム及び被写対象追跡方法に関する。 The present invention relates to a subject tracking device, a subject tracking program, and a subject tracking method for tracking a subject within a frame that is sequentially imaged.
近年、撮像装置においては、逐次撮像されるフレームから追跡すべき被写対象（画素ブロック）を抽出し、これを次フレームで検出することにより、被写対象を追跡しつつフォーカス制御を行う技術が存在する。 2. Description of the Related Art In recent years, in an imaging apparatus, a technique for performing focus control while tracking a subject by extracting a subject to be tracked (pixel block) from sequentially captured frames and detecting it in the next frame. Exists.
また、追跡すべき被写対象の移動が速く、小さいものであっても確実に追跡できるよう、フレームを更新する毎に被写対象とする抽出対象を更新する被写対象追跡装置も提案されるに至っている（例えば、特許文献１参照）。
しかしながら、前述した被写対象追跡装置の場合、追跡対象が明確に識別できるものであれば有効であって追跡可能となるが、全体的に均一で変化の少ないフレームを撮像する場合、これらのフレームにおいて追跡対象を特定することが困難となる。このため、追跡対象を見失ったり、誤って検出した誤対象を追跡してしまうという問題が生ずる。 However, in the case of the object target tracking device described above, it is effective and can be tracked if the tracking target can be clearly identified. In this case, it becomes difficult to specify the tracking target. For this reason, there arises a problem that the tracking target is lost or the erroneously detected erroneous target is tracked.
本発明は、かかる従来の課題に鑑みてなされたものであり、逐次撮像されるフレーム中における被写対象を精度よく追跡することのできる被写対象追跡装置、被写対象追跡プログラム及び被写対象追跡方法を提供することを目的とする。 The present invention has been made in view of such a conventional problem, and is a subject tracking device, a subject tracking program, and a subject that can accurately track a subject in frames that are sequentially captured. It aims to provide a tracking method.
前記課題を解決するため請求項１記載の発明は、逐次撮像される現フレーム内における追跡対象画素ブロックに基づき、次フレーム内における追跡対象画素ブロックを決定して被写対象を追跡する被写対象追跡装置であって、前記現フレーム内における追跡対象画素ブロックに基づき、前記次フレームにおいて追跡対象とすべき候補画素ブロックを選定する選定手段と、この選定手段により複数の画素ブロックが候補画素ブロックとして選定された場合、該選定された候補画素ブロック間の距離に基づき、前記複数の候補画素ブロックから非追跡対象とすべき画素ブロックを除外する除外手段と、この除外手段の除外により残存した候補画素ブロックに基づき、前記次フレームにおける追跡対象画素ブロックを決定する決定手段とを備えることを特徴とする。
In order to solve the above-mentioned problem, the invention according to
また、請求項２記載の発明は、上記請求項１記載の発明において、前記次フレームにおける所定の探査範囲内において、前記追跡対象画素ブロックと同サイズの画素ブロック毎に近似度を示す評価値を算出する評価値算出手段を更に備え、前記選定手段は、この評価値算出手段により算出された画素ブロック毎の評価値に基づき、前記追跡対象とすべき候補画素ブロックを選定することを特徴とする。 According to a second aspect of the present invention, in the first aspect of the present invention, an evaluation value indicating a degree of approximation is provided for each pixel block having the same size as the tracking target pixel block within a predetermined search range in the next frame. Evaluation value calculating means for calculating is further provided, and the selecting means selects candidate pixel blocks to be tracked based on the evaluation value for each pixel block calculated by the evaluation value calculating means. .
また、請求項３記載の発明は、上記請求項２記載の発明において、前記選定された候補画素ブロック間の距離を算出する距離算出手段と、この距離算出手段によって算出された前記候補画素ブロック間の距離に反比例する係数値を算出する係数値算出手段と、前記距離算出手段により前記画素ブロック間距離が算出された一対の候補画素ブロックの評価値を前記評価値算出手段から取得し、両候補画素ブロックの評価値差の絶対値を算出する絶対値算出手段と、を更に備え、前記除外手段は、前記係数値算出手段によって算出された係数値及び前記絶対値算出手段により取得された評価値差の絶対値に基づき、前記非追跡対象とすべき画素ブロックを除外することを特徴とする。 According to a third aspect of the present invention, in the second aspect of the present invention, a distance calculation unit that calculates a distance between the selected candidate pixel blocks, and a distance between the candidate pixel blocks calculated by the distance calculation unit. A coefficient value calculating unit that calculates a coefficient value inversely proportional to the distance between the pair of candidate pixel blocks for which the distance between the pixel blocks has been calculated by the distance calculating unit from the evaluation value calculating unit; Absolute value calculating means for calculating an absolute value of a difference between evaluation values of pixel blocks, and the exclusion means includes the coefficient value calculated by the coefficient value calculating means and the evaluation value acquired by the absolute value calculating means Based on the absolute value of the difference, the pixel block to be non-tracked is excluded.
また、請求項４記載の発明は、上記請求項２又は３記載の発明において、前記決定手段は、前記評価値算出手段により算出された画素ブロックの評価値に基づき、前記除外手段の除外により残存した候補画素ブロックから前記次フレームにおける追跡対象画素ブロックを決定することを特徴とする。 According to a fourth aspect of the present invention, in the invention according to the second or third aspect, the determining means is based on the evaluation value of the pixel block calculated by the evaluation value calculating means, and remains by excluding the excluding means. The tracking target pixel block in the next frame is determined from the obtained candidate pixel block.
また、請求項５記載の発明は、上記請求項１乃至４のいずれかに記載の発明において、撮像して前記フレームを逐次出力する撮像手段と、この撮像手段に被写体像を結像させる光学系と、この光学系を駆動する駆動手段と、前記決定手段により決定された追跡対象ブロック内の画像が合焦するよう、前記駆動手段を制御する制御手段と、を更に備えることを特徴とする。 According to a fifth aspect of the present invention, in the invention according to any one of the first to fourth aspects of the present invention, an image pickup unit that picks up an image and sequentially outputs the frame, and an optical system that forms a subject image on the image pickup unit. And a driving means for driving the optical system, and a control means for controlling the driving means so that the image in the tracking target block determined by the determining means is in focus.
また、請求項６記載の発明は、逐次撮像される現フレーム内における追跡対象画素ブロックに基づき、次フレーム内における追跡対象画素ブロックを決定して被写対象を追跡する装置が有するコンピュータを、前記現フレーム内における追跡対象画素ブロックに基づき、前記次フレームにおいて追跡対象とすべき候補画素ブロックを選定する選定手段、この選定手段により複数の画素ブロックが候補画素ブロックとして選定された場合、該選定された候補画素ブロック間の距離に基づき、前記複数の候補画素ブロックから非追跡対象とすべき画素ブロックを除外する除外手段、この除外手段の除外により残存した候補画素ブロックに基づき、前記次フレームにおける追跡対象画素ブロックを決定する決定手段、として機能させることを特徴とする。 According to a sixth aspect of the present invention, there is provided a computer having an apparatus for determining a tracking target pixel block in a next frame based on a tracking target pixel block in a current frame that is sequentially imaged and tracking a subject to be imaged. Selection means for selecting a candidate pixel block to be tracked in the next frame based on the tracking target pixel block in the current frame, and when a plurality of pixel blocks are selected as candidate pixel blocks by the selection means, the selection is performed. Based on the distance between the candidate pixel blocks, an exclusion means for excluding the pixel blocks that should not be tracked from the plurality of candidate pixel blocks, and tracking in the next frame based on the candidate pixel blocks remaining by the exclusion of the exclusion means And functioning as a determination means for determining a target pixel block That.
また、請求項７記載の発明は、逐次撮像される現フレーム内における追跡対象画素ブロックに基づき、次フレーム内における追跡対象画素ブロックを決定して被写対象を追跡する被写対象追跡方法であって、前記現フレーム内における追跡対象画素ブロックに基づき、前記次フレームにおいて追跡対象とすべき候補画素ブロックを選定する選定ステップと、この選定ステップにより複数の画素ブロックが候補画素ブロックとして選定された場合、該選定された候補画素ブロック間の距離に基づき、前記複数の候補画素ブロックから非追跡対象とすべき画素ブロックを除外する除外ステップと、この除外ステップでの除外により残存した候補画素ブロックに基づき、前記次フレームにおける追跡対象画素ブロックを決定する決定ステップとを含むことを特徴とする。 The invention according to claim 7 is a subject tracking method for tracking a subject by determining a subject pixel block in a next frame based on a subject pixel block in a current frame that is sequentially imaged. A selection step of selecting candidate pixel blocks to be tracked in the next frame based on the tracking target pixel block in the current frame, and a plurality of pixel blocks selected as candidate pixel blocks by the selection step , Based on the distance between the selected candidate pixel blocks, an exclusion step of excluding pixel blocks to be non-tracked from the plurality of candidate pixel blocks, and based on the candidate pixel blocks remaining after the exclusion in this exclusion step Determining a tracking target pixel block in the next frame. It is characterized in.
本発明によれば、逐次撮像されるフレーム中における被写対象を精度よく追跡することができる。 According to the present invention, it is possible to accurately track a subject to be captured in frames that are sequentially imaged.
以下、本発明の一実施の形態を図に従って説明する。図１は、本発明の一実施の形態に係るデジタルカメラの概略構成を示すブロック図である。このデジタルカメラはＡＥ（自動露出）や、被写対象を追跡してＡＦ（オートフォーカス）を行う機能を備えたものであって、主として以下の各部から構成されている。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a schematic configuration of a digital camera according to an embodiment of the present invention. This digital camera has a function of performing AE (automatic exposure) and AF (autofocus) by tracking an object to be imaged, and mainly includes the following parts.
すなわちデジタルカメラは、光学系１により結像された被写体の光学像を光電変換し撮像信号として出力する撮像手段としてＣＣＤ２を有している。ＣＣＤ２は、タイミングジェネレータ（ＴＧ）３により生成されるタイミング信号に基づきＣＣＤ駆動回路４によって生成される駆動信号により駆動される。ＣＣＤ２の出力信号はＡ／Ｄ変換器５でデジタル信号に変換された後、画像処理部６へ送られる。
That is, the digital camera has a CCD 2 as an imaging unit that photoelectrically converts an optical image of a subject imaged by the
前記光学系１には、フォーカスレンズ及びそれを光軸上で移動させるためのレンズモータが含まれ、レンズモータが制御部７の指令に従いレンズ駆動回路８により生成される駆動信号によって駆動されることによりフォーカスレンズが光軸上での位置を制御される。
The
前記画像処理部６は、Ａ／Ｄ変換後の撮像信号に対して、画素毎のＲ，Ｇ，Ｂの色成分データ（ＲＧＢデータ）を生成するＲＧＢ補間処理、ＲＧＢデータから輝度信号（Ｙ）と色差信号（Ｕ、Ｖ）からなるＹＵＶデータを画素毎に生成するＹＵＶ変換処理、さらにオートホワイトバランスや輪郭強調などの画品質向上のためのデジタル信号処理を行う。画像処理部６で変換されたＹＵＶデータは逐次ＳＤＲＡＭ９に格納される。
The image processing unit 6 performs RGB interpolation processing for generating R, G, and B color component data (RGB data) for each pixel with respect to the imaging signal after A / D conversion, and luminance signal (Y) from the RGB data. And YUV conversion processing for generating YUV data consisting of color difference signals (U, V) for each pixel, and digital signal processing for improving image quality such as auto white balance and edge enhancement. The YUV data converted by the image processing unit 6 is sequentially stored in the
また、デジタルカメラは、液晶モニタ及びその駆動回路から構成される表示部１０を有している。撮影用の記録モードが設定されているときＳＤＲＡＭ９に格納されたＹＵＶデータは、ＳＤＲＡＭ９において１フレーム分が蓄積される毎に画像処理部６においてビデオ信号に変換された後、表示部１０（液晶モニタ）においてスルー画像として画面表示される。そして、記録モードにおける撮影時には、ＳＤＲＡＭ９に一時記憶された画像データがＪＰＥＧ変換部１１においてＪＰＥＧ方式により圧縮符号化された後、外部メモリＩ／Ｆ１２を介して、例えば各種のメモリカードにより構成される外部メモリ１３に静止画ファイルとして記録される。
In addition, the digital camera has a
前記外部メモリ１３に記録された静止画ファイルは、再生モードにおいてユーザーの選択操作に応じて適宜読み出されるとともに、ＪＰＥＧ変換部１１において伸張されＹＵＶデータとしてＳＤＲＡＭ９に展開された後、表示部１０において静止画像として表示される。
The still image file recorded in the
キー入力ブロック１４は、シャッターキーやモード選択キー、電源キーやＭＥＮＵキー等の複数キーを含み、各キーの操作状態を制御部７により随時スキャンされる。尚、シャッターキーは、ユーザーが撮影予告を行うための半押し位置と、実際の撮影動作を指示するための全押し位置との２段階の操作が可能な所謂ハーフシャッター機能を有するものである。 The key input block 14 includes a plurality of keys such as a shutter key, a mode selection key, a power key, and a MENU key, and the operation state of each key is scanned by the control unit 7 as needed. The shutter key has a so-called half shutter function that allows a user to perform a two-stage operation of a half-pressed position for performing a shooting advance notice and a full-pressed position for instructing an actual shooting operation.
制御部７は、ＣＰＵ及びその周辺回路等とから構成され、カウンタＴを内蔵するとともに、デジタルカメラの各部の制御、及び、撮像信号に含まれる輝度情報に基づいたＡＥ制御や、コントラスト検出方式によるＡＦ制御、後述の被写対象追跡制御等を行う。尚、これらの制御を制御部７に行わせるための各種のプログラムや、各々の制御に必要な各種データは、記憶データの書き換えが可能な不揮発性メモリであるフラッシュメモリ１６に記憶されている。
The control unit 7 is composed of a CPU and its peripheral circuits, and has a built-in counter T. The control unit 7 controls each part of the digital camera, uses AE control based on luminance information included in the imaging signal, and a contrast detection method. AF control, subject tracking control described later, and the like are performed. Various programs for causing the control unit 7 to perform these controls and various data necessary for each control are stored in the
次に、以上の構成からなるデジタルカメラの動作について説明する。電源スイッチをＯＮにして、撮影モードを設定すると、ＴＧ３により生成されるタイミング信号に基づきＣＣＤ駆動回路４がＣＣＤ２を駆動することにより、画像処理部６で変換されたフレームＦ（ＹＵＶデータ）が、図２に示すように逐次ＳＤＲＡＭ９に格納される。また、ＳＤＲＡＭ９において１フレーム分が蓄積される毎に画像処理部６においてビデオ信号に変換された後、表示部１０（液晶モニタ）においてスルー画像として画面表示される。
Next, the operation of the digital camera having the above configuration will be described. When the power switch is turned on and the photographing mode is set, the CCD driving circuit 4 drives the CCD 2 based on the timing signal generated by the
図２に示したフレームＦ・・・において、連続した二つのフレームのうち一方を現フレームＦ１とし、他方を参照フレームＦ２とする。参照フレームＦ２は、現フレームＦ１の次のフレーム（次フレーム）である。また、図３（１ａ）に示すように、本実施の形態においては、現フレームＦ１における８×８ピクセルの範囲が基準画素ブロックＢ１、つまり追跡中の画素ブロックである。尚、本実施の形態においては、１フレームにおいて、前記基準画素ブロックＢ１に対応する領域を中心として、水平方向及び垂直方向に１６ピクセルの領域を探査範囲とする。したがって、この探査範囲内において、８×８ピクセルの評価画素ブロック毎に後述する処理を行って、次の基準画素ブロックを追跡することとなる。 In frame F... Shown in FIG. 2, one of two consecutive frames is a current frame F1, and the other is a reference frame F2. The reference frame F2 is the next frame (next frame) of the current frame F1. As shown in FIG. 3 (1a), in the present embodiment, the range of 8 × 8 pixels in the current frame F1 is the reference pixel block B1, that is, the pixel block being tracked. In the present embodiment, in one frame, an area of 16 pixels in the horizontal direction and the vertical direction is set as a search range centering on an area corresponding to the reference pixel block B1. Accordingly, within the search range, the processing described later is performed for each evaluation pixel block of 8 × 8 pixels, and the next reference pixel block is traced.
一方、制御部７はフラッシュメモリ１６に記憶されている制御プログラムに基づき、図４のフローチャートに示すように処理を実行する。先ず、前記探査範囲内において評価済となった画素ブロック（８×８ピクセル）の数をカウントするためのカウンタＴの値に「１」をセットする（ステップＳ１）。次に、探査範囲において、前記基準画素ブロックＢ１に対応する領域を中心として１ピクセルずらした画素ブロックである１番目（Ｃ番目）の評価画素ブロックの評価値を算出する（ステップＳ２）。
On the other hand, the control unit 7 executes processing as shown in the flowchart of FIG. 4 based on the control program stored in the
すなわち、前記探査範囲に内在する複数の評価画素ブロックから、図３（２ｂ）に破線で示す評価画素ブロックＢ２を選択し、この選択した評価画素ブロックＢ２を構成する各画素の値である画素データと、同図（１ｂ）に示した基準画素ブロックＢ１を構成する各画素の画素データとに基づき、両画素ブロックＢ１、Ｂ２を重ね合わせたときに対応し合う一対の画素毎に両者の近似度を表す画素評価値（両画素の画素データの差分絶対値や差分自乗値等）を求め、これら画素評価値の総和を、選択された評価画素ブロックＢ２のブロック評価値とする。したがって、両画素データ間の近似度が高いほど、画素評価値は小さな値となり、つまりは評価画素ブロックＢ２が基準画素ブロックＢ１と近似度（相関度）が高いほどブロック評価値は小さな値となる。 That is, an evaluation pixel block B2 indicated by a broken line in FIG. 3 (2b) is selected from a plurality of evaluation pixel blocks existing in the search range, and pixel data that is a value of each pixel constituting the selected evaluation pixel block B2 Based on the pixel data of each pixel constituting the reference pixel block B1 shown in FIG. 1 (b), the degree of approximation between each pair of pixels corresponding to each other when the two pixel blocks B1 and B2 are overlaid. (A difference absolute value or a square difference value of pixel data of both pixels) is obtained, and the sum of these pixel evaluation values is used as a block evaluation value of the selected evaluation pixel block B2. Therefore, the higher the degree of approximation between the two pixel data, the smaller the pixel evaluation value, that is, the higher the degree of approximation (correlation) between the evaluation pixel block B2 and the reference pixel block B1, the smaller the block evaluation value. .
より具体的には、前述のように、８×８ピクセルの範囲を基準画素ブロックＢ１とし、基準画素ブロックＢ１内と評価画素ブロックＢ２内の同じ位置を原点（０，０）とし、探索範囲を水平方向及び垂直方向に１６ピクセルとした場合、下記式によりブロック評価値を算出する。
Ｂ（ｘ，ｙ）＝Σ（Ｐｒｅｆ（ｘ，ｙ）［ｉ］−Ｐｃｕｒ（ｘ，ｙ）［ｉ］）＾２
（ただし、ｉ＝０〜６３、ｘ＝−１６〜１６、ｙ＝−１６〜１６、（Ｐｒｅｆ、Ｐｃｕｒに関しては図３参照）。
More specifically, as described above, the 8 × 8 pixel range is the reference pixel block B1, the same position in the reference pixel block B1 and the evaluation pixel block B2 is the origin (0, 0), and the search range is When 16 pixels are set in the horizontal and vertical directions, the block evaluation value is calculated by the following formula.
B (x, y) = Σ (Pref (x, y) [i] −Pcur (x, y) [i]) ^ 2
(However, i = 0 to 63, x = −16 to 16, y = −16 to 16 (refer to FIG. 3 for Pref and Pcur).
次に、この算出した評価値が所定のしきい値以下であるか否かを判断する（ステップＳ３）。このステップＳ３での判断の結果、算出した評価値が所定のしきい値以下である場合、つまりステップＳ２で評価値が算出された評価画素ブロックＢ２と基準画素ブロックＢ１との近似度（相関度）が高い場合には、当該評価画素ブロックＢ２を選択対象画素ブロックに選定する（ステップＳ４）。 Next, it is determined whether or not the calculated evaluation value is equal to or less than a predetermined threshold value (step S3). As a result of the determination in step S3, when the calculated evaluation value is equal to or less than a predetermined threshold, that is, the degree of approximation (correlation degree) between the evaluation pixel block B2 and the reference pixel block B1 for which the evaluation value is calculated in step S2. ) Is high, the evaluation pixel block B2 is selected as a selection target pixel block (step S4).
引き続き、評価した画素ブロックの個数をカウントしているカウンタＴの値が、探索範囲内における全画素ブロック数となったか否かを判断する（ステップＳ５）。カウンタＴ≠全画素ブロック数であって、探索範囲内における全画素ブロックに対して評価値の算出を終了していない場合には、カウンタＴをカウントアップさせて（ステップＳ６）、ステップＳ２からの処理を繰り返す。 Subsequently, it is determined whether or not the value of the counter T counting the number of evaluated pixel blocks has reached the number of all pixel blocks in the search range (step S5). If the counter T is not equal to the total number of pixel blocks and the calculation of the evaluation values for all the pixel blocks within the search range has not been completed, the counter T is incremented (step S6), and from step S2 Repeat the process.
したがって、ステップＳ５の判断がＹＥＳとなるまで、ステップＳ２〜Ｓ５の処理は、探索範囲内における画素ブロック数に対応する回数繰り返される。また、ステップＳ４での処理により、評価値がしきい値以下である画素ブロック、つまり基準画素ブロックＢ１と近似度（相関度）が高い単数又は複数の画素ブロックが選択対象画素ブロックとして選定されることとなる。 Therefore, the processes in steps S2 to S5 are repeated a number of times corresponding to the number of pixel blocks in the search range until the determination in step S5 is YES. In addition, by the process in step S4, a pixel block whose evaluation value is equal to or less than the threshold value, that is, one or a plurality of pixel blocks having a high degree of approximation (correlation) with the reference pixel block B1, is selected as the selection target pixel block. It will be.
そして、探索範囲内における全画素ブロックに対しての評価値の算出が終了し、ステップＳ５の判断がＹＥＳとなると、前記ステップＳ４で選定された選択対象画素ブロックが複数であるか否かを判断する（ステップＳ７）。このとき、追跡対象が明確に識別できるものであれば、評価値がしきい値以下である画素ブロックは単一であって、ステップＳ３で選択対象画素ブロックに選定された画素ブロックは単一となり、ステップＳ７の判断がＮＯとなる。したがって、ステップＳ７からステップＳ８に進み、この単一の選択対象画素ブロックを追跡画素ブロックとして決定する。 When the calculation of the evaluation values for all the pixel blocks in the search range is completed and the determination in step S5 is YES, it is determined whether or not there are a plurality of selection target pixel blocks selected in step S4. (Step S7). At this time, if the tracking target can be clearly identified, the pixel block whose evaluation value is equal to or less than the threshold value is single, and the pixel block selected as the selection target pixel block in step S3 is single. The determination in step S7 is NO. Accordingly, the process proceeds from step S7 to step S8, and this single selection target pixel block is determined as a tracking pixel block.
しかし、全体的に均一で変化の少ないフレームを撮像しようとしている状況下においては、ステップＳ４で複数の画素ブロックが選択対象画素ブロックとして選定される場合が生じ、この場合にはステップＳ７の判断がＹＥＳとなる。したがって、この場合には、ステップＳ７からステップＳ９に進んで、画素ブロック間距離を算出する。 However, in a situation where it is desired to capture a frame that is generally uniform and has little change, a plurality of pixel blocks may be selected as the selection target pixel block in step S4. Yes. Therefore, in this case, the process proceeds from step S7 to step S9, and the inter-pixel block distance is calculated.
すなわち、図５に例示するように、４個の画素ブロックＢａ、Ｂｂ、Ｂｃ，Ｂｄが選択対象画素ブロックとして選定された場合、最も遠い位置関係であるＢａ〜Ｂｂ間の距離Ｌ１と、最も近い位置関係であるＢｃ〜Ｂｄ間の距離Ｌ２とを算出する。次に、この距離Ｌに反比例する係数（パラメータ）として用意されたブロック間距離係数Ｃ（Ｌ）と、この算出した画素ブロック間距離とを用いて、「ブロック間距離係数×評価差分絶対値」を算出する（ステップＳ１０）。ここで、評価差分値は前記例において、画素ブロックＢａと画素ブロックＢｂとの評価値の差のＢａ−Ｂｂ、及び画素ブロックＢｃと画素ブロックＢｄとの評価値の差のＢｃ−Ｂｄである。よって、ステップＳ９においては、Ｃ（Ｌ１）×｜Ｂａ−Ｂｂ｜、Ｃ（Ｌ２）×｜Ｂｃ−Ｂｄ｜が算出されることとなる。 That is, as illustrated in FIG. 5, when four pixel blocks Ba, Bb, Bc, and Bd are selected as selection target pixel blocks, the distance L1 between Ba and Bb that is the farthest positional relationship is the closest. The distance L2 between Bc to Bd, which is the positional relationship, is calculated. Next, using the inter-block distance coefficient C (L) prepared as a coefficient (parameter) inversely proportional to the distance L and the calculated inter-pixel block distance, “inter-block distance coefficient × evaluation difference absolute value” Is calculated (step S10). Here, in the above example, the evaluation difference value is Ba−Bb of the difference between the evaluation values of the pixel block Ba and the pixel block Bb, and Bc−Bd of the difference between the evaluation values of the pixel block Bc and the pixel block Bd. Therefore, in step S9, C (L1) × | Ba−Bb | and C (L2) × | Bc−Bd | are calculated.
次に、前記ステップＳ１０で算出された値が所定値以下の範囲である選定範囲内であるか否かを判断する（ステップＳ１１）。このステップＳ１１での判断の結果、選定範囲外である場合（ステップＳ１１；ＮＯ）には、当該一対の画素ブロックを選択対象画素ブロックから除外し（ステップＳ１２）、選定範囲内である場合（ステップＳ１１；ＹＥＳ）には、当該一対の画素ブロックを選択対象画素ブロックとして残存させる（ステップＳ１３）。 Next, it is determined whether or not the value calculated in step S10 is within a selection range that is a predetermined value or less (step S11). If the result of determination in step S11 is outside the selection range (step S11; NO), the pair of pixel blocks is excluded from the selection target pixel block (step S12), and if it is within the selection range (step S12). In S11; YES), the pair of pixel blocks is left as a selection target pixel block (step S13).
したがって、例えばＣ（Ｌ１）×｜Ｂａ−Ｂｂ｜が選定範囲外であって、Ｃ（Ｌ２）×｜Ｂｃ−Ｂｄ｜が選定範囲内であったとすると、ステップＳ１２での処理により、画素ブロックＢａ、Ｂｂは選択対象画素ブロックから除外され、ステップＳ１３での処理により、画素ブロックＢｃ、Ｂｄは選択対象画素ブロックとして残存することとなる。 Therefore, for example, if C (L1) × | Ba−Bb | is outside the selection range and C (L2) × | Bc−Bd | is within the selection range, the pixel block Ba is processed by the process in step S12. , Bb are excluded from the selection target pixel block, and the pixel block Bc, Bd remains as the selection target pixel block by the processing in step S13.
そこで、ステップＳ１４においては、この選択対象画素ブロックとして残存した複数の画素ブロックにおいて、最もブロック評価値の少ない画素ブロックである最少評価値画素ブロックを最終的に追跡画素ブロックとして決定する。したがって、選択対象画素ブロックとして残存した画素ブロックＢｃ、Ｂｄにおいて、例えば画素ブロックＢｄの方がブロック評価値が低く、基準画素ブロックＢ１との近似度（相関度）が高い場合には、当該画素ブロックＢｄが追跡画素ブロックとして決定される。 Therefore, in step S14, the minimum evaluation value pixel block which is the pixel block having the smallest block evaluation value among the plurality of pixel blocks remaining as the selection target pixel block is finally determined as the tracking pixel block. Therefore, in the pixel blocks Bc and Bd remaining as the selection target pixel block, for example, when the block evaluation value of the pixel block Bd is lower and the degree of approximation (correlation) with the reference pixel block B1 is higher, Bd is determined as the tracking pixel block.
したがって、全体的に均一で変化の少ないフレームを撮像する場合であっても、追跡対象を見失ったり、誤って検出した誤対象を追跡してしまうことがなく、逐次撮像されるフレーム中における被写対象を精度よく追跡することができる。 Therefore, even when capturing a frame that is generally uniform and has little change, the subject to be tracked in the sequentially captured frames is not lost without losing sight of the tracking target or tracking an erroneously detected erroneous target. The object can be accurately tracked.
そして、このようにステップＳ１４又は前記ステップＳ８で追跡画素ブロックが決定されると、当該追跡画素ブロックが基準画素ブロックＢ１となって、前述した処理が繰り返される。これにより、逐次撮像されるフレームから追跡すべき被写対象（画素ブロック）を抽出し、これを次フレームで検出することにより、被写対象を追跡しつつフォーカス制御を行うことが可能となる。 When the tracking pixel block is determined in step S14 or step S8 as described above, the tracking pixel block becomes the reference pixel block B1, and the above-described processing is repeated. Thereby, it is possible to perform focus control while tracking the object to be captured by extracting the object to be tracked (pixel block) from the frames that are sequentially imaged and detecting this in the next frame.
つまり、前述のように光学系１には、フォーカスレンズ及びそれを光軸上で移動させるためのレンズモータが含まれ、レンズモータが制御部７の指令に従いレンズ駆動回路８により生成される駆動信号によって駆動されることによりフォーカスレンズが光軸上での位置を制御される。このとき、前記基準画素ブロックＢ１とした領域が合焦するようにフォーカス制御を行うことにより、被写対象が移動してもこれを合焦させた状態を継続しつつ撮影を行うことが可能となる。
That is, as described above, the
尚、本実施の形態においては、「ブロック間距離係数×評価値差分絶対値」に基づき、選択対象画素ブロックから除外するか選択対象画素ブロックとして残存させるかを決定するようにしたが、「ブロック間距離」のみに基づいて、この決定を行うようにしてもよい。また、ブロック間距離ではなく、基準画素ブロックＢ１の中心点からの距離に基づき、該距離が所定以上の画素ブロックを選択対象画素ブロックから除外するようにしてもよい。さらに、実施の形態では、本発明をデジタルカメラに適用させた場合について詳述したがこれに限ることなく、撮像部を有する、若しくは、撮像処理を含むプログラムを実行できる装置であればこれに限定されることなく適用可能である。 In the present embodiment, whether to exclude from the selection target pixel block or remain as the selection target pixel block is determined based on “inter-block distance coefficient × evaluation value difference absolute value”. This determination may be made based solely on the “distance”. Further, based on the distance from the center point of the reference pixel block B1 instead of the inter-block distance, a pixel block whose distance is a predetermined value or more may be excluded from the selection target pixel block. Furthermore, in the embodiment, the case where the present invention is applied to a digital camera has been described in detail. However, the present invention is not limited to this, and the present invention is not limited to this as long as the apparatus has an imaging unit or can execute a program including an imaging process. It is applicable without being done.
１ 光学系
２ ＣＣＤ
３ ＴＧ
４ ＣＣＤ駆動回路
５ Ａ／Ｄ変換器
６ 画像処理部
７ 制御部
８ レンズ駆動回路
９ ＳＤＲＡＭ
１０ 表示部
１１ ＪＰＥＧ変換部
１３ 外部メモリ
１４ キー入力ブロック
１６ フラッシュメモリ
1 Optical system 2 CCD
3 TG
4 CCD drive circuit 5 A / D converter 6 Image processing unit 7
DESCRIPTION OF
Claims (7)
前記現フレーム内における追跡対象画素ブロックに基づき、前記次フレームにおいて追跡対象とすべき候補画素ブロックを選定する選定手段と、
この選定手段により複数の画素ブロックが候補画素ブロックとして選定された場合、該選定された候補画素ブロック間の距離に基づき、前記複数の候補画素ブロックから非追跡対象とすべき画素ブロックを除外する除外手段と、
この除外手段の除外により残存した候補画素ブロックに基づき、前記次フレームにおける追跡対象画素ブロックを決定する決定手段と
を備えることを特徴とする被写対象追跡装置。 A target tracking device for tracking a target by determining a target pixel block in a next frame based on a target pixel block in a current frame that is sequentially imaged,
Selection means for selecting candidate pixel blocks to be tracked in the next frame based on the tracked pixel blocks in the current frame;
When a plurality of pixel blocks are selected as candidate pixel blocks by this selecting means, an exclusion that excludes pixel blocks that should not be tracked from the plurality of candidate pixel blocks based on the distance between the selected candidate pixel blocks Means,
A subject tracking apparatus, comprising: a determination unit that determines a pixel block to be tracked in the next frame based on a candidate pixel block remaining after the exclusion by the exclusion unit.
前記選定手段は、この評価値算出手段により算出された画素ブロック毎の評価値に基づき、前記追跡対象とすべき候補画素ブロックを選定することを特徴とする請求項１記載の被写対象追跡装置。 An evaluation value calculating means for calculating an evaluation value indicating a degree of approximation for each pixel block of the same size as the tracking target pixel block within a predetermined search range in the next frame;
2. The object target tracking device according to claim 1, wherein the selecting means selects a candidate pixel block to be the tracking target based on the evaluation value for each pixel block calculated by the evaluation value calculating means. .
この距離算出手段によって算出された前記候補画素ブロック間の距離に反比例する係数値を算出する係数値算出手段と、
前記距離算出手段により前記画素ブロック間距離が算出された一対の候補画素ブロックの評価値を前記評価値算出手段から取得し、両候補画素ブロックの評価値差の絶対値を算出する絶対値算出手段と、を更に備え、
前記除外手段は、前記係数値算出手段によって算出された係数値及び前記絶対値算出手段により取得された評価値差の絶対値に基づき、前記非追跡対象とすべき画素ブロックを除外することを特徴とする請求項２記載の被写対象追跡装置。 Distance calculating means for calculating a distance between the selected candidate pixel blocks;
Coefficient value calculating means for calculating a coefficient value inversely proportional to the distance between the candidate pixel blocks calculated by the distance calculating means;
Absolute value calculating means for obtaining an evaluation value of a pair of candidate pixel blocks whose distance between the pixel blocks has been calculated by the distance calculating means from the evaluation value calculating means and calculating an absolute value of a difference between the evaluation values of both candidate pixel blocks. And further comprising
The exclusion unit excludes the pixel block to be the non-tracking target based on the coefficient value calculated by the coefficient value calculation unit and the absolute value of the evaluation value difference acquired by the absolute value calculation unit. The object tracking device according to claim 2.
この撮像手段に被写体像を結像させる光学系と、
この光学系を駆動する駆動手段と、
前記決定手段により決定された追跡対象ブロック内の画像が合焦するよう、前記駆動手段を制御する制御手段と、
を更に備えることを特徴とする請求項１乃至４のいずれかに記載の被写対象追跡装置。 Imaging means for imaging and sequentially outputting the frame;
An optical system for forming a subject image on the imaging means;
Driving means for driving the optical system;
Control means for controlling the driving means so that the image in the tracking target block determined by the determining means is in focus;
The object tracking device according to claim 1, further comprising:
前記現フレーム内における追跡対象画素ブロックに基づき、前記次フレームにおいて追跡対象とすべき候補画素ブロックを選定する選定手段、
この選定手段により複数の画素ブロックが候補画素ブロックとして選定された場合、該選定された候補画素ブロック間の距離に基づき、前記複数の候補画素ブロックから非追跡対象とすべき画素ブロックを除外する除外手段、
この除外手段の除外により残存した候補画素ブロックに基づき、前記次フレームにおける追跡対象画素ブロックを決定する決定手段、
として機能させることを特徴とする被写対象追跡プログラム。 A computer having an apparatus for determining a tracking target pixel block in a next frame based on a tracking target pixel block in a current frame that is sequentially imaged and tracking a subject to be imaged;
Selection means for selecting candidate pixel blocks to be tracked in the next frame based on the tracked pixel blocks in the current frame;
When a plurality of pixel blocks are selected as candidate pixel blocks by this selecting means, an exclusion that excludes pixel blocks that should not be tracked from the plurality of candidate pixel blocks based on the distance between the selected candidate pixel blocks means,
Determining means for determining a tracking target pixel block in the next frame based on the candidate pixel block remaining by the exclusion of the exclusion means;
Subject tracking program characterized by functioning as an object.
前記現フレーム内における追跡対象画素ブロックに基づき、前記次フレームにおいて追跡対象とすべき候補画素ブロックを選定する選定ステップと、
この選定ステップにより複数の画素ブロックが候補画素ブロックとして選定された場合、該選定された候補画素ブロック間の距離に基づき、前記複数の候補画素ブロックから非追跡対象とすべき画素ブロックを除外する除外ステップと、
この除外ステップでの除外により残存した候補画素ブロックに基づき、前記次フレームにおける追跡対象画素ブロックを決定する決定ステップと
を含むことを特徴とする被写対象追跡方法。 A target tracking method for tracking a target by determining a target pixel block in a next frame based on a target pixel block in a current frame that is sequentially imaged,
A selection step of selecting candidate pixel blocks to be tracked in the next frame based on the tracked pixel blocks in the current frame;
When a plurality of pixel blocks are selected as candidate pixel blocks by this selection step, an exclusion that excludes pixel blocks that should not be tracked from the plurality of candidate pixel blocks based on the distance between the selected candidate pixel blocks Steps,
And a determination step of determining a tracking target pixel block in the next frame based on the candidate pixel block remaining after the exclusion in the exclusion step.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007335713A JP5024033B2 (en) | 2007-12-27 | 2007-12-27 | Object tracking device, object tracking program, and object tracking method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007335713A JP5024033B2 (en) | 2007-12-27 | 2007-12-27 | Object tracking device, object tracking program, and object tracking method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009159356A true JP2009159356A (en) | 2009-07-16 |
| JP5024033B2 JP5024033B2 (en) | 2012-09-12 |
Family
ID=40962856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007335713A Expired - Fee Related JP5024033B2 (en) | 2007-12-27 | 2007-12-27 | Object tracking device, object tracking program, and object tracking method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5024033B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2506562A2 (en) * | 2009-11-23 | 2012-10-03 | Olaworks, Inc. | Adaptive object tracking method, system, and computer readable recording medium |
| WO2024005280A1 (en) * | 2022-06-29 | 2024-01-04 | 주식회사 쓰리아이 | Object tracking method and system |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11312251A (en) * | 1998-04-28 | 1999-11-09 | Dainippon Screen Mfg Co Ltd | Moving object tracking method and its device |
| JP2000259838A (en) * | 1999-03-12 | 2000-09-22 | Fujitsu Ltd | Image tracking device and recording medium |
| JP2006267220A (en) * | 2005-03-22 | 2006-10-05 | Fujinon Corp | Auto focus system |
-
2007
- 2007-12-27 JP JP2007335713A patent/JP5024033B2/en not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11312251A (en) * | 1998-04-28 | 1999-11-09 | Dainippon Screen Mfg Co Ltd | Moving object tracking method and its device |
| JP2000259838A (en) * | 1999-03-12 | 2000-09-22 | Fujitsu Ltd | Image tracking device and recording medium |
| JP2006267220A (en) * | 2005-03-22 | 2006-10-05 | Fujinon Corp | Auto focus system |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2506562A2 (en) * | 2009-11-23 | 2012-10-03 | Olaworks, Inc. | Adaptive object tracking method, system, and computer readable recording medium |
| JP2013512481A (en) * | 2009-11-23 | 2013-04-11 | インテル・コーポレーション | Method, system, and computer-readable recording medium for adaptively tracking an object |
| EP2506562A4 (en) * | 2009-11-23 | 2014-01-22 | Intel Corp | Adaptive object tracking method, system, and computer readable recording medium |
| WO2024005280A1 (en) * | 2022-06-29 | 2024-01-04 | 주식회사 쓰리아이 | Object tracking method and system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5024033B2 (en) | 2012-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4760742B2 (en) | Digital camera, information display method, and information display control program | |
| US9489747B2 (en) | Image processing apparatus for performing object recognition focusing on object motion, and image processing method therefor | |
| JP5237721B2 (en) | Imaging device | |
| JP6222514B2 (en) | Image processing apparatus, imaging apparatus, and computer program | |
| JP2008288911A (en) | Imaging apparatus, face area detection program, and face area detection method | |
| JP2009246558A (en) | Imaging apparatus, and method for controlling the same | |
| JP2010211255A (en) | Imaging apparatus, image processing method, and program | |
| JP4775644B2 (en) | Imaging apparatus and program thereof | |
| JP2010054730A (en) | Focusing position detecting device, imaging apparatus, and focusing position detecting method | |
| JP5367129B2 (en) | Imaging apparatus, control apparatus, and control method thereof | |
| US20130076940A1 (en) | Photographing apparatus and method of detecting distortion thereof | |
| JP2009098167A (en) | Imaging device and program of the same | |
| JP2011066827A (en) | Image processing apparatus, image processing method and program | |
| JP5024033B2 (en) | Object tracking device, object tracking program, and object tracking method | |
| JP2009069740A (en) | Image pickup device | |
| JP2017223920A (en) | Imaging device and method for controlling the same | |
| JP5195663B2 (en) | Imaging apparatus, focusing method, and program | |
| JP2009152725A (en) | Automatic tracing apparatus and method | |
| KR101720775B1 (en) | Photoghraphing apparatus and method | |
| JP2006157604A (en) | Camera apparatus and automatic photographing control program | |
| US10565712B2 (en) | Image processing apparatus and method for controlling the same | |
| JP2008283477A (en) | Image processor, and image processing method | |
| US9525815B2 (en) | Imaging apparatus, method for controlling the same, and recording medium to control light emission | |
| JP5561392B2 (en) | Imaging apparatus, focusing method, and program | |
| JP2011242796A (en) | Imaging device, focusing method and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120306 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120425 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120522 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120604 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150629 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5024033 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |