JPH05225343A - Image processor - Google Patents
Image processorInfo
- Publication number
- JPH05225343A JPH05225343A JP6128592A JP6128592A JPH05225343A JP H05225343 A JPH05225343 A JP H05225343A JP 6128592 A JP6128592 A JP 6128592A JP 6128592 A JP6128592 A JP 6128592A JP H05225343 A JPH05225343 A JP H05225343A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion vector
- circuit
- detected
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【０００１】[0001]
【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段（図１、図４及び図５） 作用（図１、図４及び図５） 実施例 （１）全体構成（図１〜図３） （２）追跡ベクトル検出回路（図４〜図７） （２−１）動きベクトル判定回路（図５） （３）実施例の動作 （４）実施例の効果 （５）他の実施例 発明の効果[Table of Contents] The present invention will be described in the following order. Field of Industrial Application Conventional Technology Problem to be Solved by the Invention Means for Solving the Problem (FIGS. 1, 4 and 5) Action (FIGS. 1, 4 and 5) Example (1) Overall Configuration (FIGS. 1 to 3) (2) Tracking vector detection circuit (FIGS. 4 to 7) (2-1) Motion vector determination circuit (FIG. 5) (3) Operation of embodiment (4) Effect of embodiment (5) ) Other Examples Effect of the Invention
【０００２】[0002]
【産業上の利用分野】本発明は画像処理装置に関し、例
えばテレビジヨンカメラ、監視装置等の撮像装置に適用
し得る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image processing apparatus, and can be applied to an image pickup apparatus such as a television camera and a monitoring apparatus.
【０００３】[0003]
【従来の技術】従来、この種の画像処理装置において
は、撮像画像中の最大輝度部分を検出することにより、
当該輝度部分を基準にして所望の被写体を追跡し得るよ
うになされたものが提案されている。2. Description of the Related Art Conventionally, in this type of image processing apparatus, by detecting the maximum brightness portion in a captured image,
It is proposed that a desired subject can be tracked on the basis of the luminance portion.
【０００４】このように所望の被写体を追跡することが
できれば、当該被写体を中心にして自動的に焦点合わ
せ、絞り調整等し得、撮像装置全体の使い勝手を向上す
ることができる。If the desired subject can be tracked in this way, the subject can be automatically focused, the aperture can be adjusted, etc., and the usability of the entire image pickup apparatus can be improved.
【０００５】[0005]
【発明が解決しようとする課題】ところがこのように最
大輝度部分を基準にして被写体を追跡する場合、所望の
被写体を確実に追跡し得ない場合があり、実用上未だ不
十分な問題がある。However, when an object is tracked based on the maximum brightness portion as described above, it may not be possible to reliably track a desired object, which is still a problem in practical use.
【０００６】この問題を解決する１つの方法として、動
きベクトル検出結果に基づいて、被写体の動きを検出す
る方法も考えられるが、動きベクトルにおいては、被写
体の動きと異なる検出結果が得られる場合もある。この
ため動きベクトル検出結果に基づいて直接被写体の動き
を検出する場合においては、被写体の動きを誤検出する
おそれがあり、実用上未だ不十分な問題があつた。As a method for solving this problem, a method of detecting the motion of the subject based on the motion vector detection result may be considered, but in the case of the motion vector, a detection result different from the motion of the subject may be obtained. is there. Therefore, when the motion of the subject is directly detected based on the motion vector detection result, the motion of the subject may be erroneously detected, and there is still a problem in practical use.
【０００７】本発明は以上の点を考慮してなされたもの
で、簡易な構成で確実に被写体の動きを検出することが
できる画像処理装置を提案しようとするものである。The present invention has been made in consideration of the above points, and an object thereof is to propose an image processing apparatus capable of surely detecting the movement of a subject with a simple structure.
【０００８】[0008]
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、順次入力される動画像（ＳＶ）を
所定のブロツクＢＬ単位に分割し、ブロツクマツチング
の手法を用いて、各ブロツクＢＬの動きベクトルＭＶを
検出し、動きベクトルＭＶに基づいて動画像（ＳＶ）を
処理する画像処理装置１において、ブロツクＢＬの動画
像（ＳＶ）について、周波数の高い高域成分を抽出して
出力するフイルタ回路３３と、高域成分のパワーを検出
するパワー検出回路３４と、パワーと所定の基準値との
比較結果に基づいて、動きベクトルＭＶの信頼性ＮＦを
検出する判定回路３５とを備え、信頼性検出結果ＮＦに
基づいて、動画像（ＳＶ）の処理を実行する。In order to solve such a problem, according to the present invention, a moving image (SV) that is sequentially input is divided into predetermined blocks BL and each block is divided by a block matching method. In the image processing apparatus 1 which detects the motion vector MV of BL and processes the moving image (SV) based on the motion vector MV, the high frequency component of high frequency is extracted and output from the moving image (SV) of block BL. A filter circuit 33, a power detection circuit 34 that detects the power of the high frequency component, and a determination circuit 35 that detects the reliability NF of the motion vector MV based on the result of comparison between the power and a predetermined reference value. , The processing of the moving image (SV) is executed based on the reliability detection result NF.
【０００９】[0009]
【作用】動きベクトルＭＶを検出する動画像（ＳＶ）の
ブロツクＢＬについて、高域成分を抽出してパワーを検
出すれば、当該パワー検出結果に基づいて動きベクトル
ＭＶの信頼性ＮＦを判断することができる。With respect to the block BL of the moving image (SV) for detecting the motion vector MV, if the high frequency component is extracted and the power is detected, the reliability NF of the motion vector MV is determined based on the power detection result. You can
【００１０】[0010]
【実施例】以下図面について、本発明の一実施例を詳述
する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described in detail with reference to the drawings.
【００１１】（１）全体構成 図１において、１は全体として物体追跡装置を示し、ユ
ーザの指定した被写体を追跡して絞り、焦点を調整す
る。(1) Overall Structure In FIG. 1, reference numeral 1 denotes an object tracking device as a whole, which tracks a subject specified by a user to squeeze and adjust the focus.
【００１２】すなわち撮像装置２は、所望の被写体を撮
像し、その結果得られるビデオ信号ＳＶを追跡ベクトル
検出回路４に出力する。That is, the image pickup device 2 picks up an image of a desired subject and outputs the resulting video signal SV to the tracking vector detection circuit 4.
【００１３】追跡ベクトル検出回路４は、順次入力され
るビデオ信号ＳＶをデイジタル信号に変換すると共に、
入力回路６から入力される座標データ（ｘ１，ｙ１）、
（ｘ２，ｙ２）に基づいて追跡ベクトル検出領域ＡＲを
設定する。さらに追跡ベクトル検出回路４は、入力回路
６からトリガ信号ＳＴが入力されると、当該ビデオ信号
ＳＶの追跡ベクトル検出領域ＡＲ内の画像について、当
該画像の移動方向及び移動量を表してなる追跡ベクトル
ＶＴを検出し、当該検出結果を枠データ生成回路１０に
出力する。The tracking vector detection circuit 4 converts the sequentially input video signal SV into a digital signal and
Coordinate data (x1, y1) input from the input circuit 6,
The tracking vector detection area AR is set based on (x2, y2). Furthermore, when the trigger signal ST is input from the input circuit 6, the tracking vector detection circuit 4 shows a tracking vector representing the moving direction and the moving amount of the image within the tracking vector detection area AR of the video signal SV. VT is detected and the detection result is output to the frame data generation circuit 10.
【００１４】さらに追跡ベクトル検出回路４は、追跡ベ
クトルＶＴが得られると、追跡ベクトル検出領域ＡＲを
追跡ベクトルＶＴの分だけ移動させた後、移動後の追跡
ベクトル検出領域ＡＲを用いて続くフレームの画像につ
いて追跡ベクトルＶＴの検出を繰り返す。これにより追
跡ベクトル検出回路４は、追跡ベクトル検出領域ＡＲ内
の画像について、当該画像の移動方向及び移動量を検出
すると共に、当該画像の移動に追従して追跡ベクトル検
出領域ＡＲを移動させるようになされている。Further, when the tracking vector VT is obtained, the tracking vector detection circuit 4 moves the tracking vector detection area AR by the amount of the tracking vector VT, and then uses the moved tracking vector detection area AR for the subsequent frame. The detection of the tracking vector VT is repeated for the image. As a result, the tracking vector detection circuit 4 detects the moving direction and the moving amount of the image in the tracking vector detection area AR, and moves the tracking vector detection area AR following the movement of the image. Has been done.
【００１５】入力回路６は、ジヨイステイツクを用いて
座標データを入力し得るようになされ、これにより当該
物体追跡装置１においては、当該ジヨイステイツクを操
作して追跡ベクトル検出領域ＡＲを設定し得るようにな
さている。The input circuit 6 is adapted to be able to input coordinate data using a joystick, so that in the object tracking device 1, the joystick can be operated to set the tracking vector detection area AR. I'm standing.
【００１６】すなわち図２に示すように、物体追跡装置
１においては、遅延回路８を介してビデオ信号ＳＶを画
像合成回路９に与え、ここで枠データ生成回路１０から
出力される枠データＤＷに基づいて枠状の画像（以下枠
画像と呼ぶ）ＷＫを生成する。さらに物体追跡装置１に
おいては、画像合成回路９で当該枠画像ＷＫをビデオ信
号ＳＶに合成し、その結果得られる合成画像Ｍを表示装
置１２に表示する。That is, as shown in FIG. 2, in the object tracking device 1, the video signal SV is given to the image synthesizing circuit 9 via the delay circuit 8 and the frame data DW output from the frame data generating circuit 10 is converted into the frame data DW. Based on this, a frame-shaped image (hereinafter referred to as a frame image) WK is generated. Further, in the object tracking device 1, the image synthesizing circuit 9 synthesizes the frame image WK with the video signal SV, and the resultant synthesized image M is displayed on the display device 12.
【００１７】このとき枠データ生成回路１０は、入力回
路６から入力される座標データ（ｘ１，ｙ１）、（ｘ
２，ｙ２）に基づいて追跡ベクトル検出領域ＡＲに対応
した枠データＤＷを生成し、これにより枠画像ＷＫを用
いて追跡ベクトル検出領域ＡＲを表示するようになされ
ている。At this time, the frame data generating circuit 10 has the coordinate data (x1, y1), (x
2, y2), frame data DW corresponding to the tracking vector detection area AR is generated, and thereby the tracking vector detection area AR is displayed using the frame image WK.
【００１８】かくして物体追跡装置１においては、画像
表示装置１２をモニタしながらジヨイステイツクを操作
するだけで、簡易に追跡ベクトル検出領域ＡＲを設定し
得るようになされている。Thus, in the object tracking device 1, the tracking vector detection area AR can be easily set only by operating the joystick while monitoring the image display device 12.
【００１９】ちなみにこの実施例においては、初期状態
で画面中央に所定の大きさの枠画像ＷＫを表示するよう
になされ、ユーザにおいては、当該表示画像をモニタし
ながらジヨイステイツクを操作して枠画像ＷＫの位置及
び大きさを変化させることにより、簡易に追跡ベクトル
検出領域ＡＲを設定し得るようになされている。By the way, in this embodiment, the frame image WK of a predetermined size is displayed in the center of the screen in the initial state, and the user operates the joystick while monitoring the displayed image to operate the frame image WK. The tracking vector detection area AR can be easily set by changing the position and size of the.
【００２０】このとき入力回路６は、動きベクトルの検
出に供するブロツクを単位にして、当該ブロツクの整数
倍の大きさで追跡ベクトル検出領域ＡＲを設定し得るよ
うになされ、これにより動きベクトル検出結果に基づい
て、簡易に追跡ベクトルを検出し得るようになされてい
る。At this time, the input circuit 6 is adapted to set the tracking vector detection area AR in the size of an integer multiple of the block used for the detection of the motion vector, whereby the motion vector detection result is set. The tracking vector can be easily detected based on the above.
【００２１】さらに入力回路６は、追跡開始の操作子が
押圧操作されると、追跡開始のトリガ信号ＳＴを出力す
るのに対し、追跡終了の操作子が押圧操作されると、追
跡終了の制御信号を出力し、これにより当該物体追跡装
置１全体の動作を制御するようになされている。Further, the input circuit 6 outputs a tracking start trigger signal ST when the tracking start operator is pressed, whereas it controls the tracking end when the tracking end operator is pressed. A signal is output to control the operation of the object tracking device 1 as a whole.
【００２２】図３に示すように、枠データ生成回路８
は、追跡ベクトルＶＴ（ＤＸ，ＤＹ）が得られると枠デ
ータＤＷの座標データ（ｘ１，ｙ１）、（ｘ２，ｙ２）
にそれぞれ追跡ベクトルの２次元座標ＤＸ，ＤＹを加算
して出力する。これにより枠データ生成回路８は、追跡
ベクトルＶＴに基づいて、枠データＤＷを更新し、追跡
ベクトル検出領域内の画像の移動に追従して枠画像ＷＫ
を移動させるようになされている。As shown in FIG. 3, the frame data generation circuit 8
Is the coordinate data (x1, y1), (x2, y2) of the frame data DW when the tracking vector VT (DX, DY) is obtained.
And the two-dimensional coordinates DX and DY of the tracking vector are respectively added to and output. As a result, the frame data generation circuit 8 updates the frame data DW based on the tracking vector VT and follows the movement of the image within the tracking vector detection area to detect the frame image WK.
Is designed to be moved.
【００２３】さらにこの実施例において、枠データ生成
回路１０は、枠データＤＷを制御回路（図示せず）に出
力し、当該制御回路は、枠データＤＷで決まる領域（す
なわち追跡ベクトル検出領域ＡＲでなる）でビデオ信号
ＳＶの信号レベルを検出することにより、当該検出結果
に基づいて撮像装置２の焦点及び絞りを制御するように
なされている。Further, in this embodiment, the frame data generation circuit 10 outputs the frame data DW to a control circuit (not shown), and the control circuit concerned controls the region determined by the frame data DW (that is, the tracking vector detection region AR). By detecting the signal level of the video signal SV, the focus and diaphragm of the image pickup apparatus 2 are controlled based on the detection result.
【００２４】これにより当該物体追跡装置１において
は、ユーザが設定した追跡ベクトル検出領域ＡＲ内の画
像について、当該画像の移動に追従して、常に最適な明
るさ及びフオーカスの状態を維持し得るようになされて
いる。As a result, in the object tracking apparatus 1, the image within the tracking vector detection area AR set by the user can always follow the movement of the image and maintain the optimum brightness and focus state. Has been done.
【００２５】（２）追跡ベクトル検出回路 図４に示すように、追跡ベクトル検出回路４は、ビデオ
信号ＳＶを動きベクトル検出回路２０に与え、動きベク
トルＭＶを検出する。(2) Tracking Vector Detection Circuit As shown in FIG. 4, the tracking vector detection circuit 4 supplies the video signal SV to the motion vector detection circuit 20 to detect the motion vector MV.
【００２６】ここで図５に示すように、動きベクトル検
出回路２０は、ブロツク化回路２１にビデオ信号ＳＶを
与え、デイジタル信号（以下デイジタルビデオ信号と呼
ぶ）に変換する。Here, as shown in FIG. 5, the motion vector detection circuit 20 gives the video signal SV to the block circuit 21 and converts it into a digital signal (hereinafter referred to as a digital video signal).
【００２７】さらに図６に示すように、ブロツク化回路
２１は、デイジタルビデオ信号を８×８画素単位のブロ
ツクＢＬに分割した後、当該デイジタルビデオ信号を、
各ブロツク毎にラスタ走査の順序で出力する（図６にお
いては、水平及び垂直方向にそれぞれｍ×ｋの位置にあ
るブロツクを表す）。マツチング回路２３は、ブロツク
化回路２１の出力信号とフレームメモリ２５の出力信号
との比較結果を得ることにより、ブロツクマツチングの
手法を適用して各ブロツク毎に動きベクトルＭＶを検出
する。Further, as shown in FIG. 6, the block conversion circuit 21 divides the digital video signal into blocks BL of 8 × 8 pixels, and then the digital video signal is
Each block is output in raster scanning order (in FIG. 6, blocks at m × k positions in the horizontal and vertical directions are shown). The matching circuit 23 detects the motion vector MV for each block by applying the block matching method by obtaining the comparison result between the output signal of the block circuit 21 and the output signal of the frame memory 25.
【００２８】すなわち図７に示すようにマツチング回路
２３は、各ブロツク毎に、各ブロツクより水平及び垂直
方向にそれぞれ２ＤX ×２ＤY だけ大きな領域を動きベ
クトル検出領域ＡＲＭに設定し、当該動きベクトル検出
領域ＡＲＭでフレームメモリ２５に格納された１フレー
ム前の画像データと各ブロツクの画像データとの残差デ
ータを検出する。このときマツチング回路２３は、動き
ベクトル検出領域ＡＲＭの範囲でブロツクＢＬの位置を
順次移動させ、当該残差データの絶対値和が最も小さく
なる位置を検出する。これによりマツチング回路２３
は、各ブロツクＢＬ毎に、動きベクトルＭＶを検出し、
当該検出結果を分布検出回路２７に出力する。That is, as shown in FIG. 7, the matching circuit 23 sets, for each block, an area which is larger than each block by 2D X × 2D Y in the horizontal and vertical directions as a motion vector detection area ARM, and the motion vector detection area ARM is set. Residual data between the image data of one frame before stored in the frame memory 25 and the image data of each block is detected in the detection area ARM. At this time, the matching circuit 23 sequentially moves the position of the block BL within the range of the motion vector detection area ARM to detect the position where the sum of absolute values of the residual data becomes the smallest. This allows the matching circuit 23
Detects the motion vector MV for each block BL,
The detection result is output to the distribution detection circuit 27.
【００２９】分布検出回路２７は、追跡ベクトル検出領
域ＡＲ内の動きベクトルＭＶについて、向き及び大きさ
を基準にして分布を検出し、分布検出結果を判定回路２
９に出力する。すなわち分布検出回路２７は、動きベク
トル検出領域ＡＲＭに対応した大きさ２ＤX ×２ＤY の
テーブルを有し、各フレーム毎に当該テーブルの内容を
値０に初期化する。さらに分布検出回路２７は、動きベ
クトルＭＶの値に応じて当該テーブルの内容を値１づつ
更新することにより、動きベクトル検出領域を基準にし
て動きベクトルの分布を検出する。The distribution detection circuit 27 detects the distribution of the motion vector MV in the tracking vector detection area AR based on the direction and the size, and the distribution detection result is determined by the determination circuit 2.
Output to 9. That is, the distribution detection circuit 27 has a table of size 2D X × 2D Y corresponding to the motion vector detection area ARM, and initializes the content of the table to the value 0 for each frame. Further, the distribution detection circuit 27 detects the distribution of the motion vector based on the motion vector detection area by updating the content of the table by 1 according to the value of the motion vector MV.
【００３０】さらに分布検出回路２７は、判定回路２９
の追跡ベクトル検出結果に基づいて、追跡ベクトル検出
領域ＡＲを更新し、これにより各フレーム毎に、画像の
移動に追従して追跡ベクトル検出領域ＡＲを更新すると
共に、更新した追跡ベクトル検出領域ＡＲについて動き
ベクトルの分布を検出する。The distribution detection circuit 27 further includes a determination circuit 29.
The tracking vector detection area AR is updated on the basis of the tracking vector detection result of the above, and thereby the tracking vector detection area AR is updated in accordance with the movement of the image for each frame, and the updated tracking vector detection area AR is Detect the distribution of motion vectors.
【００３１】判定回路２９は、当該分布検出結果に基づ
いて、最も分布度数の大きな動きベクトルＭＶを追跡ベ
クトルＶＴに設定して出力する。すなわち追跡対象を囲
むように設定した枠内において、最も支配的な動きベク
トルＭＶにおいては、当該追跡対象の移動方向及び移動
量を表すと考えられる。従つて最も支配的な動きベクト
ルＭＶを検出すれば、簡易な構成で所望の被写体を追跡
することができ、焦点調整、絞り調整等に利用して当該
物体追跡装置１の使い勝手を向上することができる。The determination circuit 29 sets the motion vector MV having the largest distribution frequency as the tracking vector VT and outputs it based on the distribution detection result. That is, it is considered that the most dominant motion vector MV in the frame set to surround the tracking target represents the moving direction and the moving amount of the tracking target. Therefore, if the most dominant motion vector MV is detected, a desired subject can be tracked with a simple configuration, and the usability of the object tracking device 1 can be improved by using it for focus adjustment, aperture adjustment, and the like. it can.
【００３２】（２−１）動きベクトル判定回路 さらにこの実施例において、物体追跡装置１は、動きベ
クトル判定回路３２で動きベクトルＭＶの信頼性を検出
し、当該検出結果に基づいて追跡ベクトルＶＴを検出す
ることにより、簡易かつ確実に画像の動きを検出する。(2-1) Motion Vector Judgment Circuit Further, in this embodiment, in the object tracking device 1, the motion vector judgment circuit 32 detects the reliability of the motion vector MV, and based on the detection result, the tracking vector VT is obtained. By detecting, the movement of the image can be detected easily and surely.
【００３３】すなわち動きベクトル判定回路３２（図
５）においては、順次入力されるビデオ信号ＳＶをフイ
ルタ回路３３に与え、ここで周波数の高い信号成分を抽
出する。That is, in the motion vector determination circuit 32 (FIG. 5), the sequentially input video signals SV are supplied to the filter circuit 33, where the high frequency signal components are extracted.
【００３４】ここで図８に示すようにフイルタ回路３２
は、３×３画素の範囲で、順次入力される画像データを
重み付け処理した後加算処理することにより、周波数の
高い信号成分を抽出する。Here, as shown in FIG. 8, a filter circuit 32 is provided.
In the range of 3 × 3 pixels, the sequentially input image data is weighted and then subjected to addition processing to extract a high-frequency signal component.
【００３５】パワー検出回路３４は、動きベクトルＭＶ
を検出する各ブロツク毎に、フイルタ回路３２で抽出し
た高域成分について、絶対値和を検出して出力し、これ
により各ブロツクの高域成分についてそのパワーを検出
する。The power detection circuit 34 uses the motion vector MV.
For each block for which the block is detected, the sum of absolute values of the high frequency components extracted by the filter circuit 32 is detected and output, whereby the power of the high frequency components of each block is detected.
【００３６】判定回路３５は、テーブル３６に設定され
た基準データを入力した後、パワー検出回路３４の検出
結果との間で比較結果を得るようになされ、これにより
高域成分のパワーが所定のしきい値以上のとき、動きベ
クトルＭＶが有効であることを表す動きベクトル有効フ
ラグＮＦを出力する。After the reference data set in the table 36 is input, the determination circuit 35 obtains a comparison result with the detection result of the power detection circuit 34, whereby the power of the high frequency component is predetermined. When it is equal to or larger than the threshold value, the motion vector valid flag NF indicating that the motion vector MV is valid is output.
【００３７】すなわち各ブロツクの画像において、高域
成分のパワーが大きい場合、エツジ成分の多い画像と判
断することができる。この場合ブロツクマツチングの手
法を適用して得られた動きベクトルＭＶは、画像の動き
を反映したものと判断することができる。That is, in the image of each block, when the power of the high frequency component is large, it can be determined that the image has many edge components. In this case, it can be determined that the motion vector MV obtained by applying the block matching method reflects the motion of the image.
【００３８】これに対して高域成分のパワーが小さい場
合、当該ブロツクの画像はエツジ成分の少ない画像と判
断することができる。この場合動きベクトルＭＶにおい
ては、画像の動きを必ずしも反映したものではなく、単
に全体のデータ量が最も少なくなる位置を表すものと判
断することができる。On the other hand, when the power of the high frequency component is small, it can be judged that the image of the block is an image with a small edge component. In this case, it can be determined that the motion vector MV does not necessarily reflect the motion of the image, but simply represents the position where the total amount of data is the smallest.
【００３９】従つて高域成分のパワーを検出し、当該検
出結果に基づいて動きベクトルＭＶの信頼性を判断し、
当該判断結果に基づいて追跡ベクトルを検出すれば、簡
易な構成で確実に追跡ベクトルを検出することができ
る。Therefore, the power of the high frequency component is detected, and the reliability of the motion vector MV is judged based on the detection result.
If the tracking vector is detected based on the determination result, the tracking vector can be reliably detected with a simple configuration.
【００４０】この検出原理に基づいて分布検出回路２７
は、動きベクトル有効フラグＮＦが得られた動きベクト
ルＭＶについてのみ、テーブルを更新して動きベクトル
ＭＶの分布を検出する。これにより追跡ベクトル検出回
路４は、画像の動きを反映する動きベクトルＭＶについ
て、選択的に分布を検出することにより、確実に画像の
動きを検出するようになされている。The distribution detection circuit 27 is based on this detection principle.
Updates the table and detects the distribution of the motion vector MV only for the motion vector MV for which the motion vector valid flag NF is obtained. As a result, the tracking vector detection circuit 4 is configured to reliably detect the motion of the image by selectively detecting the distribution of the motion vector MV that reflects the motion of the image.
【００４１】（３）実施例の動作 以上の構成において、撮像装置２から出力されるビデオ
信号ＳＶは、追跡ベクトル検出回路４に入力され、ブロ
ツク化回路２１でデイジタル信号に変換された後、８×
８画素単位のブロツクに分割される。当該ブロツクは、
各ブロツク毎にマツチング回路２３で動きベクトルＭＶ
が検出される。(3) Operation of the Embodiment In the above configuration, the video signal SV output from the image pickup device 2 is input to the tracking vector detection circuit 4 and converted into a digital signal by the block circuit 21, and then 8 ×
It is divided into blocks of 8 pixels. The block is
For each block, the matching circuit 23 moves the motion vector MV.
Is detected.
【００４２】当該動きベクトルＭＶは、分布検出回路２
７に出力され、ここで追跡ベクトル検出領域ＡＲの範囲
の動きベクトルＭＶについて分布が検出され、最も分布
度数の大きい動きベクトルＭＶが追跡ベクトルＶＴとし
て検出される。かくして動きベクトルＭＶの分布を検出
し、最も分布度数の大きい動きベクトルＭＶを追跡ベク
トルＶＴに設定することにより、簡易な構成で物体の動
きを追跡することができる。The motion vector MV is detected by the distribution detection circuit 2
7, the distribution is detected about the motion vector MV in the range of the tracking vector detection area AR, and the motion vector MV having the largest distribution frequency is detected as the tracking vector VT. Thus, by detecting the distribution of the motion vector MV and setting the motion vector MV having the largest distribution frequency as the tracking vector VT, the motion of the object can be tracked with a simple configuration.
【００４３】当該追跡ベクトル検出結果は、枠データ生
成回路１０に出力され、ここで当該追跡ベクトルＶＴに
基づいて枠データＤＷが更新され、これにより画像表示
装置１２の表示画面上において、物体の動きに追従して
枠画像ＷＫを移動させることができる。The tracking vector detection result is output to the frame data generation circuit 10, where the frame data DW is updated based on the tracking vector VT, whereby the motion of the object on the display screen of the image display device 12 is updated. The frame image WK can be moved in accordance with.
【００４４】さらに当該枠データＤＷで決まる領域でビ
デオ信号ＳＶの信号レベルを検出することにより、物体
の動きに追従して撮像装置２の焦点及び絞りを制御する
ことができる。Further, by detecting the signal level of the video signal SV in the area determined by the frame data DW, it is possible to control the focus and the diaphragm of the image pickup device 2 by following the movement of the object.
【００４５】さらに追跡ベクトル検出結果は、分布検出
回路２７に出力され、これにより続くフレームについて
追跡ベクトルが検出され、順次連続するフレームについ
て追跡ベクトルを検出することができる。Further, the tracking vector detection result is output to the distribution detection circuit 27, whereby the tracking vector can be detected for the subsequent frames, and the tracking vector can be detected for successive frames.
【００４６】このときビデオ信号ＳＶは、動きベクトル
判定回路３２において、高域成分が抽出された後、各ブ
ロツク毎に当該高域成分の絶対値和が検出され、これに
より当該高域成分のパワーが検出される。検出された高
域成分のパワーは、判定回路３５で、各ブロツク毎に、
所定のしきい値との間で比較結果が得られ、これにより
動きベクトルの信頼性を検出することができる。At this time, in the video signal SV, after the high frequency components are extracted in the motion vector determination circuit 32, the sum of the absolute values of the high frequency components is detected for each block, whereby the power of the high frequency components is detected. Is detected. The detected high-frequency component power is determined by the determination circuit 35 for each block.
A comparison result is obtained between a predetermined threshold value and the reliability of the motion vector can be detected.
【００４７】判定回路３５から出力される動きベクトル
有効フラグＮＦは、分布検出回路２７に出力され、ここ
で当該動きベクトル有効フラグＮＦに基づいて、動きベ
クトルＭＶの分布が検出される。これにより画像の動き
を反映する動きベクトルＭＶについて、選択的に分布が
検出され、確実に画像の動きを検出することができる。The motion vector valid flag NF output from the determination circuit 35 is output to the distribution detection circuit 27, where the distribution of the motion vector MV is detected based on the motion vector valid flag NF. As a result, the distribution of the motion vector MV that reflects the motion of the image is selectively detected, and the motion of the image can be reliably detected.
【００４８】（４）実施例の効果 以上の構成によれば、高域成分のパワーを検出し、当該
検出結果に基づいて選択的に動きベクトルの分布を検出
することにより、簡易かつ確実に物体の移動方向及び移
動量を検出することができる。(4) Effects of the Embodiments With the above configuration, the power of the high frequency component is detected, and the distribution of the motion vector is selectively detected based on the detection result. It is possible to detect the moving direction and the moving amount of the.
【００４９】（５）他の実施例 なお上述の実施例においては、絶対値和を検出すること
により高域成分のパワーを検出する場合について述べた
が、本発明はこれに限らず、二乗和を検出することによ
り高域成分のパワーを検出するようにしてもよい。(5) Other Embodiments In the above embodiment, the case where the power of the high frequency component is detected by detecting the sum of absolute values has been described, but the present invention is not limited to this, and the sum of squares is not limited thereto. The power of the high frequency component may be detected by detecting
【００５０】さらに上述の実施例においては、３×３画
素のフイルタ回路を用いて高域成分を抽出する場合につ
いて述べたが、本発明はこれに限らず、種々のフイルタ
回路を広く適用することができる。Further, in the above-mentioned embodiment, the case where the high frequency component is extracted by using the filter circuit of 3 × 3 pixels has been described, but the present invention is not limited to this, and various filter circuits can be widely applied. You can
【００５１】さらに上述の実施例においては、追跡ベク
トル検出結果に基づいて焦点調整及び絞り調整する場合
について述べたが、本発明はこれに限らず、ズーム処理
等を併せて実行するようにしてもよい。さらに枠の移動
に限らず、カメラ駆動回路４０（図１）に制御信号ＳＣ
を出力して、画像の移動に追従して撮像領域を切り換え
るようにしてもよく、この場合、動きの速さに応動し
て、枠の移動及び撮像領域の移動を組み合わせて処理す
るようにしてもよい。Further, in the above-described embodiment, the case where the focus adjustment and the diaphragm adjustment are performed based on the tracking vector detection result has been described, but the present invention is not limited to this, and the zoom processing may be executed together. Good. In addition to the movement of the frame, the control signal SC is sent to the camera drive circuit 40 (FIG. 1).
May be output to switch the image pickup area in accordance with the movement of the image. In this case, the movement of the frame and the movement of the image pickup area are combined and processed in response to the speed of movement. Good.
【００５２】さらに上述の実施例においては、動きベク
トル検出結果に基づいて、直接テーブロの内容を更新し
て追跡ベクトルを検出する場合について述べたが、本発
明はこれに限らず、動きベクトルを再量子化して処理す
るようにしてもよい。このようにすれば、追跡ベクトル
の精度が求められない場合等においては、テーブルを小
型化し得、されに一段と簡易な構成で物体の動きを検出
することができる。Further, in the above-described embodiment, the case where the contents of the table are directly updated based on the motion vector detection result to detect the tracking vector has been described, but the present invention is not limited to this, and the motion vector is re-detected. You may make it quantize and process. With this configuration, when the accuracy of the tracking vector is not required, the table can be downsized, and the movement of the object can be detected with a much simpler configuration.
【００５３】さらに上述の実施例においては、各ブロツ
クＢＬについて動きベクトルＭＶを検出した後、追跡ベ
クトル検出領域内の動きベクトルＭＶについて分布を検
出する場合について述べたが、本発明はこれに限らず、
追跡ベクトル検出領域内のブロツクについてのみ動きベ
クトルＭＶを検出し、分布を検出するようにしてもよ
い。Further, in the above embodiment, the case where the motion vector MV is detected for each block BL and then the distribution is detected for the motion vector MV in the tracking vector detection area has been described, but the present invention is not limited to this. ,
The motion vector MV may be detected only for the blocks in the tracking vector detection area to detect the distribution.
【００５４】さらに上述の実施例においては、追跡ベク
トルを検出して被写体の動きを追跡する場合について述
べたが、本発明はこれに限らず、ブロツクマツチングの
手法を適用して検出した動きベクトルを用いて、動画像
を処理する画像処理装置に広く適用することができる。Further, in the above-mentioned embodiment, the case where the tracking vector is detected to track the motion of the subject has been described, but the present invention is not limited to this, and the motion vector detected by applying the block matching method. Can be widely applied to an image processing device for processing a moving image.
【００５５】[0055]
【発明の効果】上述のように本発明によれば、ブロツク
マツチングの手法を適用して動きベクトルを検出し、当
該動きベクトルに基づいて動画像の動きを検出する際、
動画像から高域成分を抽出し、当該高域成分のパワーに
基づいて動きベクトルの信頼性を判断することにより、
当該判断結果に基づいて簡易かつ確実に画像の動きを検
出し得る画像処理装置を得ることができる。As described above, according to the present invention, when the motion vector is detected by applying the block matching method, and the motion of the moving image is detected based on the motion vector,
By extracting the high frequency component from the moving image and judging the reliability of the motion vector based on the power of the high frequency component,
It is possible to obtain an image processing device that can easily and reliably detect the movement of an image based on the determination result.
【図１】本発明の一実施例による物体追跡装置を示すブ
ロツク図である。FIG. 1 is a block diagram showing an object tracking device according to an embodiment of the present invention.
【図２】追跡ベクトル検出領域の設定の説明に供する略
線図である。FIG. 2 is a schematic diagram used for explaining setting of a tracking vector detection area.
【図３】枠表示位置の説明に供する略線図である。FIG. 3 is a schematic diagram for explaining a frame display position.
【図４】追跡ベクトル検出回路を示すブロツク図であ
る。FIG. 4 is a block diagram showing a tracking vector detection circuit.
【図５】動きベクトル検出回路を示すブロツク図であ
る。FIG. 5 is a block diagram showing a motion vector detection circuit.
【図６】ブロツク化回路の説明に供する略線図である。FIG. 6 is a schematic diagram used for explaining a block circuit.
【図７】動きベクトルの検出の説明に供する略線図であ
る。FIG. 7 is a schematic diagram for explaining the detection of a motion vector.
【図８】フイルタ回路の説明に供する略線図である。FIG. 8 is a schematic diagram for explaining a filter circuit.
１……物体追跡装置、２……撮像装置、４……追跡ベク
トル検出回路、６……入力回路、１０……枠データ生成
回路、２０……動きベクトル検出回路、２７……分布回
路、２９、３５……判定回路、３３……フイルタ回路、
３４……パワー検出回路、３６……テーブル。1 ... Object tracking device, 2 ... Imaging device, 4 ... Tracking vector detection circuit, 6 ... Input circuit, 10 ... Frame data generation circuit, 20 ... Motion vector detection circuit, 27 ... Distribution circuit, 29 , 35 ... Judgment circuit, 33 ... Filter circuit,
34 ... Power detection circuit, 36 ... Table.
Claims (1)
位に分割し、ブロツクマツチングの手法を用いて、上記
各ブロツクの動きベクトルを検出し、上記動きベクトル
に基づいて上記動画像を処理する画像処理装置におい
て、 上記ブロツクの上記動画像について、周波数の高い高域
成分を抽出して出力するフイルタ回路と、 上記高域成分のパワーを検出するパワー検出回路と、 上記パワーと所定の基準値との比較結果に基づいて、上
記動きベクトルの信頼性を検出する判定回路とを具え、
上記信頼性検出結果に基づいて、上記動画像の処理を実
行することを特徴とする画像処理装置。1. A moving image sequentially input is divided into predetermined blocks, a motion vector of each block is detected by using a block matching method, and the moving image is processed based on the motion vector. In the image processing apparatus, a filter circuit for extracting and outputting high-frequency components of high frequency in the moving image of the block, a power detection circuit for detecting power of the high-frequency components, the power and a predetermined reference. A determination circuit that detects the reliability of the motion vector based on the result of comparison with the value;
An image processing apparatus, which executes the processing of the moving image based on the reliability detection result.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6128592A JPH05225343A (en) | 1992-02-15 | 1992-02-15 | Image processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6128592A JPH05225343A (en) | 1992-02-15 | 1992-02-15 | Image processor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05225343A true JPH05225343A (en) | 1993-09-03 |
Family
ID=13166780
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6128592A Pending JPH05225343A (en) | 1992-02-15 | 1992-02-15 | Image processor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05225343A (en) |
-
1992
- 1992-02-15 JP JP6128592A patent/JPH05225343A/en active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2330812B1 (en) | Apparatus for generating a panoramic image, method for generating a panoramic image, and computer-readable medium | |
| US5552823A (en) | Picture processing apparatus with object tracking | |
| JP2008511258A (en) | Real-time image stabilization | |
| JPH11261868A (en) | Fisheye lens camera device and image distortion correction method and image extraction method thereof | |
| JP2001094857A (en) | Method for controlling virtual camera, camera array and method for aligning camera array | |
| JP2005122323A (en) | Photographing apparatus, image processor, and image processing method and program for photographing device | |
| CN110290299B (en) | Imaging method, imaging device, storage medium and electronic equipment | |
| JP2011130328A (en) | Image processing apparatus, method and program | |
| JPH05227463A (en) | Picture processor | |
| US10447969B2 (en) | Image processing device, image processing method, and picture transmission and reception system | |
| JP2003111041A (en) | Image processor, image processing system, image processing method, storage medium and program | |
| JPH05236321A (en) | Image processor | |
| JPH05225343A (en) | Image processor | |
| JP2010239459A (en) | Image combination apparatus and program | |
| JP2667885B2 (en) | Automatic tracking device for moving objects | |
| JP2005122326A (en) | Photographed image projecting apparatus, and image processing method and program of photographed image projecting apparatus | |
| JP2001111879A (en) | Iimage pickup device | |
| JPH05328190A (en) | Picture processing unit | |
| JP2009027437A (en) | Image processor, image processing method and imaging device | |
| JPH0698232A (en) | Image recognizing device and image pickup device | |
| JP2912629B2 (en) | Automatic tracking device for moving objects | |
| JPH11112966A (en) | Moving object detector, moving object detection method and computer-readable storage medium thereof | |
| JP2001092976A (en) | Detecting method for moving object | |
| US20220337752A1 (en) | Image processing device, image processing method, non-transitory computer-readable storage medium | |
| JPS5839180A (en) | Correlation tracking device |