JPH01219509A - Motion vector detecting device - Google Patents

Abstract

PURPOSE:To prevent a motion vector from being misdetected by providing a gyroscope for finding the angular displacement between frames in the direction of an image pickup device to the image pickup device which outputs an image signal. CONSTITUTION:The object image area 20 of a last frame and the object image area 21 of a current frame are inputted to the image pickup device 1 and converted photoelectrically to output the image signal. At this time, the center of the image area 2 is at a point (a) and the center of the image area 21 is at a point a'. For example, the device 1 is panned between the last frame and current frame to generate a deviation by the motion vector DELTAx (DELTAx=DELTAh+DELTAv, where DELTAh is the horizontal component of the motion vector and DELTAv is the vertical component of the motion vector). The gyroscope 3 in the device 1 detects the horizontal and vertical angular displacement values DELTAwh and DELTAwv between the frames and outputs them from an angular displacement output terminal 5. The angular displacement values DELTAwh and DELTAwv are information for finding the motion vector DELTAx, which is calculated by a device which receives the angular displacement values DELTAwh and DELTAwv.

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、フレーム相関を用いた画像処理を行う場合に
必要とされる画面全体の平行移動量である動きベクトル
を検出する動きベクトル検出装置に関するものである。DETAILED DESCRIPTION OF THE INVENTION Field of the Invention The present invention relates to a motion vector detection device that detects a motion vector that is the amount of parallel movement of the entire screen required when performing image processing using frame correlation. It is.

従来の技術 最近、例えばカメラをパンニングした時に得られる画像
に対する画像処理等において、動きベクトルを用いた動
きベクトル検出方式は、動き補正符号化のように、フレ
ーム相関を用いた動画像の処処理等の分野で盛んに利用
されるようになってきた。この動きベクトル検出方式と
しては、例えば、特開昭６１−２０１５８１号公報に記
載されるように、代表点マツチング方式が知られている
。2. Description of the Related Art Recently, in image processing for images obtained when panning a camera, for example, motion vector detection methods using motion vectors have been developed. It has become widely used in the field of As this motion vector detection method, a representative point matching method is known, for example, as described in Japanese Patent Laid-Open No. 61-201581.

以下、第３図を参照して、従来の動きベクトル検出方式
について説明する。The conventional motion vector detection method will be described below with reference to FIG.

第３図は、従来の動きベクトル検出方式のブロック図を
示すものである。FIG. 3 shows a block diagram of a conventional motion vector detection method.

第３図において、６は画像信号を入力する入力端子、７
は前フレームの代表点の情報を保存する代表点保存メモ
リ、８け入力端子７人力にされた現フレームと、代表点
保存メモリ７に保存されている前フレームの代表点との
相関演算を行う相関器、９は相関器８が出力する相関結
果を累積加算する累積加算器、１０は累積加算器９が出
力する累積加算結果より動ベクトルを発生する動ベクト
ル発生回路、１１は動ベクトルを出力する出力端子であ
る。In FIG. 3, 6 is an input terminal for inputting an image signal; 7 is an input terminal for inputting an image signal;
is a representative point storage memory that stores information about the representative point of the previous frame, and performs a correlation calculation between the current frame input manually to the 8-digit input terminal 7 and the representative point of the previous frame stored in the representative point storage memory 7. a correlator; 9 a cumulative adder that cumulatively adds the correlation results output by the correlator 8; 10 a motion vector generation circuit that generates a motion vector from the cumulative addition result output by the cumulative adder 9; 11 outputs a motion vector This is the output terminal for

以上のような構成において、以下その動作について説明
する。The operation of the above configuration will be explained below.

まず、入力端子６より入力されるフレームの画像信号の
代表点の情報は、代表点保存メモリ７に保存される。次
に入力端子６より入力された現フレームの画像信号は、
代表点保存メモリ７に保存されている前フレームの代表
点の情報と相関器８において相関演算が行われ、累積加
算器９において代表点に対する各偏移毎に１フレ一ム期
間累積加算が行われる。累積加算結果は動ベクトル発生
回路１０により累積加算の最大値となるときの代表点に
対する偏移が求められ、その偏移が動ベクトルとして、
出力端子１１に出力される。First, information on the representative points of the image signal of the frame inputted from the input terminal 6 is stored in the representative point storage memory 7. Next, the image signal of the current frame input from the input terminal 6 is
A correlation calculation is performed in a correlator 8 with the information on the representative point of the previous frame stored in the representative point storage memory 7, and an accumulative addition for one frame period is performed in an accumulative adder 9 for each deviation with respect to the representative point. be exposed. From the cumulative addition result, the motion vector generation circuit 10 calculates the deviation with respect to the representative point when the cumulative addition reaches the maximum value, and the deviation is used as a motion vector.
It is output to the output terminal 11.

発明が解決しようとする課題 しかし、以上のような代表点マツチング法を用いた動き
ベクトル検出方式では、動きベクトルの検出を、画像信
号を用いた信号処理によるフレーム相関を求めて行って
いるので、以下に示す課題を持っていた。Problems to be Solved by the Invention However, in the motion vector detection method using the representative point matching method as described above, motion vectors are detected by determining frame correlation through signal processing using image signals. I had the following issues.

＋１１　　ｍ淡の差がはつきりしない画像（各画素の輝
度差があいまいな画像）の場合、フレーム相関を行って
も、代表点に対する各偏移の相関結果の累積加算値に差
が得られないため、間違った動きベクトルを検出してし
まう場合がちる。+11 m In the case of an image in which the difference in lightness is not noticeable (an image in which the brightness difference between each pixel is ambiguous), even if frame correlation is performed, a difference will not be obtained in the cumulative sum of the correlation results of each shift with respect to the representative point. Therefore, the wrong motion vector may be detected.

（２）　　本来、動きベクトルが存在しない場面切替え
時の画像においても動きベクトルが検出されてしまう場
合がある。(2) A motion vector may be detected even in an image at the time of scene switching, where no motion vector originally exists.

本発明は従来技術の以上のような課題を解決するもので
、濃淡の差がはつきりしない画像や、本来動きベクトル
が存在しない場面切替え時の画像における誤った動きベ
クトル検出をなくした動きベクトル検出装置を提供する
ことを目的とする。The present invention solves the above-mentioned problems of the prior art, and provides a motion vector that eliminates erroneous motion vector detection in images where the difference in shading is not noticeable or in images at the time of a scene change where no motion vector originally exists. The purpose is to provide a detection device.

課題を解決するための手段 本発明は、撮像装置に設けられ、時間的に連続した２７
Ｖ−ムの画像の、画像全体の平行移動量を示す動きベク
トルを検出するための情報を測定するジャイロスコープ
と、撮像装置に設けられ、前記動きベクトルを検出する
だめの情報或はその情報にもとずき算出した動きベクト
ルを出力する情報出力手段を備え、水平方向、垂直方向
それぞれについて前記撮像装置の向きの前記フレーム間
の角変位を測定することにより動きベクトルを検出する
ことにより上記目的を達成するものである。Means for Solving the Problems The present invention is provided in an imaging device, and provides temporally continuous 27
A gyroscope that measures information for detecting a motion vector indicating the amount of translation of the entire image of the image of the V-me, and a gyroscope provided in the imaging device for detecting the motion vector, or information for detecting the motion vector. The above object is achieved by detecting a motion vector by measuring an angular displacement between the frames in the orientation of the imaging device in each of the horizontal and vertical directions, including information output means for outputting the motion vector that has been originally calculated. The goal is to achieve the following.

作用 本発明は、上記構成により、水平方向、垂直方向それぞ
れについて前記撮像装置の向きの前記フレーム間の角変
位を測定することにより動きベクトルを検出するもので
ある。Operation The present invention detects a motion vector by measuring the angular displacement between the frames in the orientation of the imaging device in each of the horizontal and vertical directions.

実施例 以下、本発明の一実施例について図面を参照しながら説
明する。EXAMPLE Hereinafter, an example of the present invention will be described with reference to the drawings.

第１図は本発明の一実施例における動きベクトル検出装
置を具備したカメラなどの側面図である。FIG. 1 is a side view of a camera equipped with a motion vector detection device according to an embodiment of the present invention.

第１図において、１は画像信号を出力するカメラ（撮像
装置）、２０は前フレームにおけるカメラｌに入力され
る被写体画像領域、２１は現フレームにおけるカメラｌ
に入力される被写体画像領域、３はカメラの向きのフレ
ーム間の角変位を水平方向、垂直方向毎に測定するジャ
イロスコープ、４は画像信号出力端子、５はジャイロス
コープ３からの出力信号を出力する角変位出力端子（情
報出力手段）である。In FIG. 1, 1 is a camera (imaging device) that outputs an image signal, 20 is a subject image area input to camera l in the previous frame, and 21 is camera l in the current frame.
3 is a gyroscope that measures the angular displacement between frames in the direction of the camera in each horizontal and vertical direction, 4 is an image signal output terminal, and 5 is an output signal from the gyroscope 3. This is an angular displacement output terminal (information output means).

以上のような構成において、以下その動作を説明する。The operation of the above configuration will be explained below.

まず、前フレームの被写体画像領域２０及び現フレーム
の被写体画像領域２１は、カメラ１に入力され、光電変
換され画像信号として出力される。First, the subject image area 20 of the previous frame and the subject image area 21 of the current frame are input to the camera 1, photoelectrically converted, and output as image signals.

このとき、前フレームの被写体画像領域２０の中心をａ
点、現フレームの被写体画像領域２１の中心をａ′とす
る。前フレームから現フレームの間にカメラがパンニン
グし画面上で、ΔＸ（ΔＸ＝Δｈ＋ΔＶ：ΔＸは動きベ
クトル、Δｈは動きベクトルの水平成分、ΔＶは動きベ
クトルの垂直成分）だけずれたとする。カメラ１の中の
ジャイロスコープ３は、フレーム間の水平方向及び垂直
方向の角変位を検出し、それぞれΔｗｈ、ΔＷｙとし角
変位出力端子５より出力する。このフレーム間の角変位
ΔＷｈ、ΔＷｖが動きベクトルを求めるための情報とな
り、このΔｗｈ、ΔＷ、を受信した装置で容易に動きベ
クトルΔＸを算出することができる。At this time, the center of the subject image area 20 of the previous frame is set to a
Let the center of the object image area 21 of the current frame be a'. Assume that the camera pans between the previous frame and the current frame and shifts on the screen by ΔX (ΔX=Δh+ΔV: ΔX is the motion vector, Δh is the horizontal component of the motion vector, and ΔV is the vertical component of the motion vector). A gyroscope 3 in the camera 1 detects angular displacements in the horizontal and vertical directions between frames and outputs them as Δwh and ΔWy from an angular displacement output terminal 5, respectively. The angular displacements ΔWh and ΔWv between frames serve as information for calculating a motion vector, and a device that receives these Δwh and ΔW can easily calculate the motion vector ΔX.

次に、第２図を参照して、フレーム間の角変位を用いる
ことにより、求めたいフレーム間の画面上の変位量ΔＸ
（動きベクトル）が求まることを説明する。Next, referring to FIG. 2, by using the angular displacement between frames, the amount of displacement ΔX on the screen between frames that you want to find
(Motion vector) will be explained.

第２図は、画像の水平方向成分についてのみ示した図で
ある。図において、水平方向の有効入力角度αｈ（本実
施例においては固定であるとする）なるカメラをパンニ
ングした場合、カメラの向きがフレーム間で角度Δｗｈ
ずれたとする。このとき、求めたい画面の水平方向の変
位量Δｈは画面の水平方向の画素数なＨとすれば次式（
１）の関係が成り立つので第（２）式により求めること
が出来る。FIG. 2 is a diagram showing only the horizontal component of the image. In the figure, when the camera is panned at an effective input angle αh in the horizontal direction (assumed to be fixed in this example), the direction of the camera is changed to an angle Δwh between frames.
Suppose it deviates. At this time, the amount of displacement Δh in the horizontal direction of the screen to be determined is expressed by the following equation (
Since the relationship 1) holds, it can be determined using equation (2).

ΔＷｈ／ａｈ’Ｈ’Δｈ／Ｈ−（１） Δｈ＝（Ｈ／αｈ）Δｗｈ　　　　　・・・　（りまた
、最終的に求めたいフレーム間の画像の平行移動量であ
る動きベクトルΔＸは第（３）式の様に表すことが出来
るので、水平方向のフレーム間の角変位Δｗｈと垂直方
向のフレーム間の角度変位Δｗｙを求めればよいことが
わかる。ΔWh/ah'H'Δh/H-(1) Δh=(H/αh)Δwh... (Also, the motion vector ΔX, which is the amount of parallel movement of the image between frames, is ), it can be seen that it is sufficient to calculate the angular displacement Δwh between frames in the horizontal direction and the angular displacement Δwy between frames in the vertical direction.

ΔＸ＝Δｈ＋ΔＶ　　　　　　　　　・・・　（３）ま
た本実施例では、使用するカメラ１の水平方向の有効入
力角度αｈは固定（垂直方向の有効入力角度αＹＫつい
ても同様に固定である）であるとしたが、カメラにズー
ム機能があり、ズームによりαｈ、α７が変化してしま
う場合も、αｈ、α７を角変位出力端子を通じて出力す
ればよい。ΔX=Δh+ΔV (3) In addition, in this embodiment, the horizontal effective input angle αh of the camera 1 used is fixed (the vertical effective input angle αYK is also fixed). Even if the camera has a zoom function and αh and α7 change due to zooming, αh and α7 can be outputted through the angular displacement output terminal.

更にズームを行っている最中は、動きベクトルによる動
き補正は出来ないので、この時はフレーム間の角度変位
Δｗｈ、ΔＷｖを強制的に０にしてしまうことにより、
誤った動き補正は行われない。Furthermore, while zooming, motion correction using motion vectors is not possible, so at this time, by forcibly setting the angular displacements Δwh and ΔWv between frames to 0,
No false motion compensation is performed.

以上の説明から明らかなように本実施例によれば、画像
信号を出力するカメラｌに、カメラ１の向きの水平方向
、垂直方向それぞれのフレーム間の角変位を測定するジ
ャイロスコープ３を設けることにより動きベクトルを求
めるために必要な情報を出力することが出来るが、角変
位出力端子６から出力される情報は動きベクトルそのも
のであってもよい。As is clear from the above description, according to this embodiment, the camera l that outputs the image signal is provided with the gyroscope 3 that measures the angular displacement between frames in the horizontal and vertical directions of the camera 1. Although the information necessary to obtain the motion vector can be outputted using the angular displacement output terminal 6, the information outputted from the angular displacement output terminal 6 may be the motion vector itself.

発明の効果 以上のように本発明は、動きベクトルを画像信号の信号
処理から検出するのではなく、画像信号を出力するカメ
ラに、カメラの向きのフレーム間の角変位を水平方向、
垂直方向それぞれに求めるジャイロスコープを設けるこ
とにより、ハンディカメラの場合のように、三脚などの
カメラ固定器具を使用しなくても、濃淡の少ない画像及
び本来動くベクトルが存在しない場面切替え時の画像に
対しても、動きベクトルの誤検出が無いようにすること
が出来、例えば動きベクトルを用いた画像処理が特に有
効となるカメラのパンニングを確実に検出することが出
来る。Effects of the Invention As described above, the present invention does not detect motion vectors from signal processing of image signals, but rather detects the angular displacement between frames in the camera direction in the horizontal direction and in the camera that outputs the image signal.
By installing a gyroscope in each vertical direction, it is possible to capture images with little shading and images during scene changes where there are no moving vectors, without using a camera fixing device such as a tripod, as is the case with handheld cameras. In contrast, it is possible to prevent erroneous detection of motion vectors, and for example, it is possible to reliably detect camera panning, for which image processing using motion vectors is particularly effective.

【図面の簡単な説明】[Brief explanation of the drawing]

第１図は本発明の一実施例における動きベクトル検出装
置を具備したカメラなどの側面図、第２図は同実施例に
おける角変位から動きベクトルが求まることを示す角度
図、第３図は従来の動きベクトル検出方式を説明するブ
ロック図である。 １・・・カメラ、３・・・ジャイロスコープ、４・・・
画像信号出力端子、５・・・角変位出力端子、２０・・
・前フレームの被写体画像領域、２１・・・現フレーム
の被写体画像領域。 代即人の氏名　弁理士　中　尾　敏　男　ほか１名Ｎ２
図 第３図Fig. 1 is a side view of a camera equipped with a motion vector detection device according to an embodiment of the present invention, Fig. 2 is an angular view showing that a motion vector is determined from angular displacement in the embodiment, and Fig. 3 is a conventional FIG. 2 is a block diagram illustrating a motion vector detection method. 1...Camera, 3...Gyroscope, 4...
Image signal output terminal, 5... Angular displacement output terminal, 20...
- Subject image area of the previous frame, 21... Subject image area of the current frame. Name of representative: Patent attorney Toshio Nakao and 1 other person N2
Figure 3

Claims (1)

【特許請求の範囲】[Claims] 撮像装置に設けられ、時間的に連続した２フレームの画
像の、画像全体の平行移動量を示す動きベクトルを検出
するための情報を測定するジャイロスコープと、前記撮
像装置に設けられ、前記動きベクトルを検出するための
情報或はその情報にもとずき算出した動きベクトルを出
力する情報出力手段とを備え、水平方向、垂直方向それ
ぞれについて前記撮像装置の向きの前記フレーム間の角
変位を測定することにより動きベクトルを検出すること
を特徴とする動きベクトル検出装置。a gyroscope provided in the imaging device and measuring information for detecting a motion vector indicating the amount of parallel movement of the entire image of two temporally consecutive frames of images; and an information output means for outputting information for detecting or a motion vector calculated based on the information, and measuring the angular displacement between the frames in the orientation of the imaging device in each of the horizontal and vertical directions. A motion vector detection device characterized by detecting a motion vector by.