JPH07115583A - Video camera with hand-shake correction device - Google Patents
Video camera with hand-shake correction deviceInfo
- Publication number
- JPH07115583A JPH07115583A JP26226993A JP26226993A JPH07115583A JP H07115583 A JPH07115583 A JP H07115583A JP 26226993 A JP26226993 A JP 26226993A JP 26226993 A JP26226993 A JP 26226993A JP H07115583 A JPH07115583 A JP H07115583A
- Authority
- JP
- Japan
- Prior art keywords
- motion vector
- divergence
- average
- correlation value
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】この発明は手振れ補正装置を有す
るビデオカメラに関し、特にたとえば民生用のカメラ一
体型ＶＴＲとして用いられる、手振れ補正装置を有する
ビデオカメラに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video camera having a camera shake correction device, and more particularly to a video camera having a camera shake correction device which is used, for example, as a VTR with a built-in camera for consumer use.
【０００２】[0002]
【従来の技術】撮像装置の振れ成分を検出する方法の一
例が、１９８９年の第２０回画像工学コンファレンスで
松下電器産業（株）から発表されている。この方法は、
特開昭６１−２０１５８１号〔Ｈ０４Ｎ ７／１３７〕
公報に記載されている代表点マッチング法から得られる
動きベクトルを使って、画像情報から撮像装置の振れ成
分を検出するものである。この発表では、画像情報から
得られる動きベクトルに基づいて手振れ補正をしてい
る。2. Description of the Related Art An example of a method for detecting a shake component of an image pickup apparatus was announced by Matsushita Electric Industrial Co., Ltd. at the 20th Imaging Engineering Conference in 1989. This method
JP-A-61-201581 [H04N 7/137]
The motion vector obtained from the representative point matching method described in the publication is used to detect the shake component of the imaging device from the image information. In this presentation, camera shake correction is performed based on the motion vector obtained from the image information.
【０００３】すなわち、この場合には、画面の４個の検
出領域を配置しており、１画面から４個の部分動きベク
トルを得る。そして、この４個の検出領域の部分動きベ
クトルの相加平均を画面の全体動きベクトルとしたり、
４個の部分動きベクトルのうち、中間の２個の部分動き
ベクトルの相加平均を画面の全体動きベクトルとしたり
して、手振れを補正している。That is, in this case, four detection areas of the screen are arranged, and four partial motion vectors are obtained from one screen. Then, the arithmetic mean of the partial motion vectors of these four detection areas is used as the overall motion vector of the screen,
Of the four partial motion vectors, the camera shake is corrected by using the arithmetic mean of the middle two partial motion vectors as the overall motion vector of the screen.
【０００４】[0004]
【発明が解決しようとする課題】しかし、たとえば画面
の左半分または右半分というように４個の検出領域内の
２領域に動く物体が存在するような場合、すなわち画面
内の一部分にのみ動く物体が存在するような場合には、
その動く物体に影響されて全体動きベクトルを正確に検
出することができず、手振れ量を誤検出する恐れがあっ
た。However, when there is a moving object in two areas of the four detection areas, such as the left half or the right half of the screen, that is, an object that moves only in a part of the screen. Is present, then
Due to the moving object, the entire motion vector cannot be accurately detected, and the amount of camera shake may be erroneously detected.
【０００５】それゆえに、この発明の主たる目的は、手
振れ量をより正確に検出できる、手振れ補正装置を有す
るビデオカメラを提供することである。Therefore, a main object of the present invention is to provide a video camera having a camera shake correction device, which can detect a camera shake amount more accurately.
【０００６】[0006]
【課題を解決するための手段】この発明は、画面内に形
成された複数個の検出領域の各々の部分動きベクトルを
用いて全体動きベクトルを求める手振れ補正装置を有す
るビデオカメラであって、各部分動きベクトルの平均で
ある平均ベクトルを求める平均化手段、各部分動きベク
トルと平均ベクトルとの差の絶対値をそれぞれ加算しそ
の加算結果を加算した個数で除算して発散度を求める発
散度算出手段、発散度を閾値と比較する比較手段、およ
び比較手段での比較結果に応じて異なる方法で全体動き
ベクトルを検出する全体動きベクトル検出手段を備え
る、手振れ補正装置を有するビデオカメラである。SUMMARY OF THE INVENTION The present invention is a video camera having a camera shake correction device for obtaining an overall motion vector by using a partial motion vector of each of a plurality of detection areas formed in a screen. An averaging means for obtaining an average vector which is the average of the partial motion vectors, and a divergence calculation for obtaining the divergence by adding the absolute values of the differences between each partial motion vector and the average vector and dividing the addition result by the number of addition A video camera having a camera shake correction device, comprising: a means, a comparing means for comparing the divergence degree with a threshold value, and an overall motion vector detecting means for detecting an overall motion vector by a different method according to a comparison result by the comparing means.
【０００７】[0007]
【作用】平均化手段で求めた平均ベクトルと各検出領域
の部分動きベクトルとを用いて、発散度算出手段で発散
度を求める。発散度が大きいということは各部分動きベ
クトルのばらつきが大きいことを示す。画面の一部分に
のみ動く物体が存在する場合にこの傾向がある。一方、
発散度が小さいということは各部分動きベクトルのばら
つきが小さいことを示す。画面内に動く物体が存在しな
い場合や、画面全体に動く物体が存在する場合にこの傾
向がある。The divergence calculating means calculates the divergence using the average vector calculated by the averaging means and the partial motion vector of each detection area. A large divergence indicates that there are large variations in each partial motion vector. This tendency tends to occur when there is a moving object in only a part of the screen. on the other hand,
The small divergence indicates that the variation of each partial motion vector is small. This tendency occurs when there is no moving object on the screen or when there is a moving object on the entire screen.
【０００８】したがって、発散度が大きい場合の部分動
きベクトルを用いて全体動きベクトルを求めると、信頼
性の低い全体動きベクトルが得られる。一方、発散度が
小さい場合の部分動きベクトルを用いて全体動きベクト
ルを求めると、信頼性の高い全体動きベクトルが得られ
る。したがって、発散度が大きい場合には、たとえば部
分動きベクトルの平均に小さい係数を掛けて全体動きベ
クトルの値を小さくする。また、発散度が小さい場合に
は、たとえば部分動きベクトルの平均に大きい係数を掛
けて全体動きベクトルの値を大きくする。すなわち、発
散度が大きい場合の全体動きベクトルをできるだけ用い
ないようにし、反対に発散度が小さい場合の全体動きベ
クトルはできるだけ用いるようにする。なお、発散度の
大きさの程度は比較手段で決定され、その比較結果に応
じて全体動きベクトル検出手段で全体動きベクトルが検
出される。Therefore, if the overall motion vector is obtained by using the partial motion vector when the degree of divergence is large, an unreliable overall motion vector is obtained. On the other hand, when the overall motion vector is obtained using the partial motion vector when the divergence is small, a highly reliable overall motion vector is obtained. Therefore, when the degree of divergence is large, the average of the partial motion vectors is multiplied by a small coefficient to reduce the value of the overall motion vector. When the divergence is small, for example, the average of the partial motion vectors is multiplied by a large coefficient to increase the value of the overall motion vector. That is, the global motion vector when the divergence is large is used as little as possible, and the global motion vector when the divergence is small is used as much as possible. The degree of divergence is determined by the comparison means, and the overall motion vector detection means detects the overall motion vector according to the comparison result.
【０００９】[0009]
【発明の効果】この発明によれば、発散度を算出するこ
とで画面の状態を把握して発散度に応じた方法で全体動
きベクトルを検出するので、全体動きベクトルをより正
確に検出できる。したがって、手振れ量をより正確に検
出できる。この発明の上述の目的，その他の目的，特徴
および利点は、図面を参照して行う以下の実施例の詳細
な説明から一層明らかとなろう。According to the present invention, by calculating the divergence, the state of the screen is grasped and the whole motion vector is detected by a method according to the divergence, so that the whole motion vector can be detected more accurately. Therefore, the amount of camera shake can be detected more accurately. The above-mentioned objects, other objects, features and advantages of the present invention will become more apparent from the following detailed description of the embodiments with reference to the drawings.
【００１０】[0010]
【実施例】図１に示すこの実施例のビデオカメラ１０
は、レンズ１４から入力される被写体（図示せず）から
の光信号を電気信号に変換するＣＣＤのような固体撮像
素子１２を含む。固体撮像素子１２からの電気信号はカ
メラ回路１６に入力される。カメラ回路１６は、周知の
ように、サンプルホールド回路を含み、固体撮像素子１
２からの電気信号をサンプルホールドする。サンプルホ
ールドされた電気信号のレベルがＡＧＣによって調整さ
れるとともに、さらに同期信号付加回路によって同期信
号が付加される。このようにして、カメラ回路１６は固
体撮像素子１２からのイメージ信号をアナログビデオ信
号に変換する。このアナログビデオ信号は、さらに、Ａ
／Ｄ変換器１８によってディジタルビデオ信号に変換さ
れる。ディジタルビデオ信号は動き検出回路２０に与え
られる。動き検出回路２０としては、たとえば三洋電機
株式会社製のＬＳＩ“Ｌ７Ａ０９４８”が利用される。
この動き検出回路２０を構成する同じＬＳＩに含まれる
メモリ制御回路２２の制御の下で、ディジタルビデオ信
号がフィールド順次にフィールドメモリ２４に書き込ま
れる。DESCRIPTION OF THE PREFERRED EMBODIMENTS A video camera 10 of this embodiment shown in FIG.
Includes a solid-state image sensor 12 such as a CCD that converts an optical signal from a subject (not shown) input from the lens 14 into an electric signal. The electric signal from the solid-state image sensor 12 is input to the camera circuit 16. As is well known, the camera circuit 16 includes a sample hold circuit, and includes the solid-state image sensor 1
Sample and hold the electrical signal from 2. The level of the sampled and held electric signal is adjusted by the AGC, and the synchronizing signal is further added by the synchronizing signal adding circuit. In this way, the camera circuit 16 converts the image signal from the solid-state image sensor 12 into an analog video signal. This analog video signal is
It is converted into a digital video signal by the / D converter 18. The digital video signal is supplied to the motion detection circuit 20. As the motion detection circuit 20, for example, an LSI "L7A0948" manufactured by Sanyo Electric Co., Ltd. is used.
Under the control of the memory control circuit 22 included in the same LSI configuring the motion detection circuit 20, the digital video signals are field-sequentially written in the field memory 24.
【００１１】動き検出回路２０は、たとえば周知の代表
点マッチング法を用いて図３に示す４個の各検出領域
Ａ，Ｂ，ＣおよびＤ毎に、最も高い相関度（相関値は最
小）を有する１点およびその周囲の４点の位置、ならび
に各相関値を算出する。動き検出回路２０からの位置デ
ータおよび相関値データは、マイクロコンピュータ２６
に与えられる。The motion detection circuit 20 gives the highest degree of correlation (minimum correlation value) to each of the four detection areas A, B, C and D shown in FIG. 3 by using, for example, a well-known representative point matching method. The positions of one point and four points around it and the respective correlation values are calculated. The position data and the correlation value data from the motion detection circuit 20 are stored in the microcomputer 26.
Given to.
【００１２】すなわち、図２を参照して、動き検出回路
２０は、Ａ／Ｄ変換器１８からのディジタルビデオ信号
を受ける入力端２８を含み、この入力端２８から入力さ
れたディジタルビデオ信号はフィルタ３０を通して代表
点メモリ３２および減算回路３４に与えられる。フィル
タ３０は、一種のディジタルローパスフィルタであり、
Ｓ／Ｎ比を改善し、少ない代表点で十分な検出精度を確
保するために用いられる。代表点メモリ３２は、図３に
示す各検出領域Ａ−Ｄの各々の範囲内で複数の代表点を
抽出（この実施例では、各検出領域Ａ−Ｄの各々を３０
分割し、したがって、３０個の代表点を抽出）し、その
位置データと輝度データとを記憶する。３０分割して形
成された各検出エリア４２（図４）は、たとえば３２画
素×１６行で構成される。That is, referring to FIG. 2, motion detection circuit 20 includes an input end 28 for receiving the digital video signal from A / D converter 18, and the digital video signal input from this input end 28 is filtered. It is given to the representative point memory 32 and the subtraction circuit 34 through 30. The filter 30 is a kind of digital low-pass filter,
It is used to improve the S / N ratio and secure sufficient detection accuracy with a small number of representative points. The representative point memory 32 extracts a plurality of representative points within the range of each of the detection areas A to D shown in FIG. 3 (in this embodiment, 30 of each of the detection areas A to D is extracted).
Therefore, 30 representative points are divided, and the position data and luminance data are stored. Each detection area 42 (FIG. 4) formed by dividing into 30 is composed of, for example, 32 pixels × 16 rows.
【００１３】減算回路３４は、代表点メモリ３２から与
えられる前フィールドの代表点の輝度データと入力端２
８から与えられる現フィールドの全ての画素の輝度デー
タとを減算し、その絶対値をとる。すなわち、現フィー
ルドの輝度データと前フィールドの輝度データとの間で
輝度差を求める。求めた輝度差を累積加算回路３６に与
える。累積加算回路３６では、同じ検出領域内の各検出
エリア４２の同じ位置の画素について求めた輝度差を累
積加算（この実施例では３０個）し、相関値データとし
て出力する。相関値データは演算回路３８に与えられ、
この演算回路３８は最小相関値および平均相関値をそれ
ぞれ各検出領域Ａ−Ｄ毎に演算するとともに、最小相関
値を示す画素の位置データを各検出領域Ａ−Ｄ毎に求め
る。このようにして得られた最小相関値，平均相関値お
よび位置データが出力端４０から前述のマイクロコンピ
ュータ２６に与えられる。ただし、このような相関値の
計算は、先に述べたＬＳＩ“Ｌ７Ａ０９４８”によって
実行される。The subtraction circuit 34 receives the luminance data of the representative point of the previous field given from the representative point memory 32 and the input terminal 2.
The luminance data of all the pixels of the current field given from 8 is subtracted, and the absolute value is taken. That is, the brightness difference between the brightness data of the current field and the brightness data of the previous field is obtained. The obtained brightness difference is given to the cumulative addition circuit 36. The cumulative addition circuit 36 cumulatively adds (30 in this embodiment) the brightness differences obtained for the pixels at the same position in the respective detection areas 42 in the same detection area, and outputs it as correlation value data. The correlation value data is given to the arithmetic circuit 38,
The arithmetic circuit 38 calculates the minimum correlation value and the average correlation value for each detection area A-D, and also obtains the position data of the pixel indicating the minimum correlation value for each detection area AD. The minimum correlation value, the average correlation value and the position data thus obtained are given from the output end 40 to the microcomputer 26. However, such calculation of the correlation value is executed by the above-described LSI "L7A0948".
【００１４】そして、マイクロコンピュータ２６では、
位置データおよび相関値データに基づいて、画面すなわ
ちイメージフィールド４４（図３）全体の動きベクトル
（以下、単に「全体動きベクトル」という）を計算す
る。まず、最小相関値を示す画素の位置データに基づい
て、最小相関値を示す画素の、代表点に対する偏移を求
め、その偏移を部分動きベクトルとする。なお、部分動
きベクトルの検出精度をよくするために、最小相関値を
有する画素の周囲４画素の相関値を用いて内挿補間し、
最小相関値を有する画素の位置データを計算する。Then, in the microcomputer 26,
Based on the position data and the correlation value data, the motion vector of the entire screen, that is, the image field 44 (FIG. 3) (hereinafter, simply referred to as “whole motion vector”) is calculated. First, based on the position data of the pixel having the minimum correlation value, the shift of the pixel having the minimum correlation value with respect to the representative point is obtained, and the shift is set as the partial motion vector. In order to improve the detection accuracy of the partial motion vector, interpolation interpolation is performed using the correlation values of the four pixels surrounding the pixel having the minimum correlation value,
Compute the position data for the pixel with the smallest correlation value.
【００１５】そして、マイクロコンピュータ２６は、平
均相関値を最小相関値で除算した値が一定の閾値より大
きいか否か，平均相関値が所定値以上であるか否か，お
よび後述の傾きＸが所定値Ｐ以上であるか否かを各検出
領域Ａ−Ｄ毎に検出し、各検出領域Ａ−Ｄからの部分動
きベクトルが手振れ以外の動く物体等によって誤検出さ
れずに信頼できるか否かすなわち各検出領域Ａ−Ｄが有
効領域か否かを判断する。ここで、マイクロコンピュー
タ２６は、後述の傾きＸが所定値Ｐ以上であるか否かを
各検出領域Ａ−Ｄ毎に検出することを、繰り返し模様の
被写体を検出する一方法とする。平均相関値を最小相関
値で除算した値が一定の閾値より大きく，平均相関値が
所定値以上でありかつ傾きＸが所定値Ｐ以上であれば、
その検出領域は有効領域と判断される。Then, the microcomputer 26 determines whether a value obtained by dividing the average correlation value by the minimum correlation value is larger than a certain threshold value, whether the average correlation value is a predetermined value or more, and a slope X described later. Whether or not it is equal to or more than a predetermined value P is detected for each detection area A-D, and whether the partial motion vector from each detection area A-D is reliable without being erroneously detected by a moving object other than camera shake That is, it is determined whether or not each detection area A-D is a valid area. Here, the microcomputer 26 detects whether or not an inclination X, which will be described later, is a predetermined value P or more for each of the detection areas A to D, as one method of detecting a subject having a repetitive pattern. If the value obtained by dividing the average correlation value by the minimum correlation value is larger than a certain threshold value, the average correlation value is a predetermined value or more, and the slope X is a predetermined value P or more,
The detection area is determined to be the effective area.
【００１６】具体的には、有効領域か否かは以下のよう
に判断される。まず、画面のコントラストが低いときに
は、輝度差が小さいので、相関値が小さくなる。たとえ
ば、画面全体が白いときには相関値は小さくなる。この
ような場合には、信頼性がなくなるため、平均相関値≧
所定値のときに有効と判断される。なお、所定値は実験
により決定される。このようにして、平均相関値から低
コントラストか否かを判断する。Specifically, it is determined as follows whether or not the area is the effective area. First, when the screen contrast is low, the brightness difference is small, so the correlation value is small. For example, the correlation value is small when the entire screen is white. In such a case, the reliability is lost, so the average correlation value ≧
When it is a predetermined value, it is determined to be valid. The predetermined value is determined by experiment. In this way, it is determined from the average correlation value whether or not the contrast is low.
【００１７】また、検出領域内に動く物体があるときに
は、動く物体の占める部分と占めない部分とで相関値が
異なり、かつ動く物体の占める部分は様々な相関値をと
り、その相関値は一般的に大きな値となる（相関度は低
い）。したがって、検出領域内に動く物体があるときに
は、最小相関値が大きくなる可能性が高く、検出領域内
の部分動きベクトルを誤検出する恐れがある。部分動き
ベクトルを誤検出すると、全体動きベクトルを誤検出し
てしまう。しかし、平均相関値が大きいときには最小相
関値がある程度大きくても信頼できる。一方、平均相関
値が小さいときには最小相関値はより小さくなければ信
頼できない。したがって、具体的には、（平均相関値）
／（最小相関値）＞７のときに有効と判断し、この条件
を満たさない検出領域の部分動きベクトルを用いないよ
うにして、上述の誤検出による弊害を防止する。このよ
うにして、（平均相関値）／（最小相関値）を求めて、
動く物体の有無を判断する。When there is a moving object in the detection area, the correlation value differs between the part occupied by the moving object and the part not occupied, and the part occupied by the moving object has various correlation values, and the correlation value is generally Is relatively large (the degree of correlation is low). Therefore, when there is a moving object in the detection area, the minimum correlation value is likely to be large, and the partial motion vector in the detection area may be erroneously detected. If the partial motion vector is erroneously detected, the whole motion vector is erroneously detected. However, when the average correlation value is large, it is reliable even if the minimum correlation value is large to some extent. On the other hand, when the average correlation value is small, the minimum correlation value must be smaller to be reliable. Therefore, specifically, (average correlation value)
When / (minimum correlation value)> 7, it is determined to be valid, and the partial motion vector of the detection area that does not satisfy this condition is not used to prevent the above-mentioned adverse effects due to false detection. In this way, (average correlation value) / (minimum correlation value) is calculated,
Determine if there is a moving object.
【００１８】さらに、マイクロコンピュータ２６では、
繰り返し模様の被写体（たとえばストライプ画像等）を
検出するために、最小相関値を有する１点とその周囲の
４点の相関値を用いる。すなわち、図５に示すように、
最小相関値をＭ，その左右上下の４点の相関値をそれぞ
れＬ，Ｒ，Ｕ，Ｄとすると、それぞれの相関値の差，す
なわちＬ−Ｍ，Ｒ−Ｍ，Ｕ−ＭおよびＤ−Ｍを計算し、
そのうちの最小値を傾きＸとする。その傾きＸを、フィ
ールドテストによって求められた所定値Ｐ（この実施例
ではＰ＝４）と比較する。傾きＸが、所定値Ｐ以上であ
ればその検出領域は有効領域と判断し、所定値Ｐより小
さければその検出領域は無効領域と判断する。Further, in the microcomputer 26,
In order to detect a subject having a repeating pattern (for example, a striped image), the correlation value of one point having the minimum correlation value and the four surrounding points are used. That is, as shown in FIG.
Assuming that the minimum correlation value is M and the correlation values at the four points on the left, right, top, and bottom are L, R, U, and D, respectively, the difference between the correlation values, that is, LM, RM, UM, and DM. And calculate
The minimum value among them is the slope X. The inclination X is compared with a predetermined value P (P = 4 in this embodiment) obtained by the field test. If the inclination X is equal to or larger than the predetermined value P, the detection area is determined to be a valid area, and if it is smaller than the predetermined value P, the detection area is determined to be an invalid area.
【００１９】このような３つの条件によって、検出領域
が有効領域か否かは判断される。そして、マイクロコン
ピュータ２６で、４個の部分動きベクトルの平均（平均
ベクトル）および有効領域の部分動きベクトルの平均を
それぞれ求める。また、マイクロコンピュータ２６によ
って発散度が求められる。発散度によって、各検出領域
の部分動きベクトルのばらつきの程度が評価される。発
散度は数１によって表される。Based on these three conditions, it is judged whether or not the detection area is the effective area. Then, the microcomputer 26 obtains the average of the four partial motion vectors (average vector) and the average of the partial motion vectors of the effective area. Further, the divergence is obtained by the microcomputer 26. The degree of divergence evaluates the degree of variation of the partial motion vector in each detection region. The divergence is represented by equation 1.
【００２０】[0020]
【数１】Ｘ方向の発散度＝Σ（｜各検出領域のＸ方向部
分動きベクトル−Ｘ方向平均ベクトル｜）／領域数 Ｙ方向の発散度＝Σ（｜各検出領域のＹ方向部分動きベ
クトル−Ｙ方向平均ベクトル｜）／領域数 ここで、Ｘ方向部分動きベクトルとは部分動きベクトル
のＸ方向成分を、Ｙ方向部分動きベクトルとは部分動き
ベクトルのＹ方向成分をそれぞれ示す。また、Ｘ方向平
均ベクトルとは平均ベクトルのＸ方向成分を、Ｙ方向平
均ベクトルとは平均ベクトルのＹ方向成分をそれぞれ示
す。## EQU1 ## Divergence in X direction = .SIGMA. (| X direction partial motion vector of each detection area−X direction average vector |) / number of areas Y direction divergence = .SIGMA. (| Y direction partial motion vector in each detection area) -Y direction average vector |) / number of regions Here, the X direction partial motion vector indicates the X direction component of the partial motion vector, and the Y direction partial motion vector indicates the Y direction component of the partial motion vector. The X-direction average vector indicates the X-direction component of the average vector, and the Y-direction average vector indicates the Y-direction component of the average vector.
【００２１】この発散度に応じて、数２に示すような発
散係数Ｈｋを有効領域の部分動きベクトルの平均に乗じ
たものを、画面の全体動きベクトルとする。全体動きベ
クトルは、フィールド間の動き量とその向きを表す。According to this divergence degree, the divergence coefficient Hk as shown in equation 2 is multiplied by the average of the partial motion vectors in the effective area to obtain the entire motion vector of the screen. The overall motion vector represents the amount of motion between fields and its direction.
【００２２】[0022]
【数２】1) ０≦発散度＜８の場合 Ｈｋ＝１ 2) ８≦発散度＜１６の場合 Ｈｋ＝０．７５ 3) １６≦発散度＜２４の場合 Ｈｋ＝０．５ 4) ２４≦発散度＜３２の場合 Ｈｋ＝０．２５ なお、発散度が３２以上の場合には、４個の部分動きベ
クトルのうち最小のものを全体動きベクトルとする。[Equation 2] 1) When 0 ≦ divergence <8 Hk = 1 2) When 8 ≦ divergence <16 Hk = 0.75 3) 16 ≦ When divergence <24 Hk = 0.5 4) 24 ≤ Divergence <32 Hk = 0.25 When the divergence is 32 or more, the smallest one of the four partial motion vectors is set as the overall motion vector.
【００２３】このように、有効領域があるときには、全
体動きベクトルはたとえば有効領域の部分動きベクトル
の平均に発散係数Ｈｋを掛けたものを用いるが、有効領
域がないときには、全体動きベクトルはたとえば（現フ
ィールドの全体動きベクトル×１以下の係数）の値を用
い得る。ここで、１以下の係数としては、「０．９７」
が好ましい。As described above, when there is an effective area, the entire motion vector is obtained by multiplying the average of partial motion vectors of the effective area by the divergence coefficient Hk. The value of (total motion vector of current field × coefficient of 1 or less) can be used. Here, as a coefficient of 1 or less, "0.97"
Is preferred.
【００２４】なお、発散度の大きさによって、発散係数
を段階的に設定するのは以下の理由による。発散度が大
きいということは各部分動きベクトルのばらつきが大き
いことを示す。画面の一部分にのみ動く物体が存在する
場合にこの傾向がある。一方、発散度が小さいというこ
とは各部分動きベクトルのばらつきが小さいことを示
す。画面内に動く物体が存在しない場合や、画面全体に
動く物体が存在する場合にこの傾向がある。The reason why the divergence coefficient is set stepwise according to the degree of divergence is as follows. A large divergence indicates that there are large variations in each partial motion vector. This tendency tends to occur when there is a moving object in only a part of the screen. On the other hand, the small divergence indicates that the variation of each partial motion vector is small. This tendency occurs when there is no moving object on the screen or when there is a moving object on the entire screen.
【００２５】したがって、発散度が大きい場合の部分動
きベクトルを用いて全体動きベクトルを求めると、信頼
性の低い全体動きベクトルが得られる。一方、発散度が
小さい場合の部分動きベクトルを用いて全体動きベクト
ルを求めると、信頼性の高い全体動きベクトルが得られ
る。したがって、発散度が大きい場合には、部分動きベ
クトルの平均に小さい発散係数Ｈｋを掛けて全体動きベ
クトルの値を小さくする。また、発散度が小さい場合に
は、たとえば部分動きベクトルの平均に大きい発散係数
Ｈｋを掛けて全体動きベクトルの値を大きくする。すな
わち、発散度が大きい場合の全体動きベクトルをできる
だけ用いないようにし、反対に発散度が小さい場合の全
体動きベクトルはできるだけ用いるようにすることで、
総じて、信頼性の高い全体動きベクトルが得られるから
である。Therefore, if the overall motion vector is obtained by using the partial motion vector when the divergence is large, the overall motion vector with low reliability is obtained. On the other hand, when the overall motion vector is obtained using the partial motion vector when the divergence is small, a highly reliable overall motion vector is obtained. Therefore, when the divergence is large, the average of the partial motion vectors is multiplied by the small divergence coefficient Hk to reduce the value of the overall motion vector. When the degree of divergence is small, for example, the average of the partial motion vectors is multiplied by a large divergence coefficient Hk to increase the value of the overall motion vector. In other words, by using the whole motion vector when the divergence is large as much as possible, on the contrary, by using the whole motion vector when the divergence is small as much as possible,
This is because a highly reliable global motion vector can be obtained as a whole.
【００２６】このようにして求められた全体動きベクト
ルはメモリ制御回路２２に与えられる。そして、メモリ
制御回路２２では、全体動きベクトルに基づいてフィー
ルドメモリ２４の読み出し開始アドレスを決定し、その
アドレスからフィールドメモリ２４に蓄えられたディジ
タルビデオ信号を読み出す。すなわち、メモリ制御回路
２２は、マイクロコンピュータ２６によって計算された
全体動きベクトルに従って、フィールドメモリ２４のデ
ィジタルビデオ信号によって形成される抽出エリア４６
（図６）を移動する。The overall motion vector thus obtained is applied to the memory control circuit 22. Then, the memory control circuit 22 determines the read start address of the field memory 24 based on the overall motion vector, and reads the digital video signal stored in the field memory 24 from the address. That is, the memory control circuit 22 has the extraction area 46 formed by the digital video signal of the field memory 24 according to the overall motion vector calculated by the microcomputer 26.
Move (Fig. 6).
【００２７】ただし、フィールドメモリ２４から読み出
されたディジタルビデオ信号そのままでは抽出エリア４
６を移動できないので、電子ズーム回路４８（図１）を
用いる。図６を参照して、電子ズーム回路４８はイメー
ジフィールド４４の大きさに対して、ズーム倍率に従っ
て画像が拡大された抽出エリア４６を設定する。この抽
出エリア４６の位置は、イメージフィールド４４の範囲
内では、フィールドメモリ２４の読み出し開始アドレス
を変更することによって、自由に移動できる。そして、
抽出ディジタルビデオ信号に基づいてイメージフィール
ド４４全体のビデオ信号を得るために、フィールドメモ
リ２４から読み出したディジタルビデオ信号に基づいて
内挿補間法を用いて画像を拡大する。However, if the digital video signal read from the field memory 24 is as it is, the extraction area 4
Since 6 cannot be moved, electronic zoom circuit 48 (FIG. 1) is used. Referring to FIG. 6, the electronic zoom circuit 48 sets the extraction area 46 in which the image is enlarged according to the zoom magnification with respect to the size of the image field 44. The position of the extraction area 46 can be freely moved within the range of the image field 44 by changing the read start address of the field memory 24. And
In order to obtain the video signal of the entire image field 44 based on the extracted digital video signal, the image is enlarged by using the interpolation method based on the digital video signal read from the field memory 24.
【００２８】このようにして、イメージフィールド４４
内の任意の抽出エリア４６のイメージを電子ズーム回路
４８で電子的にズームすることによって、イメージフィ
ールド４４と抽出エリア４６との差に相当する補正可能
範囲５０が形成され得る。ビデオカメラ１０を操作する
人の手の振動に応じて、図７に示すようにビデオカメラ
１０に手振れが生じると、そのビデオカメラ１０からの
画像にぶれを生じ、結果的に、イメージフィールド４４
内の左下方に目的の人物が存在する場合（図７上）や、
イメージフィールド４４の右上方に目的の人物が存在す
る場合（図７下）などが生じる。したがって、各フィー
ルド毎に抽出エリア４６を、マイクロコンピュータ２６
によって計算した全体動きベクトルに応じて移動させる
ことによって、図７右に示すように、抽出エリア４６に
は目的の人物がちょうど収まることになる。In this way, the image field 44
By electronically zooming the image of an arbitrary extraction area 46 in the electronic zoom circuit 48, a correctable range 50 corresponding to the difference between the image field 44 and the extraction area 46 can be formed. When the video camera 10 is shaken due to the vibration of the hand of the person who operates the video camera 10 as shown in FIG. 7, the image from the video camera 10 is shaken, resulting in the image field 44.
If there is a target person in the lower left of the inside (Fig. 7 top),
This may be the case, for example, when the target person exists in the upper right of the image field 44 (bottom of FIG. 7). Therefore, the extraction area 46 is set for each field and the microcomputer 26
By moving in accordance with the overall motion vector calculated by, the target person will fit into the extraction area 46 as shown in the right side of FIG.
【００２９】このようにして電子ズーム回路４８から出
力されるディジタルビデオ信号を、Ｄ／Ａ変換器５２に
よってアナログ信号に変換して出力端子５４から出力す
る。このようなビデオカメラ１０のマイクロコンピュー
タ２６での主要な動作を図８を参照して説明する。ま
ず、ステップＳ１において、４個の各検出領域（Ａ−
Ｄ）が有効領域か無効領域かを判断する。このとき上述
のように、平均相関値を最小相関値で除算した値が一定
の閾値より大きく、平均相関値が所定値以上でありかつ
傾きＸが所定Ｐ以上であれば、その検出領域を有効領域
と判断する。これらの条件のうち１つでも満たさない条
件があればその検出領域を無効領域と判断する。In this way, the digital video signal output from the electronic zoom circuit 48 is converted into an analog signal by the D / A converter 52 and output from the output terminal 54. The main operation of the microcomputer 26 of the video camera 10 will be described with reference to FIG. First, in step S1, each of the four detection areas (A-
It is determined whether D) is a valid area or an invalid area. At this time, as described above, if the value obtained by dividing the average correlation value by the minimum correlation value is larger than a fixed threshold value, the average correlation value is a predetermined value or more, and the slope X is a predetermined P or more, the detection area is valid. Judge as an area. If any one of these conditions is not satisfied, the detection area is determined to be an invalid area.
【００３０】そして、ステップＳ３において、有効領域
があるか否かを判断し、有効領域が１つでもあればステ
ップＳ５に進む。ステップＳ５において、発散度を計算
する。発散度は、数１に示すように、Ｘ方向の発散度と
Ｙ方向の発散度とがそれぞれ独立して計算される。ステ
ップＳ７において０≦発散度＜８であれば、ステップＳ
９において発散係数Ｈｋ＝１とし、ステップＳ１１に進
む。ステップＳ７において０≦発散度＜８でなければ、
ステップＳ１３に進む。ステップＳ１３において８≦発
散度＜１６であれば、ステップＳ１５において発散係数
Ｈｋ＝０．７５とし、ステップＳ１１に進む。ステップ
Ｓ１３において８≦発散度＜１６でなければ、ステップ
Ｓ１７に進む。ステップＳ１７において１６≦発散度＜
２４であれば、ステップＳ１９において発散係数Ｈｋ＝
０．５とし、ステップＳ１１に進む。ステップＳ１９に
おいて１６≦発散度＜２４でなければ、ステップＳ２１
に進む。ステップＳ２１において２４≦発散度＜３２で
あれば、ステップＳ２３において発散係数Ｈｋ＝０．２
５とし、ステップＳ１１に進む。そして、ステップＳ１
１において、有効領域の部分動きベクトルの相加平均×
Ｈｋを求める。ステップＳ１１の処理を、Ｘ方向部分動
きベクトルおよびＹ方向部分動きベクトルのそれぞれに
ついて独立して行い、Ｘ方向について行ったステップＳ
１１の結果とＹ方向について行ったステップＳ１１の結
果とを合成して、全体動きベクトルが得られ、終了す
る。Then, in step S3, it is determined whether or not there is a valid area, and if there is even one valid area, the process proceeds to step S5. In step S5, the divergence is calculated. The divergence is calculated independently of the divergence in the X direction and the divergence in the Y direction, as shown in Formula 1. If 0 ≦ divergence degree <8 in step S7, step S7
In step 9, the divergence coefficient Hk is set to 1, and the process proceeds to step S11. If 0 ≦ divergence <8 in step S7,
It proceeds to step S13. If 8 ≦ divergence degree <16 in step S13, the divergence coefficient Hk = 0.75 is set in step S15, and the process proceeds to step S11. If 8 ≦ divergence degree <16 in step S13, the process proceeds to step S17. In step S17, 16 ≦ divergence degree <
If it is 24, the divergence coefficient Hk =
It is set to 0.5 and the process proceeds to step S11. If 16 ≦ divergence degree <24 in step S19, step S21
Proceed to. If 24 ≦ divergence degree <32 in step S21, divergence coefficient Hk = 0.2 in step S23.
5, and the process proceeds to step S11. And step S1
1, the arithmetic mean of the partial motion vectors in the effective area ×
Find Hk. The process of step S11 is performed independently for each of the X-direction partial motion vector and the Y-direction partial motion vector, and is performed for the X direction.
The result of step 11 and the result of step S11 performed in the Y direction are combined to obtain the overall motion vector, and the process ends.
【００３１】一方、ステップＳ２１において、２４≦発
散度＜３２でなければ、ステップＳ２５に進む。ステッ
プＳ２５において、４個の部分動きベクトルから最小の
ものを選択し、それを全体動きベクトルとして終了す
る。一方、ステップＳ３において、有効領域がない場合
には、ステップＳ２７に進む。ステップＳ２７におい
て、前フィールドの全体動きベクトルに１以下の係数を
掛けたものを、現フィールドの全体動きベクトルとして
終了する。ここで、１以下の係数としては、好ましくは
「０．９７」が用いられ得る。On the other hand, in step S21, if 24 ≦ divergence degree <32, the process proceeds to step S25. In step S25, the smallest one is selected from the four partial motion vectors, and this is set as the overall motion vector, and the process ends. On the other hand, if there is no effective area in step S3, the process proceeds to step S27. In step S27, the whole motion vector of the previous field multiplied by a coefficient of 1 or less is ended as the whole motion vector of the current field. Here, "0.97" can be preferably used as the coefficient of 1 or less.
【００３２】このようなビデオカメラ１０によれば、た
とえば４個の検出領域中２個の検出領域に動く物体が存
在した場合においても、動く物体の影響を受けにくくな
り、手振れ量をより正確に検出できる。なお、有効領域
か無効領域かに拘わらず、各検出領域の部分動きベクト
ルの平均に発散係数Ｈｋを掛けたものを全体動きベクト
ルとしてもよい。特に、有効領域か無効領域かを判断し
ない場合に有効となる。According to such a video camera 10, even if a moving object exists in two of the four detection areas, it is less likely to be affected by the moving object, and the amount of camera shake is more accurate. Can be detected. Regardless of whether it is the effective area or the invalid area, the average of the partial motion vectors of each detection area may be multiplied by the divergence coefficient Hk to be the entire motion vector. In particular, it is effective when it is not determined whether the area is valid or invalid.
【００３３】また、発散度と比較される値は数２のもの
に限定されず、また、発散係数Ｈｋも数２のものに限定
されないことはいうまでもない。Needless to say, the value to be compared with the divergence is not limited to that of the equation 2, and the divergence coefficient Hk is not limited to that of the equation 2.
【図１】この発明の一実施例を示すブロック図である。FIG. 1 is a block diagram showing an embodiment of the present invention.
【図２】図１実施例の動き検出回路を示すブロック図で
ある。FIG. 2 is a block diagram showing a motion detection circuit of the embodiment in FIG.
【図３】電子ズームの原理を示し、イメージフィールド
内の検出領域を示す図解図である。FIG. 3 is an illustrative view showing a principle of electronic zoom and showing a detection region in an image field.
【図４】電子ズームの原理を示し、検出領域内の代表点
およびサンプリング点を示す図解図である。FIG. 4 is an illustrative view showing a principle of electronic zoom and showing representative points and sampling points in a detection area.
【図５】最小相関値を有する画素とその周囲の４画素と
を用いて繰り返し模様の被写体を検出する方法を説明す
るための図解図である。FIG. 5 is an illustrative view for explaining a method of detecting a subject having a repetitive pattern by using a pixel having a minimum correlation value and four pixels around the pixel.
【図６】手振れ補正の原理を示す図解図である。FIG. 6 is an illustrative view showing the principle of camera shake correction.
【図７】代表点マッチング法を適用するイメージフィー
ルド内の各ブロックを示す図解図である。FIG. 7 is an illustrative view showing each block in an image field to which the representative point matching method is applied.
【図８】この実施例の主要な動作を示すフロー図であ
る。FIG. 8 is a flowchart showing main operations of this embodiment.
１０ …ビデオカメラ ２０ …動き検出回路 ２２ …メモリ制御回路 ２４ …フィールドメモリ ２６ …マイクロコンピュータ ４４ …イメージフィールド ４６ …抽出エリア ４８ …電子ズーム回路 10 ... Video camera 20 ... Motion detection circuit 22 ... Memory control circuit 24 ... Field memory 26 ... Microcomputer 44 ... Image field 46 ... Extraction area 48 ... Electronic zoom circuit
Claims (1)
々の部分動きベクトルを用いて全体動きベクトルを求め
る手振れ補正装置を有するビデオカメラであって、 前記各部分動きベクトルの平均である平均ベクトルを求
める平均化手段、 前記各部分動きベクトルと前記平均ベクトルとの差の絶
対値をそれぞれ加算しその加算結果を加算した個数で除
算して発散度を求める発散度算出手段、 前記発散度を閾値と比較する比較手段、および前記比較
手段での比較結果に応じて異なる方法で前記全体動きベ
クトルを検出する全体動きベクトル検出手段を備える、
手振れ補正装置を有するビデオカメラ。1. A video camera having a camera shake correction device that obtains an overall motion vector by using partial motion vectors of each of a plurality of detection areas formed on a screen, the video camera being an average of the partial motion vectors. Averaging means for obtaining an average vector, divergence calculating means for obtaining the divergence by adding absolute values of differences between the respective partial motion vectors and the average vector, and dividing the addition result by the number of additions, the divergence And a global motion vector detecting means for detecting the global motion vector by a different method according to a comparison result by the comparing means.
A video camera having an image stabilizer.
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP15675293A JP2940762B2 (en) | 1993-06-28 | 1993-06-28 | Video camera with image stabilization device |
| JP26226993A JPH07115583A (en) | 1993-10-20 | 1993-10-20 | Video camera with hand-shake correction device |
| KR1019940014786A KR100314104B1 (en) | 1993-06-28 | 1994-06-27 | Video camera |
| US08/266,536 US5563652A (en) | 1993-06-28 | 1994-06-27 | Video camera with electronic picture stabilizer |
| EP19940110045 EP0631432B1 (en) | 1993-06-28 | 1994-06-28 | Video camera with electronical picture stabilizer |
| DE1994625785 DE69425785T2 (en) | 1993-06-28 | 1994-06-28 | Video camera with electronic image stabilizer |
| US08/475,171 US5648815A (en) | 1993-06-28 | 1995-06-07 | Video camera with electronic picture stabilizer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26226993A JPH07115583A (en) | 1993-10-20 | 1993-10-20 | Video camera with hand-shake correction device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH07115583A true JPH07115583A (en) | 1995-05-02 |
Family
ID=17373450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26226993A Withdrawn JPH07115583A (en) | 1993-06-28 | 1993-10-20 | Video camera with hand-shake correction device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH07115583A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006129375A (en) * | 2004-11-01 | 2006-05-18 | Fujitsu Ltd | Moving image data generator and moving image data generation method |
| JP2007049545A (en) * | 2005-08-11 | 2007-02-22 | Casio Comput Co Ltd | Image composing apparatus, image composing method, and program |
| KR100775104B1 (en) * | 2006-02-27 | 2007-11-08 | 삼성전자주식회사 | Image stabilizer and system having the same and method thereof |
-
1993
- 1993-10-20 JP JP26226993A patent/JPH07115583A/en not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006129375A (en) * | 2004-11-01 | 2006-05-18 | Fujitsu Ltd | Moving image data generator and moving image data generation method |
| JP4533089B2 (en) * | 2004-11-01 | 2010-08-25 | 富士通セミコンダクター株式会社 | Movie data generator |
| JP2007049545A (en) * | 2005-08-11 | 2007-02-22 | Casio Comput Co Ltd | Image composing apparatus, image composing method, and program |
| JP4640032B2 (en) * | 2005-08-11 | 2011-03-02 | カシオ計算機株式会社 | Image composition apparatus, image composition method, and program |
| KR100775104B1 (en) * | 2006-02-27 | 2007-11-08 | 삼성전자주식회사 | Image stabilizer and system having the same and method thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2940762B2 (en) | Video camera with image stabilization device | |
| EP0632649B1 (en) | Video camera with electronic picture stabilizer and generation of addition data | |
| US6144405A (en) | Electronic picture stabilizer with movable detection areas and video camera utilizing the same | |
| US7633525B2 (en) | Unintentional hand movement canceling device and imaging apparatus | |
| US7502050B2 (en) | Unintentional hand movement canceling device | |
| KR19990031401A (en) | Image Stabilization Device and Image Stabilization Method Using Motion Correction of Input Image Using Bit Plane Matching | |
| JP2957851B2 (en) | Image stabilization method | |
| JP2003078808A (en) | Device and method for detecting motion vector, device and method for correcting camera shake and imaging apparatus | |
| JPH07115583A (en) | Video camera with hand-shake correction device | |
| JP2944369B2 (en) | Video camera shake correction device and video camera | |
| JPH04309078A (en) | Jiggling detector for video data | |
| JPH0522645A (en) | Movement detecting circuit | |
| JP3213492B2 (en) | Camera shake correction device and video camera using the same | |
| JP2925890B2 (en) | Video camera with image stabilization device | |
| JP3208264B2 (en) | Camera shake correction device and video camera using the same | |
| JPH05328201A (en) | Correction device for camera shake of picture | |
| JP3152574B2 (en) | Camera shake correction device and video camera using the same | |
| JP2506499B2 (en) | Image motion vector detection device and shake correction device | |
| JP2669977B2 (en) | Motion vector identification circuit for video camera with image stabilization function | |
| JP3239051B2 (en) | Video camera with image stabilization device | |
| JP3218615B2 (en) | Moving object detection device, image motion vector detection device, and shake correction device | |
| JPH05145828A (en) | Picture jiggle discrimination device | |
| JP3416378B2 (en) | Video camera with image stabilization function | |
| JP2671561B2 (en) | Motion vector detecting device and image shake correcting device | |
| JP2669987B2 (en) | Video camera shake detection device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20001226 |