JP4644582B2 - Blur detection apparatus and method - Google Patents

Blur detection apparatus and method Download PDF

Info

Publication number
JP4644582B2
JP4644582B2 JP2005303962A JP2005303962A JP4644582B2 JP 4644582 B2 JP4644582 B2 JP 4644582B2 JP 2005303962 A JP2005303962 A JP 2005303962A JP 2005303962 A JP2005303962 A JP 2005303962A JP 4644582 B2 JP4644582 B2 JP 4644582B2
Authority
JP
Japan
Prior art keywords
feature value
image
data string
value data
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005303962A
Other languages
Japanese (ja)
Other versions
JP2007116302A (en
Inventor
英俊 久保田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Semiconductor Ltd
Original Assignee
Fujitsu Semiconductor Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Semiconductor Ltd filed Critical Fujitsu Semiconductor Ltd
Priority to JP2005303962A priority Critical patent/JP4644582B2/en
Priority to PCT/JP2006/320685 priority patent/WO2007046394A1/en
Priority to TW095138095A priority patent/TWI390454B/en
Publication of JP2007116302A publication Critical patent/JP2007116302A/en
Application granted granted Critical
Publication of JP4644582B2 publication Critical patent/JP4644582B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2217/00—Details of cameras or camera bodies; Accessories therefor
    • G03B2217/005—Blur detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

本発明はブレ検出装置および方法に関し、特に、撮像装置に加わるブレに起因する撮像画像の画質低下を防ぐためのブレ補正機能において当該ブレを検出するための技術に関するものである。   The present invention relates to a shake detection apparatus and method, and more particularly to a technique for detecting a shake in a shake correction function for preventing deterioration in image quality of a captured image caused by shake applied to an image pickup apparatus.

スチルカメラやビデオカメラ等の撮像装置の多くは、カメラに加わるブレによる画質の低下を防ぐために、ブレ補正機能を備えている。撮影時におけるカメラのブレは、周波数として通常１Ｈｚから１５Ｈｚ程度の範囲内の振動である。このようなブレを起こしても像ブレの無い画像を撮影可能とするためのブレ補正機能の要素技術としては、ブレを検出する技術と、ブレを補正する技術との２つがある。   Many imaging devices such as a still camera and a video camera have a blur correction function in order to prevent deterioration in image quality due to blur applied to the camera. Camera shake at the time of shooting is vibration within a frequency range of about 1 Hz to 15 Hz. There are two elemental technologies of the blur correction function for enabling the shooting of an image free from image blur even if such blur occurs, and a technology for detecting blur and a technology for correcting blur.

前者のブレを検出する技術は、動きベクトル検出方式と角速度検出方式とに大別される。動きベクトル検出方式は、ＣＣＤ（Charge Coupled Device）等で撮像された画像データを電子的に処理してカメラの動きベクトルを検出する方式である。一方、角速度検出方式は、ジャイロセンサなどを使って角速度を検出する方式である。電子的にブレを検出する手法としては、時間差をおいて撮像した２つの画像データの相互相関をとることによって像ブレ（画像移動量）を求める方法が一般的である（例えば、特許文献１参照）。
特開平１０−１７３９９２号公報 The former technology for detecting blur is roughly divided into a motion vector detection method and an angular velocity detection method. The motion vector detection method is a method in which image data captured by a CCD (Charge Coupled Device) or the like is electronically processed to detect a camera motion vector. On the other hand, the angular velocity detection method is a method of detecting an angular velocity using a gyro sensor or the like. As a method for electronically detecting a blur, a method of obtaining an image blur (image movement amount) by taking a cross-correlation between two image data picked up with a time difference is common (for example, see Patent Document 1). ).
Japanese Patent Laid-Open No. 10-173992

一般に、複数の画像データの相互相関を見ることによって画像移動量を求める場合、基準の画像中から切り出した所定サイズのブロック（以下、参照ブロックと呼ぶ）が、比較対象の画像中でどこに移動したかを検出する手法がとられる。この場合、参照ブロックの画像を比較対象の画像上で走査しながら、各走査位置での両画像の類似度を計算し、類似度が最大となった走査位置に参照ブロックが移動したと判断する。   In general, when obtaining the amount of image movement by looking at the cross-correlation of a plurality of image data, a block of a predetermined size (hereinafter referred to as a reference block) cut out from the reference image has moved to where in the comparison target image A technique for detecting this is taken. In this case, while scanning the image of the reference block on the comparison target image, the similarity between both images at each scanning position is calculated, and it is determined that the reference block has moved to the scanning position where the similarity is maximized. .

また、後者のブレを補正する技術は、光学式と電子式とに大別される。光学式ブレ補正は、検出されたカメラの動きに応じて光軸を物理的に変位させる手法である。一方、電子式ブレ補正は、実際の撮像エリアよりも大きなＣＣＤを用意し、その一部を撮像エリアとして使用する。すなわち、検出されたカメラの動きに応じてＣＣＤの画像切り出しエリア（撮像エリア）を上下左右に動かすことによってブレを補正する手法である。   Further, the latter technique for correcting the blur is roughly divided into an optical type and an electronic type. Optical blur correction is a method of physically displacing the optical axis according to the detected movement of the camera. On the other hand, in electronic blur correction, a CCD larger than the actual imaging area is prepared, and a part of the CCD is used as the imaging area. In other words, this is a technique for correcting blur by moving the image cutout area (imaging area) of the CCD up, down, left and right in accordance with the detected camera movement.

ブレを検出する技術として動きベクトル検出方式を用い、かつ、ブレを補正する技術として電子式を用いると、ソフトウェア処理だけでカメラの動きを検出してブレを補正できるため、製品の小型化に適している。しかしながら、この場合はブレの補正精度と処理速度とが電子的な処理内容に大きく依存する。   Using a motion vector detection method as a technology to detect blur and using an electronic system as a technology to correct blur, it is possible to detect camera motion and correct the blur with software processing alone, making it suitable for downsizing of products. ing. However, in this case, the blur correction accuracy and processing speed largely depend on the electronic processing content.

一般的に、補正精度を上げようとすると電子的な処理内容が複雑になり、処理負荷が重くなって処理速度が低下してしまう。逆に、処理速度を上げるために処理内容を簡素化すると画像移動量の誤検出などが多くなり、補正精度が低下してしまう。特に、画像移動量の検出を少ない演算量で正確に行うことは極めて困難であるという問題があった。   In general, when trying to increase the correction accuracy, the electronic processing contents become complicated, the processing load increases, and the processing speed decreases. Conversely, if the processing contents are simplified in order to increase the processing speed, erroneous detection of the amount of image movement increases, and the correction accuracy decreases. In particular, there is a problem that it is extremely difficult to accurately detect the amount of image movement with a small amount of calculation.

画像移動量の誤検出が発生する１つの要因として、複数画像の相互相関をとるという簡易手法を用いていることが考えられる。例えば、被写体中の複数箇所に同様の模様が存在する場合には、撮像された画像データの中に同様のパターンが何箇所にも出現する。この場合は、画像移動量を単純なマッチング演算で検出しようとしても、マッチングしたと見られる箇所が複数得られてしまい、正しいマッチング状態がどれであるかを求めることができない。   As one factor that causes erroneous detection of the image movement amount, it is conceivable that a simple method of taking a cross correlation of a plurality of images is used. For example, when a similar pattern exists in a plurality of locations in the subject, the same pattern appears in any number of locations in the captured image data. In this case, even if it is attempted to detect the amount of image movement by a simple matching operation, a plurality of locations that are considered to be matched are obtained, and it is impossible to determine which is the correct matching state.

これに対して、マッチング演算よりもっと複雑な演算手法を用いて画像移動量を求めることも考えられる。しかしながら、最近のＣＣＤは画素数が飛躍的に多くなっており、これにより撮像される画像のデータ量も非常に大きくなっている。そのため、この画像データを対象とした複雑な演算には多くの時間がかかってしまう。演算時間が長くなると、その分ブレ検出の応答性が悪くなってしまうという問題があった。   On the other hand, it is also conceivable to obtain the image movement amount using a calculation method more complicated than the matching calculation. However, recent CCDs have dramatically increased the number of pixels, and as a result, the amount of image data to be captured has become very large. For this reason, it takes a lot of time to perform complicated calculations on the image data. When the calculation time is long, there is a problem that the response of blur detection is deteriorated accordingly.

本出願人は、このような問題点に鑑みて、正確で応答性の良いブレ補正を行うことを目的としたブレ補正装置に関する発明について特許出願をしている（例えば、特許文献２参照）。この特許文献２の中では、基準の画像（参照画像）と比較対象の画像（走査画像）との各々からヒストグラムを生成し、ヒストグラムのマッチング処理によって画像移動量を求めることについて開示している。
特開２００４−３４３４８３号公報 In view of such problems, the present applicant has filed a patent application regarding an invention relating to a shake correction apparatus for the purpose of performing accurate and responsive shake correction (see, for example, Patent Document 2). This patent document 2 discloses generating a histogram from each of a standard image (reference image) and a comparison target image (scanned image), and obtaining an image movement amount by histogram matching processing.
Japanese Patent Laid-Open No. 2004-343483

しかしながら、特許文献２に記載の技術では、撮像された画像データの中に同様のパターンが複数箇所に出現するような場合に、ヒストグラムでマッチングしたと見られる箇所が複数得られてしまう可能性が依然としてある。そのため、正しいマッチング状態がどれであるかを求めることが困難となることがあり、画像移動量の検出精度向上に限界があった。   However, in the technique described in Patent Document 2, when similar patterns appear in a plurality of locations in the captured image data, there is a possibility that a plurality of locations that are considered to be matched in the histogram may be obtained. Still there. For this reason, it may be difficult to determine which is the correct matching state, and there is a limit to improving the detection accuracy of the image movement amount.

また、上記特許文献２に記載の技術では、参照画像と走査画像との比較を行うことによって画像移動量を求める際に、画像中に存在する移動物体による画像パターンの移動については殆ど考慮していない。そのため、移動量を検出する対象の画像中に移動物体が存在すると、その移動物体の動きに大きな影響を受けてしまい、画像移動量の誤検出を生じる可能性が高くなってしまう。特に動画のブレを検出する場合には、静止画のブレを検出する場合に比べて画像移動量の検出精度が相対的に悪くなってしまうという問題があった。   Further, in the technique described in Patent Document 2, when the image movement amount is obtained by comparing the reference image with the scanned image, the movement of the image pattern due to the moving object existing in the image is almost taken into consideration. Absent. Therefore, if there is a moving object in the target image whose movement amount is to be detected, the movement of the moving object is greatly affected, and the possibility of erroneous detection of the image movement amount increases. In particular, when moving image blur is detected, there is a problem that the detection accuracy of the image movement amount is relatively worse than when still image blur is detected.

本発明は、このような問題を解決するために成されたものであり、画像移動量の検出精度を向上させることができるようにすることを目的とする。   The present invention has been made to solve such a problem, and an object thereof is to improve the detection accuracy of the amount of image movement.

上記した課題を解決するために、本発明では、画像データから投影データ列を求める処理と、データ列の相関演算によって画像類似度に関する評価値を求める処理との間でフィルタ処理を行うようにし、投影データ列を、波長が所定長以上の低周波成分を多く含む特徴値データ列に変換するようにしている。   In order to solve the above-described problem, in the present invention, a filtering process is performed between a process for obtaining a projection data string from image data and a process for obtaining an evaluation value related to image similarity by correlation calculation of the data string, The projection data string is converted into a feature value data string containing a large amount of low-frequency components having a wavelength equal to or longer than a predetermined length.

本発明の他の態様では、投影データ列を求める際に、画像データを複数の領域に分割し、分割した領域のそれぞれ毎に投影データ列を求めるようにしている。また、本発明の他の態様では、複数の評価値を求める際に、特徴値データ列を複数のデータ列に分割し、分割したデータ列のそれぞれ毎に複数の評価値を求めるようにしている。   In another aspect of the present invention, when obtaining the projection data string, the image data is divided into a plurality of areas, and the projection data string is obtained for each of the divided areas. In another aspect of the present invention, when obtaining a plurality of evaluation values, the feature value data string is divided into a plurality of data strings, and a plurality of evaluation values are obtained for each of the divided data strings. .

上記のように構成した本発明によれば、相関演算を行う対象となるデータ列の波長が比較的長くなるため、データ列を走査してそれぞれの走査位置毎に相関値を求めたときに、相関値が大きくなって画像が一致したと見られる箇所の数が少なくなる。これにより、画像の比較でマッチングしたと見られる候補の数をできるだけ少なくして画像移動量の検出精度を向上させることができる。   According to the present invention configured as described above, since the wavelength of the data string to be subjected to correlation calculation is relatively long, when the correlation value is obtained for each scanning position by scanning the data string, The number of locations where the correlation value increases and the images are considered to match is reduced. As a result, it is possible to improve the detection accuracy of the image movement amount by reducing the number of candidates that appear to be matched in the comparison of images as much as possible.

本発明の他の特徴によれば、画像移動量を検出する対象の画像中に被写体としての移動物体が存在しても、その移動物体の動きが画像移動量の検出に影響を与える範囲を、分割領域の大きさに制限することができる。例えば、あるタイミングの画像中である場所に存在した移動物体が次のタイミングの画像中で他の場所に移動していたとする。このとき、その移動が異なる分割領域にまたがって行われていると、それぞれの分割領域内では、あるタイミングの画像と次のタイミングの画像間で相関をとったときに移動物体に関して画像が一致したと見られることはなくなる。すなわち、画像の比較で移動物体に関してマッチングしたと見られる可能性をできるだけ低くすることができる。これにより、移動量を検出する対象の画像中に移動物体が存在してもその画像の動きによる影響を受けにくくして画像移動量の検出精度を向上させることができる。   According to another feature of the present invention, even if there is a moving object as a subject in the target image for detecting the image movement amount, the range in which the movement of the moving object affects the detection of the image movement amount is The size of the divided area can be limited. For example, it is assumed that a moving object that exists in a place in an image at a certain timing has moved to another place in an image at the next timing. At this time, if the movement is performed across different divided areas, the images in the divided areas coincide with each other when the correlation between the image at one timing and the image at the next timing is obtained. Is no longer seen. That is, it is possible to reduce as much as possible the possibility that the moving object is matched in the image comparison. As a result, even if a moving object is present in the image whose movement amount is to be detected, it is difficult to be influenced by the movement of the image, and the detection accuracy of the image movement amount can be improved.

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態によるブレ検出装置の要部構成例を示す機能ブロック図である。また、図２〜図４は、本実施形態によるブレ検出装置を適用したデジタルビデオカメラ１０の全体構成例を示すブロック図である。   Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a functional block diagram illustrating a configuration example of a main part of the shake detection apparatus according to the present embodiment. 2 to 4 are block diagrams showing an example of the overall configuration of the digital video camera 10 to which the blur detection apparatus according to the present embodiment is applied.

図２に示すように、デジタルビデオカメラ１０は、シャッタ１１ａ、レンズ１１ｂおよびアイリス１１ｃを備えた光学系１１と、ＣＣＤあるいはＣＭＯＳ等の撮像素子１２と、プログラマブルゲインアンプ（ＰＧＡ）１３と、Ａ／Ｄ変換器１４と、信号処理部１５と、ブレ補正部１６と、自動露出調整および自動焦点調整の処理を行うＡＥ／ＡＦ処理部１７と、デジタルビデオカメラ１０の全体を制御するコントローラ１８とを備えて構成されている。   As shown in FIG. 2, the digital video camera 10 includes an optical system 11 including a shutter 11a, a lens 11b, and an iris 11c, an image sensor 12 such as a CCD or a CMOS, a programmable gain amplifier (PGA) 13, an A / A A D converter 14, a signal processing unit 15, a shake correction unit 16, an AE / AF processing unit 17 that performs automatic exposure adjustment and automatic focus adjustment processing, and a controller 18 that controls the entire digital video camera 10. It is prepared for.

このように構成されたデジタルビデオカメラ１０において、光学系１１への入射光は撮像素子１２にて結像される。撮像素子１２では、結像した入射光を光電変換して、当該入射光に応じたアナログの撮像信号を生成する。ここで生成された撮像信号は、ＰＧＡ１３でゲインが上げられた後、Ａ／Ｄ変換器１４に供給されてデジタルの画像データに変換される。このように、ＰＧＡ１３でアナログ撮像信号のゲインを上げることにより、Ａ／Ｄ変換器１４における量子化により階調が粗くなる弊害を少なくすることができる。   In the digital video camera 10 configured as described above, incident light to the optical system 11 is imaged by the image sensor 12. The imaging element 12 photoelectrically converts the incident light that has been imaged and generates an analog imaging signal corresponding to the incident light. The imaging signal generated here is increased in gain by the PGA 13 and then supplied to the A / D converter 14 to be converted into digital image data. As described above, by increasing the gain of the analog imaging signal by the PGA 13, it is possible to reduce the adverse effect that the gradation becomes coarse due to the quantization in the A / D converter 14.

Ａ／Ｄ変換器１４で得られた画像データは、信号処理部１５に供給される。信号処理部１５は、入力された画像データに対して色補間処理、色補正処理、ＲＧＢ（赤、緑、青の３原色信号）からＹＣｂＣｒ（輝度信号および青の色差信号と赤の色差信号）への変換処理等を含む各種信号処理を行い、その結果をブレ補正部１６に出力する。ブレ補正部１６は、図１のように構成した本実施形態のブレ検出装置を備えており、信号処理部１５から受け取った輝度データをもとにブレ検出（画像移動量の検出）およびブレ補正の処理を行う。   The image data obtained by the A / D converter 14 is supplied to the signal processing unit 15. The signal processing unit 15 performs color interpolation processing, color correction processing, RGB (three primary color signals of red, green, and blue) to YCbCr (luminance signal, blue color difference signal, and red color difference signal) on the input image data. Various signal processing including conversion processing into the image is performed, and the result is output to the blur correction unit 16. The blur correction unit 16 includes the blur detection device according to the present embodiment configured as shown in FIG. 1. Based on the luminance data received from the signal processing unit 15, blur detection (image movement amount detection) and blur correction are performed. Perform the process.

なお、デジタルビデオカメラ１０は、図３のように構成しても良い。図３の例では、信号処理部１５とブレ補正部１６の処理順序を入れ替えている。すなわち、図２の例では、ブレ補正部１６は、信号処理部１５で信号処理された後の画像データを用いてブレ補正処理を行っていたのに対し、図３の例では、ブレ補正部１６は、信号処理部１５で信号処理が行われる前の画像データを用いてブレ補正処理を行っている。   The digital video camera 10 may be configured as shown in FIG. In the example of FIG. 3, the processing order of the signal processing unit 15 and the shake correction unit 16 is switched. That is, in the example of FIG. 2, the blur correction unit 16 performs the blur correction process using the image data after the signal processing by the signal processing unit 15, whereas in the example of FIG. 3, the blur correction unit Reference numeral 16 denotes blur correction processing using image data before the signal processing is performed by the signal processing unit 15.

また、デジタルビデオカメラ１０は、図４のように構成しても良い。図４の例では、デジタルビデオカメラ１０はブレ補正部１６を備えておらず、デジタルビデオカメラ１０とは別の外部装置（例えば、パーソナルコンピュータ（パソコン））２０がブレ補正部１６を備えている。すなわち、この図４の例では、信号処理部１５によって生成された画像データは、通信ネットワークやリムーバル記録媒体などを介して外部装置２０に入力される。そして、外部装置２０に備えられたブレ補正部１６によって、ブレ補正処理が実行される。   The digital video camera 10 may be configured as shown in FIG. In the example of FIG. 4, the digital video camera 10 does not include the blur correction unit 16, and an external device (for example, a personal computer (personal computer)) 20 different from the digital video camera 10 includes the blur correction unit 16. . That is, in the example of FIG. 4, the image data generated by the signal processing unit 15 is input to the external device 20 via a communication network, a removable recording medium, or the like. Then, the shake correction process is executed by the shake correction unit 16 provided in the external device 20.

図５は、ブレ補正部１６によって行われるブレ補正処理の概要を説明するための図である。本実施形態では、ブレを検出する技術として動きベクトル検出方式を用い、かつ、ブレを補正する技術として電子式を用いる。すなわち、図５に示すように、実際の出力画像エリア２１よりも撮像エリア２２が大きな撮像素子１２を用意し、撮像エリア２２の一部を切り取って出力画像エリア２１として使用する。その際、本実施形態のブレ検出装置により画像移動量２３を検出し、検出された画像移動量２３に応じて画像切り出しエリア（出力画像エリア）２１を上下左右に動かすことによって、ブレの少ない出力画像を得る。   FIG. 5 is a diagram for explaining an outline of the shake correction process performed by the shake correction unit 16. In the present embodiment, a motion vector detection method is used as a technique for detecting a shake, and an electronic method is used as a technique for correcting the shake. That is, as shown in FIG. 5, an imaging device 12 having an imaging area 22 larger than the actual output image area 21 is prepared, and a part of the imaging area 22 is cut out and used as the output image area 21. At this time, the image movement amount 23 is detected by the shake detection device of the present embodiment, and the image cutout area (output image area) 21 is moved up, down, left, and right according to the detected image movement amount 23, thereby outputting less blur. Get an image.

図６は、入力画像の大きさと像ブレの最大補正量（最大の画像移動量）との関係を説明するための図である。図６に示すように、入力画像（撮像エリア２２）の大きさは、水平方向の幅（画素数）がＷ、垂直方向の高さ（画素数）がＨであるとする。出力画像エリア２１の位置が撮像エリア２２の中央にあるとき、水平方向に対する左右それぞれのブレの最大補正量Ｕは、Ｕ＝Ｗ×ｍ（ｍは定数で、例えばｍ＝０．１）とする。また、垂直方向に対する上下それぞれのブレの最大補正量Ｖは、Ｖ＝Ｈ×ｎ（ｎは定数で、例えばｎ＝０．１）とする。   FIG. 6 is a diagram for explaining the relationship between the size of the input image and the maximum image blur correction amount (maximum image movement amount). As shown in FIG. 6, it is assumed that the size of the input image (imaging area 22) is W in the horizontal direction (number of pixels) and H in the vertical direction (number of pixels). When the position of the output image area 21 is in the center of the imaging area 22, the maximum blur correction amount U in the horizontal direction with respect to the horizontal direction is U = W × m (m is a constant, for example, m = 0.1). . Further, the maximum correction amount V of the upper and lower shakes in the vertical direction is V = H × n (n is a constant, for example, n = 0.1).

なお、ブレの最大補正量（ｍ，ｎの値）を大きくし過ぎると、以下に述べる画像移動量検出の演算量が増えて処理速度が遅くなる。逆に、ブレの最大補正量を小さくし過ぎると、ブレ補正が効きにくくなってしまう。したがって、ブレの最大補正量は大き過ぎも小さ過ぎもしない適当な値に設定することが好ましい。ｍ＝ｎ＝０．１というのは好ましい値の一例である。   If the maximum blur correction amount (values of m and n) is increased too much, the amount of calculation for detecting the amount of image movement described below increases and the processing speed decreases. On the other hand, if the maximum amount of blur correction is too small, the blur correction will not be effective. Therefore, it is preferable to set the maximum blur correction amount to an appropriate value that is neither too large nor too small. m = n = 0.1 is an example of a preferred value.

次に、図１に基づいて、本実施形態によるブレ検出装置の構成を説明する。図１に示すように、本実施形態のブレ検出装置は、その機能構成として、投影データ列作成部１、フィルタ処理部２、評価値列作成部３、画像移動量決定部４を備えている。投影データ列作成部１は、水平方向および垂直方向の２次元状に複数の画素値を有する画像データに対して所定の演算を行うことにより、１次元状に複数のデータ値を有する投影データ列を求める。   Next, based on FIG. 1, the structure of the blur detection apparatus by this embodiment is demonstrated. As shown in FIG. 1, the shake detection apparatus of the present embodiment includes a projection data sequence creation unit 1, a filter processing unit 2, an evaluation value sequence creation unit 3, and an image movement amount determination unit 4 as functional configurations. . The projection data sequence creation unit 1 performs a predetermined calculation on image data having a plurality of pixel values in a two-dimensional manner in the horizontal direction and the vertical direction, thereby providing a projection data sequence having a plurality of data values in a one-dimensional manner. Ask for.

図７および図８は、この投影データ列作成部１の処理内容を説明するための図である。図７および図８に示すように、本実施形態では水平方向に対する投影データ列と垂直方向に対する投影データ列とを求める。水平方向の投影データ列を求める際には、図７に示すように、画像データを水平方向に分割し（例えば、３分割）、分割した複数の領域（上領域、横中領域、下領域）のそれぞれ毎に投影データ列を求めるのが好ましい。   7 and 8 are diagrams for explaining the processing contents of the projection data string creation unit 1. As shown in FIGS. 7 and 8, in this embodiment, a projection data string for the horizontal direction and a projection data string for the vertical direction are obtained. When obtaining the projection data string in the horizontal direction, as shown in FIG. 7, the image data is divided in the horizontal direction (for example, three divisions), and a plurality of divided areas (upper area, horizontal middle area, lower area) are obtained. It is preferable to obtain a projection data string for each of the above.

水平方向の投影データ列を求める演算は、例えば次の（式１）に示すものである。この（式１）は、あるｘ座標における１つの水平方向投影データを求める式を示している。すなわち、あるｘ座標において垂直方向に並んでいる複数の画素値を全て加算することによって、１つの水平方向投影データを求める。これを水平方向の全てのｘ座標について行うことにより、水平方向の投影データ列を求める。これにより、水平方向投影データ列の幅（データの数）はＷとなる。   The calculation for obtaining the horizontal projection data string is, for example, as shown in (Expression 1) below. This (Expression 1) represents an expression for obtaining one horizontal projection data at a certain x coordinate. That is, one horizontal direction projection data is obtained by adding all of a plurality of pixel values arranged in the vertical direction at a certain x coordinate. By performing this for all the x coordinates in the horizontal direction, a horizontal projection data string is obtained. As a result, the width (number of data) of the horizontal projection data string becomes W.

Figure 0004644582
Figure 0004644582

また、垂直方向の投影データ列を求める際には、図８に示すように、画像データを垂直方向に分割し（例えば、３分割）、分割した複数の領域（左領域、縦中領域、右領域）のそれぞれ毎に投影データ列を求めるのが好ましい。垂直方向の投影データ列を求める演算は、例えば次の（式２）に示すものである。この（式２）は、あるｙ座標における１つの垂直方向投影データを求める式を示している。すなわち、あるｙ座標において水平方向に並んでいる複数の画素値を全て加算することによって、１つの垂直方向投影データを求める。これを垂直方向の全てのｙ座標について行うことにより、垂直方向の投影データ列を求める。これにより、垂直方向投影データ列の幅（データの数）はＨとなる。   Further, when obtaining a projection data string in the vertical direction, as shown in FIG. 8, the image data is divided in the vertical direction (for example, three divisions), and a plurality of divided areas (left area, vertical middle area, right area) are obtained. It is preferable to obtain a projection data string for each (region). The calculation for obtaining the projection data string in the vertical direction is, for example, as shown in the following (Formula 2). This (Expression 2) represents an expression for obtaining one vertical projection data at a certain y coordinate. That is, one vertical direction projection data is obtained by adding all of a plurality of pixel values arranged in the horizontal direction at a certain y coordinate. By performing this operation for all y coordinates in the vertical direction, a projection data string in the vertical direction is obtained. As a result, the width (number of data) of the vertical direction projection data string is H.

Figure 0004644582
Figure 0004644582

フィルタ処理部２は、投影データ列作成部１により求められた投影データ列に対して所定のフィルタ処理を行うことにより、波長が所定長以上の低周波成分を多く含む特徴値データ列を求める。このフィルタ処理は、分割した領域のそれぞれ毎に求められた複数の投影データ列（水平方向に関する上領域投影データ列、横中領域投影データ列、下領域投影データ列、および、垂直方向に関する左領域投影データ列、縦中領域投影データ列、右領域投影データ列の６つの投影データ列）に対してそれぞれ行う。   Filter processing unit 2 performs a predetermined filtering process on the projection data string obtained by the projection data string creation unit 1, wavelength calculates a characteristic value data string containing more predetermined length or more low-frequency components. This filter processing is performed by using a plurality of projection data strings obtained for each of the divided areas (an upper area projection data string in the horizontal direction, a horizontal middle area projection data string, a lower area projection data string, and a left area in the vertical direction). This is performed for each of the projection data string, the vertical middle area projection data string, and the right area projection data string.

図９および図１０は、フィルタ処理部２によって特徴値データ列を求める際の処理内容を説明するための図である。図９に示すように、幅Ｗ（データ数がＷ個）の水平方向投影データ列に対して所定サイズ（例えば、長さが４Ｕ）の１次元フィルタをかけることにより、水平方向の特徴値データ列を求める。例えば、このフィルタは、中央における幅２Ｕの区間は係数値が＋１、その両側における幅Ｕの区間は係数値が−１に設定されたフィルタである。   9 and 10 are diagrams for explaining the processing contents when the filter processing unit 2 obtains the feature value data string. As shown in FIG. 9, horizontal feature value data is obtained by applying a one-dimensional filter having a predetermined size (for example, 4U in length) to a horizontal projection data string having a width W (the number of data is W). Find a column. For example, this filter is a filter in which the coefficient value is set to +1 in the section of width 2U in the center and the coefficient value is set to -1 in the section of width U on both sides thereof.

フィルタ処理部２は、このような１次元フィルタを水平方向投影データ列の上で走査しながら、当該水平方向投影データ列に対して＋１または−１の係数値を積算していく。すなわち、水平方向投影データ列のｘ番目のデータを注目位置とした場合、その注目位置を中心として幅２Ｕの区間のデータ値を１倍し、更にその両側にある幅Ｕの区間のデータ値をそれぞれ−１倍して全て足し込み、その結果をｘ番目の特徴値データとする。このようなフィルタ処理を、注目位置を走査しながら順次行っていく。   The filter processing unit 2 accumulates coefficient values of +1 or −1 on the horizontal projection data sequence while scanning such a one-dimensional filter on the horizontal projection data sequence. That is, when the x-th data in the horizontal direction projection data string is set as the position of interest, the data value of the section having a width of 2U with the position of interest as the center is multiplied by 1, and the data values of the sections of width U on both sides thereof are further obtained. Each is multiplied by −1 and added together, and the result is used as the x-th feature value data. Such filter processing is sequentially performed while scanning the position of interest.

なお、水平方向投影データ列の両端付近では幅４Ｕのフィルタをかけることができないので、水平方向特徴値データ列の幅（データの数）は、Ｗ−４Ｕ＋１となる。また、水平方向特徴値データ列は、主に波長が４Ｕ以上の低周波成分を有するものとなる。   Note that a width 4U filter cannot be applied in the vicinity of both ends of the horizontal direction projection data sequence, so the width (number of data) of the horizontal direction feature value data sequence is W-4U + 1. The horizontal direction characteristic value data string mainly has a low frequency component having a wavelength of 4 U or more.

また、図１０に示すように、幅Ｈ（データ数がＨ個）の垂直方向投影データ列に対して所定サイズ（例えば、長さが４Ｖ）の１次元フィルタをかけることにより、垂直方向の特徴値データ列を求める。例えば、このフィルタは、中央における幅２Ｖの区間は係数値が＋１、その両側における幅Ｖの区間は係数値が−１に設定されたフィルタである。   Further, as shown in FIG. 10, by applying a one-dimensional filter of a predetermined size (for example, 4V in length) to a vertical projection data string having a width H (the number of data is H), a vertical feature is obtained. Find the value data string. For example, this filter is a filter in which the coefficient value is set to +1 in the section of width 2V in the center and the coefficient value is set to -1 in the section of width V on both sides thereof.

フィルタ処理部２は、このような１次元フィルタを垂直方向投影データ列の上で走査しながら、当該垂直方向投影データ列に対して＋１または−１の係数値を積算していく。すなわち、垂直方向投影データ列のｙ番目のデータを注目位置とした場合、その注目位置を中心として幅２Ｖの区間のデータ値を１倍し、更にその両側にある幅Ｖの区間のデータ値をそれぞれ−１倍して全て足し込み、その結果をｙ番目の特徴値データとする。このようなフィルタ処理を、注目位置を走査しながら順次行っていく。   The filter processing unit 2 accumulates coefficient values of +1 or −1 on the vertical projection data sequence while scanning such a one-dimensional filter on the vertical projection data sequence. That is, when the y-th data in the vertical direction projection data string is set as the position of interest, the data value of the section of width 2V with the position of interest as the center is multiplied by 1, and the data values of the sections of width V on the both sides are further multiplied. Each is multiplied by −1 and added together, and the result is used as the y-th feature value data. Such filter processing is sequentially performed while scanning the position of interest.

なお、垂直方向投影データ列の両端付近では幅４Ｖのフィルタをかけることができないので、垂直方向特徴値データ列の幅（データの数）は、Ｈ−４Ｖ＋１となる。また、垂直方向特徴値データ列は、主に波長が４Ｖ以上の低周波成分を有するものとなる。   Note that a filter having a width of 4 V cannot be applied in the vicinity of both ends of the vertical direction projection data sequence, and therefore the width (number of data) of the vertical direction feature value data sequence is H-4V + 1. Further, the vertical direction characteristic value data string mainly has a low frequency component having a wavelength of 4 V or more.

ここで示したフィルタは単なる一例に過ぎないが、係数が−１，＋１という単純な数値のみを用いることにより、演算を簡素化してフィルタ処理を高速に行うことができるようになる。   The filter shown here is merely an example, but by using only simple numerical values having coefficients of −1 and +1, the calculation can be simplified and the filter processing can be performed at high speed.

次いで、評価値列作成部３は、あるタイミング（例えば、フレームｔ）の画像データについて上述のようにして求められた特徴値データ列と、当該あるタイミングよりも時間的に前のタイミング（例えば、フレーム（ｔ−１））の画像データについて上述のようにして求められた特徴値データ列の中から一部を抜き出した抽出特徴値データ列とを用いて、複数の評価値から成る評価値列を求める。具体的には、フレーム（ｔ−１）の抽出特徴値データ列をフレームｔの特徴値データ列の範囲内で走査しながら、各走査位置での抽出特徴値データ列と特徴値データ列との相関を演算することにより、複数の評価値を求める。   Next, the evaluation value sequence creation unit 3 calculates the feature value data sequence obtained as described above for the image data at a certain timing (for example, frame t) and the timing temporally before the certain timing (for example, for example, An evaluation value sequence composed of a plurality of evaluation values using an extracted feature value data sequence extracted from the feature value data sequence obtained as described above for the image data of the frame (t-1)) Ask for. Specifically, the extracted feature value data string and the feature value data string at each scanning position are scanned while the extracted feature value data string of the frame (t−1) is scanned within the range of the feature value data string of the frame t. A plurality of evaluation values are obtained by calculating the correlation.

図１１および図１２は、評価値列作成部３の処理内容を説明するための図である。評価値列を求める処理は、投影データ列作成部１が分割した領域のそれぞれ毎に求められた複数の特徴値データ列に対してそれぞれ行う。図１１は、その中の１つの特徴値データ列に対する処理の内容を示したものである。図１１に示すように、評価値列を求める際には、特徴値データ列を複数のデータ列に分割し、分割したデータ列のそれぞれ毎に評価値列を求めるのが好ましい。   11 and 12 are diagrams for explaining the processing content of the evaluation value string creation unit 3. The process of obtaining the evaluation value sequence is performed for each of the plurality of feature value data sequences obtained for each of the areas divided by the projection data sequence creation unit 1. FIG. 11 shows the contents of processing for one of the feature value data strings. As shown in FIG. 11, when obtaining an evaluation value string, it is preferable to divide the feature value data string into a plurality of data strings and obtain an evaluation value string for each of the divided data strings.

本実施形態では、フレームｔにおける１つの特徴値データ列を、オーバーラップを許して複数に分割する（例えば、３分割）。ここで、オーバーラップさせることは必須ではない。なお、分割されたそれぞれの特徴値データ列を「分割特徴値データ列」と呼ぶことにする。   In the present embodiment, one feature value data string in the frame t is divided into a plurality of pieces with allowance for overlap (for example, three divisions). Here, overlapping is not essential. Each divided feature value data string is referred to as a “divided feature value data string”.

フレーム（ｔ−１）の画像データからも同様にして分割特徴値データ列を求めており、その分割特徴値データ列からデータ長Ｘのデータ列を抽出する。例えば、分割特徴値データ列の中央部分からＸ個のデータ値を抽出する。この抽出した特徴値データ列を「抽出特徴値データ列」と呼ぶことにする。抽出特徴値データ列のデータ長Ｘは任意であるが、例えば、水平方向の場合はＸ＝Ｕ、垂直方向の場合はＸ＝Ｖとすることができる。   Similarly, a divided feature value data string is obtained from the image data of the frame (t-1), and a data string having a data length X is extracted from the divided feature value data string. For example, X data values are extracted from the central portion of the divided feature value data string. This extracted feature value data string is referred to as an “extracted feature value data string”. The data length X of the extracted feature value data string is arbitrary. For example, X = U in the horizontal direction and X = V in the vertical direction.

なお、抽出特徴値データ列のデータ長Ｘが長くなり過ぎると、画像移動量を検出する対象の画像中に被写体として存在する移動物体の影響を受けやすくなる。逆に、データ長Ｘが短くなりすぎると、評価値列の精度が低くなる。したがって、抽出特徴値データ列のデータ長Ｘは長過ぎも短か過ぎもしない適当な値に設定することが好ましい。Ｘ＝Ｕ（Ｖ）というのは好ましい値の一例である。   Note that if the data length X of the extracted feature value data string becomes too long, the extracted feature value data string is likely to be affected by a moving object that exists as a subject in an image whose amount of image movement is to be detected. On the contrary, if the data length X is too short, the accuracy of the evaluation value sequence is lowered. Therefore, the data length X of the extracted feature value data string is preferably set to an appropriate value that is neither too long nor too short. X = U (V) is an example of a preferred value.

また、分割特徴値データ列のデータ長は、次の通りとする。水平方向特徴値データ列から分割特徴値データ列を作成する場合は、水平方向に対するブレの最大補正量が±Ｕ（幅２Ｕ）なので、分割特徴値データ列のデータ長がＸ＋２Ｕとなるように特徴値データ列を分割する。一方、垂直方向特徴値データ列から分割特徴値データ列を作成する場合は、垂直方向に対するブレの最大補正量が±Ｖ（幅２Ｖ）なので、分割特徴値データ列のデータ長がＸ＋２Ｖとなるように特徴値データ列を分割する。   The data length of the divided feature value data string is as follows. When creating a divided feature value data sequence from a horizontal direction feature value data sequence, the maximum blur correction amount in the horizontal direction is ± U (width 2U), so that the data length of the divided feature value data sequence is X + 2U. Split the value data string. On the other hand, when a divided feature value data sequence is created from a vertical direction feature value data sequence, the maximum correction amount of blurring in the vertical direction is ± V (width 2V), so that the data length of the divided feature value data sequence is X + 2V. The feature value data string is divided into.

評価値列作成部３は、このようにして作成したフレームｔの分割特徴値データ列とフレーム（ｔ−１）の抽出特徴値データ列との相関演算を行うことによって評価値列を求める。具体的には、フレーム（ｔ−１）の抽出特徴値データ列をフレームｔの分割特徴値データ列の範囲内で走査しながら、各走査位置での抽出特徴値データ列と分割特徴値データ列との相関を演算することにより、評価値列を求める。   The evaluation value string creating unit 3 obtains an evaluation value string by performing a correlation operation between the divided feature value data string of the frame t created in this way and the extracted feature value data string of the frame (t−1). Specifically, the extracted feature value data string and the divided feature value data string at each scanning position while scanning the extracted feature value data string of the frame (t−1) within the range of the divided feature value data string of the frame t. An evaluation value string is obtained by calculating the correlation with.

評価値列を求める演算は、例えば次の（式３）に示すものである。この（式３）に示す演算の内容をイメージ的に表したのが、図１２である。図１２および（式３）において、分割特徴値データ列のデータ値はＭ[j+i]、抽出特徴値データ列のデータ値はＴ[j]で表している。ここで、ｊは抽出特徴値データ列におけるデータ位置を表し（ｊ＝１〜Ｘ）、ｉは抽出特徴値データ列の分割特徴値データ列上における走査位置を表している（水平方向ではｉ＝−Ｕ〜＋Ｕ、垂直方向ではｉ＝−Ｖ〜＋Ｖ）。 The calculation for obtaining the evaluation value sequence is, for example, as shown in the following (Formula 3). FIG. 12 is a conceptual representation of the contents of the calculation shown in (Equation 3). In FIG. 12 and (Equation 3), the data value of the divided feature value data string is represented by M [j + i] , and the data value of the extracted feature value data string is represented by T [j] . Here, j represents a data position in the extracted feature value data string (j = 1 to X), and i represents a scanning position on the divided feature value data string of the extracted feature value data string (i = in the horizontal direction). -U to + U, i = -V to + V in the vertical direction).

Figure 0004644582
Figure 0004644582

図１２および（式３）に示すように、ある走査位置ｉにおける相関値は、抽出特徴値データ列のデータ値Ｔ[j]と分割特徴値データ列のデータ値Ｍ[j+i]との差分の２乗の総和で求める。このような相関演算を、走査位置ｉを水平方向であれば−Ｕ〜＋Ｕ、垂直方向であれば−Ｖ〜＋Ｖの間で走査しながら順次行っていく。これにより、１つの分割特徴値データ列から、水平方向で（２Ｕ＋１）個、垂直方向で（２Ｖ＋１）個の評価値が得られる。 As shown in FIG. 12 and (Equation 3), the correlation value at a certain scanning position i is the data value T [j] of the extracted feature value data string and the data value M [j + i] of the divided feature value data string. The sum of the squares of the differences is obtained. Such correlation calculation is sequentially performed while scanning between −U to + U when the scanning position i is in the horizontal direction and −V to + V when the scanning position i is in the vertical direction. Thus, (2U + 1) evaluation values in the horizontal direction and (2V + 1) evaluation values in the vertical direction are obtained from one divided feature value data string.

ここで、水平方向特徴値データ列は３個あり、それぞれが３分割されることから水平方向分割特徴値データ列は全部で９個ある。その各々から（２Ｕ＋１）個の評価値が求められることから、水平方向に対する評価値は全部で９×（２Ｕ＋１）個となる。これらの評価値を求めたときの走査位置ｉが全て、水平方向に対する画像移動量の候補である。同様に、垂直方向に対する評価値は全部で９×（２Ｖ＋１）個となる。これらの評価値を求めたときの走査位置ｉが全て、垂直方向に対する画像移動量の候補である。   Here, there are three horizontal feature value data strings, each of which is divided into three, so that there are a total of nine horizontal direction feature value data strings. Since (2U + 1) evaluation values are obtained from each of them, the evaluation values in the horizontal direction are 9 × (2U + 1) in total. All the scanning positions i when these evaluation values are obtained are candidates for the amount of image movement in the horizontal direction. Similarly, the evaluation values in the vertical direction are 9 × (2V + 1) in total. All of the scanning positions i when these evaluation values are obtained are candidates for the amount of image movement in the vertical direction.

画像移動量決定部４は、評価値列作成部３により求められた複数の評価値の中から相関の大きい評価値を選び、その選んだ評価値を求めたときの走査位置ｉを画像移動量として決定する。（式３）によれば、評価値が小さいほど画像間の相関が高く、移動量候補としての評価が高いと言える。そこで、評価値が小さいものに対応する走査位置ｉを尤もらしい移動量として選択する。ここで、評価値が最小のものを１つ選択するという方法も考えられるが、多少のノイズがあることを考慮すると、尤もらしい移動量に対応する評価値が常に最小であるとは限らない。   The image movement amount determination unit 4 selects an evaluation value having a large correlation from the plurality of evaluation values obtained by the evaluation value sequence creation unit 3, and sets the scanning position i when the selected evaluation value is obtained as the image movement amount. Determine as. According to (Formula 3), it can be said that the smaller the evaluation value, the higher the correlation between the images, and the higher the evaluation as the movement amount candidate. Therefore, the scanning position i corresponding to a small evaluation value is selected as a likely movement amount. Here, a method of selecting one with the smallest evaluation value is also conceivable, but considering that there is some noise, the evaluation value corresponding to the likely movement amount is not always the smallest.

このような理由から、本実施形態では、水平方向の画像移動量を求めるときには、９個の分割特徴値データ列毎に、（２Ｕ＋１）個の評価値の中から所定のしきい値以下の評価値を選んでそれに対応する移動量候補ｉを抽出する。これにより、９個の分割特徴値データ列からそれぞれ移動量候補ｉが抽出される。この場合、異なる分割特徴値データ列から同じ値の移動量候補ｉが抽出されることもあるし、１つの分割特徴値データ列からのみ抽出される移動量候補ｉも存在する。画像移動量決定部４は、９個の分割特徴値データ列からそれぞれ抽出された移動量候補ｉの値のうち、最も抽出頻度の高い移動量候補ｉを最終的に水平方向の画像移動量として決定する。   For this reason, in this embodiment, when the image movement amount in the horizontal direction is obtained, an evaluation of a predetermined threshold value or less from (2U + 1) evaluation values for every nine divided feature value data strings. A value is selected, and a corresponding movement amount candidate i is extracted. Thereby, the movement amount candidate i is extracted from each of the nine divided feature value data strings. In this case, a movement amount candidate i having the same value may be extracted from different divided feature value data strings, and there is also a movement amount candidate i extracted from only one divided feature value data string. The image movement amount determination unit 4 finally sets the movement amount candidate i with the highest extraction frequency as the image movement amount in the horizontal direction among the values of the movement amount candidates i respectively extracted from the nine divided feature value data strings. decide.

垂直方向の画像移動量を求めるときも同様である。すなわち、９個の分割特徴値データ列毎に、（２Ｖ＋１）個の評価値の中から所定のしきい値以下の評価値を選んでそれに対応する移動量候補ｉを抽出する。そして、９個の分割特徴値データ列からそれぞれ抽出された移動量候補ｉの値のうち、最も抽出頻度の高い移動量候補ｉを最終的に垂直方向の画像移動量として決定する。   The same applies when obtaining the image movement amount in the vertical direction. That is, for every nine division characteristic value data string, and extracts the moving amount candidate i corresponding thereto to choose (2V + 1) number of evaluation values of less than a predetermined threshold value from among the evaluation values. Then, the movement amount candidate i having the highest extraction frequency among the values of the movement amount candidates i respectively extracted from the nine divided feature value data strings is finally determined as the image movement amount in the vertical direction.

本実施形態では上述したように、投影データ列に対してフィルタ処理を行い、波長が所定長以上（例えば、水平方向の場合は４Ｕ、垂直方向の場合は４Ｖ）の低周波成分を多く含む特徴値データ列に変換するようにしている。このようにすると、相関演算を行う対象となる特徴値データ列の波長が比較的長くなり、同じ傾向を持ったデータ列の現れる周期が長くなる。これにより、データ列を走査してそれぞれの走査位置毎に求めた評価値が所定のしきい値より小さくなって画像が一致したと見られる箇所の数を少なくすることができる。   In the present embodiment, as described above, the filtering process is performed on the projection data string, and the wavelength includes many low frequency components having a wavelength of a predetermined length or more (for example, 4U in the horizontal direction and 4V in the vertical direction). It is converted to a value data string. In this way, the wavelength of the feature value data string to be subjected to the correlation calculation becomes relatively long, and the period in which the data string having the same tendency appears becomes long. As a result, the evaluation value obtained for each scanning position by scanning the data string becomes smaller than the predetermined threshold value, and the number of locations where the images are considered to match can be reduced.

図１３は、水平方向特徴値データ列の波長と一致箇所の数との関係をイメージ的に示す図である。例えば、図１３（ａ）のように特徴値データ列の波長がＵの場合、図１２に示したように評価値を求める際の走査量は２Ｕであるから、波長がその走査量２Ｕ以下だと、同じ傾向を持ったデータ列が走査範囲内で繰り返し現れ、分割特徴値データ列Ｍと抽出特徴値データ列Ｔとが複数箇所で一致したと判断されてしまう。図１３（ｂ）のように波長が２Ｕの場合も同様である。   FIG. 13 is a diagram conceptually showing the relationship between the wavelength of the horizontal characteristic value data string and the number of coincident portions. For example, when the wavelength of the feature value data string is U as shown in FIG. 13A, the scanning amount for obtaining the evaluation value is 2U as shown in FIG. 12, so the wavelength is equal to or less than the scanning amount 2U. Then, a data string having the same tendency appears repeatedly within the scanning range, and it is determined that the divided feature value data string M and the extracted feature value data string T match at a plurality of locations. The same applies when the wavelength is 2U as shown in FIG.

これに対して、図１３（ｃ）および（ｄ）のように、特徴値データ列の波長が走査量の２Ｕより長くなると、分割特徴値データ列Ｍと抽出特徴値データ列Ｔとが一致したと見られる箇所は１箇所のみとなる。このように、本実施形態のフィルタ処理を行うことにより、特徴値データ列の比較でマッチングしたと見られる候補の数をできるだけ少なくして、画像移動量の検出精度を向上させることができる。なお、本実施形態ではフィルタ処理によって水平方向特徴値データ列の波長が４Ｕ以上となる低周波成分を多く含むようにしたが、これは一例に過ぎない。図１３から分かるように、走査量２Ｕより波長が長くなるような低周波成分を多く含む特徴値データ列を求める１次元フィルタであれば、これを適用することが可能である。   On the other hand, as shown in FIGS. 13C and 13D, when the wavelength of the feature value data string becomes longer than 2U of the scanning amount, the divided feature value data string M and the extracted feature value data string T coincide. Only one location is seen. As described above, by performing the filtering process of the present embodiment, the number of candidates that appear to be matched in the comparison of the feature value data strings can be reduced as much as possible, and the detection accuracy of the image movement amount can be improved. In the present embodiment, the filter processing includes many low-frequency components having a wavelength of the horizontal feature value data string of 4 U or more, but this is only an example. As can be seen from FIG. 13, this can be applied to any one-dimensional filter that obtains a feature value data string that includes many low-frequency components whose wavelength is longer than the scanning amount 2U.

また、本実施形態では、画像データを複数に分割して特徴値データ列を求めるとともに、更にこれを複数に分割して評価値列（画像移動量の候補）を求めるようにしている。このようにすると、画像移動量を検出する対象の画像中に被写体としての移動物体が存在しても、その移動物体の動きが画像移動量の検出に与える影響を軽減することができる。   In the present embodiment, the feature value data string is obtained by dividing the image data into a plurality of parts, and the evaluation value string (image movement amount candidate) is obtained by further dividing the image data into a plurality of parts. In this way, even if a moving object as a subject exists in the target image for detecting the image movement amount, the influence of the movement of the moving object on the detection of the image movement amount can be reduced.

例えば図８において、フレーム（ｔ−１）の画像中で左領域内に存在した移動物体がフレームｔの画像中では右領域内まで移動していたとする。このとき、左領域内および右領域内では、フレーム（ｔ−１）の抽出特徴値データ列とフレームｔの分割特徴値データ列との間で相関をとったときに、移動物体の画像の移動に関して評価値が小さくなることはなく、時間的に前後の画像間で移動物体に関して一致したと見られる走査位置（画像移動量の候補）が検出されることはない。   For example, in FIG. 8, it is assumed that the moving object that exists in the left region in the image of the frame (t−1) has moved to the right region in the image of the frame t. At this time, in the left region and the right region, when the correlation between the extracted feature value data sequence of the frame (t−1) and the divided feature value data sequence of the frame t is obtained, the image of the moving object is moved. The evaluation value does not become small, and the scanning position (candidate of image movement amount) that is considered to coincide with the moving object between the images before and after in time is not detected.

また、フレーム（ｔ−１）の画像中で左領域内に存在した移動物体がフレームｔの画像中で同じ左領域内でわずかに移動していたとする。この場合は、左領域内では、移動物体の画像の移動に関して評価値が小さくなり、時間的に前後の画像間で移動物体に関して一致したと見られる走査位置が検出される。しかし、他の縦中領域および右領域においては、時間的に前後の画像間で移動物体に関して一致したと見られる走査位置が検出されることはない。つまり、移動物体による影響範囲を左領域内に留めることができる。また、仮に左領域内で移動物体による移動が画像移動量の候補として検出されることがあっても、画像移動量決定部４が最終的に画像移動量を決定する際に、移動物体の移動に起因して検出された画像移動量の候補は多数決によって振るい落とされる。   In addition, it is assumed that the moving object existing in the left region in the image of the frame (t−1) has moved slightly in the same left region in the image of the frame t. In this case, in the left region, the evaluation value regarding the movement of the image of the moving object becomes small, and a scanning position that is considered to coincide with the moving object between the images before and after in time is detected. However, in the other vertical middle region and right region, scanning positions that are considered to coincide with each other with respect to the moving object are not detected between temporally preceding and following images. That is, the range of influence due to the moving object can be kept within the left region. Even if movement by the moving object in the left region is detected as a candidate for the image movement amount, the movement of the moving object is finally performed when the image movement amount determination unit 4 finally determines the image movement amount. The candidates for the amount of image movement detected due to this are shaken out by majority vote.

以上のように、画像を複数に分割して処理することにより、画像の比較で移動物体に関してマッチングしたと見られる可能性をできるだけ低くすることができる。これにより、画像移動量を検出する対象の画像中に移動物体が存在しても、その移動物体の動きによる影響を受けにくくして画像移動量の検出精度を向上させることができる。   As described above, by dividing and processing an image into a plurality of images, it is possible to reduce as much as possible the possibility that a moving object is considered to be matched by comparing the images. As a result, even if a moving object is present in the target image for detecting the image movement amount, it is difficult to be influenced by the movement of the moving object, and the detection accuracy of the image movement amount can be improved.

なお、本実施形態では、投影データ列を求める際にも画像を複数に分割し、評価値列を求める際にも特徴値データ列を複数に分割する例について説明した。もちろん、このように両方で分割するのが好ましいが、必ずしも両方で分割することは必須ではない。   In the present embodiment, an example has been described in which an image is divided into a plurality of parts even when a projection data string is obtained, and a feature value data string is divided into a plurality of parts even when an evaluation value string is obtained. Of course, it is preferable to divide both in this way, but it is not always necessary to divide both.

また、本実施形態では、画像を３分割して投影データ列を求めた後に、フィルタ処理を行い、その後で特徴値データ列を３分割して評価値列を求める例について説明した。これに対して、最初から画像を９分割して投影データ列を求めた後に、フィルタ処理を行い、それによって求まる特徴値データ列から評価値列を求めるようにすることも可能である。ただし、図９および図１０で示したように、フィルタ処理を行うとデータ長が短くなるので、９分割した後の比較的短いデータ長の投影データ列に対してフィルタ処理を行うよりも、３分割後の比較的長いデータ長の投影データ列に対してフィルタ処理を行う方が好ましい。   Further, in this embodiment, an example has been described in which an image is divided into three to obtain a projection data string, and then a filtering process is performed, and then a feature value data string is divided into three to obtain an evaluation value string. On the other hand, after obtaining the projection data string by dividing the image into nine parts from the beginning, it is also possible to perform the filtering process and obtain the evaluation value string from the feature value data string obtained thereby. However, as shown in FIGS. 9 and 10, since the data length is shortened when the filtering process is performed, the filtering process is performed more than the filtering process for the projection data string having a relatively short data length after being divided into nine. It is preferable to perform the filtering process on the projection data string having a relatively long data length after the division.

上述した本実施形態のブレ検出装置は、例えば、特許文献２に記載の発明における「大域移動量」に相当するものを検出するのに好適である。すなわち、図１４に示すように、画像を複数段階に亘って１／２ずつ縮小することにより、入力画像も含めて複数レベルの画像データを生成し、縮小率が最も大きい最上層の１／８縮小画像にて本実施形態のブレ検出手法を適用する。そして、これによって求めた画像移動量を使って、レベル１の下位層（１／４縮小画像）、レベル２の下位層（１／２縮小画像）、レベル３の下位層（入力画像）の画像移動量を順に求めていく。なお、レベル１〜レベル３の下位層における画像移動量の検出処理の内容は、特許文献２の記載を参照されたい。   The above-described shake detection device of the present embodiment is suitable for detecting, for example, a device corresponding to the “global movement amount” in the invention described in Patent Document 2. That is, as shown in FIG. 14, by reducing the image by half over a plurality of stages, a plurality of levels of image data including the input image are generated, and the uppermost layer of 1/8 having the largest reduction ratio is generated. The blur detection method of the present embodiment is applied to the reduced image. Then, using the image movement amount obtained in this way, the image of the lower layer of level 1 (1/4 reduced image), the lower layer of level 2 (1/2 reduced image), and the lower layer of level 3 (input image) The amount of movement is obtained in order. For the contents of the image movement amount detection processing in the lower layers of level 1 to level 3, refer to the description in Patent Document 2.

なお、上記実施形態では、本実施形態のブレ検出装置をデジタルビデオカメラ１０に適用する例について説明したが、これに限定されない。例えば、動画撮影機能付きの携帯電話機など、動画撮影機能を有するものであれば適用することが可能である。また、動画撮影機能がなくても、複数枚の画像を撮像して静止画のブレを補正する機能を有する装置にも本実施形態のブレ検出装置を適用することが可能である。   In the above-described embodiment, an example in which the shake detection device of this embodiment is applied to the digital video camera 10 has been described. However, the present invention is not limited to this. For example, any mobile phone having a moving image shooting function, such as a mobile phone with a moving image shooting function, can be applied. Even if there is no moving image shooting function, it is possible to apply the shake detection device of the present embodiment to a device having a function of capturing a plurality of images and correcting still image blurring.

本実施形態のブレ検出装置は、動画のブレ補正や静止画のブレ補正に応用することが可能であるが、これ以外にも、例えばモザイク画像の生成（スティッチング）にも応用することが可能である。ここで、モザイク画像とは、複数の画像をつなぎ合わせて作られた視野の広い画像のことを言う。   The blur detection device of the present embodiment can be applied to motion blur correction of still images and still image blur correction, but can also be applied to generation (stitching) of mosaic images, for example. It is. Here, the mosaic image refers to an image with a wide field of view created by connecting a plurality of images.

また、以上に説明した本実施形態によるブレ検出の手法は、ハードウェア構成、ＤＳＰ、ソフトウェアの何れによっても実現することが可能である。例えば、本実施形態のブレ検出装置は、デジタルビデオカメラ１０などへの組み込み実装可能なリアルタイム処理向きのソフトウェアとして実現することができる。   The blur detection method according to the present embodiment described above can be realized by any of a hardware configuration, a DSP, and software. For example, the shake detection apparatus of the present embodiment can be realized as software suitable for real-time processing that can be embedded in the digital video camera 10 or the like.

また、ハードウェア構成、ＤＳＰなどで構成する場合、上記実施形態に示すブレ検出装置の機能構成を半導体チップあるいは基板モジュール上などに実装することが可能である。なお、ブレ検出装置全体の機能構成を１つの半導体チップや基板モジュールに実装する必要は必ずしもなく、複数のチップあるいは複数の基板に分けて実装しても良い。   Further, when configured with a hardware configuration, a DSP, or the like, it is possible to mount the functional configuration of the shake detection apparatus described in the above embodiment on a semiconductor chip or a substrate module. Note that the functional configuration of the entire shake detection device is not necessarily mounted on one semiconductor chip or substrate module, and may be mounted separately on a plurality of chips or a plurality of substrates.

また、上述した（式１）〜（式３）は単なる一例を示したものであって、これに限定されるものではない。例えば、投影データ列を求める演算は、２次元の画像データから１次元のデータ列を求めることができる演算であれば、（式１）および（式２）以外の演算であっても良い。また、評価値列を求める演算は、時間的に前後の画像データ間の相関を求めることができる演算であれば、（式３）以外の演算であっても良い。   Further, the above-described (Formula 1) to (Formula 3) are merely examples, and the present invention is not limited thereto. For example, the calculation for obtaining the projection data string may be a calculation other than (Expression 1) and (Expression 2) as long as it can calculate a one-dimensional data string from two-dimensional image data. Further, the calculation for obtaining the evaluation value sequence may be a calculation other than (Expression 3) as long as it is a calculation that can obtain a correlation between temporally and temporally image data.

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。   Other above embodiments are all only show an example of embodiment in carrying out the present invention, and the technical scope of the present invention should not be limitedly interpreted. In other words, the present invention can be implemented in various forms without departing from the spirit or main features thereof.

本発明のブレ検出装置および方法は、撮像装置に加わるブレに起因する撮像画像の画質低下を防ぐためのブレ補正機能を有する撮像装置に有用である。   INDUSTRIAL APPLICABILITY The blur detection apparatus and method of the present invention are useful for an imaging apparatus having a blur correction function for preventing deterioration in image quality of a captured image caused by blur applied to the imaging apparatus.

本実施形態によるブレ検出装置の要部構成例を示す機能ブロック図である。It is a functional block diagram which shows the principal part structural example of the blur detection apparatus by this embodiment. 本実施形態によるブレ検出装置を適用したデジタルビデオカメラの全体構成例を示すブロック図である。It is a block diagram which shows the example of whole structure of the digital video camera to which the blur detection apparatus by this embodiment is applied. 本実施形態によるブレ検出装置を適用したデジタルビデオカメラの全体構成例を示すブロック図である。It is a block diagram which shows the example of whole structure of the digital video camera to which the blur detection apparatus by this embodiment is applied. 本実施形態によるブレ検出装置を適用したデジタルビデオカメラの全体構成例を示すブロック図である。It is a block diagram which shows the example of whole structure of the digital video camera to which the blur detection apparatus by this embodiment is applied. 本実施形態のブレ補正部によって行われるブレ補正処理の概要を説明するための図である。It is a figure for demonstrating the outline | summary of the blurring correction process performed by the blurring correction part of this embodiment. 入力画像の大きさと像ブレの最大補正量（最大の画像移動量）との関係を説明するための図である。It is a figure for demonstrating the relationship between the magnitude | size of an input image, and the maximum correction amount (maximum image movement amount) of an image blur. 本実施形態による水平方向投影データ列の作成処理を説明するための図である。It is a figure for demonstrating the production | generation process of the horizontal direction projection data sequence by this embodiment. 本実施形態による垂直方向投影データ列の作成処理を説明するための図である。It is a figure for demonstrating the production | generation process of the vertical direction projection data sequence by this embodiment. 本実施形態による水平方向特徴値データ列の作成処理を説明するための図である。It is a figure for demonstrating the creation process of the horizontal direction characteristic value data sequence by this embodiment. 本実施形態による垂直方向特徴値データ列の作成処理を説明するための図である。It is a figure for demonstrating the production | generation process of the perpendicular | vertical direction feature value data sequence by this embodiment. 本実施形態による評価値列の作成処理を説明するための図である。It is a figure for demonstrating the creation process of the evaluation value sequence by this embodiment. 本実施形態による評価値列の作成処理を説明するための図である。It is a figure for demonstrating the creation process of the evaluation value sequence by this embodiment. 本実施形態による特徴値データ列の波長と画像一致箇所の数との関係を説明するための図である。It is a figure for demonstrating the relationship between the wavelength of the characteristic value data sequence by this embodiment, and the number of image coincidence places. 本実施形態によるブレ検出手法の適用例を説明するための図である。It is a figure for demonstrating the example of application of the blur detection method by this embodiment.

符号の説明Explanation of symbols

１ 投影データ列作成部
２ フィルタ処理部
３ 評価値列作成部
４ 画像移動量決定部
１６ ブレ補正部 DESCRIPTION OF SYMBOLS 1 Projection data sequence creation part 2 Filter processing part 3 Evaluation value sequence creation part 4 Image movement amount determination part 16 Shake correction part

Claims (7)

水平方向および垂直方向の２次元状に複数の画素値を有する画像データに対して所定の演算を行うことにより、１次元状に複数のデータ値を有する投影データ列を求める投影データ列作成部と、
上記投影データ列に対してフィルタ処理を行うことにより、波長が所定長以上の低周波成分を多く含む特徴値データ列を求めるフィルタ処理部と、
あるタイミングの画像データについて上記投影データ列作成部および上記フィルタ処理部によって求められた特徴値データ列と、上記あるタイミングよりも時間的に前のタイミングの画像データについて上記投影データ列作成部および上記フィルタ処理部によって求められた特徴値データ列から一部を抜き出した抽出特徴値データ列とを用いて、上記抽出特徴値データ列を上記特徴値データ列の範囲内で走査しながら、各走査位置での上記抽出特徴値データ列と上記特徴値データ列との相関を演算することにより、複数の評価値を求める評価値列作成部と、
上記複数の評価値の中から相関の大きい評価値を選び、その選んだ評価値が求められた走査位置をもとに画像移動量を決定する画像移動量決定部とを備えたことを特徴とするブレ検出装置。 A projection data sequence creation unit for obtaining a projection data sequence having a plurality of data values in a one-dimensional manner by performing a predetermined calculation on image data having a plurality of pixel values in a two-dimensional manner in the horizontal direction and the vertical direction; ,
A filter processing unit that obtains a feature value data sequence including many low-frequency components having a wavelength equal to or longer than a predetermined length by performing a filtering process on the projection data sequence;
The feature value data sequence obtained by the projection data sequence creation unit and the filter processing unit for image data at a certain timing, and the projection data sequence creation unit and the image data at a timing earlier than the certain timing. Using the extracted feature value data string extracted from the feature value data string obtained by the filter processing unit, while scanning the extracted feature value data string within the range of the feature value data string, An evaluation value sequence creating unit for obtaining a plurality of evaluation values by calculating a correlation between the extracted feature value data sequence and the feature value data sequence in
An image movement amount determination unit that selects an evaluation value having a high correlation from the plurality of evaluation values and determines an image movement amount based on the scanning position at which the selected evaluation value is obtained, Blur detection device. 上記投影データ列作成部は、上記画像データを複数の領域に分割し、分割した領域のそれぞれ毎に上記投影データ列を求めるように成され、
上記フィルタ処理部および上記評価値列作成部の処理は、上記分割した領域のそれぞれ毎に求められた複数の投影データ列に対してそれぞれ行うように成されていることを特徴とする請求項１に記載のブレ検出装置。 The projection data string creation unit is configured to divide the image data into a plurality of areas and obtain the projection data string for each of the divided areas.
2. The processing of the filter processing unit and the evaluation value sequence creating unit is performed for each of a plurality of projection data sequences obtained for each of the divided areas. The blur detection device described in 1. 上記評価値列作成部は、上記特徴値データ列を複数のデータ列に分割し、分割したデータ列のそれぞれ毎に上記複数の評価値を求めるように成されていることを特徴とする請求項１または２に記載のブレ検出装置。 The evaluation value string creating unit divides the feature value data string into a plurality of data strings, and obtains the plurality of evaluation values for each of the divided data strings. The blur detection device according to 1 or 2. 上記フィルタ処理部は、波長が上記所定長以上の低周波成分を多く含む特徴値データ列を求める１次元フィルタであって、係数値が＋１および−１のみで構成された１次元フィルタを用いて、上記投影データ列に対してフィルタ処理を行うことを特徴とする請求項１〜３の何れか１項に記載のブレ検出装置。 The filter processing unit is a one-dimensional filter that obtains a feature value data string including a large number of low-frequency components having a wavelength equal to or longer than the predetermined length, and uses a one-dimensional filter having coefficient values composed only of +1 and −1. The blur detection apparatus according to claim 1, wherein a filtering process is performed on the projection data string. 水平方向および垂直方向の２次元状に複数の画素値を有する画像データに対して所定の演算を行うことにより、１次元状に複数のデータ値を有する投影データ列を求める第１のステップと、
上記投影データ列に対してフィルタ処理を行うことにより、波長が所定長以上の低周波成分を多く含む特徴値データ列を求める第２のステップと、
あるタイミングの画像データについて求められた特徴値データ列と、上記あるタイミングよりも時間的に前のタイミングの画像データについて求められた特徴値データ列から一部を抜き出した抽出特徴値データ列とを用いて、上記抽出特徴値データ列を上記特徴値データ列の範囲内で走査しながら、各走査位置での上記抽出特徴値データ列と上記特徴値データ列との相関を演算することにより、複数の評価値を求める第３のステップと、
上記複数の評価値の中から相関の大きい評価値を選び、その選んだ評価値が求められた走査位置をもとに画像移動量を決定する第４のステップとを有することを特徴とするブレ検出方法。 A first step of obtaining a projection data string having a plurality of data values in a one-dimensional manner by performing a predetermined calculation on image data having a plurality of pixel values in a two-dimensional manner in the horizontal direction and the vertical direction;
A second step of obtaining a feature value data sequence including a large amount of low frequency components having a wavelength equal to or longer than a predetermined length by performing a filtering process on the projection data sequence;
A feature value data sequence obtained for image data at a certain timing, and an extracted feature value data sequence obtained by extracting a part from the feature value data sequence obtained for image data at a timing earlier than the certain timing. And calculating a correlation between the extracted feature value data string and the feature value data string at each scanning position while scanning the extracted feature value data string within the range of the feature value data string. A third step for obtaining an evaluation value of
And a fourth step of selecting an evaluation value having a high correlation from the plurality of evaluation values and determining an image movement amount based on the scanning position at which the selected evaluation value is obtained. Detection method. 上記第１のステップでは、上記画像データを複数の領域に分割し、分割した領域のそれぞれ毎に上記投影データ列を求め、
上記第２のステップおよび上記第３のステップの処理は、上記分割した領域のそれぞれ毎に求められた複数の投影データ列に対してそれぞれ行うことを特徴とする請求項５に記載のブレ検出方法。 In the first step, the image data is divided into a plurality of areas, and the projection data string is obtained for each of the divided areas.
6. The blur detection method according to claim 5, wherein the processes of the second step and the third step are respectively performed on a plurality of projection data strings obtained for each of the divided areas. . 上記第３のステップでは、上記特徴値データ列を複数のデータ列に分割し、分割したデータ列のそれぞれ毎に上記複数の評価値を求めることを特徴とする請求項５または６に記載のブレ検出方法。 7. The blur according to claim 5 or 6, wherein, in the third step, the feature value data string is divided into a plurality of data strings, and the plurality of evaluation values are obtained for each of the divided data strings. Detection method.
JP2005303962A 2005-10-19 2005-10-19 Blur detection apparatus and method Expired - Fee Related JP4644582B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2005303962A JP4644582B2 (en) 2005-10-19 2005-10-19 Blur detection apparatus and method
PCT/JP2006/320685 WO2007046394A1 (en) 2005-10-19 2006-10-11 Hand-shake detection device and method
TW095138095A TWI390454B (en) 2005-10-19 2006-10-16 Shaking detection device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005303962A JP4644582B2 (en) 2005-10-19 2005-10-19 Blur detection apparatus and method

Publications (2)

Publication Number Publication Date
JP2007116302A JP2007116302A (en) 2007-05-10
JP4644582B2 true JP4644582B2 (en) 2011-03-02

Family

ID=37962487

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005303962A Expired - Fee Related JP4644582B2 (en) 2005-10-19 2005-10-19 Blur detection apparatus and method

Country Status (3)

Country Link
JP (1) JP4644582B2 (en)
TW (1) TWI390454B (en)
WO (1) WO2007046394A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011039295A (en) * 2009-08-11 2011-02-24 Nikon Corp Shake correcting device and optical equipment
TWI511087B (en) * 2014-06-06 2015-12-01 Senao Networks Inc Vibration detection for detecting the vibration of an image capturing device Methods and modules

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10173992A (en) * 1996-12-10 1998-06-26 Nec Corp Image correction device
JP2002333645A (en) * 2001-05-10 2002-11-22 Canon Inc Image blur correction device and camera
JP2004343483A (en) * 2003-05-16 2004-12-02 Acutelogic Corp Device and method for correcting camera-shake and device for detecting camera shake

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10173992A (en) * 1996-12-10 1998-06-26 Nec Corp Image correction device
JP2002333645A (en) * 2001-05-10 2002-11-22 Canon Inc Image blur correction device and camera
JP2004343483A (en) * 2003-05-16 2004-12-02 Acutelogic Corp Device and method for correcting camera-shake and device for detecting camera shake

Also Published As

Publication number Publication date
TW200737019A (en) 2007-10-01
JP2007116302A (en) 2007-05-10
WO2007046394A1 (en) 2007-04-26
TWI390454B (en) 2013-03-21

Similar Documents

Publication Publication Date Title
US8704900B2 (en) Imaging apparatus and imaging method
US7636106B2 (en) Image processing apparatus and method, and program used therewith
US8115818B2 (en) Imaging device and image processing method of same
JP5744614B2 (en) Image processing apparatus, image processing method, and image processing program
US7646891B2 (en) Image processor
JP5179398B2 (en) Image processing apparatus, image processing method, and image processing program
KR101034109B1 (en) Image capture apparatus and computer readable recording medium storing with a program
JP2004343483A (en) Device and method for correcting camera-shake and device for detecting camera shake
US20080062409A1 (en) Image Processing Device for Detecting Chromatic Difference of Magnification from Raw Data, Image Processing Program, and Electronic Camera
JP3974634B2 (en) Imaging apparatus and imaging method
JP2008541662A (en) Double path image sequence stabilization
JP2006180429A (en) Device and program for image processing
JP2010141653A (en) Image processing device and imaging apparatus
JP4947136B2 (en) Image processing apparatus, image processing method, and program
JP2009212853A (en) White balance controller, its control method, and imaging apparatus
JP2007082044A (en) Imaging method and imaging apparatus
JP2010187348A (en) Apparatus, method and program for image processing
JP4644582B2 (en) Blur detection apparatus and method
JP4418342B2 (en) Image processing apparatus and electronic camera
JP5300413B2 (en) Motion vector detection device, motion vector detection method, imaging device, and program
JP2008236739A (en) Imaging apparatus and imaging method
JP6245847B2 (en) Image processing apparatus and image processing method
JP2011041041A (en) Imaging apparatus, imaging method and program
JP2008072428A (en) Image processor, electronic camera, and image processing program
JP2012084178A (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20080218

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080402

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20080730

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101130

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101206

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4644582

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees