JP2011029735A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2011029735A5 JP2011029735A5 JP2009170645A JP2009170645A JP2011029735A5 JP 2011029735 A5 JP2011029735 A5 JP 2011029735A5 JP 2009170645 A JP2009170645 A JP 2009170645A JP 2009170645 A JP2009170645 A JP 2009170645A JP 2011029735 A5 JP2011029735 A5 JP 2011029735A5
- Authority
- JP
- Japan
- Prior art keywords
- shake
- image
- amount
- circuit
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 description 44
- 238000004364 calculation method Methods 0.000 description 34
- 238000001914 filtration Methods 0.000 description 28
- 238000001514 detection method Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 19
- 238000004458 analytical method Methods 0.000 description 16
- 238000006243 chemical reaction Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 11
- 230000001186 cumulative Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 6
- 230000003287 optical Effects 0.000 description 5
- 238000003672 processing method Methods 0.000 description 5
- 238000011105 stabilization Methods 0.000 description 5
- 230000000875 corresponding Effects 0.000 description 4
- 238000005259 measurement Methods 0.000 description 3
- 238000004091 panning Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 229920005549 butyl rubber Polymers 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002349 favourable Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000001131 transforming Effects 0.000 description 1
Description
本発明は、撮像装置の振れに起因した画像の振れを画像処理によって低減する画像処理装置及び画像処理方法に関する。
手振れ等の撮像装置の振れに起因した画像の振れを低減するための防振方式として、いわゆる電子防振方式がある。この電子防振方式では、撮像素子からの出力を用いて生成された画像の中から実際に出力(記録又は表示)する切り出し領域を撮像装置の振れに応じてシフトさせることで、画像の振れを低減する。
ただし、撮像装置には、手振れ等の撮影者が意図しない振れだけでなく、パンニングやチルティングといった撮影者による意図的なカメラワークによる動きも加わり、このようなカメラワークによっても、画像の振れと同様な画像の動きが発生する。
このため、特許文献1にて開示された画像振れ低減手法では、撮像装置の振れを検出し、該振れが撮像装置の意図的な動きによるものか意図的でない振れによるものかを識別する。そして、意図的な動きに対しては振れ低減量を小さくし、意図的ではない振れに対しては振れ低減量を大きくするように、画像に対して行う振れ低減処理用のパラメータを制御する。これにより、意図的な撮像装置の動きに対する画像の追従性を良くしつつ、意図的でない撮像装置の振れに対する画像の振れを良好に低減することができる。
さらに、従来の電子防振手法では、画像全体の変化量を表す1つの動きベクトル等の画像変化量を算出し、該画像変化量に基づいて画像に対して振れ低減処理を行うものがある。
ただし、実際の撮像装置の振れには、並進、回転、あおり等の互いに種類が異なる複数の振れ成分が混在することが多い。この場合、これらの複数種類の振れ成分をひと纏めにした画像変化量を用いて振れ低減処理を行っても、十分な振れ低減効果が得られない振れ成分が生じる。
特許文献2には、水平方向と垂直方向の振れ成分を別々に検出し、これら水平方向と垂直方向の振れ成分に対して個別に振れ低減処理を行う画像振れ低減手法が開示されている。
しかしながら、特許文献2にて開示された画像振れ低減手法では、水平方向と垂直方向の振れ成分に対して個別に振れ低減処理を行うにもかかわらず、振れ低減処理用パラメータとしては両方の振れ成分に対して同じものを用いている。手振れ程度の小さな振れであれば水平方向と垂直方向の振れ成分の特徴に大きな差が生じないため、水平方向と垂直方向の振れ成分に対して同じ振れ低減処理用パラメータを用いても、概ね良好な振れ低減効果が得られると考えられる。
ただし、撮影者が歩行しながら撮影を行う場合のように、水平方向や垂直方向の振れ成分が大きく、かつ回転、あおり等の複雑な振れ成分も生じた場合には、各振れ成分の特徴に大きな違いが表れる。この場合に、全ての振れ成分に対して同じ振れ低減処理用パラメータを用いたのでは、全ての振れ成分に対する良好な画像振れの低減効果が得られない。
本発明は、電子防振において、手振れよりも大きく、かつ複雑な振れに対しても良好な画像振れ低減効果が得られるようにした画像処理装置及び画像処理方法を提供する。
本発明の一側面としての画像処理装置は、撮像装置の振れに伴う画像の振れを、該画像に対してフィルタリング処理を行うことにより低減する。該画像処理装置は、撮像装置の振れを検出する振れ検出手段と、振れ検出手段により検出された振れに含まれる、互いに種類が異なる複数の振れ成分の特徴を求める振れ解析手段と、振れ成分ごとに、特徴に応じたフィルタリング処理パラメータを算出するパラメータ算出手段と、画像に対して、振れ成分ごとに算出されたフィルタリング処理パラメータを用いてフィルタリング処理を行うことで振れ低減量を算出し、該振れ低減量に基づいて振れ低減処理を行う処理手段とを有することを特徴とする。
また、本発明の他の一側面としての画像処理方法は、撮像装置の振れに伴う画像の振れを、該画像に対してフィルタリング処理を行うことにより低減する。該画像処理方法は、撮像装置の振れを検出する振れ検出ステップと、振れ検出ステップにより検出された振れに含まれる、互いに種類が異なる複数の振れ成分の特徴を求める振れ解析ステップと、振れ成分ごとに、特徴に応じたフィルタリング処理パラメータを算出するパラメータ算出ステップと、画像に対して、振れ成分ごとに算出されたフィルタリング処理パラメータを用いてフィルタリング処理を行うことで振れ低減量を算出し、該振れ低減量に基づいて振れ低減処理を行う処理ステップとを有することを特徴とする。
本発明によれば、撮像装置の複数の振れ成分に対して、それぞれの特徴に応じたフィルタリング処理パラメータを用いてフィルタリング処理を行うことにより、各振れ成分に対する良好な画像振れ低減効果を得ることができる。
以下、本発明の実施例について図面を参照しながら説明する。
図1には、本発明の実施例1である画像処理装置を含むビデオカメラ、デジタルスチルカメラ等の撮像装置を示す。図1において、101は被写体像を形成する撮影光学系であり、102は光学系101により形成された被写体像を光電変換するCCDセンサやCMOSセンサ等の撮像素子である。103は撮像素子102から出力されたアナログ信号からデジタル映像信号を生成する画像生成回路(画像生成手段)である。映像信号は、連続した複数のフレーム画像により構成されている。
画像生成回路103は、A/D変換回路104、オートゲイン制御回路(AGC)105及びオートホワイトバランス(AWB)回路106を含む。A/D変換回路104は、アナログ信号をデジタル信号に変換する。AGC105は、デジタル信号のレベル補正を行う。また、AWB106は、映像の白レベル補正を行う。撮像素子102及び画像生成回路103により撮像系が構成される。
107は画像生成回路103により生成された映像信号の1又は複数のフレーム画像を一時的に記憶保持するフレームメモリである。108はフレームメモリ107に入出力される映像信号を制御するメモリ制御回路である。
109は画像変化量算出回路(振れ検出手段)であり、振れ量検出回路110と振れ量算出回路111とにより構成されている。振れ量検出回路110は、連続(隣接)する2つのフレーム画像から該撮像装置の振れに対応する動きベクトルを算出する。言い換えれば、画像変化量算出回路109は、動きベクトルを算出することで、該撮像装置の振れを検出する。振れ量算出回路111は、動きベクトルから、該撮像装置の振れ量に相当する画像変化量を算出する。
112は振れ解析回路(振れ解析手段)であり、画像変化量算出回路109において算出された画像変化量を、互いに種類が異なる複数の振れ成分に対応する画像変化量(以下、この画像変化量を振れ成分という)に分解する。そして、振れ解析回路112は、各振れ成分の特徴を求める。
ここで、種類が異なる複数の振れ成分には、並進(水平及び垂直)、拡大縮小(変倍)、回転、せん断、あおり(水平及び垂直)等がある。
113は振れ補正パラメータ算出回路(パラメータ算出手段)であり、振れ解析回路112により得られた各振れ成分の特徴に応じた振れ補正パラメータ(フィルタリング処理パラメータ)を算出する。
114は振れ補正回路(処理手段)であり、振れ補正パラメータ算出回路113によって算出された振れ補正パラメータを用いたフィルタリング処理により振れ補正量を算出し、さらに該振れ補正量に基づいて画像の幾何変換処理である座標変換処理を行う。
115は映像出力回路であり、振れ補正が行われた映像を、不図示のディスプレイに出力したり、半導体メモリ、光ディスク、磁気テープ等の記録媒体に出力したりする。
100はメインコントローラであり、撮像素子102、画像生成回路103、メモリ制御回路108、画像変化量算出回路109、振れ解析回路112、振れ補正パラメータ算出回路113、振れ補正回路114及び映像出力回路115の動作を制御する。メインコントローラ100は、CPU等により構成されている。
なお、画像変化量算出回路109、振れ解析回路112、振れ補正パラメータ算出回路113及び振れ補正回路114により、撮像装置の振れに伴う画像の振れを低減する画像処理装置が構成される。
以上のように構成された撮像装置の動作(画像処理方法)について、図2に示すフローチャートを用いて説明する。なお、ここで説明する動作は、メインコントローラ100の不図示のメモリに格納されたコンピュータプログラム(ソフトウェア)に従って実行される。このことは以下の実施例でも同様である。
図2において、ステップS201では、光学系101により形成された被写体像が撮像素子102によって光電変換される。撮像素子102は、被写体輝度に応じたアナログ信号を出力し、該アナログ信号は画像生成回路103に入力される。画像生成回路103は、A/D変換回路104によってアナログ信号を、例えば12ビットのデジタル信号に変換する。さらに、AGC105及びAWB106は、デジタル信号の信号レベル補正や白レベル補正を行う。こうして、デジタル映像信号を構成する入力画像としてのフレーム画像が生成される。フレーム画像は、フレームメモリ107に一時的に格納される。
本撮像装置では、所定のフレームレートで順次フレーム画像が生成され、フレームメモリ107に保持されたフレーム画像は、順次、画像変化量算出回路109に入力される。
ステップS202では、振れ量検出回路110は、連続する2つのフレーム画像間での被写体像の変位とその方向を示す動きベクトルを検出する。動きベクトルの検出には、テンプレートマッチング法、勾配法等の一般的な検出方法を用いればよいが、その方法には制限はない。また、動きベクトルは、フレーム画像中の複数の画像領域において検出される。この動きベクトルが、映像中に見かけ上現れる被写体の振れ量とその方向を示す振れ情報となる。
振れ量検出回路110によって検出された複数の画像領域の動きベクトルは、振れ量算出回路111に入力される。振れ量算出回路111は、入力された複数の画像領域の動きベクトルを統合して、画像全体の変化量である画像変化量を算出する。ここにいう画像変化量の算出は、画像変化量を示す式、例えばホモグラフィ行列式を生成することに相当する。
ステップS203では、振れ解析回路112は、振れ量算出回路111にて算出された画像変化量を種類が異なる複数の振れ成分に分解して、それぞれの振れ成分の特徴を求める。以下、振れ解析回路112における振れの解析手法について説明する。
ステップS202において、画像変化量は、例えば、
で表されるホモグラフィ行列Hとして算出される。
振れの解析を行うためには、振れ量算出回路111にて、i番目のフレーム画像とi−1番目のフレーム画像との間で算出される画像変化量を累積させて、時系列的な画素変化量の変化を求める必要がある。
ここで、i番目のフレーム画像とi−1番目のフレーム画像との間の画像変化量をHiとする。k番目のフレームを基準フレームとしたときの累積画像変化量(以下、単に累積変化量という)Haccは、k番目以降の画像変化量を以下のように積算することにより求められる。
したがって、Haccに対してフレーム画像間の画像変化量を順次積算していくことにより、k番目のフレーム画像を基準とした画像変化量の変化の推移を求めることが可能となる。
ただし、Haccの各項は、複数の振れ成分が混在した値である。このため、各項の時系列的な変化の推移からでは、画像内にて実際に生じている動きの変化を知ることはできない。
そこで、Haccの各項を成分変換することによって、画像中の具体的な変化量を表す振れ成分に分解する。
まず、累積変化量Haccについて、hacc9=1となるように、hacc9でHaccの各項を割り、正規化を行う。
そして、以下の式により、累積変化量Haccを、種類が異なる複数の振れ成分としての並進
まず、累積変化量Haccについて、hacc9=1となるように、hacc9でHaccの各項を割り、正規化を行う。
そして、以下の式により、累積変化量Haccを、種類が異なる複数の振れ成分としての並進
、拡大縮小(変倍)s、回転R、せん断K、あおり
に変換する。
ここで、上式の右辺中のAは、
である。このため、
を求め、さらに、せん断Kは上三角行列であるという性質を利用すれば、qr分解を利用することにより、せん断K及び回転Rを分離することが可能となる。
ここで、水平並進をtx、垂直並進をty、回転角をθ、せん断の非等方倍率をα、せん断の方向角をφ、水平あおりをνx、垂直あおりをνyで表すと、上式で算出した各振れ成分は、
ここで、水平並進をtx、垂直並進をty、回転角をθ、せん断の非等方倍率をα、せん断の方向角をφ、水平あおりをνx、垂直あおりをνyで表すと、上式で算出した各振れ成分は、
と表される。
したがって、累積変化量Haccを、水平並進tx、垂直並進ty、回転角θ、せん断の非等方倍率α、せん断の方向角φ、水平あおりνx、垂直あおりνy及び拡大縮小sの8つの振れ成分に分解することができる。
次に、以上のようにして算出した各振れ成分の特徴を求める。振れ解析の例を示すために、撮影者が歩行しながら撮影を行った場合における水平並進振れ、垂直並進振れ及び拡大縮小振れの変化の様子(実測値)と、その周波数特性をそれぞれ図3、図4及び図5に示す。
図3の301は、垂直並進振れの実測値である。垂直並進振れは、ほぼ一定の周波数の振れ成分として発生している。302は垂直並進振れの周波数特性である。垂直並進振れの周波数は、図中の303に示すように、6Hz付近の狭い範囲に集中するという特徴を有する。
図4の401は、水平並進振れの実測値である。水平並進振れは、様々な種類の振れが混在した振れとして発生している。402は水平並進振れの周波数特性である。水平並進の周波数は、図中の403に示すように、2〜6Hz付近の広い範囲に分布するという特徴を有する。
図5の501は、拡大縮小振れの実測値である。この例では、意図的な撮像装置の動きによって拡大縮小を示す値が滑らかに変化しているが、拡大縮小振れ自体はほとんど生じていない。502は拡大縮小振れの周波数特性である。拡大縮小振れには、振れの特徴と判定できるような周波数のピークは存在していない。
図6、図7、図8及び図9にはそれぞれ、回転振れ、せん断振れ、水平あおり振れ及び垂直あおり振れの実測値601,701,801,901と周波数特性602,702,802,902を示す。周波数特性602,702,802,902はそれぞれ、特徴603,703,803,903を有する。
なお、本実施例では、各振れ成分の周波数特性における特徴を求める場合について説明するが、周波数特性に限らず、振幅の大きさを振れ成分の特徴として求めたり、各振れ成分のカメラワークによる動きとの差を特徴として求めたりしてもよい。
以上のようにして求められた振れ成分の特徴の解析結果は、補正パラメータ算出回路113に入力される。
図2において、ステップS204では、補正パラメータ算出回路113は、ステップS203で得られた各振れ成分の特徴に応じた振れ補正パラメータを算出する。さらに、振れ補正回路114は、算出された振れ補正パラメータを用いて各振れ成分にフィルタリング処理を行い、各振れ成分を補正(低減)するための振れ補正量(振れ低減量)を算出する。そして、該振れ補正量を用いて、振れ補正処理(振れ低減処理)としての座標変換処理を行うための座標変換行列を生成する。
振れ補正量の算出にフィルタリング処理を用いることにより、パンニングやチルティング等の撮影者による意図的な撮像装置の動きには影響を与えずに、上述した振れ成分のみを低減することが可能となる。
本実施例では、各振れ成分に対するフィルタリング処理を行うために、各振れ成分の特徴に応じた振れ補正パラメータであるカットオフ周波数とタップ数とを有するFIRフィルタを作成する。ここでは、フィルタリング処理の例として、水平並進txに関して、nタップのフレーム画像に適用されるFIRフィルタを作成してフィルタリング処理を行う手法について説明する。
FIRフィルタは、ある1つのフレーム画像に対する振れ補正量を算出するために、そのフレーム画像の前後nフレーム画像の振れ成分の累積変化量を必要とする。
図10に、ステップS204にて行われる処理の手順を示す。まず、ステップS601では、補正パラメータ算出回路113は、現在の入力フレーム画像とそれよりも1つ前(過去)のフレーム画像との間で算出された水平並進txの変化量から、入力系列の先頭を基準とした累積変化量の系列Sである、
を算出する。
ここで、k番目のフレーム画像を基準として、それよりiフレーム後のフレーム画像の水平並進txの変化量である、
を累積した場合の累積変化量、
は、
と表すことができる。
次に、ステップS602では、補正パラメータ算出回路113は、ステップS203で求められた水平並進txの特徴に応じた振れ補正パラメータであるカットオフ周波数とタップ数を有するFIRフィルタを作成する。そして、ステップS601で算出した累積変化量の系列Sに対してフィルタリング処理を行う。FIRフィルタとは、現在及び過去の入力信号の重み付け平均により出力信号を算出するフィルタであり、例えば、入力信号として系列Sが入力されたときの出力信号が、
となる場合のFIRフィルタは、
と表される。ここで、nはタップ数であり、αiはフィルタ係数、つまり各入力信号に対する重み付けの値を表している。
フィルタの作成には、フーリエ級数法や窓関数を組み合わせてカットオフ周波数を決定し、さらに遷移領域やタップ数等の特性を設定することにより、フィルタの係数の算出を行うという手法が多く用いられている。カットオフ周波数を決定する際に、ステップS203にて求めた各振れ成分の特徴を利用することで、各振れ成分を補正(低減)するのに適したフィルタを作成することが可能となる。
図3に示したように、垂直並進振れは6Hz付近に集中しているので、垂直並進振れを補正するためには、6Hz付近の周波数のみをカットオフ周波数とするようなフィルタ係数を設定すればよい。
また、図4に示したように、水平並進振れは2〜6Hz付近の範囲に分布しているので、水平並進振れを補正するためには、2〜6Hz付近の範囲の周波数をカットオフ周波数とするようなフィルタ係数を設定すればよい。
また、フィルタの作成において、タップ数を多くすると急峻なフィルタ特性を得られる代わりに遅延が大きくなり、逆にタップ数を少なくするとフィルタ特性は緩やかになるが遅延を少なくすることができる。
そこで、本実施例では、ステップS203で求められた各振れ成分の特徴に応じてフィルタのタップ数を設定することにより、フィルタリング処理による振れ補正量の算出の遅延を抑えたフィルタを作成する。
例えば、垂直並進振れに関しては、6Hz付近に集中している振れのみを除去しなければならないために多くのタップ数を必要とするが、水平並進振れに関してはある程度の広がりを持つ範囲の周波数の振れを除去するため、タップ数を少なくしても問題はない。
このようにして、振れ成分の特徴に応じてフィルタのタップ数を設定することで、より少ない遅延量で振れ補正量を得ることが可能となる。
ただし、同一フレーム画像に対して振れ補正量が得られるまでの遅延量が振れ成分ごとに異なっていると、良好な振れ補正処理を行うことはできないため、最も遅延量の大きい振れ成分に他の振れ成分の遅延量を合わせる等の処置を行う必要がある。
以上のようにして作成したFIRフィルタを用いて累積変化量の系列Sに対してフィルタリング処理を行うことにより、出力信号として、フィルタリング振れ成分である、
を得ることができる。
ところで、振れ補正量の算出にフィルタリング処理を用いることの主な目的は、意図的な撮像装置の動きに影響を与えずに、振れのみを補正することにある。このため、撮像装置を動かさずに撮影を行った場合においては、画像上に生じるのは撮像装置の振れに起因する振れのみであるから、フィルタリング処理を行わずに単純な幾何変換処理のみで振れ補正を行ってもよい。
また、図5に示した拡大縮小振れでは、前述したように、意図的な撮像装置の動きがあるだけで振れ自体は生じていないので、振れ補正処理を行う必要がないと判断してもよい。
ステップS603では、補正パラメータ算出回路113は、フィルタリング動き成分である、
と、振れ補正の対象となっているフレーム画像での水平並進振れの累積変化量である、
とを用いて、振れ補正量である、
を算出する。
そして、以下の式により、水平並進振れの累積変化量から意図的なカメラワークである周波数成分の動きを残しつつ、水平並進振れのみを除去することができる振れ補正量を算出することができる。
本実施例では、以上説明した水平並進振れに対する振れ補正量の算出手法と同様の手法によって、全ての振れ成分に対する良好な振れ補正を行うための振れ補正量を算出する。
なお、本実施例では、フィルタリング処理にFIRフィルタを用いる場合について説明したが、IIRフィルタやカルマンフィルタ等の他のフィルタを用いてもよい。また、より単純なモデルとして、移動平均値を算出する等の手法を用いてもよい。
ステップS604では、振れ補正回路114は、ステップS603で算出された振れ補正量を用いて振れ補正処理としての座標変換処理を行うための座標変換行列を作成する。
ここで、ステップS603で得られた振れ補正量は、画像変化量を表すホモグラフィ行列に対して成分変換を行うことで分解された各振れ成分の振れ補正量である。このため、フレーム画像に対して座標変換処理を行うには、各振れ成分の振れ補正量から振れ補正用ホモグラフィ行列を生成する必要がある。
ここで、ステップS603において求められた各振れ成分の振れ補正量をそれぞれ、
とする。
このときの、
このときの、
以上のことから、振れ補正用ホモグラフィ行列は、
と表すことができる。
図2のステップS205では、振れ補正回路114は、算出された振れ補正用ホモグラフィ行列を振れ補正の対象となっているフレーム画像の各画素に対して適用して振れ補正後の各画素の座標値を算出することで、振れ補正のための座標値変換データを作成する。そして、作成された座標値変換データに基づいて、フレームメモリ107に保持されているフレーム画像から画素値の読出しを行い、読み出した画素値により構成される画像を振れ補正画像として映像出力回路115に伝送する。
ステップS206では、映像出力回路115は、ディスプレイや記録媒体に振れ補正画像を出力する。
なお、本実施例では、フレーム画像間の画像変化量を表現するのにホモグラフィ行列を用いたが、アフィン行列やヘルマート行列のような振れ成分のモデルを簡略化したものを用いてもよい。
以上説明したように、本実施例では、撮像装置の振れに起因して生じた振れに含まれる、互いに種類が異なる複数の振れ成分の特徴を求める。そして、該特徴が互いに異なることを利用して振れ成分ごとにフィルタリング処理を行うことで、各振れ成分に対する適切な振れ補正処理を行う。これにより、手振れに比べて大きく、かつ複雑な振れが撮像装置に発生した場合でも、良好に振れ補正がなされた画像を生成することができる。
図11には、本発明の実施例2である撮像装置の構成を示す。実施例1では、撮像装置の振れを検出するために動きベクトルを用いる場合について説明した。これに対し、本実施例では、ジャイロセンサや加速度センサ等の振れ検出センサ(振れ検出手段)を用いて、撮像装置の振れを直接取得する。
なお、図11において、図1に示した構成要素と共通する構成要素については、図1と同符号を付して説明に代える。なお、図1に示したメインコントローラは、図11では省略している。
本実施例の撮像装置は、図1に示した画像変化量算出回路109の代わりに、撮像装置の振れを直接計測する振れ検出センサ716を有している。本実施例では、振れ検出センサ716と、振れ解析回路112と、補正パラメータ算出回路113と、振れ補正回路114により画像処理装置が構成される。
本実施例の撮像装置の動作について、図12に示すフローチャートを用いて説明する。ステップS801では、実施例1において図2に示したステップS201と同様の動作が行われる。
ステップS802では、振れ解析回路112は、振れ検出センサ716により検出された撮像装置の振れを用いて、実施例1において図2に示したステップS203と同様にして、各振れ成分の特徴を求める。本実施例では、撮像装置の振れを直接検出することが可能なジャイロセンサや加速度センサ等の振れ検出センサ716を用いることにより、実施例1のように動きベクトルを算出する等の演算を不要としている。
ジャイロセンサは、該センサを中心とした回転量を検出することが可能なセンサであり、例えば3軸のジャイロセンサであれば、パン、チルト及びヨー方向での回転量を検出することができる。また、加速度センサは、該センサに加わった加速度を検出するものであり、例えば3軸の加速度センサであれば、x軸、y軸及びz軸方向での加速度を検出することが可能である。各軸方向での加速度を時間積分することにより、撮像装置の振れ量を算出することができる。このような振れ検出センサ716を撮像装置に1つ又は複数搭載することにより、撮像装置の各振れ成分の変化量を個別に取得することができる。
ステップS803、ステップS804及びステップS805では、実施例1において図2に示したステップS204、ステップS205及びステップS206とそれぞれ同様の処理を行う。
本実施例でも、撮像装置の振れに起因して生じた振れに含まれる、互いに種類が異なる複数の振れ成分の特徴を求め、該特徴が互いに異なることを利用して振れ成分ごとにフィルタリング処理を行うことで、各振れ成分に対する適切な振れ補正処理を行う。これにより、手振れに比べて大きく、かつ複雑な振れが撮像装置に発生した場合でも、良好に振れ補正がなされた画像を生成することができる。
また、本実施例では、撮像装置の振れを直接検出することが可能な振れ検出センサを用いているので、実施例1のように動きベクトルを算出する等の演算処理を必要とする場合に比べて、振れ補正処理の高速化を図ることができる。
上記実施例1,2では、撮像装置に画像処理装置を内蔵した場合について説明したが、本発明はこれに限らない。
例えば図13に示すように、撮像装置1401で撮像した画像(フレーム画像)をパーソナルコンピュータ1402に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやLANを介して送信してもよい。
そして、パーソナルコンピュータ1402において、図2のフローチャートに示した処理を行ってもよい。この場合、パーソナルコンピュータ1402が画像処理装置として機能する。
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
電子防振において、手振れよりも大きく、かつ複雑な振れに対しても良好な画像振れ低減効果が得られる画像処理装置及び撮像装置を実現できる。
100 メインコントローラ
101 光学系
102 撮像素子
103 画像生成回路
104 A/D変換回路
105 オートゲインコントロール回路
106 オートホワイトバランス回路
107 フレームメモリ
108 メモリ制御回路
109 画像変化量算出回路
110 振れ量検出回路
111 振れ量算出回路
112 振れ解析回路
113 補正パラメータ算出回路
114 振れ補正回路
115 映像出力回路
716 動き検出センサ
101 光学系
102 撮像素子
103 画像生成回路
104 A/D変換回路
105 オートゲインコントロール回路
106 オートホワイトバランス回路
107 フレームメモリ
108 メモリ制御回路
109 画像変化量算出回路
110 振れ量検出回路
111 振れ量算出回路
112 振れ解析回路
113 補正パラメータ算出回路
114 振れ補正回路
115 映像出力回路
716 動き検出センサ
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009170645A JP5414405B2 (ja) | 2009-07-21 | 2009-07-21 | 画像処理装置、撮像装置及び画像処理方法 |
US12/840,416 US8953053B2 (en) | 2009-07-21 | 2010-07-21 | Image processing apparatus, image pickup apparatus, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009170645A JP5414405B2 (ja) | 2009-07-21 | 2009-07-21 | 画像処理装置、撮像装置及び画像処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2011029735A JP2011029735A (ja) | 2011-02-10 |
JP2011029735A5 true JP2011029735A5 (ja) | 2012-08-23 |
JP5414405B2 JP5414405B2 (ja) | 2014-02-12 |
Family
ID=43496962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009170645A Active JP5414405B2 (ja) | 2009-07-21 | 2009-07-21 | 画像処理装置、撮像装置及び画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8953053B2 (ja) |
JP (1) | JP5414405B2 (ja) |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TW201230805A (en) * | 2011-01-04 | 2012-07-16 | Aptos Technology Inc | Video playback apparatus and method |
JP5875248B2 (ja) * | 2011-04-27 | 2016-03-02 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
JP5822548B2 (ja) * | 2011-06-10 | 2015-11-24 | キヤノン株式会社 | 像ブレ補正装置、像ブレ補正方法、撮像装置 |
JP6103877B2 (ja) * | 2012-10-22 | 2017-03-29 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
JP6097521B2 (ja) * | 2012-10-22 | 2017-03-15 | キヤノン株式会社 | 像ブレ補正装置及び像ブレ補正方法、撮像装置 |
JP6097522B2 (ja) | 2012-10-22 | 2017-03-15 | キヤノン株式会社 | 像ブレ補正装置及び像ブレ補正方法、撮像装置 |
US8988574B2 (en) | 2012-12-27 | 2015-03-24 | Panasonic Intellectual Property Corporation Of America | Information communication method for obtaining information using bright line image |
US10523876B2 (en) | 2012-12-27 | 2019-12-31 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US8922666B2 (en) | 2012-12-27 | 2014-12-30 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US10303945B2 (en) | 2012-12-27 | 2019-05-28 | Panasonic Intellectual Property Corporation Of America | Display method and display apparatus |
JP6071545B2 (ja) | 2012-12-27 | 2017-02-01 | キヤノン株式会社 | 撮像装置、画像処理装置及びその制御方法、プログラム、記憶媒体 |
US10530486B2 (en) | 2012-12-27 | 2020-01-07 | Panasonic Intellectual Property Corporation Of America | Transmitting method, transmitting apparatus, and program |
SG11201504985WA (en) | 2012-12-27 | 2015-07-30 | Panasonic Ip Corp America | Display method |
US9608727B2 (en) | 2012-12-27 | 2017-03-28 | Panasonic Intellectual Property Corporation Of America | Switched pixel visible light transmitting method, apparatus and program |
US10951310B2 (en) | 2012-12-27 | 2021-03-16 | Panasonic Intellectual Property Corporation Of America | Communication method, communication device, and transmitter |
EP2940896B1 (en) | 2012-12-27 | 2020-04-08 | Panasonic Intellectual Property Corporation of America | Information communication method |
CN107528633A (zh) * | 2012-12-27 | 2017-12-29 | 松下电器(美国)知识产权公司 | 信息通信方法 |
US9608725B2 (en) | 2012-12-27 | 2017-03-28 | Panasonic Intellectual Property Corporation Of America | Information processing program, reception program, and information processing apparatus |
US9087349B2 (en) | 2012-12-27 | 2015-07-21 | Panasonic Intellectual Property Corporation Of America | Information communication method |
US9341014B2 (en) | 2012-12-27 | 2016-05-17 | Panasonic Intellectual Property Corporation Of America | Information communication method using change in luminance |
JP2014126861A (ja) | 2012-12-27 | 2014-07-07 | Canon Inc | 撮像装置及びその制御方法、プログラム、記憶媒体 |
CN106537815B (zh) | 2014-11-14 | 2019-08-23 | 松下电器(美国)知识产权公司 | 再现方法、再现装置以及程序 |
KR20180080124A (ko) | 2015-11-06 | 2018-07-11 | 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 | 가시광 신호의 생성 방법, 신호 생성 장치 및 프로그램 |
WO2017081870A1 (ja) | 2015-11-12 | 2017-05-18 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ | 表示方法、プログラムおよび表示装置 |
JP6504036B2 (ja) * | 2015-11-27 | 2019-04-24 | カシオ計算機株式会社 | 移動検出装置、移動検出方法、及び、プログラム |
JP6876617B2 (ja) | 2015-12-17 | 2021-05-26 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 表示方法および表示装置 |
JP6960238B2 (ja) | 2017-04-28 | 2021-11-05 | キヤノン株式会社 | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 |
US10482584B1 (en) * | 2019-01-31 | 2019-11-19 | StradVision, Inc. | Learning method and learning device for removing jittering on video acquired through shaking camera by using a plurality of neural networks for fault tolerance and fluctuation robustness in extreme situations, and testing method and testing device using the same |
JP2020190690A (ja) * | 2019-05-23 | 2020-11-26 | オリンパス株式会社 | 像ぶれ補正装置、像ぶれ補正方法、及び像ぶれ補正プログラム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3538965B2 (ja) * | 1995-05-30 | 2004-06-14 | ソニー株式会社 | 手振れ補正装置及び方法並びに手振れ補正処理装置及び方法 |
US5959666A (en) * | 1995-05-30 | 1999-09-28 | Sony Corporation | Hand deviation correction apparatus and video camera |
JP3642085B2 (ja) | 1995-05-30 | 2005-04-27 | ソニー株式会社 | 手振れ補正装置及びビデオカメラ |
US6982746B1 (en) * | 1998-02-24 | 2006-01-03 | Canon Kabushiki Kaisha | Apparatus and method for correcting shake by controlling sampling timing of shake signal |
JP3671972B2 (ja) | 2003-08-08 | 2005-07-13 | 株式会社日立製作所 | ビデオカメラ装置 |
JP2005189654A (ja) * | 2003-12-26 | 2005-07-14 | Konica Minolta Photo Imaging Inc | 手振れ補正機構を備えたカメラ |
JP4958610B2 (ja) * | 2007-04-06 | 2012-06-20 | キヤノン株式会社 | 画像防振装置、撮像装置及び画像防振方法 |
JP4926920B2 (ja) * | 2007-11-16 | 2012-05-09 | キヤノン株式会社 | 防振画像処理装置及び防振画像処理方法 |
-
2009
- 2009-07-21 JP JP2009170645A patent/JP5414405B2/ja active Active
-
2010
- 2010-07-21 US US12/840,416 patent/US8953053B2/en active Active
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5414405B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP2011029735A5 (ja) | ||
CN107852462B (zh) | 相机模块、固体摄像元件、电子设备和摄像方法 | |
US8593533B2 (en) | Image processing apparatus, image-pickup apparatus, and image processing method | |
US7636106B2 (en) | Image processing apparatus and method, and program used therewith | |
JP5794705B2 (ja) | 撮像装置、その制御方法及びプログラム | |
JP5708097B2 (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
US10917567B2 (en) | Image processing apparatus, image processing method, program, and image pickup system | |
US20050195295A1 (en) | Image-taking apparatus and image processing method | |
JP2009253506A (ja) | 画像処理装置、画像処理方法、手振れ範囲推定装置、手振れ範囲推定方法、及びプログラム | |
US20100053343A1 (en) | Apparatus for correcting motion caused by hand shake | |
JP2006333061A (ja) | 手ぶれ補正装置 | |
JP2010187347A (ja) | 画像処理装置、画像処理方法、画像処理プログラム | |
JP2007306106A (ja) | 撮像装置、撮像方法、およびプログラム | |
JP6656035B2 (ja) | 画像処理装置、撮像装置および画像処理装置の制御方法 | |
JP2010152871A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2007088828A (ja) | 手ぶれ補正装置 | |
JP2008160300A (ja) | 画像処理装置及び撮像装置 | |
JP2013165487A (ja) | 画像処理装置、撮像装置、およびプログラム | |
JP2007243335A (ja) | 手振れ補正方法、手振れ補正装置および撮像装置 | |
JP6332212B2 (ja) | 姿勢推定装置、姿勢推定方法及びプログラム | |
JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP6223161B2 (ja) | 画像処理装置およびそれを備えた撮像装置、画像処理方法 | |
JP6178646B2 (ja) | 撮像装置及び像振れ補正処理方法 | |
JP2010245658A (ja) | 画像処理装置、それを備えたデジタルカメラ及び画像処理プログラム |