JP2014072797A - 撮像装置およびその制御方法 - Google Patents
撮像装置およびその制御方法 Download PDFInfo
- Publication number
- JP2014072797A JP2014072797A JP2012218458A JP2012218458A JP2014072797A JP 2014072797 A JP2014072797 A JP 2014072797A JP 2012218458 A JP2012218458 A JP 2012218458A JP 2012218458 A JP2012218458 A JP 2012218458A JP 2014072797 A JP2014072797 A JP 2014072797A
- Authority
- JP
- Japan
- Prior art keywords
- focal length
- geometric deformation
- optical system
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 90
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000003287 optical effect Effects 0.000 claims abstract description 51
- 230000009467 reduction Effects 0.000 claims abstract description 23
- 230000000694 effects Effects 0.000 claims abstract description 7
- 230000008859 change Effects 0.000 claims description 17
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000012937 correction Methods 0.000 abstract description 10
- 238000012545 processing Methods 0.000 description 29
- 230000008569 process Effects 0.000 description 26
- 230000009466 transformation Effects 0.000 description 12
- 239000013598 vector Substances 0.000 description 11
- 238000010586 diagram Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 5
- 238000003786 synthesis reaction Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
【課題】 あおりによる像の歪みが生じても、撮像画像の幾何変形により像ぶれを補正した画像を生成可能な撮像装置およびその制御方法を提供する。
【解決手段】 出力画像を生成するために必要となる画像領域である参照領域が、幾何補正前後で画角が変わらず、かつ撮像領域に収まるようになるための参照領域の拡縮率と光学系の焦点距離を算出する。算出された焦点距離が、撮像装置の予想手ぶれ量に対応する、参照領域が撮像領域を超えない範囲であおり成分を幾何変形により補正可能な光学系の最短焦点距離未満の場合には、光学系の焦点距離を変更せず、光学系の焦点距離を前記算出された焦点距離に変更した場合と同様の効果が得られるような幾何変形パラメータで幾何変形を行う。
【選択図】 図4
【解決手段】 出力画像を生成するために必要となる画像領域である参照領域が、幾何補正前後で画角が変わらず、かつ撮像領域に収まるようになるための参照領域の拡縮率と光学系の焦点距離を算出する。算出された焦点距離が、撮像装置の予想手ぶれ量に対応する、参照領域が撮像領域を超えない範囲であおり成分を幾何変形により補正可能な光学系の最短焦点距離未満の場合には、光学系の焦点距離を変更せず、光学系の焦点距離を前記算出された焦点距離に変更した場合と同様の効果が得られるような幾何変形パラメータで幾何変形を行う。
【選択図】 図4
Description
本発明は撮像装置およびその制御方法に関し、特には画像の幾何変形技術に関する。
従来、ジャイロセンサなどのセンサを用いてカメラの動きを検出し、動きを打ち消すようにレンズを移動させたり、撮像素子からの読み出し範囲を変更させたりして、撮像画像における手ぶれの影響を抑制する像振れ補正(防振)技術が知られている。
また、撮像画像の幾何変形処理を用いた防振処理技術も提案されている(特許文献1)。特許文献1では、基準画像に対する平行および回転移動量に応じて平行・回転処理した撮像画像(補正画像)を、基準画像に合成して、像振れ補正した画像を得ている。
しかし、特許文献1記載の技術では、平行・回転処理の対象となる画像の各画素が周囲の画素を参照する必要があるため、補正画像を生成するために必要な全ての画素が撮像領域内に収まっている必要がある。補正画像の生成に必要な画素が撮像領域外に存在する場合、補正画像の一部が欠落してしまう。
一方、特許文献2では、振れ検出センサを用いた電子式像振れ補正機能を有する撮像装置において、振れ量が大きいほど切り出し範囲を小さくすることで、補正画像の生成に必要となる画素が撮像領域内に収まるようにすることが提案されている。具体的には、手ぶれ量が大きくなるほど、電子ズームに切り替わりやすくすることで、切り出し範囲を小さくしている。つまり、並進ぶれが大きくなっても、補正画像を切り出すことができるように(切り出し範囲が撮像領域内に収まるように)制御している。
特許文献2は振れ検出センサを用いる構成であるため、振れ検出センサを用いない特許文献1の構成に適用することは容易でないが、便宜上、幾何変形処理を用いた防振処理に特許文献2の手法を適用した場合を考える。上述の通り、近年のカメラではレンズが広角化している。そして、あおりによる像の歪は、光学系の焦点距離が短いほど大きくなるという特性があるが、特許文献2ではあおりによる像の歪みを考慮していない。そのため、あおりによる像の歪みを補正しようとした場合、必要な画素が撮像領域内に収まらないことが起こりうる。
本願発明はこのような従来技術の課題に鑑みてなされたものであり、あおりによる像の歪みが生じても、撮像画像の幾何変形により手ぶれを補正した画像を生成可能な撮像装置およびその制御方法を提供することを目的とする。
上述の目的は、撮像装置であって、焦点距離が可変な光学系により形成された被写体像を撮像して撮像領域に対応する画像を出力する撮像素子と、幾何変形パラメータに従って画像を幾何変形し、出力画像を生成する幾何変形手段と、出力画像を生成するために必要となる画像領域である参照領域が、幾何変形前後で画角が変わらず、かつ参照領域が撮像領域に収まるための、参照領域の拡縮率と光学系の焦点距離を算出する算出手段と、光学系および幾何変形手段を制御する制御手段とを有し、制御手段は、算出された焦点距離が、撮像装置の予想手ぶれ量に対応する、参照領域が撮像領域を超えない範囲であおり成分を幾何変形により補正可能な光学系の最短焦点距離以上の場合、光学系の焦点距離を算出された焦点距離に変更するとともに、拡縮率が適用された参照領域に幾何変形を適用するように幾何変形手段を制御し、算出された焦点距離が最短焦点距離未満の場合、光学系の焦点距離を変更せず、光学系の焦点距離を算出された焦点距離に変更した場合と同様の効果が得られるように幾何変形パラメータを変更する、ことを特徴とする撮像装置によって達成される。
このような構成により、本発明によれば、あおりによる像の歪みが生じても、撮像画像の幾何変形により手ぶれを補正した画像を生成可能な撮像装置およびその制御方法を提供することができる。
(第1実施形態)
図1は、本発明の第1実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図である。本実施形態では、被写体像を形成するための撮像レンズや、絞りなどを有する光学系101が一体である構成を説明するが、本発明は光学系を交換可能な撮像装置にも適用可能である。撮像レンズは、画角が可変なズームレンズである。
図1は、本発明の第1実施形態に係る撮像装置の一例としてのデジタルカメラの機能構成例を示すブロック図である。本実施形態では、被写体像を形成するための撮像レンズや、絞りなどを有する光学系101が一体である構成を説明するが、本発明は光学系を交換可能な撮像装置にも適用可能である。撮像レンズは、画角が可変なズームレンズである。
光学系101を通過して、撮像素子102に結像された被写体像は、撮像素子102にて画像信号に変換され、現像部103にてホワイトバランス処理や色(輝度・色差信号)変換、γ補正などが実施され、メモリ104に格納される。撮影によってメモリ104に格納される画像信号群は、撮像領域に対応する画像を表す。以下の説明では、撮像領域という用語を、撮影される範囲という意味と、撮影で得られる画像の範囲という意味の両方で用いる。
幾何変形部107は、幾何変形量算出部106から入力される幾何変形量に基づいて、幾何変形処理に必要となる画素群を特定する情報をメモリコントローラ105に入力する。
メモリコントローラ105は、特定された画素群を読み出すためのメモリアドレスを生成し、メモリ104に順次供給する。
メモリ104から順次読み出された画像信号は、メモリコントローラ105を介して幾何変形部107に入力される。幾何変形部107は、順次読み出された画像信号を用い、幾何変形量に基づいた補間画素を生成し、出力画像(補正画像)を生成する。この出力画像を生成するのに必要となる画像領域を本実施形態では参照領域と定義する。
メモリコントローラ105は、特定された画素群を読み出すためのメモリアドレスを生成し、メモリ104に順次供給する。
メモリ104から順次読み出された画像信号は、メモリコントローラ105を介して幾何変形部107に入力される。幾何変形部107は、順次読み出された画像信号を用い、幾何変形量に基づいた補間画素を生成し、出力画像(補正画像)を生成する。この出力画像を生成するのに必要となる画像領域を本実施形態では参照領域と定義する。
システム制御部108は、撮像装置全体の動作を制御する。システム制御部108は、光学系101の焦点距離(画角)、絞り値、フォーカス距離や、撮像素子102の駆動制御や、幾何変形量算出部106に入力する幾何変形パラメータの算出、変形領域予測部109に入力する撮影情報を生成する。
変形領域予測部109は、システム制御部108からの撮影情報に基づいて、以降の撮影状況において、参照領域が撮像領域内に収まるか否かの判定を行い、幾何変形調整処理のパラメータとなる予測情報を幾何変形調整部110とシステム制御部108に入力する。変形領域予測部109は算出手段として機能する。
幾何変形調整部110には、変形領域予測部109からの予測情報、システム制御部108からの幾何変形パラメータ、光学系101の焦点距離情報が入力される。幾何変形調整部110は、これらの情報に基づいて、光学系101の焦点距離(画角)及び、画像信号の撮像領域内の参照領域と拡縮率、幾何変形パラメータ調整量を算出し、システム制御部108に供給する。
幾何変形処理の詳細について説明する。本実施形態では、変形処理後の画像(出力画像)に画素の欠陥が生じないよう、出力画像の画素座標(X’,Y’)に基づき、入力画像に対して画素のサンプリング及び補間を行うことで、幾何変換処理を実現する。図2に幾何変換処理を模式的に示す。
幾何変形量算出部106は、出力画像上の画素を順次スキャンし、システム制御部108から入力される複数の幾何変形パラメータに基づいて、出力画像上の画素座標(X’,Y’)を入力画像上の画素座標(X,Y)に変換する。
幾何変形部107は、幾何変形量算出部106より入力された入力画像上の画素座標(X,Y)を基に、入力画像の画素を補間して出力画素のデータを生成する。
画素の補間は例えば、4近傍を用いた線形補間であるバイリニア補間によって行うことができる。なお、補間処理に応じて必要となる画素群が異なるため、幾何変形部107は、幾何変形量算出部106から入力される画素座標(X,Y)と、補間に必要となる近傍画素群(X”,Y”)の情報を、メモリコントローラ105に入力する。
画素の補間は例えば、4近傍を用いた線形補間であるバイリニア補間によって行うことができる。なお、補間処理に応じて必要となる画素群が異なるため、幾何変形部107は、幾何変形量算出部106から入力される画素座標(X,Y)と、補間に必要となる近傍画素群(X”,Y”)の情報を、メモリコントローラ105に入力する。
メモリコントローラ105は、幾何変形部107から入力される座標情報に従って、補間処理に必要となる画素群の値を読み出して、幾何変形部107に伝送する。
次に、幾何変形量算出の詳細について説明する。幾何変形量算出部106は、複数の幾何変形による座標変換を1つの座標変換に合成し、入力される出力画像上の画素座標(X’,Y’)ごとに入力画像上の画素座標(X,Y)に順次変換する座標演算を行う。
図3に幾何変形量算出部106の構成を示す。
幾何変形量算出部106は、複数の幾何変形要素に対応したリサイズ切り出し座標演算部301、射影変形座標演算部302と、移動ベクトル合成部303で構成される。
リサイズ切り出し座標演算部301および射影変形座標演算部302は、システム制御部108から入力されるそれぞれの幾何変形パラメータと幾何変換前座標から、座標移動ベクトルと、幾何変換処理後の座標を算出する。
幾何変形量算出部106は、複数の幾何変形要素に対応したリサイズ切り出し座標演算部301、射影変形座標演算部302と、移動ベクトル合成部303で構成される。
リサイズ切り出し座標演算部301および射影変形座標演算部302は、システム制御部108から入力されるそれぞれの幾何変形パラメータと幾何変換前座標から、座標移動ベクトルと、幾何変換処理後の座標を算出する。
リサイズ切り出し座標演算部301は、幾何変換前座標(X,Y)と幾何変形パラメータPrから、リサイズ及び切り出し処理の座標移動ベクトル(drx,dry)と、リサイズ及び切り出し処理後の座標(Xr,Yr)を算出する。
本実施形態においてリサイズ切り出し座標演算部301は、座標ベクトル(drx,dry)、リサイズ及び切り出し処理後の座標(Xr,Yr)を以下の計算式に従って算出する。
なお、これらの式において、変倍率の逆数r、変換の中心(X0r,Y0r)、および並進移動(c,d)が幾何変形パラメータPrである。
本実施形態においてリサイズ切り出し座標演算部301は、座標ベクトル(drx,dry)、リサイズ及び切り出し処理後の座標(Xr,Yr)を以下の計算式に従って算出する。
射影変形座標演算部302は、リサイズ及び切り出し処理後の座標(Xr,Yr)と射影変形パラメータPhから、射影変形の座標移動ベクトル(dhx,dhy)と、射影変形後の座標(Xh,Yh)を以下の計算式に従って算出する。
なお、これらの式において、射影変形行列Hと変換の中心(X0h,Y0h)が幾何変形パラメータPhである。射影変形行列Hは、例えば、光軸に対する3軸(ヨー方向、ピッチ方向、ロール方向)の回転をカメラのモーションパラメータとして算出して得ることができる。
移動ベクトル合成部303には、幾何変形パラメータPc、幾何変換前座標(X,Y)、リサイズ及び切り出し処理の座標移動ベクトル(drx,dry)、及び射影変形の座標移動ベクトル(dhx,dhy)が入力される。移動ベクトル合成部303は、以下の式に従って座標移動ベクトルを重み付け合成し、合成座標ベクトル(dcx,dcy)と幾何変換後座標(Xc,Yc)を得る。
なお、これらの式において、合成の重みax,bx,ay,byが幾何変形パラメータPcである。
図4は、幾何変形パラメータ算出処理を説明するためのフローチャートである。
まず、S401で変形領域予測部109が、以降の撮影状況において参照領域が撮像領域内に収まるか否かを予測する。本実施形態で変形領域予測部109は、フレームごとの参照領域を撮影情報として評価して予測を実施する。
まず、S401で変形領域予測部109が、以降の撮影状況において参照領域が撮像領域内に収まるか否かを予測する。本実施形態で変形領域予測部109は、フレームごとの参照領域を撮影情報として評価して予測を実施する。
図5に示すフローチャートおよび予測処理に必要となるパラメータを示す図6と用い、S401における予測処理の詳細を説明する。
撮像領域601は水平サイズがXsize、垂直サイズがYsizeの矩形領域であり、参照領域602が撮像領域601に含まれている。すなわち、参照領域602は撮像領域601の一部である。
撮像領域601は水平サイズがXsize、垂直サイズがYsizeの矩形領域であり、参照領域602が撮像領域601に含まれている。すなわち、参照領域602は撮像領域601の一部である。
まず、S501で変形領域予測部109が、現フレーム時刻tにおける、参照領域602を包含する最小の矩形領域603の対角座標(X0,Y0)および(X1,Y1)を算出する。座標(X0,Y0)と(X1,Y1)は、参照領域602の4辺の座標を算出し、左端座標X0と右端座標X1、上端座標Y0と下端座標Y1を算出することで得られる。参照領域602の4辺の座標値は、幾何変形処理後の参照領域の4辺の座標に対して、上述した幾何変形量計算を実施して求めることができる。
S502で変形領域予測部109は、図6に示すx0,x1,y0,y1を以下の式によって算出する。
x0=X0, x1=(Xsize-1)-X1
x1=X1, y1=(Ysize-1)-Y1 (式10)
x0=X0, x1=(Xsize-1)-X1
x1=X1, y1=(Ysize-1)-Y1 (式10)
x0,x1,y0,y1は、参照領域602(矩形領域603)に対する、撮像領域601の上下左右の余剰値を示し、参照領域の現在の位置を表す。これら4つの余剰値が全て正ならば、参照領域602が撮像領域601内に収まることを示す。
S503で変形領域予測部109は、参照領域の過去の位置を示す1フレーム前の時刻t-1における上下左右の余剰値x0”,x1”,y0”,y1”を読み出す。そしてS504で変形領域予測部109は、参照領域の予測位置を示す、次フレーム時刻t+1における上下左右の余剰値x0’,x1’,y0’,y1’を、現フレーム時刻tおよび1フレーム前の時刻t-1における余剰値から予測する。
x0’、x1’、y0’、y1’の算出方法について図7を用いて説明する。図7は余剰値を代表して左余剰値の時間変化の例を示している。現フレームの時刻tにおける左余剰値をx0、1フレーム前の時刻t-1における左余剰値をx0”する。変形領域予測部109は、次フレーム時刻t+1における左余剰値x0’を、時刻t-1とtの左余剰値x0”とx0とから線形予測する。次フレーム時刻t+1における他の余剰値x1’、y0’、y1’についても同様に予測する。x0’,x1’,y0’,y1’の算出式は以下の通りである。
Δx0=x0-x0” Δx1=x1-x1”
Δy0=y0-y0” Δy1=y1-y1” (式11)
x0’=x0+Δx0 x1’=x1-Δx1
y0’=y0+Δy0 y1’=y1-Δy1 (式12)
Δx0=x0-x0” Δx1=x1-x1”
Δy0=y0-y0” Δy1=y1-y1” (式11)
x0’=x0+Δx0 x1’=x1-Δx1
y0’=y0+Δy0 y1’=y1-Δy1 (式12)
S505で変形領域予測部109は、次フレームで参照領域602が撮像領域601を超える(参照領域602の少なくとも一部が撮像領域601に収まらない)かどうか判定する。ここでは、参照領域602が撮像領域601を超えることを「撮像領域オーバー」と呼ぶ。
図8は、図7に示した左余剰値の変化に対応した、矩形領域603と撮像領域601との位置関係を示す図であり、図8(a)が時刻t-1、図8(b)が時刻t、図8(c)が時刻t+1に対応している。図7に示した例では、時刻t+1における左余剰値x0’は負であり、これは、矩形領域603(参照領域602)が撮像領域601の左側からはみ出ていることを示している。変形領域予測部109は、S504で予測した次フレーム時刻t+1における上下左右の余剰値x0’,x1’,y0’,y1’の1つでも負であれば、撮像領域オーバーと判定し、S506において変形調整パラメータ算出処理を実施する。撮像領域オーバーでないと判定した場合、変形領域予測部109は処理をS507に移行させる。
S506における変形調整パラメータ算出処理について、図9のフローチャートを用いて説明する。
まず、S901およびS911で変形領域予測部109は、時刻t+1における左右の予測余剰値x0’とx1’、上下の予測余剰値y0’とy1’をそれぞれ大小比較する。そして、変形領域予測部109は、小さい方の値をそれぞれxminとyminとする(S902,S903,S912,S913)。
まず、S901およびS911で変形領域予測部109は、時刻t+1における左右の予測余剰値x0’とx1’、上下の予測余剰値y0’とy1’をそれぞれ大小比較する。そして、変形領域予測部109は、小さい方の値をそれぞれxminとyminとする(S902,S903,S912,S913)。
次に、手ぶれ量算出手段としての変形領域予測部109は、変形領域調整処理に必要となる予想手ぶれ量を算出する(S904,S914)。予想手ぶれ量は、参照領域と撮像領域との位置関係の時間変化に基づいて算出することができる。手ぶれ量は、水平方向の手ぶれ角θxと垂直方向の手ぶれ角θyで表現され、変形領域予測部109は手ぶれ角θxおよびθyを、以下の計算式によって求める。
ここで、fは光学系101の焦点距離、pは撮像素子102の画素ピッチである。また、Δxminは、(式11)におけるΔx0とΔx1のうち、xminに設定された値の算出に用いられた一方を、Δyminは、(式11)におけるΔy0とΔy1のうち、yminに設定された値の算出に用いられた一方を指す。例えばx0’,x1’のうちx0’がxminに設定された場合、ΔxminはΔx0である。
次に変形領域予測部109は、変形領域調整処理に必要となる拡縮率を算出する。図10は、拡縮率算出に必要となるパラメータの定義を示す図である。変形領域予測部109は、まず、xy各方向で拡縮率を算出するために必要となる値であるxmargin,xover,ymargin,yoverを算出する(S905,S915)。xmarginとymarginは、参照領域602における幾何変形処理の中心1001と、撮像領域601の境界との、水平方向及び垂直方向における最短距離を示し、中心1001の座標を(X2,Y2)とした場合、以下の式で求められる。
xmargin=X2 (xmin=x0の場合)
xmargin=(Xsize-1)-X2 (xmin=x1の場合)
ymargin=Y2 (ymin=y0の場合)
ymargin=(Ysize-1)-Y2 (ymin=y1の場合) (式14)
xmargin=X2 (xmin=x0の場合)
xmargin=(Xsize-1)-X2 (xmin=x1の場合)
ymargin=Y2 (ymin=y0の場合)
ymargin=(Ysize-1)-Y2 (ymin=y1の場合) (式14)
なお、時刻t+1の中心1001の座標(X2,Y2)は、図7を用いて説明した余剰値の予測と同様にして、時刻t-1と時刻tの中心1001の座標値を用いて線形予測することができる。
xoverとyoverは、参照領域602における幾何変形処理の中心1001と、矩形領域603の境界との水平方向及び垂直方向の最短距離を示し、以下の式で求められる。
xover=xmargin-xmin
yover=ymargin-ymin (式15)
xover=xmargin-xmin
yover=ymargin-ymin (式15)
そして、変形領域予測部109は、水平方向と垂直方向の拡縮率RxとRyの大小を比較し(S907)、大きい値を変形領域調整処理に必要となる拡縮率Rとする(S908,S909)。
このようにして、変形領域予測部109は、撮像領域オーバーと判定された場合、S506で幾何変形調整パラメータとして、拡縮率Rと予想手ぶれ量θx,θyを算出する。
このようにして、変形領域予測部109は、撮像領域オーバーと判定された場合、S506で幾何変形調整パラメータとして、拡縮率Rと予想手ぶれ量θx,θyを算出する。
S507で変形領域予測部109は、現フレーム時刻における余剰量x0,x1,y0,y1を、次の変形領域予測処理に用いるために保存する。
図4に戻り、S402でシステム制御部108は、S401において撮像領域オーバーとの判定がなされていなければ、S403で通常の幾何変形パラメータ取得処理を実施する。一方、S401において撮像領域オーバーとの判定がなされていた場合、幾何変形調整部110により光学系の焦点距離と拡縮率を変更して、参照領域が撮像領域に収まるよう調整し、また、調整後の幾何変形パラメータを取得する。
図11は、本実施形態において幾何変形調整部110が行う、参照領域が撮像領域に収まるように調整拡縮率と焦点距離を調整する参照領域制御処理を模式的に示している。
1101は撮像領域、1102は参照領域、1104は撮像領域1101からはみ出た参照領域、1105は幾何変形処理後の参照領域、1106は参照領域が撮像領域外になったことで発生した欠損領域を示す。
1101は撮像領域、1102は参照領域、1104は撮像領域1101からはみ出た参照領域、1105は幾何変形処理後の参照領域、1106は参照領域が撮像領域外になったことで発生した欠損領域を示す。
図11(a)で示すように、参照領域1102が撮像領域1101を超え、撮像領域オーバーが発生すると、領域1104については、参照領域1102の歪み(図形歪み、幾何歪み)を補正するための幾何変形処理に必要な画素の情報を得られない。従って、幾何変形後の参照領域1105に欠損領域1106が発生してしまう。
図11(b)で示すように、元の参照領域1102の境界を内側に移動させて、撮像領域1101を超えない参照領域1107を生成する。このとき、参照領域1107は参照領域1102よりも小さくなるため、参照領域1107を幾何変形して生成される幾何変形後の参照領域は、元の参照領域1102から生成される幾何変形後の参照領域1105よりも小さくなる。そのため、参照領域1107から生成される幾何変形後の参照領域を、拡縮率Rをパラメータとして、元の参照領域1102から生成される幾何変形後の参照領域1105と同じサイズに拡大する。これは、拡縮率Rの逆数を、幾何変形パラメータr(変倍率の逆数)に乗じることで実現される。このとき使用される拡縮率Rは、変形領域予測部109から入力される幾何変形パラメータに含まれるものである。
このような拡大を行うと、図11(b)の下段に示すように、拡大しない図11(a)と比較して幾何変形後の参照領域の画角が狭くなる。よって、画角の変動が発生しないように、図11(c)に示すように、図11(b)と同じ参照領域1111と拡縮率Rを用いても、幾何変形後の参照領域の画角が図11(a)と同じになるよう、光学系の焦点距離を短くした撮像領域1109を取得する。
しかし、このような参照領域制御処理では、光学系のあおり成分による歪みの影響が考慮されていないため、図11(d)に示すように、参照領域1110が撮像領域1109を超えてしまうことがある。この事象について説明する。
以下の(式18)は射影変形行列Hを示し、(H13,H23)がそれぞれ手ぶれのX方向,Y方向の並進成分を補正するパラメータであり、(H31,H32)がそれぞれ手ぶれのX方向,Y方向のあおり成分を補正するパラメータである。
図12(a)は、ヨー方向に、ある角変位量θを与えたときの、焦点距離fと射影変形パラメータH13(X方向の並進成分)との関係を、図12(b)は焦点距離fと射影変形パラメータH31(X方向のあおり成分)との関係を、それぞれ示している。図12から分かるように、並進パラメータ1201は、焦点距離が長くなるにつれて値が大きくなるのに対して、あおりパラメータ1202は焦点距離が短くなるにつれて値が大きくなる。
つまり、図13(a)に示すように、焦点距離が短いとき、例えば図12(a),(b)における(ア)のときは、並進による移動が小さくなり、あおりによる歪み(図形歪み)が大きくなる。同様に、図13(b)に示すように、焦点距離が長いとき、例えば図12(a),(b)における(イ)のときは、並進による移動が大きくなり、あおりによる歪みが小さくなる。
よって、図11(c)に示した参照領域制御を、光学系101の焦点距離が短い場合に実施した場合、焦点距離が短くなったことで大きくなったあおり成分に起因した歪みを補正するための参照領域を大きくする必要がある。その結果、図11(d)に示すように参照領域1110が撮像領域1101を超えてしまう。
そこで、本実施形態では、S404であおり成分の情報を評価し、その結果に応じて、参照領域制御を行う。
あおり成分を評価するS404の詳細について説明する。
まず、本実施形態では、図14で示すような手ぶれ量θ[deg]と最短焦点距離fminとの関係1401を求める。最短焦点距離fminとは、前述のあおり成分を考慮に入れた、幾何変形処理が可能な光学系の焦点距離の限界値を示す。
あおり成分を評価するS404の詳細について説明する。
まず、本実施形態では、図14で示すような手ぶれ量θ[deg]と最短焦点距離fminとの関係1401を求める。最短焦点距離fminとは、前述のあおり成分を考慮に入れた、幾何変形処理が可能な光学系の焦点距離の限界値を示す。
図15は、図12(b)と同様に、焦点距離fと射影変形パラメータH31(X方向のあおり成分)との関係を、異なる手ぶれ量θについて示した図である。手ぶれ量θの小さい順に1501、1502、1503で示しており、手ぶれ量θが大きいほど、同一焦点距離における射影変形パラメータH31の値が大きいことが分かる。
例えば、図15のように、離散的な複数の手ぶれ量θについて、焦点距離fと射影変形パラメータH31との関係を作成し、射影変形パラメータ限界値H31maxに対応する焦点距離f(すなわちfmin)の値を手ぶれ量θごとに求める。そして、このようにして得られた離散的な手ぶれ量と最短焦点距離との関係を補間することにより、図14に示す、手ぶれ量θと最短焦点距離fminとの関係を求めることができる。
なお、射影変形パラメータ限界値H31maxは、例えば、予め定めた、あおり成分の幾何変形最大量(Xhmax,Yhmax)を超えない最大の補正量となる射影変形パラメータH31として規定することができる。
S401において撮像領域オーバーとの判定がなされていた場合、変形領域予測部109より、判定情報と共に予想手ぶれ量θxとθyが幾何変形調整部110に入力される。幾何変形調整部110は、予想手ぶれ量θxとθyに対応するfmin値を、予め求められた手ぶれ量θと最短焦点距離fminとの関係から求め(S4041)、小さい値を現在の撮影状況における最短焦点距離fminとする。
次に、幾何変形調整部110は、参照領域の縮小による画角変化に合わせて、画角調整のための光学系の焦点距離fを(式17)に従って算出し(S4042)、算出された光学系の焦点距離fをS4041で求めた最短焦点距離fminと比較する(S4043)。幾何変形調整部110は、比較結果(あおり成分評価結果)をシステム制御部108に出力する。S4041〜S4043により、あおり成分評価処理が行われる。
焦点距離fが最短焦点距離fmin以上(最短焦点距離以上)の場合(S4043,Yes)、焦点距離をfに変更しても参照領域が撮像領域を超えないと判定できる。そのため、システム制御部108は、光学系101の焦点距離がfとなるように制御(S405)し、焦点距離がfに変更されたときの幾何変形パラメータを算出(S406)して、拡縮率Rと共に幾何変形量算出部106へ出力する。
一方、焦点距離fが最短焦点距離fmin未満(最短焦点距離未満)の場合(S4043,No)、焦点距離をfに変更すると、参照領域が撮像領域を超えると判定できる。そこで、システム制御部108は、光学系の焦点距離を変更せずに、参照領域の幾何変形により焦点距離の変更と同様の結果が得られるよう幾何変形パラメータを調整する(S407)。この幾何変形パラメータの調整としては、前述した拡縮率Rを用いた拡大処理を行うようにしたり、この拡縮率Rの逆数をゲインGとして、幾何変形パラメータを変更したりすることが考えられる。
以上説明したように、本実施形態によれば、手ぶれ量θと、参照領域が撮像領域を超えない範囲であおり成分を補正可能な最短焦点距離fminとの関係を予め求めておく。そして、幾何変形前後の参照領域の画角を変えずに参照領域が撮像領域を超えないようにするために参照領域の拡縮と組み合わせて用いられる変更後の光学系の焦点距離fと、予想手ぶれ量に対応する最短焦点距離fminとを比較する。そして、変更後の焦点距離fが予想手ぶれ量に対応する最短焦点距離fmin未満となる場合には、焦点距離の変更を行わなず、焦点距離の変更と同様の効果が得られるように幾何変形パラメータを変更する。そのため、あおりによる歪みが生じても、歪み補正後の参照領域に欠損領域が含まれる可能性を大幅に抑制することができる。従って、画像合成によって像振れ補正画像を生成する場合に、欠損領域を含まない画像を生成することができる。
(第2実施形態)
次に、本発明の第2実施形態について説明する。なお、幾何変形パラメータ算出処理の内容を除き、第1実施形態と共通であるため、幾何変形パラメータ算出処理についてのみ説明する。
次に、本発明の第2実施形態について説明する。なお、幾何変形パラメータ算出処理の内容を除き、第1実施形態と共通であるため、幾何変形パラメータ算出処理についてのみ説明する。
図16は、本実施形態における幾何変形パラメータ算出処理フローを示す。図16において、第1実施形態と同様の処理ステップについては、図4と同じ参照数字を付した。幾何変形パラメータ算出処理における、第1実施形態との違いは、算出された焦点距離fが最短焦点距離fmin未満の場合(S4043,No)の処理にあり、他の処理は、全て第1実施形態と同様であるため、説明を省略する。
第1実施形態では、算出された焦点距離fが最短焦点距離fmin未満の場合、光学系の焦点距離を変更しなかったが、本実施形態では光学系の焦点距離を最短焦点距離fminに設定し、より効率的に撮像領域を用いた幾何変形処理を実現する。
S4043において、S4042で算出された焦点距離fが最短焦点距離fmin未満であると判定された場合、システム制御部108は、S1610で、光学系の焦点距離を、予想手ぶれ量で参照領域が撮像領域を超えない最小の焦点距離fminに変更する。
次に、S1602でシステム制御部108は、焦点距離fminに対する撮影画角調整のための拡縮率R’を算出する。システム制御部108は、拡縮率R’を、元の拡縮率R、焦点距離fminとfから、以下の(式20)に従って算出する。
そして、システム制御部108は、S1603において、焦点距離fminに対する幾何変形パラメータを算出し、合わせて、参照領域が撮像領域を超えないように幾何変形パラメータを調整する。この幾何変形パラメータの調整としては、前述した拡縮率R’を用いた拡大処理を行うようにしたり、この拡縮率R’の逆数をゲインGとして、幾何変形パラメータを変更したりすることが考えられる。
このように、本実施形態では、変更後の焦点距離fが予想手ぶれ量に対応する最短焦点距離fmin未満となる場合には、光学系の焦点距離をfminに変更する。そして焦点距離fminにおける参照領域について、焦点距離をfに変更した場合と同様の効果が得られるように幾何変形パラメータを変更する。光学系の焦点距離をfminに変更することで、焦点距離を変更しない場合よりも撮像領域を有効に使用することができるため、画像合成によって像振れ補正画像を生成する場合に、第1実施形態よりも画質のよい像振れ補正画像を生成することができる。
(その他の実施形態)
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (6)
- 撮像装置であって、
焦点距離が可変な光学系により形成された被写体像を撮像して撮像領域に対応する画像を出力する撮像素子と、
幾何変形パラメータに従って前記画像を幾何変形し、出力画像を生成する幾何変形手段と、
前記出力画像を生成するために必要となる画像領域である参照領域が、前記幾何変形前後で画角が変わらず、かつ前記参照領域が前記撮像領域に収まるための、前記参照領域の拡縮率と前記光学系の焦点距離を算出する算出手段と、
前記光学系および前記幾何変形手段を制御する制御手段とを有し、
前記制御手段は、
前記算出された焦点距離が、前記撮像装置の予想手ぶれ量に対応する、前記参照領域が前記撮像領域を超えない範囲であおり成分を前記幾何変形により補正可能な前記光学系の最短焦点距離以上の場合、前記光学系の焦点距離を前記算出された焦点距離に変更するとともに、前記拡縮率が適用された参照領域に前記幾何変形を適用するように前記幾何変形手段を制御し、
前記算出された焦点距離が前記最短焦点距離未満の場合、前記光学系の焦点距離を変更せず、前記光学系の焦点距離を前記算出された焦点距離に変更した場合と同様の効果が得られるように前記幾何変形パラメータを変更する、ことを特徴とする撮像装置。 - 前記制御手段が、前記算出された焦点距離が前記最短焦点距離未満の場合、前記光学系の焦点距離を前記最短焦点距離に変更するとともに、前記最短焦点距離に対応する参照領域に関して、前記光学系の焦点距離を前記算出された焦点距離に変更した場合と同様の効果が得られるように前記幾何変形パラメータを変更することを特徴とする請求項1記載の撮像装置。
- 前記算出手段は、前記参照領域の過去の位置と現在の位置とから予測される前記参照領域の位置に基づいて、前記参照領域が前記撮像領域内に収まるか否かを予測し、前記参照領域が前記撮像領域内に収まらないと予測される場合に前記参照領域の拡縮率と前記光学系の焦点距離を算出することを特徴とする請求項1または2に記載の撮像装置。
- 前記参照領域と前記撮像領域との位置関係の時間変化に基づいて、前記予想手ぶれ量を算出する手ぶれ量算出手段をさらに有することを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
- 前記幾何変形パラメータは、手ぶれの並進成分を補正するパラメータと、手ぶれのあおり成分を補正するパラメータを含むことを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
- 焦点距離が可変な光学系により形成された被写体像を撮像して撮像領域に対応する画像を出力する撮像素子と、
幾何変形パラメータに従って前記画像を幾何変形し、出力画像を生成する幾何変形手段と、
前記出力画像を生成するために必要となる画像領域である参照領域が、前記幾何変形前後で画角が変わらず、かつ前記参照領域が前記撮像領域に収まるようにするための、前記参照領域の拡縮率と前記光学系の焦点距離を算出する算出手段と、を有する撮像装置の制御方法であって、
前記算出された焦点距離が、前記撮像装置の予想手ぶれ量に対応する、前記参照領域が前記撮像領域を超えない範囲であおり成分を前記幾何変形により補正可能な前記光学系の最短焦点距離以上の場合、制御手段が、前記光学系の焦点距離を前記算出された焦点距離に変更するとともに、前記拡縮率が適用された参照領域に前記幾何変形を適用するように前記幾何変形手段を制御するステップと、
前記算出された焦点距離が前記最短焦点距離未満の場合、制御手段が、前記光学系の焦点距離を変更せず、前記光学系の焦点距離を前記算出された焦点距離に変更した場合と同様の効果が得られるように前記幾何変形パラメータを変更するステップと、
を有することを特徴とする撮像装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012218458A JP2014072797A (ja) | 2012-09-28 | 2012-09-28 | 撮像装置およびその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012218458A JP2014072797A (ja) | 2012-09-28 | 2012-09-28 | 撮像装置およびその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014072797A true JP2014072797A (ja) | 2014-04-21 |
Family
ID=50747594
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012218458A Pending JP2014072797A (ja) | 2012-09-28 | 2012-09-28 | 撮像装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2014072797A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170037205A (ko) * | 2015-09-25 | 2017-04-04 | 삼성전자주식회사 | 이미지 센서의 파라미터 제어 방법 |
JP2017220745A (ja) * | 2016-06-06 | 2017-12-14 | オリンパス株式会社 | 撮像装置 |
-
2012
- 2012-09-28 JP JP2012218458A patent/JP2014072797A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170037205A (ko) * | 2015-09-25 | 2017-04-04 | 삼성전자주식회사 | 이미지 센서의 파라미터 제어 방법 |
KR102412020B1 (ko) | 2015-09-25 | 2022-06-22 | 삼성전자주식회사 | 이미지 센서의 파라미터 제어 방법 |
US11699218B2 (en) | 2015-09-25 | 2023-07-11 | Samsung Electronics Co., Ltd. | Method controlling image sensor parameters |
JP2017220745A (ja) * | 2016-06-06 | 2017-12-14 | オリンパス株式会社 | 撮像装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9438792B2 (en) | Image-processing apparatus and image-processing method for generating a virtual angle of view | |
WO2013005316A1 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
JP6041651B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6648914B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6151930B2 (ja) | 撮像装置およびその制御方法 | |
JP2008160300A (ja) | 画像処理装置及び撮像装置 | |
JP2011188481A (ja) | 撮像装置 | |
JP6047008B2 (ja) | 画像処理装置およびそれを備えた撮像装置、ならびに画像処理装置の制御方法 | |
JP5212046B2 (ja) | デジタルカメラおよび画像処理装置並びに画像処理プログラム | |
JP2014127773A5 (ja) | ||
US9204059B2 (en) | Image processing apparatus having function of reading captured image, control method thereof, and imaging apparatus | |
JP6282133B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2014072797A (ja) | 撮像装置およびその制御方法 | |
JP2010232710A (ja) | 画像処理装置および画像処理方法 | |
JP6271969B2 (ja) | 撮像装置および画像補正方法 | |
JP2015114438A (ja) | 画像処理装置およびそれを備えた撮像装置、画像処理方法 | |
JP6231816B2 (ja) | 撮像装置およびその制御方法、プログラム並びに記憶媒体 | |
EP3836540B1 (en) | Image processing apparatus and image capturing apparatus | |
CN110278374B (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
JP6245847B2 (ja) | 画像処理装置および画像処理方法 | |
JP6016546B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
CN114697533A (zh) | 图像处理方法、装置、计算机可读存储介质及智能电视 | |
JP2010109876A (ja) | 画像防振装置、撮像装置及び画像防振方法 | |
JP2018098612A (ja) | 画像処理装置及び画像処理方法、撮像装置、プログラム、記憶媒体 | |
JP6516574B2 (ja) | 像ブレ補正装置、撮像装置、像ブレ補正方法 |