JP6526273B2 - 画像処理装置、画像処理方法、および撮像装置 - Google Patents
画像処理装置、画像処理方法、および撮像装置 Download PDFInfo
- Publication number
- JP6526273B2 JP6526273B2 JP2018028211A JP2018028211A JP6526273B2 JP 6526273 B2 JP6526273 B2 JP 6526273B2 JP 2018028211 A JP2018028211 A JP 2018028211A JP 2018028211 A JP2018028211 A JP 2018028211A JP 6526273 B2 JP6526273 B2 JP 6526273B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- distortion
- correction
- optical system
- aberration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 77
- 238000003384 imaging method Methods 0.000 title claims description 64
- 238000003672 processing method Methods 0.000 title claims description 9
- 238000012937 correction Methods 0.000 claims description 255
- 230000003287 optical effect Effects 0.000 claims description 129
- 230000000694 effects Effects 0.000 claims description 53
- 230000004075 alteration Effects 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 34
- 230000008569 process Effects 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 description 70
- 238000006243 chemical reaction Methods 0.000 description 28
- 238000009432 framing Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 11
- CNQCVBJFEGMYDW-UHFFFAOYSA-N lawrencium atom Chemical compound [Lr] CNQCVBJFEGMYDW-UHFFFAOYSA-N 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000013461 design Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 241000226585 Antennaria plantaginifolia Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Description
本発明は、画像処理装置、画像処理方法、および撮像装置に関する。
精度の良い像ブレ補正を行うため、撮影光学系の収差による歪みを補正した画像に像ブレ補正を行うことが知られている(特許文献1)。また、収差による歪みには樽型歪みと糸巻き型歪みがあるが、樽型歪みの方が自然に見えることが知られており、特許文献1では、像ブレ補正後の画像に意図的に樽型の歪曲を付加している。
撮影光学系の収差に起因する画像歪みの大きさは、光軸からの距離(像高)に依存するため、収差に起因する画像歪みと同様の歪みを光軸を中心として画像に付加するのが一般的である。しかしながら、動画に像ブレ補正を行う場合、像ブレ補正によって、撮影光学系の光軸と各動画フレームの中心との位置関係が経時変化する。そのため、像ぶれ補正された動画フレームに対して光軸を中心とした樽型歪みを付与すると、像高と歪みの大きさとの関係が経時変化し、特に像高の大きな部分において観察者に違和感を与えてしまう。このような問題について、特許文献1には何ら記載されていない。
本発明はこのような従来技術の課題を抑制し、像ブレ補正がなされた、かつ自然に見える動画を生成可能な画像処理装置、画像処理方法、および撮像装置を提供することを目的とする。
上述の目的は、光学系を介して撮像された第1の画像に対して変形処理を含む1つ以上の処理を適用することにより第2の画像を生成する生成手段を有する画像処理装置であって、第1の画像は、光学系の収差による歪みを有する画像であり、第2の画像は、画像の中心座標と歪みの中心に対応する座標とが一致しない画像であって、生成手段は、画像の中心座標からの距離に応じた歪曲率の歪みを有する第2の画像を生成する、ことを特徴とする画像処理装置によって達成される。
また、上述の目的は、動画を取得するために用いられた光学系の収差による画像の歪みの補正、および、撮像装置による振れの補正がなされた動画を生成する画像処理装置であって、該画像処理装置が、動画の各フレームに対し、画像の中心位置を基準とした歪みを付加するように動画を処理することによって達成される。
また、上述の目的は、動画を取得するために用いられた光学系の収差による画像の歪みの補正、および、撮像装置による振れの補正がなされた動画を生成する画像処理装置であって、該画像処理装置が、動画の各フレームに対し、画像の中心位置を基準とした歪みを付加するように動画を処理することによって達成される。
本発明によれば、像ブレ補正がなされた、かつ自然に見える動画を生成可能な画像処理装置、画像処理方法、および撮像装置を提供することが可能になる。
以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照符号を付し、重複する説明は省略する。なお、本明細書においては、撮像装置の動きを「振れ」、「振れ」が撮像画像に与える影響を「像ブレ」と呼ぶ。以下では本発明の実施形態に係る画像処理装置の一例としてのデジタルビデオカメラに適用した構成について説明するが、本発明は像ブレ補正が可能な任意の電子機器に適用することができる。このような電子機器には撮像装置はもちろん、パーソナルコンピュータ、タブレット端末、携帯電話機、ゲーム機、ドライブレコーダ、ロボット、ドローンなどが含まれるが、これらに限定されない。
<第1の実施形態>
図1は、本発明の実施形態に係る画像処理装置の一例としてのビデオカメラ100の機能構成例を示すブロック図である。
図1において、システム制御回路101は、例えばCPUのようなプログラマブルプロセッサと、RAMおよびROMを有する。そして、ROMに記憶されたプログラムをRAMに展開してCPUで実行することにより、ビデオカメラ100の各部の動作を制御し、ビデオカメラ100の機能を実現する。したがって、以下で説明するビデオカメラ100の動作は、特に明記されていない場合、システム制御回路101が主体として実行される。なお、図1でシステム制御回路101のブロックに記載されている201〜203は像ブレ補正装置の機能ブロックのうち、システム制御回路101が実現するものを模式的に示したもので、詳細については後述する。
図1は、本発明の実施形態に係る画像処理装置の一例としてのビデオカメラ100の機能構成例を示すブロック図である。
図1において、システム制御回路101は、例えばCPUのようなプログラマブルプロセッサと、RAMおよびROMを有する。そして、ROMに記憶されたプログラムをRAMに展開してCPUで実行することにより、ビデオカメラ100の各部の動作を制御し、ビデオカメラ100の機能を実現する。したがって、以下で説明するビデオカメラ100の動作は、特に明記されていない場合、システム制御回路101が主体として実行される。なお、図1でシステム制御回路101のブロックに記載されている201〜203は像ブレ補正装置の機能ブロックのうち、システム制御回路101が実現するものを模式的に示したもので、詳細については後述する。
撮影レンズ102(撮影光学系)は、システム制御回路101の制御によって駆動される変倍レンズおよびフォーカスレンズなどを含み、被写体像を撮像素子103の撮像面に形成する。撮影レンズ102は着脱可能であってもなくてもよい。
撮像素子103は、例えばXYアドレス方式のCMOS(Complementary Metal Oxide Semiconductor)イメージセンサである。撮像素子103には複数の画素が配置され、撮影レンズ102が形成する光学像を各画素で光電変換することによりアナログ画像信号が得られる。
信号処理回路104は、撮像素子103から出力されるアナログ画像信号に対し、ノイズ低減、A/D変換、色補間、ホワイトバランス調整、ガンマ補正などの信号処理を適用してデジタル画像信号(画像データ)を生成する。信号処理回路104は、生成した画像データを画像メモリ105に格納する。
信号処理回路104は、撮像素子103から出力されるアナログ画像信号に対し、ノイズ低減、A/D変換、色補間、ホワイトバランス調整、ガンマ補正などの信号処理を適用してデジタル画像信号(画像データ)を生成する。信号処理回路104は、生成した画像データを画像メモリ105に格納する。
歪曲補正回路106は、画像メモリ105に格納された画像データに対し、撮影レンズ102の収差によって生じた歪みを補正する処理(歪曲補正処理)を適用し、これによって生成された画像データを画像メモリ105に格納する。歪曲補正処理の方法に特に制限は無く、公知の方法を用いることができる。一例として、着目画素の像高(補正中心と着目画素との距離)に応じた距離だけ、着目画素の位置から像高方向(補正中心と着目画素の座標とを通る直線上)に移動させた位置を求める。その移動先の位置における信号レベルを、その移動先の位置の周囲の画素の信号レベルを用いて補間することで求め、この補間により求められた信号レベルを着目画素の信号レベルとする方法がある。補正時の移動量(補正量)は、像高の大きさに応じた値を有し、歪曲補正量演算回路202が算出する。
歪曲補正量演算回路202は離散的な複数の像高値について予め用意された補正量を有し、着目画素の像高に該当する補正量がない場合には、用意された補正量を補間することによりその像高に該当する補正量を算出する。なお、補間の代わりに、像高と補正量との関係を近似したn次多項式を用いて所望の像高についての補正量を算出してもよい。なお、補正量を算出する際の像高の大きさを決定する補正中心には、撮影レンズ102の光軸と画像との交点だけでなく、画像内の任意の座標を指定可能である。補正中心は後述する歪曲補正量演算回路202から与えられる。
像ブレ補正回路107は、ビデオカメラ100の振れにより生じる、歪曲補正回路106によって歪みが補正された画像の像ブレを補正する。像ブレ補正回路107は、例えば、歪曲補正回路106によって歪みが補正された画像を画像メモリ105から切り出して読み出すものであって、画像の切り出し位置をビデオカメラ100の振れを相殺するように変更する。なお、切り出し位置の変更による振れの並進成分の補正に限らず、アフィン変換によって振れの光軸回りの回転成分を補正したり、射影変換により振れのあおり成分(画像の台形歪み)を補正したりする構成でもよい。像ブレ補正回路107は、像ブレを補正した画像を画像メモリ105に格納する。
歪曲付加回路108は、歪曲補正回路106及び像ブレ補正回路107によって歪みおよび像ブレが補正された画像を画像メモリ105から読み出し、この画像に撮影レンズ102に起因する歪みの効果を付加して、画像メモリ105に格納する。歪曲付加回路108は、着目画素の信号レベルとして、着目画素の位置から歪曲補正処理とは逆の方向に移動させた位置における信号レベルを求めることによって、画像に歪み効果を付加することができる。また、歪曲付加回路108で付加する歪み効果の大きさは着目画素と補正中心との距離に依存するが、補正中心は像ブレ補正回路107から出力される画像内の任意の座標位置を指定できるように構成されている。補正中心は後述する歪曲補正量演算回路202から与えられる。
記録制御回路111は、画像メモリ105に格納された動画データや静止画データあるいはメタデータなどを、記録媒体112に書き込んだり読み出したりする。記録媒体112は、例えば不揮発性メモリ、磁気記録媒体、光学記録媒体などであってよく、記録媒体112は着脱可能であってもよい。
表示制御回路109は、画像メモリ105に格納された動画データ、静止画データに基づく表示用の画像、メニュー画面などのGUI画面などを、液晶ディスプレイ(LCD)のような表示装置110に表示させる。本実施形態では、記録制御回路111が歪曲付加回路108によって歪みの効果が付加された画像を記録媒体112に書き込み、表示制御回路109が歪曲付加回路108によって歪みの効果が付加された画像を表示装置110に表示させる。
角速度センサ114はビデオカメラ100の振れに応じた振れ信号を生成する。角速度センサ114は、光軸に直交する平面内に存在し、互いに直交する二直線を検出軸とする。A/D変換器115は角速度センサ114が生成する振れ信号をサンプリングしてデジタルデータに変換し、振れデータとして像ブレ補正量演算回路203に供給する。
光学パラメータ算出回路201、歪曲補正量演算回路202、および像ブレ補正量演算回路203は、各々の機能を実現するための専用の演算回路を搭載したハードウェアで構成してもよい。あるいはこれら回路の1つ以上を、システム制御回路101のプログラマブルプロセッサがプログラムを実行することで実現する構成としてもよい。本実施形態では、各々の機能を実現するための専用の演算回路を搭載したハードウェアであるものとして説明を行う。
光学パラメータ算出回路201は、撮影レンズ102の焦点距離や被写体距離などの光学パラメータを算出し、歪曲補正量演算回路202および像ブレ補正量演算回路203に供給する。
光学パラメータ算出回路201は、撮影レンズ102の焦点距離や被写体距離などの光学パラメータを算出し、歪曲補正量演算回路202および像ブレ補正量演算回路203に供給する。
歪曲補正量演算回路202は、光学パラメータに基づいて、歪曲補正及び歪曲付加のための補正データと補正中心位置を歪曲補正回路106及び歪曲付加回路108に供給する。
像ブレ補正量演算回路203は、A/D変換器115から供給される振れデータに基づいて、ビデオカメラ100の振れによって生じる像ブレを補正するための補正量を像ブレ補正回路107に供給する。
像ブレ補正量演算回路203は、A/D変換器115から供給される振れデータに基づいて、ビデオカメラ100の振れによって生じる像ブレを補正するための補正量を像ブレ補正回路107に供給する。
図1の構成では、歪曲補正回路106、像ブレ補正回路107、歪曲付加回路108、光学パラメータ算出回路201、歪曲補正量演算回路202、像ブレ補正量演算回路203、およびシステム制御回路101が像ブレ補正装置を構成する。
コンバージョンレンズ150は、撮影レンズ102に着脱可能な補助レンズである。コンバージョンレンズの装着有無は、例えば撮影レンズ102に設けられたスイッチ151の状態によって、システム制御回路101が検出可能である。
次に、本実施形態の像ブレ補正動作について図2のフローチャートを用いて説明する。ここでは、1画面分の画像に対する像ブレ補正処理について説明する。したがって、例えば表示装置110をEVFとして機能させている場合(撮影スタンバイ状態および記録用動画の撮影中)のように、動画に対して像ブレ補正を適用する場合、図2のフローチャートに示す動作を繰り返し実行する。なお、像振れ補正は必ずしも全ての動画フレームに適用しなくてもよい。
S101で光学パラメータ算出回路201は、撮影レンズ102の歪曲特性を算出するために用いる光学パラメータを算出する。例えば光学パラメータ算出回路201は、撮影レンズ102から得られる変倍レンズ位置情報から撮影レンズ102の焦点距離を算出する。また、光学パラメータ算出回路201は、撮影レンズ102のフォーカスレンズ位置情報から被写体距離(合焦距離)を算出する。なお、これらの光学パラメータは算出によらず、テーブルを参照するなどして取得してもよい。
S102で歪曲補正量演算回路202は、歪曲補正回路106での歪み補正に用いる補正データを算出する。図3は、撮影レンズ102の歪み特性の例を示し、横軸は像高、縦軸が歪曲率である。歪曲率は、歪みがない場合に本来結像すべき像高位置からの変化率を表す。歪曲率の符号は、結像位置が変化する方向が像高が増加する方向であれば正、減少する方向であれば負。歪曲率が正の場合には「糸巻き型歪み」、負の場合には「樽型歪み」として観察される。
歪曲補正量演算回路202は、像ブレ補正回路107でのブレ補正の精度を高めるため、撮影レンズ102の収差による画像の歪みができる限り補正されるような補正データを算出する。したがって、理想的には補正データの特性が撮影レンズ102の歪み特性の逆特性となるように補正データを生成する。
撮影レンズ102の歪み特性は、撮影レンズ102の光学パラメータ(ここでは焦点距離と被写体距離)に応じて変化する。そのため、本実施形態では、撮影レンズ102の歪み特性を光学パラメータの離散的な組み合わせごとに例えばシステム制御回路101のROMに記憶しておく。そして、歪曲補正量演算回路202は、実際の光学パラメータの組み合わせに近い組み合わせに対応した歪みの特性をROMから読み出し、補間することによって、実際の光学パラメータの組み合わせに対応した歪みの特性を算出する。そして、歪曲補正量演算回路202は、算出した歪みの特性の逆特性を、像高に応じた補正データの集合として算出する。なお、歪曲補正量演算回路202では図3(b)に示すように離散的な像高についてのみ補正データを算出し、他の像高に対する補正データは歪曲補正回路106で補間するようにしてもよい。歪曲補正量演算回路202は、補正データを歪曲補正回路106に供給する。
S103で歪曲補正量演算回路202は、歪曲補正回路106における歪み補正で用いる補正中心を算出する。歪曲補正回路106では撮影レンズ102の収差によって生じる画像の歪みを補正する。そのため、歪曲補正量演算回路202は、撮影レンズ102の光軸と撮像素子103との交点に対応する画像座標を補正中心として算出し、歪曲補正回路106に供給する。撮影レンズ102の光軸と撮像素子103との交点の画像座標は、設計値に基づいて予めシステム制御回路101のROMに記憶しておくことができる。また、製品の製造時に生じた設計値とのずれ量によって補正した値を記憶しておいてもよい。なお、光軸と撮像素子との交点の画像座標が画像の中心となるような設計値が一般的である。
S104で像ブレ補正量演算回路203は、角速度センサ114からA/D変換回路を通じて供給される振れデータに基づいて、像ブレ補正量を算出し、像ブレ補正回路107に供給する。角速度センサ114は水平方向の回転軸(ヨー)と垂直方向の回転軸(ピッチ)との少なくとも2軸を検出軸とし、像ブレ補正量もそれぞれの検出軸について算出する。しかし、像ブレ補正量の算出処理は検出軸に依存しないため、説明および理解を容易にするため、以下では1つの検出軸における像ブレ補正量の算出処理について説明する。
図4は、像ブレ補正量演算回路203の内部の構成を示したブロック図である。A/D変換器115から供給される振れデータ(角速度データ)に対してハイパスフィルタ(HPF)204を適用し、DC成分などの低周波数成分を除去する。
フレーミング制御回路208は、積分器206の出力から、ユーザの意図的なフレーミング動作(パンニングやチルティング)が行われているか否かを判定する。そして、フレーミング動作が行われていると判定される場合、フレーミング制御回路208は、フレーミング動作に係る角速度成分が積分器206の算出する角変位データに与える影響を削減する。詳細については後述する。
積分器206は供給される角速度データを積分し、角度データに変換する。また、積分器206では角度データに所定の係数を乗じた角変位データを、像ブレ補正回路107で用いる補正量として出力する。
具体的には、ヨー、ピッチの振れ角度θy、θpに対する像面上の補正量Tx、Tyは以下の式により算出される。
Tx=f × tanθy / P
Ty=f × tanθp / P
(ただし、fは焦点距離[mm]、Pは画素サイズ[mm]である。ここで画素サイズは正方画素の一辺のサイズである。)
Tx=f × tanθy / P
Ty=f × tanθp / P
(ただし、fは焦点距離[mm]、Pは画素サイズ[mm]である。ここで画素サイズは正方画素の一辺のサイズである。)
リミッタ207は、角変位データを所定の上限値で制限する。
ここで、フレーミング制御回路208の動作についてさらに説明する。フレーミング制御回路208は、積分器206が出力する角変位データが予め定められた閾値を超える場合に、フレーミング動作が行われていると判定する。この閾値は、リミッタ207が制限する上限値よりも小さく、予め実験などにより決定された値である。
フレーミング制御回路208は、フレーミング動作が行われていると判定された場合、判定されない場合よりも、
・HPF204のカットオフ周波数を高くするか、
・積分器206における積分動作に含まれるローパスフィルタ(LPF)演算の時定数を短くして、振れに含まれるフレーミング動作の成分を削減することができる。
あるいはフレーミング制御回路208は、HPF204の出力する角速度データから、減算器205によってオフセットを減算することで、振れに含まれるフレーミング動作の成分を削減してもよい。
・HPF204のカットオフ周波数を高くするか、
・積分器206における積分動作に含まれるローパスフィルタ(LPF)演算の時定数を短くして、振れに含まれるフレーミング動作の成分を削減することができる。
あるいはフレーミング制御回路208は、HPF204の出力する角速度データから、減算器205によってオフセットを減算することで、振れに含まれるフレーミング動作の成分を削減してもよい。
このようなフレーミング制御回路208の制御により、パンニングやチルティングといった、ユーザの意図的なフレーミング動作が行われていても、良好な像ブレ補正が可能となる。
図2に戻り、S105で歪曲補正量演算回路202は、撮影レンズ102の焦点距離が閾値未満か否か判定し、閾値未満と判定されればS106に、閾値未満と判定されなければS109に、処理を進める。なお、このS105の判定は必須ではなく、撮影レンズ102の焦点距離によらずに、S104からS106に処理を進めてもよい。
典型的には魚眼レンズのような(超)広角レンズを用いて撮影された画像は、収差による歪みを有することが1つの特徴として認識されている。また、収差による大きな歪みを補正すると、画像の周辺部に写った物体の像が引き延ばされて見えるボリューム歪みが発生するため、観察者に違和感を与える。つまり、収差による画像歪みは像ブレ補正のためには無い方がよいが、広角レンズで撮影された画像についてはある程度あった方がむしろ自然である。
そのため、本実施形態では、撮影レンズ102の焦点距離が閾値未満の場合に歪曲付加回路108で歪曲効果を付加し、撮影レンズ102の焦点距離が閾値以上の場合には、歪曲付加回路108で歪曲効果を付加しない。ここでの閾値は、画像に収差を模した歪みを付加した方が視覚的に望ましい値として定めることができる。
S106で歪曲補正量演算回路202は、歪曲付加回路108で用いる歪曲効果の特性を算出する。本実施形態において、歪曲付加回路108で付加する歪曲効果は、像ブレ補正した画像の撮影に用いられた撮影レンズ(すなわち、撮影レンズ102)の歪み特性に基づいて算出する。例えば図3(a)に示すように撮影レンズ102の最大歪曲率が−10%の場合、最大歪曲率が−3%程度の歪曲(樽型歪曲)を付加する歪曲付加データを算出する。この歪曲付加データは、図3(b)に示した歪曲補正データに−3/10の倍率を乗算することで算出できる。なお、ここでは撮影レンズ102の歪みの3割程度の強さの歪曲効果を付加するものとしているが、歪曲付加回路108で付加する歪曲効果の強さは、撮影レンズ102の収差に起因する歪みの強さを超えない範囲で適宜定めることができる。あるいは、処理を簡略化するため、撮影レンズ102によらずに、予め用意されたデフォルトの歪曲付加データを読み出すようにしてもよい。
S107で歪曲補正量演算回路202は、歪曲付加回路108で歪曲効果を付加する際に用いる補正中心を算出し、歪曲付加回路108に供給して処理をS109に進める。歪曲補正回路106では撮影レンズ102の収差による画像歪みを補正するため、光軸と撮像素子との交点に対応する画像座標を補正中心とした。一方、像ブレ補正回路107による切り出し位置の変更により、像ブレ補正後の画像において、光軸と撮像素子との交点に対応する画像座標は経時的に変化する。
したがって、歪曲効果の付加における補正中心を光軸と撮像素子との交点に対応する画像座標とすると、像ブレ補正量の変化に応じて補正中心が画像内で移動することになる。図3(c)に示したように歪曲効果は像高(すなわち、補正中心と対象画素との距離)に応じた歪曲率を有する。そのため、補正中心が経時的に移動すると、像ブレ補正後の動画フレームにおける同一画像座標に対する歪曲率も経時的に変化し、違和感のある動画になってしまう。そのため、歪曲補正量演算回路202は、像ブレ補正後(切り出し後)の画像の中心座標を算出し、歪曲効果を付加する際の補正中心として歪曲付加回路108に供給する。
一方、S105で撮影レンズ102の焦点距離が閾値未満と判定されなかった場合、S109で歪曲補正量演算回路202は、歪曲効果を付与しないように歪曲付加回路108を設定し、処理をS108に進める。
S108で歪曲補正回路106は、画像メモリ105に記憶されている画像データに対し、歪曲補正量演算回路202から供給される歪曲補正データおよび補正中心に基づいて歪曲補正を行う。また、像ブレ補正回路107は、歪曲補正回路106の出力する画像データに対し、像ブレ補正量演算回路203から供給される像ブレ補正量に基づいて像ブレ補正を行う。歪曲付加回路108は、歪曲効果を付与する設定がなされていれば、像ブレ補正回路107が出力する画像データに対し、歪曲補正量演算回路202から供給される歪曲付加データおよび補正中心に基づいて歪曲効果を付加して画像メモリ105に記憶する。
なお、ここでは、撮影レンズ102の焦点距離が閾値未満と判定されなかった場合、歪曲効果を付加しないように歪曲付加回路108を設定した。しかし、歪曲効果が付与されない歪曲付加データを歪曲補正量演算回路202から歪曲付加回路108に供給してもよい。
ここで、歪曲補正回路106、像ブレ補正回路107、歪曲付加回路108における画像処理について、図5を用いてさらに説明する。
図5(a)は撮像素子103で撮像され、画像メモリ105に記憶されている状態の画像の歪みを模式的に示している。ここで、撮影レンズ102の収差により、光軸Oと撮像素子との交点に対応する画像座標(x,y)(ここでは画像の中心座標と一致しているものとする)を中心とした樽型の歪みが生じている。
図5(a)は撮像素子103で撮像され、画像メモリ105に記憶されている状態の画像の歪みを模式的に示している。ここで、撮影レンズ102の収差により、光軸Oと撮像素子との交点に対応する画像座標(x,y)(ここでは画像の中心座標と一致しているものとする)を中心とした樽型の歪みが生じている。
歪曲補正時には像ブレ補正されていないため、光軸Oと撮像素子との交点に対応する画像座標は(x,y)のままである。したがって、歪曲補正量演算回路202は、座標(x,y)を補正中心として歪曲補正回路106に供給する。歪曲補正回路106による歪曲補正により、図5(a)に示した画像歪みが補正(除去)される(図5(b))。
像ブレ補正回路107は、歪みが補正された図5(b)の画像に対して像ブレ補正を行う。像ブレ補正回路107は、像ブレ補正量演算回路203で算出された像ブレ補正量に基づいて、ビデオカメラ100の振れによる像ブレを打ち消すように切り出し領域を決定する。像ブレ補正回路107は、決定した切り出し領域の画像を、像ブレ補正後の画像として出力する。像ブレ補正量が0で無い限り、画像座標(x,y)と像ブレ補正後の画像(切り出し領域)の中心座標とは一致しない(図5(c))。
歪曲付加回路108は、像ブレ補正後の画像に対して、歪曲効果を付加する(図5(d))。光軸Oと撮像素子との交点に対応する画像座標(x,y)は、像ブレ補正後の画像の中心O'の座標(x',y')と一致しない。そのため、歪曲補正量演算回路202は、像ブレ補正後の画像の中心座標(x',y')を歪曲効果の付加における補正中心として歪曲付加回路108に供給する。その結果、図5(d)に示すように、像ブレ補正後の画像の中心からの距離が等しい画素に付加される歪みの大きさが等しい、適切な歪曲効果を付与することができる。したがって、動画周辺部の歪曲率が経時変化することがなくなり、観察時に違和感を与えない動画を生成できる。
なお、本実施形態では発明の趣旨を明確に説明するため、歪曲補正回路106、像ブレ補正回路107、および歪曲付加回路108でそれぞれ歪み補正処理、像ブレ補正処理、歪曲効果付与処理を独立して適用する構成を説明した。しかし、各処理における補正量や補正中心に基づいてこれらの処理を1つの座標変換に統合し、画像メモリ105に記憶された画像データに適用してもよい。こうすることで、歪み補正処理、像ブレ補正処理、歪曲効果付与処理を同時に処理することが可能となり、画像データの補正処理も1度で済むようになる。あるいは、撮影レンズの歪特性を補正するための座標変換と歪効果付与のための座標変換を合算し、この合算結果に応じて、歪曲補正かつ歪曲効果付与の処理を画像データに適用してから、像ブレ補正のための画像の切り出しを行うように構成しても良い。
以上説明したように本実施形態では、撮影レンズの収差による歪みを有する画像に対して変形処理を行うことで、収差による歪みおよび像ブレが補正され、かつ、画像の中心座標を補正中心として歪曲効果が付加された画像を生成する。そのため、動画フレームに歪曲効果を付与する場合でも、周辺部の歪曲率が経時変化することを抑制し、違和感のない動画を生成することができる。さらに、撮影レンズの収差による歪みを補正した画像に対して像ブレ補正を行うことで、精度の良い像ブレ補正が実現できる。加えて、撮影レンズの焦点距離が閾値未満の場合に歪曲効果を付与することで、広角撮影の効果を感じられる動画を生成することができる。
<第2の実施形態>
次に、本発明の第2の実施形態について説明する。第1の実施形態は撮像画像の切り出し領域を変化させて像ブレ補正を行う撮像装置を対象としていたが、本実施形態では光学部材を駆動することによって像ブレ補正を行う撮像装置を対象とする点で異なる。
次に、本発明の第2の実施形態について説明する。第1の実施形態は撮像画像の切り出し領域を変化させて像ブレ補正を行う撮像装置を対象としていたが、本実施形態では光学部材を駆動することによって像ブレ補正を行う撮像装置を対象とする点で異なる。
図6は、本実施形態に係るビデオカメラ100'の機能構成例を示すブロック図である。図6において、第1の実施形態と共通する構成については図1と同じ参照数字を付し、第1の実施形態で説明した構成についての説明は省略する。
ビデオカメラ100'は、第1の実施形態の構成から電子的に像ブレを補正する構成(像ブレ補正回路107および像ブレ補正量演算回路203)の代わりに、光学的に像ブレを補正する構成を有している。具体的には、撮影レンズ102が補正光学系116を備えるとともに、補正光学系116を駆動するための構成(118〜121)とその制御を行う光学補正制御回路220を備えている。ここで、光学補正制御回路220は、各々の機能を実現するための専用の演算回路を搭載したハードウェアで構成しても良いし、システム制御回路101のCPUがプログラムを実行することで実現する構成としてもよい。なお、図6では補正光学系116を駆動するものとしたが、代わりに、あるいはさらに、撮像素子103や撮影レンズ102全体を駆動する構成であってもよい。
補正光学系116は例えばシフトレンズであり、移動させることによって撮影レンズ102の光軸の向き(光軸と撮像素子との交点)を変えることができる。光学補正制御回路220はビデオカメラ100'の振れを打ち消すように補正光学系116を移動させることで、像ブレが補正された被写体像が撮像素子103の撮像面上に結像される。
位置検出器117は、補正光学系116の位置に応じた電圧を出力する。この電圧はアンプ118で増幅されたのち、A/D変換器119によってデジタル化され、位置データとして光学補正制御回路220に供給される。
光学補正制御回路220は、A/D変換器115から供給される振れデータに基づいてブレ補正データを算出する。ブレ補正データは補正光学系116を駆動すべき目標位置を表す。光学補正制御回路220は、A/D変換器119から供給される補正光学系116の位置と目標位置との差に基づいて、補正光学系116を駆動する。光学補正制御回路220の構成および動作については後述する。
PWM回路120は、光学補正制御回路220が出力する、目標位置と現在位置との差を表すデータ(偏差データ)を、パルス波のデューティー比を変化させる波形(PWM波形)に変調して、モータ駆動回路121に供給する。モータ駆動回路121は、PWM回路120から供給されるPWM波形に基づいて、例えばボイス・コイル型モータであるモータ122を駆動する。モータ122の駆動方向および駆動量に応じて補正光学系116が移動する。
そして、移動後の補正光学系116の位置と振れデータとに基づいて、偏差データの算出および補正光学系116の駆動が行われる。このようにして、光学補正制御回路220は、駆動目標位置と位置データの差が小さくなるように補正光学系116の位置をフィードバック制御する。これにより、補正光学系116は駆動目標位置に追従するように駆動される。
図7は、光学補正制御回路220の処理を模式的に示したブロック図であり、第1の実施形態の像ブレ補正量演算回路203と同様の処理を行うブロックには図4と同じ参照数字を付してある。敏感度演算回路221は、光学パラメータ算出回路201から取得した焦点距離情報を用い、角速度データを補正光学系116の移動量に変換する。第1の実施形態と同様にしてフレーミング制御された移動量を積分する積分器206の出力は、振れに応じた補正光学系116の変位量(目標位置)を表す。リミッタ207は変位量を補正光学系の可動範囲内に制限する。
減算器222は、リミッタ207が出力する補正光学系116の目標位置と、A/D変換器119が出力する補正光学系116の現在位置との差を求め、偏差データとして制御フィルタ223に供給する。制御フィルタ223は、偏差データに対して増幅や位相補償などの信号処理を適用した後、PWM回路120に供給する。
像面換算回路224は、A/D変換器119が出力する補正光学系116の位置情報を、撮像素子上の光軸位置の、補正光学系116が移動していないときの位置を基準とした移動量および移動方向に変換し、歪曲補正量演算回路202に供給する。
なお、ここでも角速度センサ114の検出軸の1つについての処理を説明したが、他の検出軸についても同様の処理を実行する。
なお、ここでも角速度センサ114の検出軸の1つについての処理を説明したが、他の検出軸についても同様の処理を実行する。
このような処理により、ビデオカメラ100'の振れによって生じる像ブレを光学的に補正することが可能となる。
次に、本実施形態の像ブレ補正動作について図8のフローチャートを用いて説明する。図8で、第1の実施形態と同じ処理については図2と同じ参照数字を付した。本実施形態では光学的に像ブレ補正を行うため、像ブレ補正量の算出処理(S104)がなく、補正中心の算出処理(S201およびS202)の内容が異なる点を除き、第1の実施形態と同様である。
S201における、歪曲補正回路106の補正中心の算出処理について説明する。本実施形態においても、歪曲補正回路106での歪曲補正は、撮影レンズ102の収差によって撮像画像に生じる歪を補正する処理である。そのため、撮影レンズ102の光軸と撮像素子103との交点に対応する画像座標を補正中心とした歪曲補正を実施する必要がある。
第1の実施形態では歪曲補正の対象となる撮像画像(動画フレーム)において、撮影レンズ102の光軸と撮像素子103との交点に対応する画像座標は固定である。そのため、組立誤差による設計値からのずれを考慮する場合であっても、歪曲補正における補正中心は変動しなかった。
しかしながら、本実施形態では光学的に像ぶれ補正された画像が撮影されるため、撮影レンズ102の光軸と撮像素子103との交点は、補正光学系116の位置によって変化する。そのため、歪曲補正回路106における歪曲補正の補正中心を、補正光学系116の位置に基づいて求めて歪曲補正回路106に供給する必要がある。
図7に関して説明したように、補正光学系116の現在位置を、撮像素子103上の光軸位置の、補正光学系116が移動していないときの位置を基準とした移動量に変換した値が、光学補正制御回路220から歪曲補正量演算回路202に供給される。歪曲補正量演算回路202は、補正光学系116の現在位置から得られる光軸の移動量を光軸の初期位置に適用することで、現在の撮影レンズ102の光軸と撮像素子103との交点に対応する画像座標を算出することができる。ここで、光軸の初期位置とは、補正光学系116が移動していないときの、撮影レンズ102の光軸と撮像素子103との交点に対応する画像座標である。歪曲補正量演算回路202は、このようにして算出した補正中心の画像座標を、歪曲補正回路106に供給する。
本実施形態でも第1実施形態と同様、歪曲付加回路108における歪曲効果の付加において最終的に出力する画像の中心座標を補正中心として用いる。ただし、歪曲補正後の画像全体に歪曲効果を付与する場合、補正中心は固定座標となる。切り出しを行う場合も、切り出し領域の中心が歪曲補正後の画像の中心と同じであれば、補正中心は固定座標である。
他の処理は、S108で像ブレ補正が行われないことを除き、第1実施形態の共通であってよいため説明を省略する。
他の処理は、S108で像ブレ補正が行われないことを除き、第1実施形態の共通であってよいため説明を省略する。
図9は、図5と同様に、歪曲補正回路106および歪曲付加回路108における画像処理を模式的に示している。
図9(a)は撮像素子103で撮像され、画像メモリ105に記憶されている状態の画像の歪みを模式的に示している。ここで、撮影レンズ102の収差により、画像には光軸Oと撮像素子との交点に対応する画像座標(x,y)を中心とした樽型の歪みが生じている。補正光学系116が移動していることにより、画像座標(x,y)と画像の中心座標とは一致しない。
図9(a)は撮像素子103で撮像され、画像メモリ105に記憶されている状態の画像の歪みを模式的に示している。ここで、撮影レンズ102の収差により、画像には光軸Oと撮像素子との交点に対応する画像座標(x,y)を中心とした樽型の歪みが生じている。補正光学系116が移動していることにより、画像座標(x,y)と画像の中心座標とは一致しない。
歪曲補正量演算回路202は、座標(x,y)を補正中心として歪曲補正回路106に供給する。歪曲補正回路106による歪曲補正により、図9(a)に示した画像歪みが補正(除去)される(図9(b))。この時点で、像ブレおよび収差による歪みが補正された画像が得られる。
そして、歪曲補正量演算回路202は、画像の中心座標(x',y')を歪曲効果の付加における補正中心として歪曲付加回路108に供給する。これにより、歪曲付加回路108は、図9(c)に示すように、画像の中心からの距離が等しい画素に付加される歪みの大きさが等しい、適切な歪曲効果を付与することができる。したがって、動画周辺部の歪曲率が経時変化することがなくなり、観察時に違和感を与えない動画を生成できる。
以上説明したように本実施形態によれば、光学的に像ブレを補正する場合であっても、光学系の収差による画像の歪みを有する画像に対して変形処理を行う。これにより、収差による歪みが補正され、かつ、画像の中心座標を補正中心として歪曲効果が付加された画像が生成される。本実施形態においても第1実施形態と同様の効果が得られる。
<第3の実施形態>
次に、本発明の第3の実施形態について説明する。本実施形態は、第1の実施形態や第2の実施形態と組み合わせて実行可能である。
第1および第2の実施形態では、撮影レンズ102の焦点距離が閾値未満の場合に歪曲効果を付与し、撮影レンズ102の焦点距離が閾値以上の場合には歪曲効果を付与しない構成であった。
次に、本発明の第3の実施形態について説明する。本実施形態は、第1の実施形態や第2の実施形態と組み合わせて実行可能である。
第1および第2の実施形態では、撮影レンズ102の焦点距離が閾値未満の場合に歪曲効果を付与し、撮影レンズ102の焦点距離が閾値以上の場合には歪曲効果を付与しない構成であった。
一方で、レンズ交換ができないビデオカメラなどでは、撮影レンズ102に取り付けて撮影レンズ102の焦点距離を変更するコンバージョンレンズ150(図1)が用いられることがある。本実施形態では、ビデオカメラ100または100'の撮影レンズ102に、脱着可能なコンバージョンレンズ(またはアタッチメントレンズ)が装着された場合の制御について説明する。
図10(a)は、撮影レンズ102単体の歪み特性301と、撮影レンズ102にワイドコンバージョンレンズが装着された際の光学系全体(撮影レンズとワイドコンバージョンレンズとの組み合わせ)の歪み特性302とを示している。ワイドコンバージョンレンズは撮影レンズ102よりも広角な撮影を可能にするが、樽型歪曲がより強くなる。図10(a)の例では、撮影レンズ102単体での最大歪曲率が−10%であったのに対して、ワイドコンバージョンレンズを装着した場合の最大歪曲率は−15%となり、樽型歪みが大きくなる。
システム制御回路101は、ワイドコンバージョンレンズの装着有無を、例えばスイッチ151(図1)によって電気的もしくは機械的に検出することができる。あるいは、メニュー画面を通じてユーザからワイドコンバージョンレンズの装着有無の設定を変更可能とし、システム制御回路101は設定内容にしたがってワイドコンバージョンレンズの装着有無を判定してもよい。
コンバージョンレンズが装着されているとシステム制御回路101が判定した場合、歪曲補正量演算回路202は、コンバージョンレンズを含む光学系全体の歪みの特性302を補正するような補正データを算出する。例えば歪曲補正量演算回路202は、図10(b)の304で示す、図10(a)の歪みの特性302の逆特性に従い、複数の離散的な像高に対応する補正量を算出する。
次に、ワイドコンバージョンレンズ装着時の歪曲付加データの算出について説明する。ワイドコンバージョンレンズを装着することによって光学系全体の歪みの最大歪曲率が10%から15%に増加する。そのため、歪曲付加回路108で付与する歪曲効果も、ワイドコンバージョンレンズが装着されていると判定される場合には、そうでない場合よりも強い歪曲効果を付加する。
例えば、ワイドコンバージョンレンズが装着されていないと判定される場合の歪曲付加データの特性が図10(c)の305で示されるものであるとする。この場合、ワイドコンバージョンレンズが装着されたと判定されると、歪曲補正量演算回路202は、歪曲最大歪曲率がより大きな歪曲付加データを生成する。歪曲補正量演算回路202は、例えば図10(c)に示す例では306に示す特性を有する歪曲付加データを生成することができる。ここで、歪曲補正量演算回路202は、補正量の特性303と304との差を相殺するような特性を有する歪曲効果306を付加する歪曲付加データを生成するものとする。換言すれば、歪曲補正量演算回路202は、コンバージョンレンズまたはアタッチメントレンズに起因する歪みに等しい歪曲効果を付加する歪曲付加データを生成する。これにより、ワイドコンバージョンレンズによって広角化された画角が歪曲補正によって狭められることを防止することができる。また、ワイドコンバージョンレンズの装着により増加するボリューム歪みの影響を軽減し、自然な動画を生成することが可能となる。
以上説明したように本実施形態によれば、コンバージョンレンズまたはアタッチメントレンズが装着されて光学系全体の歪みの特性が変化した場合であっても、第1および第2の実施形態と同様の効果を得ることができる。
(その他の実施形態)
以上、本発明を例示的な実施形態に基づいて説明したが、本発明はこれら特定の実施形態に限定されず、発明の範囲内で様々な変更を行うことができる。また、上述の実施形態では、装置の振れを角速度センサによって検出する構成を説明したが、他の構成を用いて検出してもよい。例えば、加速度センサで検出した加速度から振れ量を算出したり、撮像画像から動き情報を検出して装置の振れ量を算出しても良い。
以上、本発明を例示的な実施形態に基づいて説明したが、本発明はこれら特定の実施形態に限定されず、発明の範囲内で様々な変更を行うことができる。また、上述の実施形態では、装置の振れを角速度センサによって検出する構成を説明したが、他の構成を用いて検出してもよい。例えば、加速度センサで検出した加速度から振れ量を算出したり、撮像画像から動き情報を検出して装置の振れ量を算出しても良い。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100,100’…ビデオカメラ、101…システム制御部、102…撮影レンズ、103…撮像素子、106…歪曲補正部、107…像ブレ補正部、108…歪曲付加部、201…光学パラメータ算出部、202…歪曲補正量演算部、203…像ブレ補正量演算部
Claims (22)
- 光学系を介して撮像された第1の画像に対して変形処理を含む1つ以上の処理を適用することにより第2の画像を生成する生成手段を有する画像処理装置であって、
前記第1の画像は、前記光学系の収差による歪みを有する画像であり、
前記第2の画像は、画像の中心座標と前記歪みの中心に対応する座標とが一致しない画像であって、
前記生成手段は、前記画像の中心座標からの距離に応じた歪曲率の歪みを有する前記第2の画像を生成する、
ことを特徴とする画像処理装置。 - 前記生成手段は、前記変形処理として、前記光学系の収差による画像の歪みを補正する処理と、前記第2の画像の中心座標からの距離に応じた歪曲率を有する歪曲効果を付加する処理とを適用することを特徴とする請求項1に記載の画像処理装置。
- 前記生成手段は、前記光学系の収差による画像の歪みを補正する処理を適用してから、前記歪曲効果を付加する処理を適用することを特徴とする請求項2に記載の画像処理装置。
- 前記生成手段は、前記光学系の収差による画像の歪みを補正する処理と、前記歪曲効果を付加する処理を、同時に適用することを特徴とする請求項2に記載の画像処理装置。
- 前記第1の画像は、光学的に像ブレを補正する像ブレ補正装置によって像ブレが補正された画像であることを特徴とする請求項2乃至4のいずれか1項に記載の画像処理装置。
- 前記像ブレ補正装置は、装置の振れに応じて前記光学系の全体または補正光学系、および/または撮像素子を駆動することによって光学的に像ブレを補正することを特徴とする 請求項5に記載の画像処理装置。
- 前記1つ以上の処理は、装置の振れに応じた領域を切り出す処理を含むことを特徴とする請求項2に記載の画像処理装置。
- 前記生成手段は、前記第1の画像に対して、前記光学系の収差による画像の歪みを補正する処理、装置の振れに応じた領域を切り出す処理、および、前記歪曲効果を付加する処理の順で適用することを特徴とする請求項7に記載の画像処理装置。
- 前記生成手段は、前記第1の画像に対して、前記光学系の収差による画像の歪みを補正する処理、および、前記歪曲効果を付加する処理を適用してから、前記装置の振れに応じた領域を切り出す処理を適用することを特徴とする請求項7に記載の画像処理装置。
- 前記生成手段は、前記第1の画像に対して、前記光学系の収差による画像の歪みを補正する処理、装置の振れに応じた領域を切り出す処理、および、前記歪曲効果を付加する処理を同時に適用することを特徴とする請求項7に記載の画像処理装置。
- 前記生成手段は、前記光学系の光軸と撮像素子の交点に対応する画像座標を、前記歪みの中心に対応する座標とすることを特徴とする請求項2乃至10のいずれか1項に記載の画像処理装置。
- 前記光学系の焦点距離を変更する補助レンズが装着されていることを検出する検出器をさらに有し、
前記補助レンズが装着されていることが検出されている場合、前記生成手段は、前記光学系および前記補助レンズの収差による画像の歪みを補正する処理を行うことを特徴とする請求項2乃至11のいずれか1項に記載の画像処理装置。 - 前記補助レンズが装着されていることが検出されている場合、前記生成手段は、前記補助レンズに起因する収差に基づく歪曲効果を付加することを特徴とする請求項12に記載の画像処理装置。
- 前記生成手段は、前記光学系の焦点距離が閾値未満の場合に前記歪曲効果を付加し、前記光学系の焦点距離が閾値以上の場合に前記歪曲効果を付加しないことを特徴とする請求項2乃至13のいずれか1項に記載の画像処理装置。
- 前記第2の画像の歪曲率が、前記光学系の収差による歪みの歪曲率よりも小さいことを特徴とする請求項1乃至14のいずれか1項に記載の画像処理装置。
- 前記第1の画像が動画フレームであることを特徴とする請求項1乃至15のいずれか1項に記載の画像処理装置。
- 動画を取得するために用いられた光学系の収差による画像の歪みの補正、および、撮像装置による振れの補正がなされた前記動画を生成する画像処理装置であって、
前記動画の各フレームに対し、画像の中心位置を基準とした歪みを付加するように、前記動画を処理することを特徴とする画像処理装置。 - 光学系が形成する光学像に応じた第1の画像を生成する撮像素子と、
前記第1の画像に対して変形処理を含む1つ以上の処理を適用することにより第2の画像を生成する生成手段とを有する撮像装置であって、
前記第1の画像は、前記光学系の収差による歪みを有する画像であり、
前記第2の画像は、画像の中心座標と前記歪みの中心に対応する座標とが一致しない画像であって、
前記生成手段は、前記画像の中心座標からの距離に応じた歪曲率の歪みを有する前記第2の画像を生成することを特徴とする撮像装置。 - 光学系が形成する光学像に応じた動画を生成する撮像素子と、
振れを補正するための振れ補正手段と、
前記動画の各フレームに対し、前記光学系の収差による画像の歪みの補正を行うとともに、画像の中心位置を基準とした歪みを付加するように、前記動画を処理する画像処理手段と、
を有することを特徴とする撮像装置。 - 光学系を介して撮像された第1の画像に対して変形処理を含む1つ以上の処理を適用して第2の画像を生成する生成工程を有する画像処理方法であって、
前記第1の画像は、前記光学系の収差による歪みを有する画像であり、
前記第2の画像は、画像の中心座標と前記歪みの中心に対応する座標とが一致しない画像であって、
前記生成工程では、前記画像の中心座標からの距離に応じた歪曲率の歪みを有する前記第2の画像を生成することを特徴とする画像処理方法。 - 動画を取得するために用いられた光学系の収差による画像の歪みの補正、および、撮像装置による振れの補正がなされた前記動画を生成する生成工程を有する画像処理方法であって、
前記生成工程では、前記動画の各フレームに対し、画像の中心位置を基準とした歪みを付加するように、前記動画を処理することを特徴とする画像処理方法。 - コンピュータに請求項20または21に記載の画像処理方法の各工程を実行させるためのプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018107950.8A DE102018107950A1 (de) | 2017-04-18 | 2018-04-04 | Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und bildaufnahmevorrichtung |
US15/954,247 US10778896B2 (en) | 2017-04-18 | 2018-04-16 | Image processing apparatus and image processing method |
GB1806295.0A GB2563140B (en) | 2017-04-18 | 2018-04-18 | Image processing apparatus, image processing method, and image capturing apparatus |
CN201810348960.5A CN108737726B (zh) | 2017-04-18 | 2018-04-18 | 图像处理设备和方法、摄像设备和计算机可读存储介质 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017082252 | 2017-04-18 | ||
JP2017082252 | 2017-04-18 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018182730A JP2018182730A (ja) | 2018-11-15 |
JP6526273B2 true JP6526273B2 (ja) | 2019-06-05 |
Family
ID=64277302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018028211A Active JP6526273B2 (ja) | 2017-04-18 | 2018-02-20 | 画像処理装置、画像処理方法、および撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6526273B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6880309B2 (ja) | 2018-03-19 | 2021-06-02 | 富士フイルム株式会社 | 放射線検出器、放射線画像撮影装置、及び製造方法 |
JP6937722B2 (ja) * | 2018-05-18 | 2021-09-22 | 株式会社 日立産業制御ソリューションズ | 画像処理装置および画像処理方法 |
JP7132844B2 (ja) * | 2018-12-26 | 2022-09-07 | 株式会社タムロン | 像振れ補正装置、及びそれを備えた撮像装置、並びに像振れ補正方法 |
US11727545B2 (en) * | 2019-12-12 | 2023-08-15 | Canon Kabushiki Kaisha | Image processing apparatus and image capturing apparatus |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4418317B2 (ja) * | 2004-07-21 | 2010-02-17 | オリンパス株式会社 | 撮像装置 |
JP2006054543A (ja) * | 2004-08-10 | 2006-02-23 | Nikon Corp | デジタルスチルカメラ |
JP4821704B2 (ja) * | 2007-05-16 | 2011-11-24 | パナソニック電工株式会社 | 画像歪み補正方法 |
CN103186784A (zh) * | 2011-12-31 | 2013-07-03 | 北京大唐高鸿软件技术有限公司 | 文本图像的桶形畸变校正方法 |
JP6600163B2 (ja) * | 2014-08-19 | 2019-10-30 | キヤノン株式会社 | 像振れ補正装置及びその制御方法 |
JP2017067954A (ja) * | 2015-09-29 | 2017-04-06 | オリンパス株式会社 | 撮像装置、及び撮像装置の像ブレ補正方法 |
-
2018
- 2018-02-20 JP JP2018028211A patent/JP6526273B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018182730A (ja) | 2018-11-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6214316B2 (ja) | 像ブレ補正装置、レンズ装置、撮像装置、像ブレ補正装置の制御方法、プログラム、および、記憶媒体 | |
CN108737726B (zh) | 图像处理设备和方法、摄像设备和计算机可读存储介质 | |
JP6526273B2 (ja) | 画像処理装置、画像処理方法、および撮像装置 | |
JP6097522B2 (ja) | 像ブレ補正装置及び像ブレ補正方法、撮像装置 | |
JP6124588B2 (ja) | 像ブレ補正装置、及びその制御方法、プログラム、記憶媒体 | |
JP6209002B2 (ja) | 撮像装置およびその制御方法 | |
JP6821339B2 (ja) | 像振れ補正装置、傾き補正装置、像振れ補正装置の制御方法、傾き補正装置の制御方法 | |
JP6097521B2 (ja) | 像ブレ補正装置及び像ブレ補正方法、撮像装置 | |
US9338355B2 (en) | Image capturing apparatus, control method thereof, and storage medium | |
US9225901B2 (en) | Image capturing apparatus, control method thereof, and storage medium | |
JP6103877B2 (ja) | 画像処理装置及びその制御方法 | |
JP6420888B2 (ja) | 像ブレ補正装置及びその制御方法、プログラム、記憶媒体 | |
JP5836110B2 (ja) | 撮像装置およびその制御方法 | |
US8817127B2 (en) | Image correction device for image capture device and integrated circuit for image correction device | |
EP3836540B1 (en) | Image processing apparatus and image capturing apparatus | |
EP3783879B1 (en) | Image stabilization apparatus, method of controlling the same, program and storage medium | |
JP2019029832A (ja) | 撮像装置 | |
JP2021071516A (ja) | 撮像装置および撮像装置の制御方法 | |
JP2006165784A (ja) | 撮像装置 | |
JP7510264B2 (ja) | 画像処理装置および画像処理方法、撮像装置 | |
JP6346653B2 (ja) | 像ブレ補正装置及び像ブレ補正方法、プログラム、記憶媒体 | |
JP2015201691A (ja) | 撮像装置およびその制御方法 | |
JP2020061687A (ja) | ブレ補正装置、撮像装置、ブレ補正方法、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190408 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190507 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6526273 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |