JP2021097402A - 画像処理装置および撮像装置 - Google Patents

Abstract

【課題】アナモフィック光学系を用いた撮像により得られる映像に対して防振処理や補正処理を良好に行う。【解決手段】画像処理装置は、撮像光学系１０１を介した撮像により記録用映像データを生成する手段１０６、１０８と、撮像光学系がアナモフィック光学系である場合に、該アナモフィック光学系の圧縮率に関する情報と記録用映像データを構成する各フレーム画像におけるアナモフィック光学系の中心位置を示す情報とを記録用映像データに付加する手段１０６とを有する。【選択図】図１

Description

本発明は、像振れを低減（補正）する防振機能を有する撮像装置に関する。

撮像手法として、アナモフィックレンズを用いて光学像を水平方向に圧縮（スクイーズ）し、該光学像を撮像して得られた映像データの圧縮を画像処理によって戻す伸張処理（デスクイーズ）を行うことでシネスコープ（２．３９：１）の映像を得る手法がある。そしてそのように得られた映像に対する防振方法として特許文献１にて開示された方法がある。特許文献１には、アナモフィックレンズを用いた撮像により得られた映像データから動きベクトルを検出し、該動きベクトルを用いて圧縮を戻した映像データに対して防振処理（電子防振）を行う際に、圧縮を考慮した動きベクトル用いる方法が開示されている。

また、特許文献２には、撮像時に防振処理を行って得られた映像データを記録し、該記録映像データに対して上記防振処理に関する情報に基づいて該防振処理をキャンセルした映像に対して再び防振処理を行う撮像方法が開示されている。

特許３２７８２０６号公報 特開２０１５−２１６５１０号公報

しかしながら、特許文献２では、アナモフィックレンズの使用時に特有の歪曲やケラレを良好に補正するために好適な防振処理については何ら開示されていない。

本発明は、アナモフィックレンズを用いた撮像により得られる映像データに対して防振処理や補正処理を良好に行えるようにした画像処理装置および撮像装置を提供する。

本発明の一側面としての画像処理装置は、撮像光学系を介した撮像により記録用映像データを生成する映像データ生成手段と、撮像光学系がアナモフィック光学系である場合に、該アナモフィック光学系の圧縮率に関する情報と記録用映像データを構成する各フレーム画像におけるアナモフィック光学系の中心位置を示す情報とを記録用映像データに付加する情報付加手段とを有することを特徴とする。

また本発明の他の一側面としての画像処理装置は、撮像光学系を介した撮像により生成された撮像映像データのフレーム画像ごとに、画像振れを低減するようにフレーム画像の一部の画像領域を切り出す電子防振を行って記録用映像データを生成する電子防振手段と、記録用映像データのフレーム画像に対するロール補正および歪曲補正のうち少なくとも一方の補正処理を行う処理手段とを有する。処理手段は、撮像光学系がアナモフィック光学系である場合は補正処理を制限することを特徴とする。

また本発明の他の一側面としての画像処理装置は、撮像光学系を介した撮像により生成された撮像映像のフレーム画像ごとに、画像振れを低減するようにフレーム画像の一部の画像領域を切り出す電子防振を行って記録用映像データを生成する電子防振手段と、撮像光学系がアナモフィック光学系である場合に電子防振を制限する又は警告動作を行う制御手段とを有することを特徴とする。なお、上記画像処理装置を有する撮像装置も、本発明の他の一側面を構成する。また、上記画像処理装置が実行する画像処理方法やコンピュータに該画像処理方法に従う処理を実行させるコンピュータプログラムも、本発明の他の一側面を構成する。

本発明によれば、アナモフィック光学系を用いた撮像により得られる映像に対して防振処理や補正処理を良好に行うことを可能とする画像処理装置および撮像装置を実現することができる。

本発明の実施例である撮像装置の構成を示すブロック図。 実施例１および実施例２における座標系を示す図。 実施例１における処理を示すフローチャート。 実施例１における別の処理を示すフローチャート。 実施例２における処理を示すフローチャート。 実施例２におけるユーザインターフェースの表示例を示す図。 実施例３における記録映像と編集処理後の画像イメージを示す図。 実施例３における処理を示すフローチャート。

以下、本発明の実施例について図面を参照しながら説明する。

図１は、本発明の実施例１である画像処理装置を備えた撮像装置の構成を示している。本実施例の撮像装置は、レンズ交換式またはレンズ一体型のデジタルカメラである。なお、本発明は、上記のようなデジタルカメラ以外の各種撮像装置にも適用することができる。

本実施例では、手振れ等によって撮像装置に加わる振れを「カメラ振れ」といい、カメラ振れにより発生する撮像画像の振れを「画像振れ」という。また、図２に示すように、撮像光学系の光軸に直交する平面内において垂直方向に延びる軸（水平方向の回転の中心軸）をＹａｗ軸といい、水平方向に延びる軸（垂直方向の回転の中心軸）をＰｉｔｃｈ軸という。さらに光軸方向に延びる軸（光軸回りでの回転の中心軸）をＲｏｌｌ軸という。

図１において、撮像レンズ（撮像光学系）１０１は、変倍を行うズームレンズ１０２、光学的な像振れ補正（レンズ防振）を行うための補正レンズとしてのシフトレンズ１０３、焦点調節を行うフォーカスレンズ１０４および光量調節を行う不図示の絞りを含む。撮像レンズ１０１は、不図示の被写体からの光を結像させ、撮像素子１０５上に光学像（被写体像）を形成する。

撮像素子１０５は、ＣＭＯＳセンサ等により構成され、撮像レンズ１０１により形成された光学像を光電変換して撮像信号を生成し、該撮像信号を信号処理部１０６に出力する。撮像素子１０５は、モータ１２７によって光軸に直交する平面内で水平方向と垂直方向にシフトされたり光軸回りで回転されたりする。これにより、撮像素子１０５の移動（シフトおよび回転）による像振れ補正としてのセンサ防振を行うことができる。

信号処理部１０６は、撮像素子１０５から出力された撮像信号に対してホワイトバランス調整やガンマ補正等の信号処理を行って動画像データとしての撮像映像データ（複数のフレーム画像）を生成する。撮像映像データは、画像メモリ１０７に格納される。

画像切り出し制御部（電子防振手段）１０８は、画像メモリ１０７に格納された撮像映像データの各フレーム画像から所定の一部の画像領域（切り出し領域）を切り出して、記録用および表示用の映像データを構成する新たなフレーム画像を生成し、記録制御部１１１と表示制御部１０９に出力する。このとき、切り出し領域をカメラ振れに応じて移動（シフトまたは回転）させることによって、カメラ振れにより生じるフレーム画像間の被写体の移動である画像振れを補正（低減）する電子防振を行う。

なお、信号処理部１０６と画像切り出し制御部１０８で行われる一連の処理は、撮像信号が例えばＮＴＳＣフォーマットに準拠したビデオ信号である場合には６０Ｈｚの周期で実行され、これにより記録用および表示用映像データが生成される。つまり、本実施例では、信号処理部１０６と画像切り出し制御部１０８とが、記録用映像データを生成する映像データ生成手段として機能する。

表示制御部１０９は、画像切り出し制御部１０８から出力された表示用映像データをライブビュー画像として表示デバイス１１０に表示させたり、ユーザが各種設定を行うためのメニュー画像や記録済の映像データ等を表示デバイス１１０に表示させたりする。表示デバイス１１０は、液晶表示素子（ＬＣＤ）等により構成されている。

記録制御部１１１は、記録媒体１１２に対する映像データやメタ情報等の記録と読出しを制御する。記録媒体１１２は、半導体メモリやハードディスク等により構成される。

角速度センサ１１３は、撮像装置１００に加わるＹａｗ軸、Ｐｉｔｃｈ軸およびＲｏｌｌ軸回りのカメラ振れを検出するためのセンサであり、カメラ振れの角速度を示す電圧値を有する振れ信号を出力する。Ａ／Ｄ変換器（１）１１４は、角速度センサ１１３から出力された振れ信号（電圧信号）をデジタルデータとしての角速度データに変換し、該角速度データを補正量演算部１１７に出力する。

動きベクトル検出部１１５は、例えばブロックマッチング法を用いて、光軸に直交する平面内での水平方向と垂直方向のそれぞれでの動きベクトルを検出する。なお、ブロックマッチング法に代えて相関法を用いてもよい。ブロックマッチング法では、動きベクトル検出部１１５は、入力されたフレーム画像を複数のブロック（各ブロックは例えば１６×１６画素）に分割し、ブロック（対象ブロック）ごとに前フレーム画像との差を計算する。そして、この差の絶対値の和が最小となる前フレーム画像のブロックを探索し、探索の結果として特定されたブロックと対象ブロックとの相対的なずれをその対象ブロックにおける動きベクトルとして検出する。こうしてフレーム画像の画素単位での水平および垂直方向のそれぞれの動きベクトルが検出される。検出された水平方向の動きベクトルはＨ＿Ｖｅｃｔとして、垂直方向の動きベクトルはＶ＿Ｖｅｃｔとして補正量演算部１１７に送られる。

レンズ情報取得部１１６は、撮像レンズ１０１の特性を示す情報（以下、光学系情報という）を取得する。光学系情報には、焦点距離、絞り値、フォーカス位置、シフトレンズ移動量、歪曲量、後述するアナモフッィクレンズの圧縮率、有効像円の中心位置や直径等を含む。撮像レンズ１０１が交換レンズである場合は交換レンズとの通信により光学系情報を取得してもよいし、撮像装置１００に設けられたユーザインターフェースを介してユーザにより入力されることで取得してもよい。取得された光学系情報は、補正量演算部１１７に送られる。

補正量演算部１１７は、カメラ振れによって生じる画像振れを補正するための補正量を演算して、補正量分割制御部１１８に送る。補正量演算部１１７は、上述したレンズ防振、センサ防振および電子防振のそれぞれでの補正量ではなく、これらレンズ防振、センサ防振および電子防振の全体での補正量(以下、全補正量という)を演算する。補正量分割制御部１１８は、補正量演算部１１７で算出された全補正量を、レンズ防振、センサ防振および電子防振のそれぞれの補正量に分割する。ただし、以下の説明では、センサ防振と電子防振のみを行うものとする。このため、補正量演算部１１７は、全補正量をセンサ防振における補正量（以下、センサ補正量という）と電子防振における補正量（以下、電子補正量という）とに分割する。

センサ補正量変換部１１９は、補正量分割制御部１１８からのセンサ補正量を、撮像素子１０５の移動量に変換し、該移動量に対応する撮像素子１０５の目標位置（以下、センサ目標位置という）を出力する。電子補正量変換部１２０は、補正量分割制御部１１８からの電子補正量を、画像切り出し制御部１０８での切り出し領域の中心位置である切り出し位置に変換し、該切り出し位置を画像切り出し制御部１０８に設定する。

位置検出部１２１は、撮像素子１０５の位置を示す電圧値を有するセンサ位置信号を出力する。センサ位置信号は、アンプ１２２によって所定の電圧範囲の信号に増幅された後、Ａ／Ｄ変換器（２）１２３によってデジタルデータとしてのセンサ位置データ（偏差データ）に変換される。

制御フィルタ１２４は、該センサ位置データに対して増幅や位相補償等の信号処理を行って、信号処理後のセンサ位置データをパルス幅変調部１２５に送る。

パルス幅変調部１２５は、制御フィルタ１２４からのセンサ位置データをＰＷＭ信号に変換し、該ＰＷＭ信号をモータ駆動部１２６に出力する。モータ１２７は、ボイスコイルモータ等により構成され、モータ駆動部１２６からのＰＷＭ信号によって駆動されることにより、撮像素子１０５を水平方向および垂直方向に移動させる。移動された撮像素子１０５の位置は位置検出部１２１により検出されて次のセンサ位置データの算出に用いられる。これにより、センサ目標位置とセンサ位置データとの差分が小さくなるようにフィードバック制御される。制御フィルタ１２４、パルス幅変調部１２５、モータ駆動部１２６およびモータ１２７によりセンサ防振手段が構成される。

図３のフローチャートは、記録用映像データ（フレーム画像）に対してメタ情報を付加する処理を示している。この処理はフレーム毎に行われるＶＤ(Vertical Driving Pulse)処理である。コンピュータとしての信号処理部（映像データ生成手段および情報付加手段）１０６は、コンピュータプログラムに従って本処理を所定の周期（例えば６０Ｈｚ）で繰り返し実行する。ここでは、撮像レンズ１０１がアナモフッィクレンズ（アナモフィック光学系）である場合について説明する。

まずステップＳ３０１において、信号処理部１０６は、ユーザにより電子防振の実行が選択されている（ＯＮ）か否かを判定し、ＯＮであればステップＳ３０２に進み、そうでなければステップＳ３０３に進む。ステップＳ３０３では、信号処理部１０６は、フレーム画像に電子防振がＯＦＦであることを示すメタ情報を付加して記録する。

一方、ステップＳ３０２では、信号処理部１０６は、フレーム画像ごとに、メタ情報として、電子防振後のフレーム画像に対する後処理に用いる情報を付加して記録する。この後処理に用いる情報には、アナモフィックレンズの圧縮率に関する情報、電子防振における切り出し領域の位置に関する情報および該切り出し領域の切り出し倍率に関する情報が含まれる。また後処理に用いる情報には、光学中心位置回りでのフレーム画像の傾き角度であるロール角度に関する情報や、ローリングシャッタ歪みおよび撮像レンズ１０１による光学歪み等により生ずるフレーム画像の歪曲に関する情報も含まれる。ここにいう「Ａに関する情報」とは、直接「Ａ」を示す情報だけでなく、「Ａ」に変換できる情報等、「Ａ」を間接的に示す情報を含む意味である。

アナモフィックレンズの圧縮率に関する情報は、例えば、装着されたアナモフィックレンズ毎に決まっている圧縮率（１／２、１／１．３等）そのものでもよい。また、圧縮率に変換できるテーブル番号（Ｎｏ．１であれば１／２、Ｎｏ．２であれば１／１．３等）でもよいし、交換レンズの型番から圧縮率を取得できるように型番と圧縮率とを対応付けたテーブルを記憶しておく場合は交換レンズの型番であってもよい。切り出し領域の位置に関する情報は、例えば切り出し領域の中心位置の（水平座標，垂直座標）により表される。例えば、３８４０×２１６０画素のフレーム画像において（１９２０，１０８０）は、電子防振における切り出し領域の中心位置が撮像レンズ１０１の光軸位置、すなわち光学中心位置と一致することを示す。また、電子防振における切り出し領域の中心位置を光学中心位置からのオフセット位置として表す場合の（０，０）も、切り出し領域の中心位置が光学中心位置であることを示す。

切り出し倍率に関する情報は、例えば、撮影画角に対して電子防振後の画像の画角が０．９倍であれば切り出し倍率である０．９そのものでもよいし、切り出し倍率に変換できるテーブル番号等でもよい。

また、ロール角度に関する情報は、例えば、電子防振により補正したロール角度が０．５度であればロール角度である０．５そのものでもよいし、ロール角度に変換できるテーブル番号等でもよい。

また、歪曲に関する情報は、例えば、交換レンズとその交換レンズの状態（焦点距離、フォーカス位置）によって決まる歪曲収差や、それに基づく歪曲パラメータそのものでもよいし、それらに変換できる情報でもよい。

ただし、ロール補正や歪曲補正を撮像時に電子防振とともに行うとその後の処理（以下、後処理という）でこれらの補正成分を除去するのが困難になる。このため、アナモフィックレンズの使用時であって電子防振を行う場合には、ロール補正や歪曲補正といった補正処理を制限する（無効とする）ことが好ましい。

図４のフローチャートは、アナモフィックレンズの使用時であって電子防振を行う場合に上記補正処理を制限する処理を示している。ステップＳ４０１において、処理手段としての信号処理部１０６は、ユーザにより電子防振の実行が選択されている（ＯＮ）か否かを判定し、ＯＮであればステップＳ４０２に進み、そうでなければステップＳ４０５に進む。ステップＳ４０５では、信号処理部１０６は、フレーム画像に対して、電子防振がＯＦＦであることを示すメタ情報を付加して記録する。

一方、ステップＳ４０２では、信号処理部１０６は、撮像レンズ１０１がアナモフィックレンズか否かを判定し、アナモフッィクレンズである場合はステップＳ４０３をスキップしてステップＳ４０４に進み、そうでなければステップＳ４０３に進む。

ステップＳ４０３では、信号処理部１０６は、ロール補正と歪曲補正を無効として次のステップＳ４０４に進む。

ステップＳ４０４では、信号処理部１０６は、フレーム画像ごとに、メタ情報としての上述した後処理に用いる情報情報を付加して記録する。

以上説明したように本実施例では、電子防振がＯＮである場合に電子防振後のフレーム画像に対する後処理に用いる情報をフレーム画像ごとに付加して記録する。これにより、後処理で伸張処理（デスクイーズ処理）や、歪曲やケラレ等の光学中心位置を基準とした補正処理を行い易くすることができる。

なお、アナモフィックレンズとしての交換レンズを使用する場合において該アナモフィックレンズの圧縮率を交換レンズとの通信による自動取得ができないときに、ユーザ操作によって選択された圧縮率を記録してもよい。このとき、後処理において、記録されている圧縮率が間違っていた場合に対応不可能とならないように、記録されている圧縮率を使用するのか後処理で指定された圧縮率を使用するのかを選択可能なユーザインターフェースを提供することが好ましい。

次に、本発明の実施例２について図５を用いて説明する。撮像装置１００の基本的な構成は実施例１と同じである。ただし本実施例では、撮像レンズ１０１がアナモフィックレンズである場合に後処理に影響を与え得る機能をすべて無効とする場合について説明する。アナモフィックレンズとしての交換レンズが撮像装置との通信機能を有していない場合には、撮像装置においてその装着を検出することができない。この場合には、撮像装置において通信により情報の取得が不可能なアナモフィックレンズが装着されたか否かの判断を、映像データの水平方向の伸張表示処理（伸張処理を含む表示処理）であるデスクイーズ表示のＯＮ／ＯＦＦのユーザによる選択に応じて行う。

ステップＳ５０１において、信号処理部１０６は、交換レンズとの通信によって該交換レンズの種別を示す情報の取得が可能か否かを判断し、取得可能である場合はステップＳ５０２に進み、そうでない場合はステップＳ５０３に進む。

ステップＳ５０３では、信号処理部１０６は、デスクイーズ表示がＯＮに設定されているか否かを判断し、ＯＮに設定されている場合はステップＳ５０４に進み、そうでない場合は本処理を終了する。

一方、ステップＳ５０２では、信号処理部１０６は、アナモフィックレンズが装着されたか否かを判定し、装着された場合はステップＳ５０４に進み、そうでない場合は本処理を終了する。

ステップＳ５０４では、信号処理部１０６は、ユーザにより電子防振の実行が選択されている（ＯＮ）か否かを判定し、ＯＮであればステップＳ５０５に進み、そうでなければ本処理を終了する。

ステップＳ５０５では、制御手段としての信号処理部１０６は、アナモフィックレンズを用いて正しい撮像が行えない可能性について警告表示（警告動作）を行い、さらに次のステップＳ５０６にて、図６に示すように、電子防振をＯＦＦするか否かをユーザに選択させるためのユーザインターフェースを表示する。この結果、電子防振のＯＦＦが選択された場合は、信号処理部１０６はステップＳ５０７に進み、電子防振をＯＦＦとして本処理を終了する。また電子防振のＯＮが選択された場合は、信号処理部１０６は本処理を終了する。

以上説明したように本実施例では、アナモフィックレンズが装着された場合に電子防振をＯＦＦとする（制限する）ことで、後処理で歪曲やケラレ等の光学中心位置を基準とした補正処理を行い易くすることができる。

なお、本実施例では電子防振をＯＦＦする場合について説明したが、実施例１のようにロール補正や歪曲補正のように、電子防振を撮像時に行うことで後処理において行い難くなる機能もＯＦＦしてもよい。

また上記各実施例では、画像処理装置が撮像装置に内蔵されている場合について説明したが、撮像装置から取得した映像データに対して電子防振や後処理を行うパーソナルコンピュータを画像処理装置として用いてもよい。

次に、本発明の実施例３について図７（Ａ）〜（Ｇ）を用いて説明する。ここでは編集装置において、上記実施例で記録用映像データ（以下、記録映像ともいう）に付加された情報をどのように利用するかについて説明する。なお、各図では、撮像光学系の光学中心を分かりやすくするため、図中に黒丸で光学中心を示している。

図７（Ａ）は、撮影時の被写体のイメージである。これに対して、アナモフィックレンズを用いて撮像を行った場合、記録映像は図７（Ｂ）に示すように左右に圧縮された映像データとして記録されることになる。画像処理装置としての編集装置は、この記録映像に対して、光学中心を基準にデスクイーズ処理を行うことで、圧縮された記録映像を元に戻して図７（Ｃ）に示すような映像を得る。

さらに、編集装置は、アナモフィックレンズによって歪曲した映像を補正することで図７（Ｄ）に示すような映像に変換し、これに対して様々なカラーマネジメント処理を行って映像を制作する。このときに使用する歪曲補正データは、ユーザが格子状チャート等を撮像して様々なレンズ位置に応じた歪曲量を算出しているのが現状である。なお、歪曲している映像自体に「味」があるとして、完成した映像に対して、改めて歪曲を付加する処理を行う場合もある。

ここで、図７（Ｂ）から分かるように、アナモフィックレンズの歪曲は光学中心位置を基準に生じる。また、アナモフィックレンズ特有の左右圧縮においても、光学中心位置から離れるほど圧縮率が異なっていく。この特徴を持ったレンズを撮像装置に装着した際に電子防振を行うと、光学中心位置がずれる。また、電子防振を行う過程において電子拡大による切り出し処理が行われるため、ユーザが事前に取得した歪曲補正量とは異なる歪曲の出方をすることになる。

この状態の映像に対して、図７（Ｃ）のデスクイーズ処理や図７（Ｄ）の歪曲補正処理を記録映像の中心が光学中心であるとして行うと、正しいデスクイーズ処理や歪曲補正処理ができなくなる。このため、メタ情報に付加されている切り出し位置や切り出し倍率に基づいて処理を行う必要がある。

図７（Ｅ）はアナモフィックレンズを用いた状態で電子防振された記録映像を示している。この記録映像は、図７（Ｂ）に比べてわずかに拡大した映像となり、光学中心位置がずれた状態で記録されているフレームの例である。これに対して図７（Ｆ）は、図７（Ｅ）のフレームに記録されているメタ情報に付加されている切り出し倍率と切り出し位置、すなわち光学中心位置を考慮してデスクイーズ処理を行った映像を示している。さらに図７（Ｇ）は、図７（Ｅ）のフレームに記録されているメタ情報に付加されている切り出し倍率と切り出し位置、つまりは上記と同様に光学中心位置を考慮して歪曲補正処理を行った映像を示している。これらは、正しくデスクイーズ処理や歪曲補正処理が行われた映像である。

図８のフローチャートは、アナモフィックレンズの使用時に電子防振処理を行って記録された映像を編集装置でフレーム毎にデスクイーズ処理および歪曲補正処理を行う場合の処理の流れを示している。編集装置は、情報読み出し手段と後処理手段を有する。

ステップＳ８０１において、編集装置は、記録映像の中に電子防振に関わる切り出し位置や切り出し倍率等のメタ情報が存在するか否かを判定し、存在していればステップＳ８０２に進み、そうでなければステップＳ８０３に進む。

ステップＳ８０２では、編集装置は、メタ情報を読み出して切り出し位置および切り出し倍率を取得し、光学中心位置とみなす位置を決定し、ステップＳ８０４に進む。

一方、ステップＳ８０３では、編集装置は、記録映像（フレーム画像）の中心位置を光学中心位置とみなし、拡大倍率（デスクイーズ倍率）を１としてステップＳ８０４に進む。

ステップＳ８０４では、編集装置は、決定した中心位置とデスクイーズ倍率に基づいてデスクイーズ処理を行うことで記録映像の圧縮を元に戻し、ステップＳ８０５に進む。このとき、アナモフィックレンズの圧縮率がメタ情報に記録されていた場合はその逆数をデスクイーズ倍率としてもよいし、ユーザが任意のデスクイーズ倍率を指定できるようにしてもよい。また、撮像装置に装着されていたレンズがアナモフィックレンズでない場合は、１倍のデスクイーズ処理とすることで、何ら処理しないのと同等の処理を実現可能である。

ステップＳ８０５では、編集装置は、決定した光学中心位置とデスクイーズ倍率に基づいて歪曲補正処理を行う。ここで、補正処理は歪曲補正処理に限らず、決定した光学中心位置とデスクイーズ倍率に基づいて他の補正処理を行ってもよい。また、本実施例では電子防振に関してのみ言及したが、光学防振機能や撮像面防振機能を有している場合は、その位置情報もメタ情報として記録しておくことが望ましい。
（その他の実施例）
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。例えば、上記実施例では、光学中心位置を示す情報として、切り出し位置に関する情報を用いたが、切り出し後の画像における光学中心位置の情報そのものを用いてもよい。

例えば、３８４０×２１６０画素のフレーム画像において、切り出し位置の中心位置と光学中心位置とが一致する場合、切り出し後の画像における光学中心位置の座標は（１９２０，１０８０）である。一方、切り出し位置がセンサの上方にずれていた（撮像装置が下方向に振れた）場合、切り出し後の画像における光学中心位置の座標は、（１９２０，１５００）のように切り出し後の画像中心からずれる。これらの座標の情報を各フレーム画像における光学中心位置を示す情報として映像データに付加してもよい。

また、これらの座標の代わりに、切り出し後の画像の中心位置からのオフセット位置（０，４２０）を用いてもよい。なお、（０，４２０）も切り出し位置が上方にずれていることを示す。

また、上述した実施例では、電子防振機能を有する撮像装置について説明をしたが、防振方式はこれに限定されない。上述したように伸張処理、歪曲補正処理およびケラレ補正処理等の際に光学中心位置を基準として補正処理を行うことが好ましい。

一方、防振のために撮像素子を光軸に交わる方向に移動させるセンサ防振や補正レンズを光軸に交わる方向に移動させるレンズ防振を行う場合でも、映像データからは光学中心位置の特定が難しい。そこで、上述した実施例のように映像データに対して各フレーム画像における光学中心位置を示す情報を付加することにより、光学中心位置を用いた後処理の工程で伸張処理や補正処理を行い易くすることができる。

なお、複数の方式の防振を併用してもよい。例えば、電子防振とセンサ防振を併用する場合は、各フレーム画像に対して切り出し位置と撮像素子の位置の情報を付加し、編集装置が切り出し位置と撮像素子の位置とに基づいて光学中心位置を求めてもよい。このように、光学中心位置そのものでなくても、光学中心位置を特定することができる情報であれば、光学中心位置を示す情報である。

また、上述した実施例では、歪曲補正処理やケラレ補正処理等の補正処理を行う例について説明をした。しかしながら、これらの補正をしない場合であっても、光学中心位置の情報を用いて伸張処理を行うことができるため、各フレーム画像における光学中心位置の情報を付加することの効果を得ることができる。

さらに、本発明は防振機能を持たない撮像装置に適用することもができる。例えば、被写体を追尾するために被写体の移動に合わせて切り出し位置を変更する機能のように、電子防振以外にも、撮像された画像の一部を切り出し、切り出した画像を記録用の画像とする機能がある。これらの機能により各フレーム画像において光学中心位置が移動する場合にも本発明を適用することができる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 撮像装置
１０１ 撮像レンズ
１０６ 信号処理部
１０８ 画像切り出し制御部

Claims (21)

1. 撮像光学系を介した撮像により記録用映像データを生成する映像データ生成手段と、
   前記撮像光学系がアナモフィック光学系である場合に、該アナモフィック光学系の圧縮率に関する情報と、前記記録用映像データを構成する各フレーム画像における前記アナモフィック光学系の中心位置を示す情報と、を前記記録用映像データに付加する情報付加手段とを有することを特徴とする画像処理装置。
2. 前記映像データ生成手段は、撮像により生成された撮像映像データのフレーム画像ごとに、画像振れを低減するように前記撮像映像データのフレーム画像の一部の画像領域を切り出す電子防振を行う電子防振手段を含み、
   前記記録用映像データの各フレーム画像は、前記電子防振により切り出された画像領域のデータであり、
   前記情報付加手段は、前記画像領域の切り出し倍率に関する情報を前記記録用映像データに付加することを特徴とする請求項１に記載の画像処理装置。
3. 前記中心位置を示す情報は、前記画像領域の切り出し位置を示す情報であることを特徴とする請求項２に記載の画像処理装置。
4. 前記情報付加手段は、さらに前記記録用映像データのフレーム画像のロール角度に関する情報および該フレーム画像の歪曲に関する情報を前記記録用映像データに付加することを特徴とする請求項２又は３に記載の画像処理装置。
5. 前記情報付加手段は、
   前記撮像光学系を有する交換レンズから通信により取得した情報が該撮像光学系がアナモフィック光学系であることを示す場合に、前記圧縮率に関する情報と、前記中心位置を示す情報とを前記記録用映像データに付加することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。
6. 前記記録用映像データのフレーム画像に対するロール補正および歪曲補正のうち少なくとも一方の補正処理を行う処理手段をさらに有し、
   前記処理手段は、前記撮像光学系が前記アナモフィック光学系である場合は前記補正処理を制限することを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。
7. 前記圧縮率に関する情報は、ユーザにより入力された圧縮率に基づく情報であることを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 撮像光学系を介した撮像により生成された撮像映像データを構成するフレーム画像ごとに、画像振れを低減するように前記フレーム画像の一部の画像領域を切り出す電子防振を行って記録用映像データを生成する映像データ生成手段と、
   前記記録用映像データのフレーム画像に対するロール補正および歪曲補正のうち少なくとも一方の補正処理を行う処理手段とを有し、
   前記処理手段は、前記撮像光学系がアナモフィック光学系である場合は前記補正処理を制限することを特徴とする画像処理装置。
9. 撮像光学系を介した撮像により生成された撮像映像データを構成するフレーム画像ごとに、画像振れを低減するように前記フレーム画像の一部の画像領域を切り出す電子防振を行って記録用映像データを生成する電子防振手段と、
   前記撮像光学系がアナモフィック光学系である場合に前記電子防振を制限する又は警告動作を行う制御手段とを有することを特徴とする画像処理装置。
10. 前記記録用映像データに対する伸張処理を行うか否かのユーザによる選択が可能であり、
    前記伸張処理を行うとの選択がなされている場合に前記撮像光学系が前記アナモフィック光学系であると判定することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
11. 撮像光学系により形成された光学像を撮像する撮像素子と、
    請求項１から１０のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
12. 前記撮像素子を前記撮像光学系の光軸に交わる方向に移動させるセンサ防振手段を有することを特徴とする請求項１１に記載の撮像装置。
13. 前記撮像光学系は光軸を移動させるように前記光軸に交わる方向に移動が可能な補正レンズを有し、
    前記補正レンズの前記光軸に交わる方向での移動を制御する制御手段を有することを特徴とする請求項１１又は１２に記載の撮像装置。
14. 撮像により生成された記録用映像データに付加されている情報を読み出す情報読み出し手段と、
    前記情報読み出し手段により読み出された、撮像に用いられたアナモフィック光学系の圧縮率に関する情報と、前記記録用映像データを構成する各フレーム画像における前記アナモフィック光学系の中心位置を示す情報とに基づいて、前記記録用映像データに対して伸張処理を後処理として行う後処理手段とを有することを特徴とする画像処理装置。
15. 前記情報読み出し手段は、前記映像データに付加されている情報として、さらに前記フレーム画像ごとの切り出し倍率、ロール角度および歪曲のうち少なくとも１つに関する情報を読み出し、
    前記後処理手段は、前記少なくとも１つに関する情報と前記圧縮率に関する情報と前記中心位置を示す情報とに基づいて前記フレーム画像に対するロール補正および歪曲補正のうち少なくとも一方の補正処理を後処理として行うことを特徴とする請求項１４に記載の画像処理装置。
16. 前記後処理において、前記情報読み出し手段により読み出された前記圧縮率と該読み出された圧縮率とは別に指定された圧縮率のうちいずれを使用するかをユーザに選択させるユーザインターフェースを表示することを特徴とする請求項１３から１５のいずれか一項に記載の画像処理装置。
17. 撮像光学系を介した撮像により記録用映像データを生成するステップと、
    前記撮像光学系がアナモフィック光学系である場合に、該アナモフィック光学系の圧縮率に関する情報と、前記記録用映像データを構成する各フレーム画像における前記アナモフィック光学系の中心位置を示す情報と、を前記記録用映像データに付加するステップとを有することを特徴とする画像処理方法。
18. 撮像光学系を介した撮像により生成された撮像映像データを構成するフレーム画像ごとに、画像振れを低減するように前記フレーム画像の一部の画像領域を切り出す電子防振を行って記録用映像データを生成するステップと、
    前記撮像時に前記フレーム画像に対するロール補正および歪曲補正のうち少なくとも一方の補正処理を行うステップとを有し、
    前記撮像光学系がアナモフィック光学系である場合に前記補正処理を制限することを特徴とする画像処理方法。
19. 撮像光学系を介した撮像により生成された撮像映像データを構成するフレーム画像ごとに、画像振れを低減するように前記フレーム画像の一部の画像領域を切り出す電子防振を行うステップと、
    前記撮像光学系がアナモフィック光学系である場合に前記電子防振を制限する又は警告動作を行うステップとを有することを特徴とする画像処理方法。
20. 撮像により生成された記録用映像データに付加されている情報を読み出すステップと、
    前記ステップにて読み出された、撮像に用いられたアナモフィック光学系の圧縮率に関する情報と、前記記録用映像データを構成する各フレーム画像における前記アナモフィック光学系の中心位置を示す情報とに基づいて、前記記録用映像データに対して伸張処理を後処理として行うステップとを有することを特徴とする画像処理方法。
21. コンピュータに、請求項１７から２０のいずれか一項に記載の画像処理方法に従う処理を実行させることを特徴とするコンピュータプログラム。
    

Images