JP2005252626A - 撮像装置および画像処理方法 - Google Patents

Abstract

【課題】 魚眼画像を透視投影画像に変換する撮像装置において、画質の劣化を極力少なくしつつ画像振れを補正できるようにする。
【解決手段】 撮像装置は、魚眼光学系により形成された魚眼像を光電変換する撮像素子１０２と、撮像素子により得られた魚眼画像データの透視投影画像データへの射影変換処理を行う変換手段１１４と、振動に関する情報を得る振れ検出手段１１０と、振動情報に基づいて透視投影画像データのうち出力する領域をシフトさせる振れ補正手段１１７とを有する。変換手段は、振動情報に基づいて魚眼画像データのうち射影変換処理を行う変換領域の大きさを変更する。
【選択図】 図１

Description

本発明は、撮像素子を使用して画像情報を取得する撮像装置に関するものであり、特に取得した魚眼画像に対して振れ補正処理を施した透視投影画像を出力する撮像装置に関するものである。

魚眼光学系による広角視野の撮像は、監視、遠隔操作、ＴＶ会議、内視鏡など様々な分野で利用されている。その特徴は、画角１８０°以上の超広角視野画像も、その特殊な射影方式により撮像素子の受光面の有限領域に投影可能な点であり、透視投影画像を撮像する通常の撮像装置では理論的に取得できないような超広角視野画像も取得できる点にある。 しかし、魚眼光学系に特有の射影方式は、撮影像の形状を歪ませ、人間が観察する観点では本来の被写体形状との相違が著しい。

この問題を解決する手法として、特許文献１には、取得した魚眼画像を透視投影画像に変換し、該変換された画像をディスプレイに表示する装置が提案されている。該特許文献１では、魚眼撮影された半球状視野内の任意の画像領域についてパン・チルト・回転・倍率を指定し、２次元変換マッピングＸ−ＭＡＰおよびＹ−ＭＡＰを用いて座標変換することで全方向性画像観察を可能とする。

また、特許文献２には、魚眼光学系による撮影画像の画像情報密度分布を利用した電子ズームが提案されている。即ち、魚眼光学系により撮像された画像は、その周辺部ほど圧縮率が高く、中央部ほど拡大率が高くなる特性を有する。この特性を利用し、解像度を低下させずに電子ズームを行う。

さらに、特許文献３では、魚眼レンズで撮影した広視野領域画像の一部範囲のデータを観察者の頭部の動きに合わせて歪み無く表示可能な装置が提案されている。特に、本特許文献に記載された第３実施例においては、等距離射影方式を有する魚眼レンズで撮影された画像を、平面状に歪み無く表示するための変換処理を行い、さらに撮像装置の振れによる画像振れの補償処理を行う。該補償処理は、画像振れに対応した画素ずれ量が所定画素数（例えば、２画素）分以下のときに行われる。
特表平６−５０１５８５号公報（４ページ右上欄２４行から７ページ右下欄２０行、第１図等） 特開平１０−２３３９５０号公報（段落００３３〜００３５、図１〜３等） 特開平８−３０７７５３号公報（段落００７４〜００９１、図１０等）

しかしながら、上記特許文献１にて提案の装置では、入力手段から視野角および倍率を指定し、マイクロコンピュータによって変換式を解き、２次元変換マップに変換テーブルを設定することにより任意の領域にパン・チルト・回転・ズーム機能を得る。したがって、微小な視野角や倍率の変動に対してもその都度変換式を解かなければならないので、マイクロコンピュータの演算負担が大きいという問題がある。

また、特許文献２にて提案の装置では、魚眼画像の画像情報密度分布を利用して解像度劣化の少ない電子ズーム画像を取得するが、ズーム倍率が高くなるほど手振れなどの装置本体に加わる振動によって画像の乱れが発生し、解像度劣化を生じるという問題がある。

さらに、特許文献３にて提案の装置では、画像振れの補償処理を行う基準として、検出された画素ずれ量と所定画素数とを比較することにより制御されるが、映像振れによる画素ずれ量は、装置本体に加わる振動量とズーム率との関係で決まり、単一の閾値で決定されるものではない。また、手振れによる画像ずれか、パン・チルトのような意図的な視野移動による画像ずれかの判断基準は、固定閾値で決定できるものではなく、意図しない激しい振動による大きな画像ずれや、意図的なゆっくりと視点移動する微小な画像ずれなどが存在する。

本発明は、魚眼画像を透視投影画像に変換する撮像装置において、画質の劣化を極力少なくしつつ画像の振れを補正できるようにすることを目的とする。

上記の目的を達成するために、１つの観点としての本発明は、魚眼像を光電変換して得られた魚眼画像データの透視投影画像データへの射影変換処理を行う撮像装置に関するものである。該撮像装置は、撮像装置に加わった振動に関する振動情報に基づいて透視投影画像データのうち出力する領域をシフトさせる振れ補正手段を有する。そして、変換手段は、魚眼画像データのうち射影変換処理を行う変換領域の大きさを変更する。

また、他の観点としての本発明は、魚眼像を光電変換して得られた魚眼画像データの透視投影画像データへの射影変換処理を行う撮像装置に関するものである。該撮像装置は、撮像装置に加わった振動に関する振動情報に基づいて透視投影画像データのうち出力する領域をシフトさせる振れ補正手段を有する。そして、変換手段は、振動情報に応じた縮小率で画像データの縮小処理を行う。

前者の発明によれば、撮像装置本体に加わる振動に応じて射影変換処理を行う領域の大きさを変更するので、魚眼像を撮影して透視投影画像を出力する撮像装置において電子防振のための演算負担を軽減することができる。

なお、電子防振機能と電子ズーム機能とを合わせて用いる場合に、振動情報とズーム倍率の情報とに基づいて変換領域の大きさを変更するようにすれば、電子防振を伴う電子ズーム使用時の演算負担を軽減することができる。

また、後者の発明によれば、撮像装置本体に加わる振動に応じて画像の縮小率を変更するので、魚眼像を撮影して透視投影画像を出力する撮像装置において画質劣化の少ない電子防振機能を実現することができる。

なお、電子防振機能と電子ズーム機能とを合わせて用いる場合に、振動情報とズーム倍率の情報とに基づいて画像データの縮小率を変更するようにすれば、電子防振を伴う電子ズーム使用時の画質劣化を少なくすることができる。

以下、本明の実施例について、図面を参照しながら説明する。

（実施例１）
図１は、本発明の実施例１である撮像装置の構成を示す図である。図１において、１０１は被写体の魚眼像を形成する魚眼光学系、１０２はＣＣＤセンサやＣＭＯＳセンサ等からなる撮像素子（光電変換素子）である。

１０３は撮像素子１０２から出力される電気信号を画像処理して、映像信号を生成する画像生成回路である。

画像生成回路１０３は、アナログ信号をデジタル信号に変換するＡ／Ｄ変換回路１０４と、デジタル信号のレベル補正を行うオートゲイン制御回路（ＡＧＣ）１０５と、映像の白レベル補正を行うオートホワイトバランス回路（ＡＷＢ）１０６と、その他図示しない画像処理回路とを有し、これら回路での処理を通じて上記映像信号としてのデジタル魚眼映像データを生成する。

１０７および１０８は映像信号を１画面分または複数画面分、一時的に記憶保持する第１および第２フィールドメモリ（フィールドメモリ１，２）である。第１フィールドメモリ１０７は、画像生成回路１０３で生成された映像信号を記憶保持する。また、第２フィールドメモリ１０８は、後述する魚眼映像の歪み補正処理（射影変換処理）後の映像信号
を記憶保持する。

１０９は第１および第２フィールドメモリ１０７，１０８に対して入出力される映像信号を制御するメモリ制御回路、１１０は相互に隣接するビデオフィールドの映像信号から本撮像装置の動き（振動）を検出する動き検出回路１１１と、該動きの傾向を解析する振れ解析回路１２１とにより構成された振れ検出部である。

振れ解析回路１２１の解析結果は、後述する映像変換部１１４および振れ補正処理部１１７に設けられた第２および第３メモリ１１６，１１９に伝達される。

変換処理部１１４は、上記第２メモリ１１６と、該第２メモリ１１６に記憶された映像信号である魚眼画像データを、後述する透視投影画像データに射影変換する射影変換回路１１５とから構成されている。

また、振れ補正処理部１１７は、上記動きの解析結果を透視投影画像データ上での映像読み出し領域のシフト量として記憶する第３メモリ１１９と、該映像読み出し領域をシフトさせて該領域内の画像データを読み出し、出力することにより、画像の電子的振れ補正を行うとともに、後述する補間処理を行う振れ補正回路１１８とから構成されている。

映像出力部１２０は、振れ補正が行われた透視投影画像データを順次、図示しない表示デバイスに出力し表示させたり、記録媒体（半導体メモリ、磁気ディスク、光ディスク等）に出力し記録させたりする。１１３は、本撮像装置の制御とデータ伝達等を司るコントローラとしてのＣＰＵである。

次に、以上のように構成された本撮像装置の動作について説明する。魚眼光学系１０１によって投影された被写体像（魚眼像）は、撮像素子１０２上に結像する。魚眼光学系１０１は、光軸に対する入射角が０度から９０度近傍までの光線を撮像素子１０２上に結像させることが可能である。その投影像は、例えば光軸からの距離（ｈ）が入射角（θ）に比例（ｈ＝ｆ・θ：但し、ｆは焦点距離）する等距離射影方式や、正弦関数に比例（ｈ＝ｆ・sinθ）する正弦射影方式などにより生ずる歪みを伴う。

結像した被写体像は、撮像素子１０２により光電変換され、撮像素子１０２からは被写体輝度に応じたアナログ映像信号が出力されて画像生成回路１０３に入力される。画像生成回路１０３では、Ａ／Ｄ変換回路１０４によってアナログ映像信号を、例えば１４ビットのデジタル信号に変換する。さらにオートゲイン制御回路（ＡＧＣ）１０５およびオートホワイトバランス回路（ＡＷＢ）１０６によって信号レベル補正および白レベル補正が行われた映像信号である魚眼画像データは、第１フィールドメモリ１０７に順次一時的に記録保持される。

図２（Ａ），（Ｂ）にはそれぞれ、元の被写体と魚眼光学系１０１による投影像（魚眼像）の様子を模式的に表している。図２（Ａ）は格子状の被写体を示し、これを魚眼光学系１０１によって正弦射影で撮像素子１０２上に投影された魚眼像を、図２（Ｂ）に示す。魚眼像２０２の光電変換データ（魚眼画像データ）は、前述の画像処理が施されて第１フィールドメモリ１０７に記憶保持される。

本撮像装置は、決められたフレームレートで順次フィールド画像を撮像し、第１フィールドメモリ１０７に記憶保持された１フィールド分の魚眼画像データは、これに連続するフィールドの魚眼画像データとともに動き検出回路１１１に入力される。また、同時に第１フィールドメモリ１０７内の旧フィールドの魚眼画像データは、現フィールドの魚眼画像データに書き換え更新される。以上の動作は、メモリ制御回路１０９によって制御される。

動き検出回路１１１では、連続する２つのフィールドの魚眼画像データのそれぞれにおける複数領域について、対応領域検出手法であるテンプレートマッチング法により各領域の動きベクトルを求める。但し、動きベクトルは、テンプレートマッチング法に限るものではなく、勾配法など他の手法によって求めてもよい。

振れ解析回路１１２は、動き検出回路１１１によって検出された上記複数領域の動きベクトルを統合し、本撮像装置の振動に対応した動きベクトルを生成し、本撮像装置の動きの特徴量である、振動の大きさ（振幅）や振動周期（周波数）などを含む振動情報に変換する。そしてこれら特徴量を用いて、一定時間内での振れ量の解析を行う。

ここで、図３および図４には、代表的な振動タイプの特徴を示す。図３（Ａ）は、撮影者が静止している状態（歩行していない状態）で特定被写体を撮影しているときに発生する手振れの例を表す図である。具体的には、横軸に時間を、縦軸には振幅量をとり、手振れによる振動の時系列変位を示したグラフである。この場合、微小な振動が比較的高周波数で繰り返される特徴がある。図３（Ｂ）は、横軸に振幅量を、縦軸に該振動が発生する頻度をとったヒストグラムである。このヒストグラムから分かるように、撮影者静止状態での手振れは、小振幅値で単一の頻度ピークを持つ特徴を有する。

一方、本撮像装置を携帯して歩行しながら撮影したときに発生する振動の例を図４に示す。この場合、静止状態で発生する高周波数・微小振幅の振動に加え、歩行による特有の振動が付加される。図４（Ａ）には、このときの振動の時系列変位を示している。静止状態における微小振幅・高周波数振動に加えて、歩行時の足の踏み込みおよび接地時に発生する大きな振幅が加算される。この大きな振幅の発生周期は、歩行のステップ時間間隔に対応するため、歩行速度に依存する。

この振動から、横軸に振幅を、縦軸に頻度をとった図４（Ｂ）に示すヒストグラムを作成すると、歩行撮影中の振動は、静止状態での手振れによる小振幅値を有する第１の頻度ピークＰ１と、歩行時の踏み込みおよび接地時に発生する振動による大きな振幅値を有する第２の頻度ピークＰ２とが存在するという特徴を持つことが分かる。

これら本撮像装置に発生する振動の特徴は、振れ解析回路１１２で一定期間蓄積され、解析される。

図５には、振れ解析回路１１２での解析方法の例を示す。図５（Ａ），（Ｂ）はそれぞれ、図３（Ｂ）と図４（Ｂ）のヒストグラムを用いて行った振幅頻度の解析例を示す。

振れ解析回路１１２は、上記振幅−頻度ヒストグラムを生成し、頻度の最大値（図中のＨｍａｘ）を検出する。続いて、Ｈｍａｘより小さい頻度閾値Ｔｈを設定する。Ｔｈは、例えばＴｈ＝Ｈｍａｘ／３のように、頻度最大値Ｈｍａｘの１／ａ（ａ＞１）となるように設定する。

次に、閾値Ｔｈに対する各振幅値の頻度の大小比較を、振幅値０側から順次行う。図５（Ａ）のヒストグラムでは、頻度が閾値Ｔｈより大きくなる振幅値は、Ａ１−Ａ２間であるのに対し、図５（Ｂ）のヒストグラムでは、Ａ１−Ａ２間とＢ１−Ｂ２間の２領域が存在する。このようにして、振動が単一の頻度ピークを有するか複数の頻度ピークを有するか等の頻度分布を解析できる。

次に、同じ振幅−頻度ヒストグラムを用いての振幅量についての解析例を示す。図６（Ａ），（Ｂ）はそれぞれ、図５（Ａ），（Ｂ）、図３（Ｂ）および図４（Ｂ）と同様の振幅−頻度ヒストグラムである。

振れ解析回路１１２は、振幅−頻度ヒストグラムから頻度最大値（Ｈｍａｘ）を検出する。そして、Ｈｍａｘより小さい第２の頻度閾値Ｔｈ２を設定する。Ｔｈ２は、例えばＴｈ２＝Ｈｍａｘ／１０のように、頻度最大値Ｈｍａｘの１／ｂ（ｂ＞ａ＞１）となるように設定し、且つなるべくｂを大きく設定するのが望ましい。

次に、振幅０側から順次振幅の大きい方に向かって、頻度と閾値Ｔｈ２との大小比較を行う。また、ヒストグラムの振幅値∞（実際には、ヒストグラムの入力値の最大）側からも順次振幅の小さい方に向かって、頻度と閾値Ｔｈ２との大小比較を行う。そしてそれぞれにおいて、初めて頻度が閾値Ｔｈ２を越えたときの振幅値を求め、それらを最小振幅値Ｃ１および最大振幅値Ｃ２とする。

このようにして最大振幅値Ｃ２，最小振幅値Ｃ１を検出するとともに、それらの差分値（Ｃ２−Ｃ１）から振幅のばらつき状態を解析する。また、振幅−頻度ヒストグラムから分散値を求め、正確なばらつきを求めてもよい。以上のようにして、振れ解析部１１０における本撮像装置に加わる振動の特徴が解析される。

次に、振動の解析結果は、射影変換部１１４のメモリ１１６に記憶されると同時に射影変換回路１１５に伝達される。

ここで、射影変換回路１１５について説明する。射影変換回路１１５は、第１フィールドメモリ１０７に記憶保持された魚眼画像を入力し、魚眼画像特有の歪みを補正して第２フィールドメモリ１０８に出力して記憶保持させる機能を有する。

図７には、射影変換回路１１５の機能効果を図式化して示している。図７（Ａ）は、第１フィールドメモリ１０７に記憶保持されている魚眼画像である。この魚眼画像は、魚眼光学系１０１の投影方式によって決まる撮像素子１０２上に結像する像に対応する。魚眼像としては、被写体からの光線の魚眼光学系１０１に対する入射角（光軸に対してなす角度）をθとしたときに、光軸からの距離ｈが、ｈ＝ｆ・tanθ で表される透視投影像以外の像であり、ｈ＝ｆ・θで表される等距離射影像やｈ＝ｆ・sinθ で表される正射影像などがある。本実施例では、魚眼光学系１０１により形成される魚眼像７０１を、正射影投影像として説明する。

射影変換回路１１５は、図７（Ｂ）に示すように、第１フィールドメモリ１０７に記憶保持されている魚眼画像の一部である変換領域７０２１を、 ｈ＝ｆ・tanθで表される透視投影画像に射影変換し、第２フィールドメモリ１０８に出力する。図７（Ｃ）は、第２フィールドメモリ１０８のメモリ空間を表すと同時に変換領域７０２１の射影変換後の透視投影画像がメモリ空間７０３の全面に展開されている様子を表す。すなわち、図２（Ａ）に示された格子状の被写体が正射影投影によって図７（Ａ）に示すように歪曲し、さらに射影変換回路１０５によって歪曲が補正された様子を表している。以上が、射影変換回路の基本的動作である。

次に、装置本体に振動が加わり、画像振れが発生しているときの動作について説明する。装置本体に振動が加わり、画像振れが発生しているときは、後述の振れ補正処理を行うため、射影変換回路１１５は、魚眼画像を透視投影画像に射影変換するが、この際に透視投影画像の縮小処理も行い、振れ補正処理用マージンを設ける。

図８（Ａ），（Ｂ）は、第２フィールドメモリ１０８のメモリ空間を表す。本撮像装置に振動が加わらないとき、すなわち振れ補正を行わない場合は、図８（Ａ）のように、フィールドメモリ８０１１で表される空間全体に射影像を展開する。

一方、本撮像装置に振動が加わり、振れ補正処理を行うときは、射影像は図８（Ｂ）に８０２２で表されるように、縮小されて第２フィールドメモリ１０８のメモリ空間８０２１に展開される。そして縮小された分、メモリ空間８０２１全体には、図８（Ａ）の場合に比べて広視野の画像が展開されることになる。このため、例えば領域８０２３のように振動による画像の振れが生じたとき、その振れに相当する量、メモリ空間内での読み出し領域をシフトすることで映像の振れを補正できる。

このシフト読み取りは、振れ補正部１１７の振れ補正回路１１８で行われる。さらに縮小画像は、振れ補正回路１１８によって補間処理が行われ、元のサイズに拡大される。

ところで、以上の電子式振れ補正は、画像データの縮小拡大処理を伴うため、少なからず画質の劣化を伴う。この画質劣化を最小限に抑制するためには、縮小・拡大倍率をなるべく抑制する（なるべく縮小／拡大しない）必要がある。

そこで、本実施例では、前述の振れ解析回路１１２による振動解析結果により、魚眼画像データのうち射影変換する領域（変換領域）の大きさを変更する。そして、これに伴い、透視投影画像の縮小／拡大率を制御する。

具体的に説明すると、前述した図５（Ａ）に示した振動解析から撮影者が静止状態で手振れが発生していると判断した場合には、図６（Ａ）により振幅最大値Ｃ２を求める。そして、図１０（Ａ）に示す魚眼画像データのうち図１０（Ｂ）に示す大きさの変換領域１００１を設定する。また、縮小／拡大率は、該振幅最大値Ｃ２による映像歪みが補正可能なぎりぎりまで抑制して小さく設定する。これにより、振幅最大値Ｃ２での振れを補正する際には、図８（Ｂ）中のメモリ空間の最も端の領域である領域８０２３が振幅最大値Ｃ２での読み出し領域となるように、最も画質劣化の少ない縮小率で射影変換される。

また、図６（Ｂ）によって求められた、撮影者歩行時の振幅最大値Ｃ２が大きい場合には、図１０（Ｃ）に示すように、図１０（Ａ）に示す魚眼画像データのうち図１０（Ｂ）よりも小さな大きさの変換領域１００２を設定する。また、図９（Ｂ）に示すように、縮小・拡大率は大きく設定する。

なお、振れに応じて変化する縮小・拡大倍率は、発生し得る最も大きな振幅最大値Ｃ２（例えば、歩行時に発生する振幅最大値）に対する縮小・拡大倍率を基準にして、図示しない操作部から調整できるようにしてもよい。

以上説明したように、本実施例では、振動に応じて射影変換処理を行う領域の大きさを変更するので、射影変換処理を伴う電子防振のための演算負担を軽減することができる。さらに、振動による映像振れが存在しない時は画質劣化のほとんどない射影変換によって透視投影像を出力する一方、振動による映像振れが存在する場合でも、縮小拡大による画質劣化を極力抑制するため、画質劣化の少ない電子防振機能を実現することができる。

実施例１では、振れ補正処理をハードウェア的に行う場合について説明したが、実施例１と同様の像振れ補正処理は、ＣＰＵ１１３に格納されたコンピュータプログラム（画像処理プログラム）によっても行うことができる。

図１１には、該振れ補正処理プログラムのフローチャートを示している。まず、ＣＰＵ１１３は、ステップ（図ではＳと記す）１０１において、ユーザーによって振れ補正動作が選択されている（例えば、スイッチ操作により選択されている）か否かを判別する。振れ補正動作が選択されている場合は、ステップ１０２に進み、選択されていない場合はステップ１０１を繰り返す。

ステップ１０２では、実施例１で説明した動き検出回路１１１と同様に、第１フィールドメモリ１０７に記憶保持された連続する２つのフィールドの魚眼画像データにおける複数の領域の動きベクトルを求める。そして、ステップ１０３では、検出された複数の領域の動きベクトルを統合し、本撮像装置の動きの特徴量を示す振動情報を生成する。

次に、ステップ１０４では、振動の振幅最大値に基づいて、魚眼画像データのうち透視投影画像に変換する変換領域の大きさおよび透視投影画像の縮小・拡大率を決定する。変換領域の大きさおよび透視投影画像の縮小・拡大率の決定方法は、実施例１と同様である。

そして、ステップ１０５では、大きさを決定した変換領域の魚眼画像データを透視投影画像に射影変換するとともに、決定した縮小率で縮小処理を行い、ステップ１０６で、射影変換された画像の補間処理（拡大処理）を行って、第２フィールドメモリ１０８に出力する。さらに、ステップ１０７では、振動の振幅に応じて第２第２フィールドメモリ１０８内の透視投影画像データにおける読み出し領域をシフトする。これにより、映像の振れ補正が行われる。

本実施例では、撮像装置が電子ズーム機能を有する場合の像振れ補正処理について説明する。

図１２は、本実施例の撮像装置の構成を示す図であり、実施例１（図１）と共通する構成要素には図１と同符号を付して説明に代える。

１０１１は、ユーザーが本撮像装置の各種機能を操作するための操作部であり。１０１２は該操作部１０１１内に設けられた、撮影画像のズーム動作を行わせるためのズーム操作部である。

以下、本撮像装置におけるズーム動作およびズーム時の振れ補正を含めた撮像動作について説明する。

本撮像装置は、電子的に撮影画像を拡大縮小処理する電子ズーム方式を採用する。このため、魚眼光学系１０１によって撮像素子１０２上に形成された魚眼像および第１フィールドメモリ１０７に記憶される魚眼画像データはズーム操作によっては変わらない。すなわち、図１３（Ａ）に示すような格子状被写体（実施例１の図７（Ａ）に示す格子状被写体と同じ）を撮影する際に、撮像素子１０２上に形成される魚眼像および第１フィールドメモリ１０７のメモリ空間に展開される画像は、ズーム操作によっても不変である。

さらに、図１３（Ｂ）には、ズーム操作をする前（初期のズーム倍率）での第１フィールドメモリ１０７内の魚眼画像データに対して射影変換を行う変換領域１１２１を示し、図１３（Ｃ）には、該射影変換後に第２フィールドメモリ１０８に記憶保持される透視投影画像を示している。

撮影者が、ズーム操作部１０１２を操作してズーム倍率を初期ズーム倍率から変更すると、該変更されたズーム倍率は射影変換回路１１５に伝達される。射影変換回路１１５は、変更されたズーム倍率で魚眼画像を透視投影画像に射影変換できるよう、変換式や変換テーブルを更新する。

ここで、射影変換を等価的に表す変換式は、
ｈ＝Ｋ・sin｛arc tan（ｆ／Ｈ）｝
である。Ｈは透視投影像での光軸中心からの距離、ｆは定数で透視投影像での焦点距離、ｈは正射影魚眼像の光軸中心からの距離である。

そして、上記式中の定数Ｋをズーム倍率に応じて変えることによって、初期ズーム倍率が設定されているときの透視投影画像に対して拡大又は縮小された透視投影画像を得ることができる。

ただし、射影変換回路１１５は上記のような変換式を用いた演算による歪み補正を行うものに限られず、上記変換式からルックアップテーブルを作成し、テーブル変換による歪み補正を行ってもよい。

図１３（Ｄ）には、拡大側へのズーム操作後の第１フィールドメモリ１０７内の魚眼画像データを射影変換する変換領域を示している。また、図１３（Ｅ）には、射影変換後に第２フィールドメモリ１０８に記憶保持される透視投影画像を示している。拡大側へのズーム操作がなされることにより被写体に対する視野領域が小さくなるため、図１３（Ｂ）と図１３（Ｄ）との比較から分かるように、ズーム操作後の第１フィールドメモリ１０７内の変換領域１１３１は、ズーム操作前の変換領域１１２１に対して小さくなる。以上がズーム操作時の動作である。

次に、ズーム時の振れ補正を含めた撮影動作について説明する。まず、映像の振れ量は、ズーム倍率が高倍率になるほど大きくなる。このため、振れ補正用の映像マージン領域もズーム倍率が高倍率になるほど広く確保する必要がある。

図１４（Ａ），（Ｂ）には、第２フィールドメモリ１０８のメモリ空間を示す。図１４（Ａ）は、振れ補正を行わない場合のメモリ空間内でのズーム射影像を表す。また、図１４（Ｂ）は、振れ補正を行う場合のメモリ空間内でのズーム射影像を表す。

図１４（Ｂ）に示すように、振れ補正を行う場合には、射影変換処理と縮小処理とを同時に行い、メモリ空間内に補正用マージンを確保する。ここで、撮像装置本体に加わる振動振幅が同じでも、ズーム倍率が高倍率になるほど像振れ量は大きくなるため、補正用マージンも、ズーム倍率が高くなるほど大きくする。このため、振れ解析回路１１２によって装置本体の最大振幅量を検出し、図示しないルックアップテーブルを用いる等して、該最大振幅量とズーム倍率に対して適当なマージン量を求める。さらに、そのマージン量を確保するために設定すべきズーム倍率を、振れ補正時の射影変換ズーム倍率として求める。

ここで、ズーム操作部１０１２の操作により指定されたズーム倍率（ズーム指定倍率）をｎとし、振れ解析回路１２１で得られた振動の最大振幅量をｘとすると、射影変換回路１１５は、ズーム指定倍率ｎと最大振幅量ｘとから、例えばｍ＝n/(px) (ｐは定数)により射影変換ズーム倍率ｍ（ｍ≦ｎ）を算出する。射影変換ズーム倍率ｍは、最大振幅量ｘが大きいほど大きくなる。

図１４（Ｂ）において、１２２２は算出された射影変換ズーム倍率ｍで魚眼画像を射影変換して得られた透視投影画像であり、メモリ空間１２１１内には、１２２３に示す補正用マージンが形成されている。そして、このマージン部分が、振れ補正時の読み出し可能領域として用いられる。上記ズーム処理および振れ補正処理以外の処理については実施例１と同様である。

本実施例によれば、実施例１の作用効果に加えて、電子防振機能を伴う電子ズームにおける画質劣化を少なくすることができる。

なお、本実施例は、振れ補正処理をハードウェア的に行う場合について説明したが、実施例２と同様に、該振れ補正処理を、ＣＰＵ１１３に格納されたコンピュータプログラム（振れ補正処理プログラム）によっても行うことができる。

また、上記各実施例では、物体側に単一の魚眼レンズを用いた光学系を備えた撮像装置について説明したが、本発明は、複数のレンズエレメントからなるいわゆる複眼レンズアレイを物体側に配置して魚眼像を形成する光学系を備えるものであってもよい。

また、上記各実施例では、魚眼画像データを用いて撮像装置に加わった振動に関する情報を得る場合について説明したが、振動ジャイロ等のセンサを用いて振動に関する情報を得るようにしてもよい。

さらに、本発明は、魚眼像を形成する光学系が一体に設けられた撮像装置のみならず、光学系の交換が可能な撮像装置にも適用することができる。

本発明の実施例１である撮像装置の構成を表すブロック図である。 （Ａ）は格子状被写体を表す図、（Ｂ）は魚眼光学系によって撮像素子上に投影された魚眼像を表す図である。 （Ａ），（Ｂ）は撮影者が静止している状態で発生する振動を表す図である。 （Ａ），（Ｂ）は撮影者が歩行している状態で発生する振動を表す図である。 （Ａ），（Ｂ）は振れ解析方法の一例を説明する図である。 （Ａ），（Ｂ）は振れ解析方法の一例を説明する図である。 （Ａ）〜（Ｃ）は射影変換処理を模式的に表す図である。 （Ａ）は振れ補正を行わない場合のフィールドメモリ空間を表す図、（Ｂ）は振れ補正を行う場合のフィールドメモリ空間を表す図である。 （Ａ）は振れ補正を行わない場合のフィールドメモリ空間を表す図、（Ｂ）は振れ補正を行う場合のフィールドメモリ空間を表す図である。 （Ａ）は格子状被写体を表す図、（Ｂ），（Ｃ）は振動に応じた射影変換領域を示す図である。 本発明の実施例２である撮像装置の画像処理プログラムを示すフローチャートである。 本発明の実施例３である撮像装置の構成を表すブロック図である。 （Ａ）は格子状被写体を表す図、（Ｂ），（Ｄ）はズーム倍率に応じた射影変換領域を示す図、（Ｃ），（Ｅ）はズーム倍率に応じてフィールドメモリに展開される画像を説明する図である。 Ａ）は振れ補正を行わない場合のフィールドメモリ空間を表す図、（Ｂ）は振れ補正を行う場合のフィールドメモリ空間を表す図である。

符号の説明

１０１ 魚眼光学系
１０２ 撮像素子
１０３ 画像形成回路
１１０ 振れ解析部
１１４ 射影変換部
１１７ 振れ補正部
１０１１ 操作部
１０１２ ズーム操作部

Claims (18)

1. 魚眼像を撮影可能な撮像装置であって、
   前記魚眼像を光電変換する撮像素子と、
   該撮像素子を用いて得られた魚眼画像データの透視投影画像データへの射影変換処理を行う変換手段と、
   該撮像装置に加わった振動に関する振動情報を得る振動検出手段と、
   前記振動情報に基づいて、前記透視投影画像データのうち出力する領域をシフトさせる振れ補正手段とを有し、
   前記変換手段は、前記振動情報に基づいて前記魚眼画像データのうち前記射影変換処理を行う変換領域の大きさを変更することを特徴とする撮像装置。
2. 前記変換手段は、前記振動が大きいほど前記変換領域を大きくすることを特徴とする請求項２に記載の撮像装置。
3. 前記射影変換処理される画像のズーム倍率を変更するズーム手段を有し、
   前記変換手段は、前記振動情報と前記ズーム倍率の情報とに基づいて、前記変換領域の大きさを変更することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記変換手段は、前記ズーム倍率が大きいほど前記変換領域を小さくすることを特徴とする請求項３に記載の撮像装置。
5. 魚眼像を撮影可能な撮像装置における画像処理方法であって、
   魚眼画像データの透視投影画像データへの射影変換処理を行う変換ステップと、
   該撮像装置に加わった振動に関する振動情報を得る振動検出ステップと、
   前記振動情報に基づいて前記透視投影画像データのうち出力する領域をシフトさせる振れ補正ステップとを有し、
   前記変換ステップにおいて、前記振動情報に基づいて前記魚眼画像データのうち前記射影変換処理を行う変換領域の大きさを変更することを特徴とする画像処理方法。
6. 前記変換ステップにおいて、前記振動が大きいほど前記変換領域を大きくすることを特徴とする請求項５に記載の画像処理方法。
7. 前記射影変換処理される画像のズーム倍率を変更するズーム設定ステップを有し、
   前記変換ステップにおいて、前記振動情報と前記ズーム倍率の情報とに基づいて、前記変換領域の大きさを変更することを特徴とする請求項５又は６に記載の画像処理方法。
8. 前記変換ステップにおいて、前記ズーム倍率が大きいほど前記変換領域を小さくすることを特徴とする請求項７に記載の画像処理方法。
9. 請求項５から８のいずれか１つに記載の画像処理方法をコンピュータに実行させるためのプログラムであることを特徴とする画像処理プログラム。
10. 魚眼像を撮影可能な撮像装置であって、
    前記魚眼像を光電変換する撮像素子と、
    該撮像素子を用いて得られた魚眼画像データの透視投影画像データへの射影変換処理を行う変換手段と、
    該撮像装置に加わった振動に関する振動情報を得る振動検出手段と、
    前記振動情報に基づいて前記透視投影画像データのうち出力する領域をシフトさせる振れ補正手段とを有し、
    前記変換手段は、前記振動情報に応じた縮小率で前記透視投影画像データの縮小処理を行うことを特徴とする撮像装置。
11. 前記変換手段は、前記振動が大きいほど前記縮小率を大きくすることを特徴とする請求項１０に記載の撮像装置。
12. 前記射影変換処理される画像のズーム倍率を変更するズーム手段を有し、
    前記変換手段は、前記振動情報と前記ズーム倍率の情報とに基づいて前記縮小率を変更することを特徴とする請求項１０又は１１に記載の撮像装置。
13. 前記変換手段は、前記ズーム倍率が大きいほど前記縮小率を小さくすることを特徴とする請求項１２に記載の撮像装置。
14. 魚眼像を撮影可能な撮像装置における画像処理方法であって、
    魚眼画像データの透視投影画像データへの射影変換処理を行う変換ステップと、
    該撮像装置に加わった振動に関する振動情報を得る振動検出ステップと、
    前記振動情報に基づいて前記透視投影画像データのうち出力する領域をシフトさせる振れ補正ステップとを有し、
    前記変換ステップにおいて、前記振動情報に応じた縮小率で前記透視投影画像データの縮小処理を行うことを特徴とする画像処理方法。
15. 前記変換ステップにおいて、前記振動が大きいほど前記縮小率を大きくすることを特徴とする請求項１４に記載の画像処理方法。
16. 前記射影変換処理される画像のズーム倍率を変更するズーム設定ステップを有し、
    前記変換ステップにおいて、前記振動情報と前記ズーム倍率の情報とに基づいて、前記縮小率を変更することを特徴とする請求項１４又は１５に記載の画像処理方法。
17. 前記変換ステップにおいて、前記ズーム倍率が大きいほど前記縮小率を小さくすることを特徴とする請求項１６に記載の画像処理方法。
18. 請求項１４から１７のいずれか１つに記載の画像処理方法をコンピュータに実行させるためのプログラムであることを特徴とする画像処理プログラム。

Images