JP6310320B2 - 画像処理装置、撮像装置、画像処理方法、および、プログラム - Google Patents

Description

本技術は、画像処理装置、撮像装置、画像処理方法、および、プログラムに関する。詳しくは、画像を変換する画像処理装置、撮像装置、画像処理方法、および、プログラムに関する。

従来より、一般的なレンズより広い視野角（例えば、１８０度）の視野を撮像するために、撮像装置において魚眼レンズが用いられている。この魚眼レンズを用いると、その光学的特性のために被写体の形と像の形とが相似にならず、例えば、像の形が円形に歪んだ魚眼画像が得られる。像の形状が歪んだままではユーザにとって観察が困難となるため、魚眼画像の歪みを補正して、歪みのない中心射影画像に変換する撮像装置が提案されている（例えば、特許文献１参照。）。この撮像装置は、画像変換において所定の座標変換関数に中心射影画像内の全ての座標を順に入力して、その座標に対応する魚眼画像内の座標を算出している。

特開２０１０−１１８０４０号公報

しかしながら、上述の従来技術では、魚眼画像の画素数が増大するほど、計算量が大きくなってしまう。これに対して、座標変換関数により予め算出しておいた座標をメモリ等の記憶部に保持しておき、変換時に読み出す構成とすれば計算を行わずに済むが、この構成では画素数の増大に伴って記憶部の容量が大きくなってしまう。したがって、計算量と記憶部の容量とをともに削減することは困難である。

本技術はこのような状況に鑑みて生み出されたものであり、画像処理において計算量と記憶部の容量とを削減することを目的とする。

本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部と、上記特定座標および上記対応座標の一方の座標が入力されると上記入力された座標に対応する他方の座標を上記記憶部から取得する座標取得部と、上記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、上記他方の座標と上記補間座標とに基づいて上記非中心射影画像および上記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部とを具備する画像処理装置、および、画像処理方法ならびに当該方法をコンピュータに実行させるためのプログラムである。これにより、特定座標または対応座標に基づいて補間座標が補間され、それらの座標に基づいて非中心射影画像および中心射影画像のうち一方の画像が他方の画像に変換されるという作用をもたらす。

また、この第１の側面において、上記座標取得部は、上記特定座標を上記他方の座標として取得し、上記補間部は、上記非中心射影画像において所定の座標を中心として上記特定座標を回転させた座標を上記補間座標として補間してもよい。これにより、特定座標を回転させた座標が補間座標として補間されるという作用をもたらす。

また、この第１の側面において、上記座標取得部は、上記特定座標を上記他方の座標として取得し、上記補間部は、上記非中心射影画像において所定の座標と上記特定座標とを結ぶ線分上の座標を上記補間座標として補間して当該補間座標を上記所定の座標を中心として回転させた座標を新たな上記補間座標として補間してもよい。これにより、所定の座標と特定座標とを結ぶ線分上の座標が補間座標として補間され、その補間座標を回転させた座標が新たな上記補間座標として補間されるという作用をもたらす。

また、この第１の側面において、上記座標取得部は、上記特定座標を上記他方の座標として取得し、上記補間部は、２つの上記特定座標を結ぶ線分上の座標を上記補間座標として補間してもよい。これにより、２つの上記特定座標を結ぶ線分上の座標が補間座標として補間されるという作用をもたらす。

また、この第１の側面において、上記特定座標は、上記非中心射影画像において面積の異なる複数の上記閉曲線のそれぞれを分割した分割点の座標であってもよい。これにより、閉曲線のそれぞれを分割した分割点の座標に基づいて補間座標が補間されるという作用をもたらす。

また、この第１の側面において、上記特定座標は、上記閉曲線の面積が小さいほど少ない分割数により上記閉曲線のそれぞれを分割した分割点の座標であってもよい。これにより、閉曲線の面積が小さいほど少ない分割数により閉曲線のそれぞれを分割した分割点の座標に基づいて補間座標が補間されるという作用をもたらす。

また、この第１の側面において、上記中心射影画像内の座標に対して透視射影変換を行って当該透視射影変換を行った座標を上記座標取得部および上記補間部に入力する透視射影変換部をさらに具備し、上記補間部は、上記入力された座標に対応する上記補間座標を補間してもよい。これにより、透視射影変換を行った座標に対応する補間座標が補間されるという作用をもたらす。

また、この第１の側面において、上記中心射影画像内の座標を所定の軸周りに回転させる回転部をさらに具備し、上記透視射影変換部は、上記回転された座標に対して上記透視射影変換を行ってよい。これにより、中心射影画像内の座標を所定の軸周りに回転させた座標が透視射影変換されるという作用をもたらす。

また、この第１の側面において、上記中心射影画像内の座標に対して円筒投影変換を行って当該円筒投影変換を行った座標を上記座標取得部および上記補間部に入力する円筒投影変換部をさらに具備し、上記補間部は、上記入力された座標に対応する上記補間座標を補間してもよい。これにより、中心射影画像内の座標に対して円筒投影変換を行った座標に対応する補間座標が補間されるという作用をもたらす。

また、この第１の側面において、撮像された画像が上記一方の画像であるか否かを判断して上記一方の画像である場合には上記一方の座標を上記座標取得部および上記補間部に入力する判断部をさらに具備し、上記補間部は、上記入力された座標に対応する上記補間座標を補間してもよい。これにより、撮像された画像が一方の画像である場合に補間座標が補間されるという作用をもたらす。

また、本技術の第２の側面は、中心射影に該当しない射影により生成される非中心射影画像と中心射影画像とのうち一方を撮像する撮像部と、上記非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた上記中心射影画像内の対応座標とを記憶する記憶部と、上記特定座標および上記対応座標の一方の座標が入力されると上記入力された座標に対応する他方の座標を上記記憶部から取得する座標取得部と、上記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、上記他方の座標と上記補間座標とに基づいて上記非中心射影画像および上記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部とを具備する撮像装置である。これにより、特定座標または対応座標に基づいて補間座標が補間され、それらの座標に基づいて非中心射影画像および中心射影画像のうち一方の画像が他方の画像に変換されるという作用をもたらす。

本技術によれば、画像処理において計算量と記憶部の容量とを削減することができるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

第１の実施の形態における撮像装置の一構成例を示すブロック図である。 第１の実施の形態における座標変換部の一構成例を示すブロック図である。 第１の実施の形態における魚眼画像および中心射影画像の一例を示す図である。 第１の実施の形態における魚眼画像歪補正テーブルの一例を示す図である。 第１の実施の形態における読出座標出力部の一構成例を示すブロック図である。 第１の実施の形態における読出座標回転行列演算部の一構成例を示すブロック図である。 第１の実施の形態におけるメッシュ交点の配置例を示す図である。 第１の実施の形態における出力画像平面の一例を示す図である。 第１の実施の形態における回転させた出力画像平面の一例を示す図である。 第１の実施の形態における出力画像平面を射影した仮想半球面上の領域の一例を示す図である。 第１の実施の形態における読出座標および出力座標を示す図である。 第１の実施の形態におけるメッシュ交点座標および補間座標を示す図である。 第１の実施の形態における魚眼画像および中心射影画像の一例を示す図である。 第１の実施の形態における撮像装置の動作の一例を示すフローチャートである。 第１の実施の形態における画像変換処理の一例を示すフローチャートである。 第１の実施の形態における座標補間処理の一例を示すフローチャートである。 第２の実施の形態における座標変換部の一例を示すブロック図である。 第２の実施の形態における投影範囲および投影面の一例を示す図である。 第２の実施の形態における画像変換処理の一例を示すフローチャートである。 第３の実施の形態におけるメッシュ交点の配置例を示す図である。 第３の実施の形態における密度を均等にしたメッシュ交点の配置例を示す図である。 第４の実施の形態における撮像システムの一構成例を示すブロック図である。 第４の実施の形態における座標変換部の一例を示すブロック図である。 第４の実施の形態における読出座標出力部の一構成例を示すブロック図である。

以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（座標を補間して画像を変換する例）
２．第２の実施の形態（円筒投影した座標から座標を補間して画像を変換する例）
３．第３の実施の形態（密度が均等なメッシュ交点から座標を補間して画像を変換する例）
４．第４の実施の形態（魚眼画像の撮像時に座標を補間して画像を変換する例）

＜１．第１の実施の形態＞
［撮像装置の構成例］
図１は、実施の形態における撮像装置１００の一構成例を示すブロック図である。この撮像装置１００は、魚眼レンズ１１０、撮像素子１２０、入力信号処理部１３０、フレームメモリ１４０、制御部１５０、画像変換部１６０、画素補間部１７０、出力信号処理部１８０および記録部１９０を備える。また、撮像装置１００は、座標変換部２００を備える。

魚眼レンズ１１０は、中心射影以外の射影（例えば、等距離射影）により光を集光して撮像素子１２０に導くものである。なお、魚眼レンズ１１０の射影方式は、中心射影以外のものであれば、等距離射影に限定されない。例えば、正射影や等立体角射影であってもよい。

撮像素子１２０は、制御部１５０の制御に従って魚眼レンズ１１０からの光を電気信号に変換して画像を生成するものである。例えば、ＣＣＤ（Charge Coupled Device）センサーやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサーが撮像素子１２０として用いられる。撮像素子１２０は、生成した画像を入力画像として入力信号処理部１３０に信号線１２９を介して供給する。この入力画像は、２次元格子状に配列された複数の画素からなり、円形の魚眼画像を含む。なお、撮像素子１２０は、特許請求の範囲に記載の撮像部の一例である。

入力信号処理部１３０は、入力画像に対して、ノイズ除去処理、デモザイク処理、ホワイトバランス処理およびＹＣ変換処理などの各種の信号処理を必要に応じて行うものである。この入力信号処理部１３０は、信号処理を行った入力画像を信号線１３９を介してフレームメモリ１４０に供給する。フレームメモリ１４０は、入力画像を保持するものである。

制御部１５０は、撮像装置１００全体を制御するものである。この制御部１５０は、ユーザの操作などに従って撮像素子１２０を制御して画像を撮像させる。また、制御部１５０は、複数の出力座標を画像変換部１６０および座標変換部２００に信号線１５９を介して順に供給し、ズーム倍率、出力画像サイズ、パン角、チルト角およびロール角を座標変換部２００に供給する。

ここで、出力座標は、魚眼画像から生成される中心射影画像内の座標である。この中心射影画像は、２次元格子上に配列された複数の画素からなる。また、中心射影画像において、所定の方向（例えば、水平方向）に沿って並ぶ画素からなる配列は行と呼ばれる。出力座標の供給においては、行のそれぞれが順に選択され、選択された行内の画素の座標のそれぞれが順に出力座標として供給される。

また、出力画像サイズは、中心射影画像のサイズである。ズーム倍率は、出力画像平面に対する出力画像サイズの比を示す。この出力画像平面は、魚眼画像の少なくとも一部が透視射影により射影される矩形の射影面であり、この出力座標平面をズーム倍率により拡大した画像が中心射影画像として生成される。パン角、チルト角およびロール角については後述する。

座標変換部２００は、出力座標を読出座標に変換するものである。ここで、読出座標は魚眼画像内の座標を示す。座標変換部２００は、出力座標が供給されるたびに、出力座標を、対応する読出座標に変換し、画像変換部１６０に信号線２０９を介して供給する。

画像変換部１６０は、魚眼画像を中心射影画像に変換するものである。この画像変換部１６０は、制御部１５０から出力座標を受け取るたびに、その出力座標に対応する読出座標の画素値をフレームメモリ１４０から読み出す。そして、画像変換部１６０は、読み出した画素値を、中心射影画像内の出力座標の画素値として画素補間部１７０に信号線１６９を介して供給する。これにより、魚眼画像は中心射影画像に変換される。

画素補間部１７０は、中心射影画像において画素を必要に応じて補間するものである。例えば、魚眼画像の一部または全部を拡大する際に、画素補間部１７０は、必要な画素をサブピクセル精度で求めて補間する。この補間においては、バイリニア補間アルゴリズム、バイキュービック補間アルゴリズム、または、Ｌａｎｚｏｓ補間アルゴリズムなどのアルゴリズムが用いられる。画素補間部１７０は、画素を補間した中心射影画像を出力信号処理部１８０に信号線１７９を介して供給する。

出力信号処理部１８０は、ＯＳＤ（On Screen Display）処理、マスク処理、および、画像フォーマット変換処理などを必要に応じて中心射影画像に対して行うものである。出力信号処理部１８０は、処理後の中心射影画像を信号線１８９を介して記録部１９０に供給する。記録部１９０は、中心射影画像を記録するものである。

なお、撮像装置１００は、魚眼レンズ１１０により生成された魚眼画像を変換対象として中心射影画像に変換しているが、変換対象は、中心射影でない射影により生成された画像であれば、魚眼画像に限定されない。撮像装置１００は、例えば、曲面ミラーに写し出された被写体を、中心射影レンズにより撮像した画像を変換対象としてもよい。

また、撮像装置１００は、魚眼画像を中心射影画像に変換しているが、逆に中心射影画像を魚眼画像に変換してもよい。この場合、例えば、魚眼レンズ１１０の代わりに中心射影レンズを設け、制御部１５０は、中心射影画像内の読出座標を座標変換部２００および画像変換部１６０に順に供給する。また、座標変換部２００は、読出座標を、魚眼画像内の出力座標に変換する。

また、魚眼レンズ１１０や撮像素子１２０などの各部を１つの装置（撮像装置１００）に設ける構成としているが、これらを複数の装置に分散して設けてもよい。例えば、魚眼レンズ１１０を交換レンズユニットに設け、撮像素子１２０などを撮像装置１００に設け、座標変換部２００や画像変換部１６０などを画像処理装置に設けてもよい。

また、撮像装置１００は、入力信号処理部１３０において、ノイズ除去処理、デモザイク処理、ホワイトバランス処理およびＹＣ変換処理などを画像変換前に行っているが、これらのうち少なくとも１つを画像変換後に行ってもよい。例えば、デモザイク処理を行っていないＲＡＷデータ形式の魚眼画像を中心射影画像に変換し、その後にデモザイク処理を行ってもよい。

また、撮像装置１００は、中心射影画像を外部に出力してもよいし、表示部をさらに備え、その表示部に中心射影画像を表示させてもよい。また、撮像装置１００は、記録部１９０に中心射影画像を記録しているが、記録せずに外部への出力や表示部における表示などを行ってもよい。

［座標変換部の構成例］
図２は、第１の実施の形態における座標変換部２００の一構成例を示すブロック図である。座標変換部２００は、座標正規化部２１０、出力座標回転行列演算部２２０、透視射影変換部２３０、魚眼画像歪補正テーブル２４０および読出座標出力部３００を備える。

ここで、魚眼画像に平行な所定の軸をｘ軸とし、魚眼画像に平行でｘ軸に直交する軸をｙ軸とする。また、これらのｘ軸およびｙ軸に直交する軸をｚ軸とする。ｘ軸、ｙ軸およびｚ軸の原点は、例えば、魚眼画像の中心とする。そして、その原点を中心とする半球の表面を仮想球面と称する。仮想球面は、魚眼レンズ１１０により撮像された視野範囲を表す。出力画像平面（すなわち、射影面）は、初期状態において、例えば、その中心が魚眼画像の中心と一致する位置に配置される。また、出力画像平面は、初期状態において、その中心が仮想球面と接する位置に配置される。

座標正規化部２１０は、ズーム倍率や出力画像サイズに基づいて出力座標を正規化するものである。例えば、中心射影画像の水平座標を０乃至ｏｕｔ_ｈとし、垂直座標を０乃至ｏｕｔ_ｖとする場合、ｏｕｔ_ｈおよびｏｕｔ_ｖが出力画像サイズとして供給される。この座標正規化部２１０は、例えば、次の式により出力座標を正規化する。
ｒ＝ｍｉｎ（ｏｕｔ_ｈ、ｏｕｔ_ｖ）／２ ・・・式１

ｚ_norm＝１ ・・・式４

式１において、ｍｉｎ（Ａ、Ｂ）は、ＡおよびＢのうち値が小さい方を返す関数である。また、式２および式３において、「ｚｏｏｍ」は、魚眼画像の直径と出力画像平面の短辺とが一致し、出力画像平面（すなわち、射影面）を仮想球面に接するように配置した際の倍率を「１」とするズーム倍率である。式２乃至式４において、ｘ_norm、ｙ_normおよびｚ_normは、正規化したｘ、ｙおよびｚ座標である。座標正規化部２１０は、正規化した出力座標（ｘ_norm、ｙ_norm、ｚ_norm）を出力座標回転行列演算部２２０に供給する。式１乃至式４により、出力座標は、半径１の半球の球面上の座標に正規化される。

なお、撮像装置１００は、魚眼画像の少なくとも一部をズーム倍率により拡大しているが、魚眼画像の少なくとも一部を縮小してもよい。縮小する際には、制御部１５０は、ズーム倍率「ｚｏｏｍ」の代わりに、縮小率を供給する。この場合、式２および式３において「ｚｏｏｍ」が縮小率に置き換えられる。

出力座標回転行列演算部２２０は、出力画像平面を回転行列演算により回転させるものである。この出力座標回転行列演算部２２０は、パン角、チルト角およびロール角を制御部１５０から受け取る。ここで、パン角は、出力座標をｘ軸周りに回転させる回転角度である。また、チルト角は、出力座標をｙ軸周りに回転させる回転角度であり、ロール角は、ｚ軸周りに回転させる回転角度である。そして、出力座標回転行列演算部２２０は、例えば、次の式により回転行列演算を行う。

式５において、Ｒ_ｔは、チルト角である。また、Ｒ_ｒはロール角であり、Ｒ_ｐはパン角である。また、（ｘ_rot、ｙ_rot、ｚ_rot）は、回転後の出力座標である。出力座標回転行列演算部２２０は、この出力座標（ｘ_rot、ｙ_rot、ｚ_rot）を透視射影変換部２３０に供給する。なお、出力座標回転行列演算部２２０は、特許請求の範囲に記載の回転部の一例である。

透視射影変換部２３０は、出力座標に対して透視射影変換を行うものである。この透視射影変換部２３０は、例えば、次の式により透視射影変換を行う。
ｘ_sph＝ｘ_rot／（ｘ_rot ²＋ｙ_rot ²＋ｚ_rot ²）^1/2 ・・・式６
ｙ_sph＝ｙ_rot／（ｘ_rot ²＋ｙ_rot ²＋ｚ_rot ²）^1/2 ・・・式７
ｚ_sph＝ｚ_rot／（ｘ_rot ²＋ｙ_rot ²＋ｚ_rot ²）^1/2 ・・・式８
Ｒ_ｘ＝ａｒｃｔａｎ２（ｙ_sph、ｘ_sph） ・・・式９
Ｒ_ｚ＝ａｒｃｃｏｓ（ｚ_sph） ・・・式１０

式６乃至式８において、ｘ_sph、ｙ_sphおよびｚ_sphは、出力座標を仮想天球面の表面上の座標に射影した座標である。また、式９および式１０において、ａｒｃｔａｎ２（ｙ、ｘ）は、（ｙ、ｘ）および原点を結ぶ直線とｘ軸とのなす角度を返す関数である。また、ａｒｃｃｏｓは、正弦関数の逆関数を示す。また、Ｒ_ｘおよびＲ_ｚは、投影射影変換された極座標表記の出力座標のうちｘ軸およびｚ軸に対する角度を示す。透視射影変換部２３０は、投影射影変換した出力座標（ｒ、Ｒ_ｘ、Ｒ_ｚ）のうち（Ｒ_ｘ、Ｒ_ｚ）を読出座標出力部３００に供給する。ここで、ｒは極座標系における半径を示す。ｒを供給しないのは、ｒを固定値（例えば、「１」）としているためである。

読出座標出力部３００は、出力座標を読出座標に変換して画像変換部１６０に出力するものである。出力座標に対応する読出座標が魚眼画像歪補正テーブル２４０に記憶されている場合には、読出座標出力部３００は、その読出座標を魚眼画像歪補正テーブル２４０から取得して出力する。一方、出力座標に対応する読出座標が魚眼画像歪補正テーブル２４０に記憶されていない場合には、読出座標出力部３００は、所定の補間処理により出力座標に対応する読出座標を補間して出力する。補間処理の詳細については、後述する。

魚眼画像歪補正テーブル２４０は、魚眼画像内の読出座標のうち一部の特定座標を、中心射影画像内の出力座標に対応づけて記憶するものである。

このように、撮像装置１００は、魚眼画像内の一部の座標を補間して求めるため、魚眼画像内の全ての座標を演算する構成と比較して計算量を少なくすることができる。

なお、座標変換部２００に正規化部２１０、出力座標回転行列演算部２２０を設けてパン、チルトおよびロールを行う構成としているが、パン、チルトおよびロールを行わないのであれば、出力座標回転行列演算部２２０を設けなくてもよい。

図３は、第１の実施の形態における魚眼画像および中心射影画像の一例を示す図である。同図におけるａは、第１の実施の形態における入力画像５００の一例を示す図である。同図のａに例示するように、入力画像５００は、例えば、二次元格子状に配列された複数の画素からなる矩形の画像である。この入力画像５００は、円形のイメージサークル５０１を含む。このイメージサークル５０１は、魚眼レンズ１１０により集光された光を変換した領域であり、このサークル内の画素からなる画像が魚眼画像として扱われる。この魚眼画像（５０１）は、前述したように、中心射影でない射影により生成されているため、被写体の実際の形と、その被写体を撮像した像の形とが相似にならない。例えば、像の形は円形に歪む。

また、図３におけるｂは、魚眼画像（５０１）から生成された中心射影画像６００の一例を示す図である。同図におけるｂに示すように、魚眼画像の歪みが補正され、像の形状が被写体の実際の形状と相似になる。

図４は、第１の実施の形態における魚眼画像歪補正テーブル２４０の一例を示す図である。この魚眼画像歪補正テーブル２４０には、魚眼画像内の読出座標のうち一部の特定座標が、中心射影画像内の出力座標に対応づけて格納されている。例えば、仮想球面をメッシュ状に分割した分割点を魚眼画像に投影した読出座標が格納される。読出座標に対応する出力座標は、例えば、特許文献１の第００１８段落に記載の座標変換関数により、予め算出された座標である。なお、座標変換関数などにより理論的に求める代わりに、メッシュ交点がプロットされた半球状の被写体を実際に用意し、その被写体を撮像することによりレンズごとにキャリブレーションして求めてもよい。具体的には、例えば、その半球状の被写体を魚眼レンズおよび中心射影レンズのそれぞれにより撮像して、得られた魚眼画像および中心射影画像からメッシュ交点座標およびメッシュ対応座標の対応関係が求められる。

以下、メッシュ交点をｚ軸に平行に魚眼画像に投影した読出座標を「メッシュ交点座標」と称し、そのメッシュ交点座標に対応する中心射影画像内の出力座標を「メッシュ対応座標」と称する。このメッシュ対応座標は、例えば、極座標系により表され、一方、メッシュ交点座標は、例えば直交座標系により表される。なお、メッシュ交点座標は、特許請求の範囲に記載の特定座標の一例であり、メッシュ対応座標は、特許請求の範囲に記載の対応座標の一例である。

メッシュ交点座標が（ｘ_１、ｙ_１）であり、その座標に対応する中心射影画像内のメッシュ対応座標が（Ｒ_ｘ１、Ｒ_ｚ１）である場合、そのメッシュ対応座標（Ｒ_ｘ１、Ｒ_ｚ１）に対応付けてメッシュ交点座標（ｘ_１、ｙ_１）が記憶される。

図５は、第１の実施の形態における読出座標出力部３００の一構成例を示すブロック図である。この読出座標出力部３００は、直交座標取得部３２０および座標補間部３３０を備える。

直交座標取得部３２０は、出力座標に対応する読出座標を魚眼画像歪補正テーブル２４０から取得するものである。この直交座標取得部３２０は、透視射影変換部２３０から供給された出力座標に対応する読出座標が魚眼画像歪補正テーブル２４０に記憶されているか否か、言い換えれば、出力座標がメッシュ対応座標であるか否かを判断する。メッシュ対応座標である場合には直交座標取得部３２０は、そのメッシュ対応座標に対応するメッシュ交点座標（すなわち、読出座標）を魚眼画像歪補正テーブル２４０から取得して画像変換部１６０へ供給する。

一方、出力座標がメッシュ対応座標でない場合に直交座標取得部３２０は、供給された出力座標の周囲のメッシュ対応座標の中から、出力座標との間の距離の近いものを優先して４つのメッシュ対応座標を選択する。これらの４つのメッシュ対応座標をそれぞれ（Ｒ_ｘｎ、Ｒ_ｚｎ）、（Ｒ_ｘｎ＋１、Ｒ_ｚｎ）、（Ｒ_ｘｎ、Ｒ_ｚｎ＋１）および（Ｒ_ｘｎ＋１、Ｒ_ｚｎ＋１）とする。直交座標取得部３２０は、これらのメッシュ対応座標と、メッシュ対応座標に対応するメッシュ交点座標のそれぞれとを魚眼画像歪補正テーブル２４０から取得して座標補間部３３０に供給する。なお、直交座標取得部３２０は、特許請求の範囲に記載の座標取得部の一例である。

座標補間部３３０は、直交座標取得部３２０により取得されたメッシュ交点座標に基づいて、供給された出力座標に対応する読出座標を補間するものである。この座標補間部３３０は、回転後線形補間部３３１、回転後補間係数演算部３３２、回転前線形補間部３３３、回転前補間係数演算部３３４、回転角度演算部３３５および読出座標回転行列演算部３４０を備える。なお、座標補間部３３０は、特許請求の範囲に記載の補間部の一例である。

回転前補間係数演算部３３４は、回転前線形補間部３３３において用いられる補間係数ａ_ｚを演算して回転前線形補間部３３３に供給するものである。補間係数ａ_ｚは、例えば、次の式により算出される。
ａ_ｚ＝Ｒ_ｚ／（Ｒ_ｚｎ＋１−Ｒ_ｚｎ） ・・・式１１

回転前線形補間部３３３は、放射方向において隣り合う２つのメッシュ対応座標の間の座標を線形補間により線形補間座標として補間して読出座標回転行列演算部３４０に供給するものである。線形補間座標は、例えば、次の式により求められる。
ｘ_ａ'＝ｆ_ｘ（Ｒ_xn、Ｒ_zn）・（１−ａ_ｚ）＋ｆ_ｘ（Ｒ_ｘn、Ｒ_ｚn+1）・ａ_ｚ ・・・式１２
ｙ_ａ'＝ｆ_ｙ（Ｒ_xn、Ｒ_zn）・（１−ａ_ｚ）＋ｆ_ｙ（Ｒ_ｘn、Ｒ_ｚn+1）・ａ_ｚ ・・・式１３
ｘ_ｂ'＝ｆ_ｘ（Ｒ_xn+1、Ｒ_zn）・（１−ａ_ｚ）＋ｆ_ｘ（Ｒ_xn+1、Ｒ_zn+1）・ａ_ｚ …式１４
ｙ_ｂ'＝ｆ_ｙ（Ｒ_xn+1、Ｒ_zn）・（１−ａ_ｚ）＋ｆ_ｙ（Ｒ_xn+1、Ｒ_zn+1）・ａ_ｚ …式１５

式１２乃至式１５においてｆ_ｘ（Ｒ_ｘ、Ｒ_ｚ）は、メッシュ対応座標（Ｒ_ｘ、Ｒ_ｚ）に対応するメッシュ交点座標（ｘ、ｙ）のうちｘ座標を返す関数である。また、ｆ_ｙ（Ｒ_ｘ、Ｒ_ｚ）は、メッシュ対応座標（Ｒ_ｘ、Ｒ_ｚ）に対応するメッシュ交点座標（ｘ、ｙ）のうちｙ座標を返す関数である。式１２乃至式１５により、２つのメッシュ交点座標を結ぶ線分上の座標が線形補間座標として求められる。また、式１２乃至式１５において（ｘ_ａ'、ｙ_ａ'）および（ｘ_ｂ'、ｙ_ｂ'）は、線形補間座標である。

回転角度演算部３３５は、線形補間座標を回転させる回転角度Ｒ_ｘａおよびＲ_ｘｂを演算するものである。回転角度Ｒ_ｘａおよびＲ_ｘｂは、例えば、次の式により求められる。
Ｒ_ｘａ＝Ｒ_ｘ−Ｒ_ｘｎ ・・・式１６
Ｒ_ｘｂ＝Ｒ_ｘ−Ｒ_ｘｎ＋１ ・・・式１７

回転角度演算部３３５は、例えば、回転角度Ｒ_ｘａの正弦および余弦を読出座標回転行列演算部３４０に供給し、次いで回転角度Ｒ_ｘｂの正弦および余弦を読出座標回転行列演算部３４０に供給する。

読出座標回転行列演算部３４０は、線形補間座標（ｘ_ａ'、ｙ_ａ'）および（ｘ_ｂ'、ｙ_ｂ'）のそれぞれを回転行列演算により回転させ、回転させた座標を回転補間座標として線形補間部３３１に順に供給するものである。例えば、次の式により、回転後の座標が求められる。

式１８において（ｘ_{rot_a}'、ｙ_{rot_a}'）は、線形補間座標（ｘ_ａ'、ｙ_ａ'）を回転させた回転補間座標である。また、式１９において（ｘ_{rot_b}'、ｙ_{rot_b}'）は、線形補間座標（ｘ_ｂ'、ｙ_ｂ'）を回転させた回転補間座標である。

回転後補間係数演算部３３２は、回転後線形補間部３３１において用いられる補間係数ａ_ｘを演算して回転前線形補間部３３３に供給するものである。補間係数ａ_ｘは、例えば、次の式により算出される。
ａ_ｘ＝Ｒ_ｘ／（Ｒ_ｘｎ＋１−Ｒ_ｘｎ） ・・・式２０

回転後線形補間部３３１は、２つの回転補間座標の間の座標を線形補間により最終的な補間座標として補間して画像変換部１６０に供給するものである。補間座標は、例えば、次の式により求められる。
ｘ'＝ｘ_{rot_a}'・（１−ａ_ｘ）＋ｘ_{rot_b}'・ａ_ｘ ・・・式２１
ｙ'＝ｙ_{rot_a}'・（１−ａ_ｘ）＋ｙ_{rot_b}'・ａ_ｘ ・・・式２２

なお、座標補間部３３０は、線形補間と、座標の回転による補間とを行っているが、線形補間のみを行ってもよい。ただし、魚眼画像においては、像が円形に歪んで写っているため、円周方向において補間する際には、式１８や式１９などを用いて回転による補間を行うことが望ましい。

また、座標補間部３３０は、放射方向において、線形補間を行っているが、放射方向において隣接する２つの座標の間を適切に補間することができるのであれば、線形補間以外の補間（スプライン補間など）を行ってもよい。

［読出座標回転行列演算部の構成例］
図６は、第１の実施の形態における読出座標回転行列演算部３４０の一構成例を示すブロック図である。この読出座標回転行列演算部３４０は、乗算器３４１、３４２、３４３および３４４と、減算器３４５と、加算器３４６とを備える。

乗算器３４１は、座標ｘ_ａ'またはｘ_ｂ'と角度Ｒ_ｘａおよびＲ_ｘｂの正弦とを乗算して乗算結果を減算器３４５に供給するものである。乗算器３４２は、座標ｙ_ａ'またはｙ_ｂ'と角度Ｒ_ｘａまたはＲ_ｘｂの余弦とを乗算して乗算結果を減算器３４５に供給するものである。減算器３４５は、乗算器３４１の乗算結果から乗算器３４２の乗算結果を減算して、座標ｘ_{rot_a}'またはｘ_{rot_b}'として回転後線形補間部３３１に供給するものである。

乗算器３４３は、座標ｘ_ａ'またはｘ_ｂ'と角度Ｒ_ｘａおよびＲ_ｘｂの余弦とを乗算して乗算結果を加算器３４６に供給するものである。乗算器３４４は、座標ｙ_ａ'またはｙ_ｂ'と角度Ｒ_ｘａまたはＲ_ｘｂの正弦とを乗算して乗算結果を加算器３４６に供給するものである。加算器３４６は、乗算器３４３の乗算結果と乗算器３４４の乗算結果とを加算して座標ｙ_{rot_a}'またはｙ_{rot_b}'として回転後線形補間部３３１に供給するものである。

図７は、第１の実施の形態におけるメッシュ交点の配置例を示す図である。矩形の入力画像５００は、円形のイメージサークル５０１（すなわち、魚眼画像）を含む。その魚眼画像の中心を原点とする仮想球面５０２が、メッシュ状に分割される。分割においては、例えば、仮想球面５０２の緯度および経度が等間隔で分割される。分割した分割点（メッシュ交点）５０３や５０４を、ｚ軸に平行に魚眼画像に投影した点の座標が、メッシュ交点座標５０５や５０６として、魚眼画像歪補正テーブル２４０に保持される。

図７では、理想的な射影により像が円形に歪む魚眼画像を前提としてメッシュ交点座標がプロットされている。この理想的な状態においては、同心円状の複数の真円のそれぞれを所定数に等分割した点の座標がメッシュ交点座標として保持される。しかし、実際の魚眼レンズ１１０は、製品ばらつきなどにより理想的な射影方式となっていない場合が多く、また、光軸に対する光線の入射角だけでなく、光軸を中心とした回転角についても理論値からずれる場合がある。これらの要因により、例えば、像が円状でなく、楕円状に歪むことがある。この場合には、メッシュ交点座標は、中心が同一の複数の楕円のそれぞれを分割した点の座標がメッシュ交点座標として保持される。像の一部が楕円形に歪む場合は、その部分において楕円上にメッシュ交点座標が設けられる。このように、面積の異なる複数の閉曲線（円や楕円など）を等分割した分割点の座標がメッシュ交点座標として保持される。

このように、魚眼画像の一部の座標（例えば、メッシュ交点座標）のみを魚眼画像歪補正テーブル２４０に記憶させているため、魚眼画像内の全ての座標を記憶させる構成と比較して、テーブルサイズを小さくすることができる。したがって、魚眼画像歪補正テーブル２４０を保持する記憶部（メモリなど）の容量を小さくすることができる。

図８は、第１の実施の形態における出力画像平面５１０の一例を示す図である。例えば、矩形の出力画像平面５１０が、イメージサークル５０１（魚眼画像）において設定される。出力画像平面５１０は、初期状態において、例えば、その中心が魚眼画像の中心と一致する位置に配置される。また、出力画像平面５１０は、初期状態において、その中心が仮想球面５０２と接する位置に配置される。

図９は、第１の実施の形態における回転させた出力画像平面５１０の一例を示す図である。例えば、パン角、チルト角およびロール角により、出力画像平面５１０は、ｘ軸、ｙ軸およびｚ軸周りに回転される。

図１０は、第１の実施の形態における出力画像平面５１０を仮想球面５０２に透視射影（すなわち、中心射影）した領域５１１の一例を示す図である。この領域５１１上の直交座標（ｘ_sph、ｙ_sph、ｚ_sph）は、上述の式６乃至式８により算出される。この直交座標は、式９および式１０により極座標（Ｒ_ｘ、Ｒ_ｚ）に変換され、この極座標が魚眼画像上の読出座標に変換される。

図１１は、第１の実施の形態における読出座標および出力座標を示す図である。同図におけるａは、理想的な射影が行われた魚眼画像における読出座標の一例を示す図である。同図のａにおける黒丸の画素６０１、６０３、６０７および６０９は、メッシュ交点座標の画素を示す。また、白丸の画素６０２、６０４、６０５、６０６および６０８は、補間座標の画素を示す。

円周方向において隣接するメッシュ交点座標の間の座標は、それらのメッシュ交点座標の少なくとも一方の回転により補間される。

例えば、座標変換部２００が、円周方向において隣接する画素６０１および６０３の間の座標を補間する場合、まず、画素６０１のメッシュ交点座標を（Ｒ_ｘｎ、Ｒ_ｚｎ）および（Ｒ_ｘｎ、Ｒ_ｚｎ＋１）の両方に設定する。また、座標変換部２００は、画素６０３のメッシュ交点座標を（Ｒ_ｘｎ＋１、Ｒ_ｚｎ）および（Ｒ_ｘｎ＋１、Ｒ_ｚｎ＋１）の両方に設定する。このように設定すれば、回転前において、実質的に線形補間が行われない。

そして、座標変換部２００は、画素６０１の座標を回転角度Ｒ_ｘａだけ回転させて回転補間座標（ｘ_{rot_a}'、ｙ_{rot_a}'）を求め、画素６０３の座標を回転角度Ｒ_ｘｂだけ回転させて回転補間座標（ｘ_{rot_b}'、ｙ_{rot_b}'）を求める。理想的な魚眼画像では、これらの回転補間座標は、同じ座標となる。このため、回転後において、実質的に線形補間が行われない。なお、座標変換部２００は、画素６０１および６０３の両方の座標を回転させているが、一方の座標のみを回転させて補間を行ってもよい。

また、放射方向において隣接する２つのメッシュ交点座標の間の座標は、線形補間により求められる。例えば、座標変換部２００が、放射方向において隣接する画素６０１および６０７の間の座標を補間する場合、回転による補間を行わずに、画素６０４の座標を線形補間により補間する。例えば、画素６０４の周囲の４つのメッシュ交点座標が設定され、回転による補間座標の混合率が０％に設定される。

また、４つのメッシュ交点座標で囲まれる領域の内部の座標を補間する際には、線形補間と回転による補間とが行われる。例えば、４つの画素６０１、６０３、６０７および６０９の内部の画素６０５の座標を補間する場合を考える。この場合、画素６０１、６０３、６０７および６０９のメッシュ交点座標が（Ｒ_ｘｎ、Ｒ_ｚｎ）、（Ｒ_ｘｎ＋１、Ｒ_ｚｎ）、（Ｒ_ｘｎ、Ｒ_ｚｎ＋１）および（Ｒ_ｘｎ＋１、Ｒ_ｚｎ＋１）に設定される。このように設定すれば、画素６０４および６０６の座標が線形補間により補間され、それらの座標の回転により、画素６０５の補間座標が取得される。

図１１におけるｂは、第１の実施の形態における出力座標を示す図である。同図のｂにおいて、黒丸の画素７０１、７０３、７０７および７０９は、メッシュ対応座標の画素を示す。また、白丸の画素７０２、７０４、７０５、７０６および７０８は、補間座標に対応する座標の画素を示す。画像変換部１６０が、同図におけるａのそれぞれの画素の画素値を、その読出座標に対応する出力座標の画素値として出力すると、歪みが補正された中心射影画像が生成される。

図１２は、第１の実施の形態におけるメッシュ交点座標および補間座標を示す図である。同図では、魚眼画像が理想的なものでなく、像の少なくとも一部が楕円に歪んでしまう場合を想定している。この場合、座標変換部２００は、放射方向に沿って線形補間を行い、円周方向に沿って回転させる補間を行い、さらに線形補間を行って最終的な補間座標を求める。例えば、画素６０５の座標を補間する場合、その画素６０５の周囲の４つの画素６０１、６０３、６０７および６０９のメッシュ交点座標が（Ｒ_ｘｎ、Ｒ_ｚｎ）、（Ｒ_ｘｎ＋１、Ｒ_ｚｎ）、（Ｒ_ｘｎ、Ｒ_ｚｎ＋１）および（Ｒ_ｘｎ＋１、Ｒ_ｚｎ＋１）に設定される。このように設定すれば、画素６０４および６０６の座標が線形補間により補間され、それらの線形補間座標を回転させる補間により、画素６０８および６０９の座標が補間される。像が楕円に歪む場合は、これらの画素６０８および６０９の座標が異なる座標となる。そこで、座標変換部２００は、それらの画素６０８および６０９の座標から線形補間により、画素６０５の座標を補間する。実際上の魚眼画像は、理想的な状態とは限らないため、回転後に線形補間を行うことが望ましいが、図１１に例示したように、理想的な魚眼画像が想定される場合や精度の低下が許容される場合には、座標変換部２００は、回転後の線形補間を行わない構成としてもよい。

図１３は、第１の実施の形態における魚眼画像および中心射影画像の一例を示す図である。同図におけるａは、魚眼画像を含む入力画像５００の一例である。同図のａにおいて、太い実線で囲った領域は出力画像平面を示す。

図１３におけるｂは、線形補間のみを行う比較例における中心射影画像の一例を示す図である。同図におけるｂに示すように、仮に回転による補間を行わず、線形補間のみを行った場合、特に円周方向において歪みが十分に補間されなくなり、歪残りが生じてしまう。

図１３におけるｃは、線形補間に加えて回転による補間を行った第１の実施の形態における中心射影画像の一例を示す図である。同図におけるｃに示すように、回転による補間を行った場合には、円周方向において歪みが適切に補間され、自然な中心射影画像が得られる。

図１４は、第１の実施の形態における撮像装置１００の動作の一例を示すフローチャートである。この動作は、画像が撮像されるたびに実行される。

撮像装置１００は、魚眼画像を含む入力画像に対して所定の信号処理を行う（ステップＳ９０１）。そして、撮像装置１００は、魚眼画像を中心射影画像に変換する画像変換処理を行う（ステップＳ９１０）。撮像装置１００は、中心射影画像において画素を補間し（ステップＳ９０２）、所定の信号処理を行う（ステップＳ９０３）。ステップＳ９０３の後、撮像装置１００は、動作を終了する。

図１５は、第１の実施の形態における画像変換処理の一例を示すフローチャートである。撮像装置１００は、出力座標を取得し（ステップＳ９１１）、その座標を正規化する（ステップＳ９１２）。そして、撮像装置１００は、正規化した出力座標に対して回転行列演算を行い（ステップＳ９１３）、透視射影（中心射影）変換を行う（ステップＳ９１４）。

撮像装置１００は、透視射影変換した出力座標に対応する読出座標が魚眼画像歪補正テーブル２４０にあるか否かを判断する（ステップＳ９１５）。読出座標がある場合に（ステップＳ９１５：Ｙｅｓ）、撮像装置１００は、魚眼画像歪補正テーブル２４０から出力座標に対応する読出座標を取得する（ステップＳ９１６）。一方、読出座標がない場合に（ステップＳ９１５：Ｎｏ）、撮像装置１００は、補間座標を補間する座標補間処理を行う（ステップＳ９２０）。

ステップＳ９２０またはＳ９１６の後、撮像装置１００は、魚眼画像内の読出座標の画素の画素値を読み出して、対応する出力座標の画素値として出力する（ステップＳ９１７）。そして、撮像装置１００は、全ての出力座標の変換が終了したか否かを判断する（ステップＳ９１８）。変換が終了していない場合に（ステップＳ９１８：Ｎｏ）、撮像装置１００は、ステップＳ９１１に戻る。一方、変換が終了した場合に（ステップＳ９１８：Ｙｅｓ）、撮像装置１００は、画像変換処理を終了する。

図１６は、第１の実施の形態における座標補間処理の一例を示すフローチャートである。撮像装置１００は、出力座標の周囲の４つのメッシュ対応座標に対応するメッシュ交点座標（すなわち、読出座標）を魚眼画像歪補正テーブル２４０から取得する（ステップＳ９２１）。

撮像装置１００は、必要に応じて放射方向に線形補間を行い、２つの線形補間座標を取得する（ステップＳ９２２）。また、撮像装置１００は、必要に応じて、それらの線形補間座標を回転して２つの回転補間座標を取得する（ステップＳ９２３）。そして、撮像装置１００は、必要に応じて、線形補間を行い、２つの回転補間座標から読出座標を取得する（ステップＳ９２４）。ステップＳ９２４の後、撮像装置１００は、座標補間処理を終了する。

このように、本技術の第１の実施の形態によれば、一部の特定座標および対応座標を対応付けて記憶部に記憶し、その記憶部から取得した座標に基づいて補間座標を補間するため、記憶部の容量および計算量を削減することができる。

＜２．第２の実施の形態＞
第１の実施の形態では、透視射影変換により魚眼画像を中心射影画像に変換していたが、透視射影変換の代わりに円筒投影変換を行ってもよい。円筒投影変換を行うと、透視射影変換の場合よりも視野の広いパノラマ画像に魚眼画像を変換することができる。第２の実施の形態の撮像装置１００は、透視射影変換の代わりに円筒投影変換を行う点において第１の実施の形態と異なる。

図１７は、第２の実施の形態における座標変換部２００の一例を示すブロック図である。第２の実施の形態の座標変換部２００は、座標正規化部２１０、出力座標回転行列演算部２２０、および、透視射影変換部２３０の代わりに座標正規化部２１１およびパノラマ座標変換部２５０を備える点において第１の実施の形態と異なる。

座標正規化部２１１は、魚眼画像内の投影範囲の視野角および出力画像サイズに基づいて座標を正規化するものである。この視野角は、ｄｇ_ｏｆｆｓｅｔおよびｄｇ_ａｐｌの組合せにより設定される。ｄｇ_ｏｆｆｓｅｔは、固定の角度であり、ｘ−ｙ平面において基準の軸（例えば、ｘ軸）に対するマイナスの角度が設定される。ｄｇ_ａｐｌは、アプリケーションなどにより変更することができる可変の角度であり、ｘ−ｙ平面において基準の軸に対するプラスの角度が設定される。円筒投影変換としてメルカトル投影変換を行う場合、座標正規化部２１１は、例えば、次の式を使用して正規化を行う。

式２３および式２４においてｘ_panoおよびｙ_panoは、正規化したｘ座標およびｙ座標である。式２５において、ｒａｄ（）は、「度」の単位で表された値を「ラジアン」表記の値に変換して返す関数である。また、ｔａｎ^-1（）は、正接関数の逆関数である。ｌｎ Ａは、Ａの自然対数である。

式２４および式２５により、ｚ軸に対する角度が一定の許容角度（例えば、８５度）を超える天頂付近を除いた範囲がパノラマ展開される。これは、天頂付近をパノラマ展開すると、天頂に近いほど拡大率が大きくなり、視認性が低下するためである。

座標正規化部２１１は、正規化した出力座標（ｘ_pano、ｙ_pano）をパノラマ座標変換部２５０に供給する。

パノラマ座標変換部２５０は、出力座標（ｘ_pano、ｙ_pano）を極座標に変換するものである。パノラマ座標変換部２５０は、例えば、次の式を使用して極座標を求める。
Ｒ_ｘ＝ｘ_pano ・・・式２６

上式においてｇｄは、グーデルマン関数である。

式２３乃至式２７により、出力座標は、正規化されるとともに円筒投影変換される。パノラマ座標変換部２５０は、変換された極座標（Ｒ_ｘ、Ｒ_ｙ）を読出座標出力部３００に供給する。

なお、座標正規化部２１１およびパノラマ座標変換部２５０は、特許請求の範囲における円筒投影変換部の一例である。

なお、パノラマ座標変換部２５０は、極座標を算出しているが、直交座標（ｘ_pano、ｙ_pano）ごとに、予め算出しておいた極座標を保持する極座標テーブルをさらに設け、そのテーブルから極座標を読み出す構成であってもよい。また、正規化部２１１およびパノラマ座標変換部２５０は、メルカトル投影変換を行っているが、正距円筒投影変換など、メルカトル投影変換以外の円筒投影変換を行ってもよい。メルカトル投影変換以外の変換を行う際にパノラマ座標変換部２５０は、予め極座標テーブルに保持しておいた極座標を使用して、その変換を行ってもよい。

図１８は、第２の実施の形態における投影範囲および投影面の一例を示す図である。同図に示す投影範囲５１２は、魚眼画像において、円筒投影変換の対象とされる範囲である。ｄｇ_ｏｆｆｓｅｔにｄｇ_ａｐｌを加えた角度の扇型の範囲が投影範囲５１２として設定される。また、投影面５１３は、投影範囲５１２が円筒投影される面であり、同図においては、矩形の平面の一辺を魚眼画像の外周に沿って湾曲させた形で記載されている。この投影面５１３に投影された画像を平面上に展開したものが中心射影画像として生成される。

図１９は、第２の実施の形態における画像変換処理の一例を示すフローチャートである。第２の実施の形態の画像変換処理は、ステップＳ９１３およびＳ９１４の代わりにステップＳ９１９を実行する点において、第１の実施の形態と異なる。

撮像装置１００は、視野角および出力画像サイズに基づいて座標を正規化し（ステップＳ９１２）、正規化した出力座標を極座標に変換する（ステップＳ９１９）。

このように、第２の実施の形態によれば、出力座標に対して円筒投影変換を行い、円筒投影変換を行った座標に対応する読出座標および補間座標を取得するため、魚眼画像を中心射影方式のパノラマ画像に変換することができる。

＜３．第３の実施の形態＞
第１の実施の形態では、複数の閉曲線（例えば、円）のそれぞれのメッシュ交点の個数を同一にしていた。しかしながら、閉曲線の半径が小さいほど、その外周の長さは短くなる。このため、分割数を同一にすると、中心に近づくほどメッシュ交点の密度が高くなってしまう。メッシュ交点の密度が高いほど補正精度が高くなるため、補正精度を均等にする観点から、半径が小さいほどメッシュ交点の個数を少なくして、メッシュ交点の密度を一定に近づけることが望ましい。第３の実施の形態の撮像装置１００は、半径が小さいほど（言い換えれば、面積が小さいほど）メッシュ交点の個数を少なくした点において第１の実施の形態と異なる。

図２０は、第３の実施の形態におけるメッシュ交点の配置例５２１を示す図である。同図におけるａは、最も半径が大きい閉曲線と、次に半径の大きい閉曲線とにおいて、メッシュ交点を２倍に増加した際の配置例である。同図のａにおける点線で囲った黒丸は、追加したメッシュ交点を示す。同図におけるｂは、最も半径の小さい閉曲線において、メッシュ交点を半分に削減した際の配置例５２２である。同図のｂにおける点線の白丸は、削減したメッシュ交点を示す。このように、外側のメッシュ交点を増加するか、内側のメッシュ交点を削減することにより、メッシュ交点の密度が一定に近くなる。

図２１は、第３の実施の形態における密度を均等にした際のメッシュ交点の配置例５２３を示す図である。同図において、最も半径が大きい閉曲線と、次に半径の大きい閉曲線とにおいてメッシュ交点が追加され、最も半径の小さい閉曲線においてメッシュ交点が削減されている。

第３の実施の形態の座標補間部３３０は、削減したメッシュ交点の座標を、周囲のメッシュ交点座標から補間して求める。例えば、円周方向の隣接する２つのメッシュ交点を回転させる補間や、放射方向の隣接する２つのメッシュ交点からの線形補間などが行われる。

また、外側の閉曲線にメッシュ交点を追加し、その内側の閉曲線には追加しない場合、それらの閉曲線の間の座標の周囲には、４つのメッシュ交点と追加したメッシュ交点とを含む５つのメッシュ交点が配置されることになる。

ここで、点線の枠５２４は、追加したメッシュ交点を含まない４つのメッシュ交点を頂点とする多角形である。一方、実線の枠５２５は、追加したメッシュ交点と中心との間に補間座標を補間して、放射方向に隣接するメッシュ交点と、追加したメッシュ交点と、補間座標とを頂点とする多角形である。この場合、枠５２４の内部の座標は、それらの４つの頂点のメッシュ交点から補間される。あるいは、枠５２５の頂点に補間座標を補間して、その内部の座標をそれらのメッシュ交点および頂点から補間してもよい。もしくは、撮像装置１００は、枠５２４の頂点から補間した座標と、枠５２５の頂点から補間した座標とを混合し、その混合した座標を最終的な補間座標として補間してもよい。歪補正の連続性を考えると、中心または外周に近づくにつれて、徐々に混合していく方法が望ましい。徐々に混合する際は、例えば、中心に近づくほど、枠５２４の頂点から補間した座標の混合率が高く設定される。

このように、本技術の第３の実施の形態によれば、閉曲線の面積が小さいほど少ない分割数により、その閉曲線を分割した分割点をメッシュ交点とするため、メッシュ交点の密度を均等に近づけることができる。

＜４．第４の実施の形態＞
第１の実施の形態では、撮像装置１００は、魚眼画像の歪みを補正していたが、中心射影画像が入力された際に、その中心射影画像の歪みを補正することもできる。第４の実施の形態の撮像装置１００は、魚眼画像および中心射影画像のいずれが入力されたかを判断して、歪み補正の方法を変更する点において第１の実施の形態と異なる。

図２２は、第４の実施の形態における撮像システムの一構成例を示すブロック図である。この撮像システムは、交換レンズユニット４００および撮像装置１００を備える。

交換レンズユニット４００は、魚眼レンズまたは中心射影レンズが装着される部品である。この交換レンズユニット４００は、レンズが装着されると、そのレンズの種別を撮像装置１００に通知する。

第４の実施の形態の撮像装置１００の構成は、魚眼レンズ１１０を備えない点以外は、第１の実施の形態と同様である。第４の実施の形態の制御部１５０は、レンズの種別を取得し、装着されたレンズが魚眼レンズであるか否かを判断する。そして、制御部１５０は、判断結果に基づいて切替信号を生成して送信する。切替信号は、変換方法の切り替えを指示する信号である。なお、制御部１５０は、特許請求の範囲に記載の判断部の一例である。

図２３は、第４の実施の形態における座標変換部２００の一例を示すブロック図である。第４の実施の形態の座標変換部２００は、中心射影画像歪補正テーブル２６０をさらに備える点において第１の実施の形態と異なる。中心射影画像歪補正テーブル２６０は、歪補正前の中心射影画像の読出座標の一部について、歪補正後の中心射影画像の出力座標を対応付けたテーブルである。

図２４は、第４の実施の形態における読出座標出力部３００の一構成例を示すブロック図である。第４の実施の形態の読出座標出力部３００は、切替器３１０をさらに備える点において第１の実施の形態と異なる。

切替器３１０は、切替信号に従って、魚眼画像歪補正テーブル２４０または中心射影画像歪補正テーブル２６０における読出座標を直交座標取得部３２０に供給するものである。例えば、レンズ種別が魚眼レンズである場合に、魚眼画像歪補正テーブル２４０からの読出座標が供給され、そうでない場合に中心射影画像歪補正テーブル２６０からの読出座標が供給される。

また、第４の実施の形態の回転前補間係数演算部３３４は、切替信号に従って、補間係数を変更する。例えば、レンズが魚眼レンズである場合に、式１１により算出された補間係数が供給され、そうでない場合に「０」の補間係数が供給される。

また、第４の実施の形態の回転角度演算部３３５は、切替信号に従って、回転角度を変更する。例えば、レンズが魚眼レンズである場合に、式１６または式１７により算出された回転角度の正弦および余弦が供給される。一方、レンズが魚眼レンズでない場合には、「０」度の角度が設定され、正弦として「１」が、余弦として「０」が供給される。

なお、読出座標出力部３００は、中心射影画像に対する歪補正を行っているが、中心射影画像が入力された際には、歪補正を行わず、読出座標をそのまま出力画像として出力してもよい。この場合には、中心射影画像歪補正テーブル２６０は設けられず、画像変換部１６０は、実質的に画像変換を行わない。

このように、第４の実施の形態によれば、撮像装置１００は、入力画像が魚眼画像であるか否かを判断して、魚眼画像であれば中心射影画像に変換するため、魚眼画像以外の入力画像に対しても画像処理を行うことができる。

なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。

また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

なお、本技術は以下のような構成もとることができる。
（１）中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部と、
前記特定座標および前記対応座標の一方の座標が入力されると前記入力された座標に対応する他方の座標を前記記憶部から取得する座標取得部と、
前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、
前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部と
を具備する画像処理装置。
（２）前記座標取得部は、前記特定座標を前記他方の座標として取得し、
前記補間部は、前記非中心射影画像において所定の座標を中心として前記特定座標を回転させた座標を前記補間座標として補間する
前記（１）記載の画像処理装置。
（３）前記座標取得部は、前記特定座標を前記他方の座標として取得し、
前記補間部は、前記非中心射影画像において所定の座標と前記特定座標とを結ぶ線分上の座標を前記補間座標として補間して当該補間座標を前記所定の座標を中心として回転させた座標を新たな前記補間座標として補間する
前記（１）または（２）に記載の画像処理装置。
（４）前記座標取得部は、前記特定座標を前記他方の座標として取得し、
前記補間部は、２つの前記特定座標を結ぶ線分上の座標を前記補間座標として補間する
前記（１）に記載の画像処理装置。
（５）前記特定座標は、前記非中心射影画像において面積の異なる複数の前記閉曲線のそれぞれを分割した分割点の座標である
前記（１）から（４）のいずれかに記載の画像処理装置。
（６）前記特定座標は、前記閉曲線の面積が小さいほど少ない分割数により前記閉曲線のそれぞれを分割した分割点の座標である
前記（５）記載の画像処理装置。
（７）前記中心射影画像内の座標に対して透視射影変換を行って当該透視射影変換を行った座標を前記座標取得部および前記補間部に入力する透視射影変換部をさらに具備し、
前記補間部は、前記入力された座標に対応する前記補間座標を補間する
前記（１）から（６）のいずれかに記載の画像処理装置。
（８）前記中心射影画像内の座標を所定の軸周りに回転させる回転部をさらに具備し、
前記透視射影変換部は、前記回転された座標に対して前記透視射影変換を行う
前記（１）から（７）のいずれかに記載の画像処理装置。
（９）前記中心射影画像内の座標に対して円筒投影変換を行って当該円筒投影変換を行った座標を前記座標取得部および前記補間部に入力する円筒投影変換部をさらに具備し、
前記補間部は、前記入力された座標に対応する前記補間座標を補間する
前記（１）記載の画像処理装置。
（１０）撮像された画像が前記一方の画像であるか否かを判断して前記一方の画像である場合には前記一方の座標を前記座標取得部および前記補間部に入力する判断部をさらに具備し、
前記補間部は、前記入力された座標に対応する前記補間座標を補間する
前記（１）から（９）のいずれかに記載の画像処理装置。
（１１）中心射影に該当しない射影により生成される非中心射影画像と中心射影画像とのうち一方を撮像する撮像部と、
前記非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた前記中心射影画像内の対応座標とを記憶する記憶部と、
前記特定座標および前記対応座標の一方の座標が入力されると前記入力された座標に対応する他方の座標を前記記憶部から取得する座標取得部と、
前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、
前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部と
を具備する撮像装置。
（１２）座標取得部が、前記特定座標および前記対応座標の一方の座標が入力されると中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部から前記入力された座標に対応する他方の座標を取得する座標取得手順と、
補間部が、前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間手順と、
画像変換部が、前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する変換手順と
を具備する画像処理方法。
（１３）座標取得部が、前記特定座標および前記対応座標の一方の座標が入力されると中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部から前記入力された座標に対応する他方の座標を取得する座標取得手順と、
補間部が、前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間手順と、
画像変換部が、前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する変換手順と
をコンピュータに実行させるためのプログラム。

１００ 撮像装置
１１０ 魚眼レンズ
１２０ 撮像素子
１３０ 入力信号処理部
１４０ フレームメモリ
１５０ 制御部
１６０ 画像変換部
１７０ 画素補間部
１８０ 出力信号処理部
１９０ 記録部
２００ 座標変換部
２１０、２１１ 座標正規化部
２２０ 出力座標回転行列演算部
２３０ 透視射影変換部
２４０ 魚眼画像歪補正テーブル
２５０ パノラマ座標変換部
２６０ 中心射影画像歪補正テーブル
３００ 読出座標出力部
３１０ 切替器
３２０ 直交座標取得部
３３０ 座標補間部
３３１ 回転後線形補間部
３３２ 回転後補間係数演算部
３３３ 回転前線形補間部
３３４ 回転前補間係数演算部
３３５ 回転角度演算部
３４０ 読出座標回転行列演算部
３４１、３４２、３４３、３４４ 乗算器
３４５ 減算器
３４６ 加算器
４００ 交換レンズユニット

Claims (12)

1. 中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部と、
   前記対応座標が入力されると前記対応座標に対応する前記特定座標を前記記憶部から取得する座標取得部と、
   前記非中心射影画像において所定の中心座標と前記取得された特定座標とを結ぶ線分上の座標を前記中心座標を中心として回転させた座標を回転補間座標として補間する補間部と、
   前記特定座標と前記回転補間座標とに基づいて前記非中心射影画像を前記中心射影画像に変換する画像変換部と
   を具備する画像処理装置。
2. 前記補間部は、前記非中心射影画像において前記中心座標を中心として前記特定座標を回転させた座標を前記回転補間座標として補間する
   請求項１記載の画像処理装置。
3. 前記補間部は、前記非中心射影画像において前記中心座標と前記特定座標とを結ぶ前記線分上の座標を線形補間座標として補間して当該線形補間座標を前記中心座標を中心として回転させた座標を前記回転補間座標として補間する
   請求項１記載の画像処理装置。
4. 中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標とを記憶する記憶部と、
   前記特定座標および前記対応座標の一方の座標が入力されると前記入力された座標に対応する他方の座標を前記記憶部から取得する座標取得部と、
   前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、
   前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部と
   を具備し、
   前記特定座標は、前記非中心射影画像において面積の異なる複数の閉曲線のそれぞれを分割した分割点の座標である
   画像処理装置。
5. 前記特定座標は、前記閉曲線の面積が小さいほど少ない分割数により前記閉曲線のそれぞれを分割した分割点の座標である
   請求項４記載の画像処理装置。
6. 前記中心射影画像内の座標に対して透視射影変換を行って当該透視射影変換を行った座標を前記座標取得部および前記補間部に入力する透視射影変換部をさらに具備し、
   前記補間部は、前記入力された座標に対応する前記補間座標を補間する
   請求項４記載の画像処理装置。
7. 前記中心射影画像内の座標を所定の軸周りに回転させる回転部をさらに具備し、
   前記透視射影変換部は、前記回転された座標に対して前記透視射影変換を行う
   請求項６記載の画像処理装置。
8. 前記中心射影画像内の座標に対して円筒投影変換を行って当該円筒投影変換を行った座標を前記座標取得部および前記補間部に入力する円筒投影変換部をさらに具備し、
   前記補間部は、前記入力された座標に対応する前記補間座標を補間する
   請求項４記載の画像処理装置。
9. 撮像された画像が前記一方の画像であるか否かを判断して前記一方の画像である場合には前記一方の座標を前記座標取得部および前記補間部に入力する判断部をさらに具備し、
   前記補間部は、前記入力された座標に対応する前記補間座標を補間する
   請求項４記載の画像処理装置。
10. 中心射影に該当しない射影により生成される非中心射影画像と中心射影画像とのうち一方を撮像する撮像部と、
    前記非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた前記中心射影画像内の対応座標とを記憶する記憶部と、
    前記特定座標および前記対応座標の一方の座標が入力されると前記入力された座標に対応する他方の座標を前記記憶部から取得する座標取得部と、
    前記取得された他方の座標とに基づいて当該他方の座標と異なる座標を補間座標として補間する補間部と、
    前記他方の座標と前記補間座標に基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する画像変換部と
    を具備し、
    前記特定座標は、前記非中心射影画像において面積の異なる複数の閉曲線のそれぞれを分割した分割点の座標である
    撮像装置。
11. 座標取得部が、中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標との一方の座標が入力されると、前記特定座標と前記対応座標とを記憶する記憶部から前記入力された座標に対応する他方の座標を取得する座標取得手順と、
    補間部が、前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間手順と、
    画像変換部が、前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する変換手順と
    を具備し、
    前記特定座標は、前記非中心射影画像において面積の異なる複数の閉曲線のそれぞれを分割した分割点の座標である
    画像処理方法。
12. 座標取得部が、中心射影に該当しない射影により生成された非中心射影画像内の座標のうち一部の特定座標と当該特定座標に対応付けた中心射影画像内の対応座標との一方の座標が入力されると、前記特定座標と前記対応座標とを記憶する記憶部から前記入力された座標に対応する他方の座標を取得する座標取得手順と、
    補間部が、前記取得された他方の座標に基づいて当該他方の座標と異なる座標を補間座標として補間する補間手順と、
    画像変換部が、前記他方の座標と前記補間座標とに基づいて前記非中心射影画像および前記中心射影画像のうち一方の画像を他方の画像に変換する変換手順と
    をコンピュータに実行させるためのプログラムであって、
    前記特定座標は、前記非中心射影画像において面積の異なる複数の閉曲線のそれぞれを分割した分割点の座標である
    プログラム。

Images