JPWO2018179039A1 - カメラパラメータ推定装置、方法およびプログラム - Google Patents

Abstract

投影画像生成部９１は、魚眼レンズカメラにより撮像される画像に対し、魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する。表示部９２は、複数の投影画像を表示する。選択受付部９３は、表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける。射影方式決定部９４は、選択された投影画像に基づいて射影方式を決定する。出力部９５は、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する。

Description

本発明は、カメラパラメータ推定装置、カメラパラメータ推定方法およびカメラパラメータ推定プログラムに関し、特に、魚眼レンズカメラの内部パラメータを推定するカメラパラメータ推定装置、カメラパラメータ推定方法およびカメラパラメータ推定プログラムに関する。

魚眼レンズカメラの内部パラメータとは、カメラ光軸を基準とした３次元座標を示すカメラ座標系と画像上の２次元座標を示す画像座標系を変換できるパラメータであり、画像中心、撮像素子の歪み、レンズ歪み（すなわち、射影方式＋関連パラメータ）を示すパラメータである。内部パラメータを用いることで、任意の座標系の点が分かると、各座標系の点に変換することができる。

魚眼レンズカメラの内部パラメータを推定する方法が、例えば、特許文献１に記載されている。特許文献１に記載された方法では、まず、３枚のチェスパターンが互いに直交する特殊な校正パターンを撮影する。次に、視野境界の楕円フィッティングと、射影方式の事前知識及び接線歪みなしの条件から内部パラメータを仮推定し、校正パターンの格子点を示す実空間上の点を外部パラメータと内部パラメータを用いて画像上に投影する。そして、投影された格子点の座標と画像から直接取得した格子点の座標の投影誤差を最小化することで、内部パラメータを推定する。

特開２００７−１９２８３２号公報

一方、特許文献１に記載された推定方法にはいくつかの問題点が存在する。第一の問題点は、３次元位置の既知な点が存在する特殊な校正パターン、物体、空間などを撮影しないと内部パラメータを推定できず、推定が複雑になることである。その理由は、３次元位置である実空間上の点と画像上の点の対応から、外部パラメータと内部パラメータを同時に推定しながら、内部パラメータを推定しているためである。

第二の問題点は、推定したい魚眼レンズカメラに対し、内部パラメータのレンズ歪みを示す射影方式を事前に入手しておく必要があることである。その理由は、射影方式に基づいて、内部パラメータのレンズ歪みを示すパラメータの初期値、つまり、内部パラメータの初期値を決定しているためである。

そこで、本発明は、特殊な校正パターンや射影方式の前提知識を必要とせずに、内部パラメータを容易に推定できるカメラパラメータ推定装置、カメラパラメータ推定方法およびカメラパラメータ推定プログラムを提供することを目的とする。

本発明によるカメラパラメータ推定装置は、魚眼レンズカメラにより撮像される画像に対し、魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する投影画像生成部と、複数の投影画像を表示する表示部と、表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける選択受付部と、選択された投影画像に基づいて射影方式を決定する射影方式決定部と、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する出力部とを備えたことを特徴とする。

本発明によるカメラパラメータ推定方法は、魚眼レンズカメラにより撮像される画像に対し、魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成し、複数の投影画像を表示し、表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付け、選択された投影画像に基づいて射影方式を決定し、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力することを特徴とする。

本発明によるカメラパラメータ推定プログラムは、コンピュータに、魚眼レンズカメラにより撮像される画像に対し、魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する投影画像生成処理、複数の投影画像を表示装置に表示する表示処理、表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける選択受付処理、選択された投影画像に基づいて射影方式を決定する射影方式決定処理、および、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する出力処理を実行させることを特徴とする。

本発明によれば、特殊な校正パターンや射影方式の前提知識を必要とせずに、内部パラメータを容易に推定できる。

本発明によるカメラパラメータ推定装置の第１の実施形態の構成例を示すブロック図である。 内部パラメータの一部を取得する方法の一例を示す説明図である。 各座標系の関係を示す説明図である。 魚眼レンズカメラで撮影された画像から複数の射影方式により生成された画像の例を示す説明図である。 第１の実施形態のカメラパラメータ推定装置１００の動作例を示すフローチャートである。 本発明によるカメラパラメータ推定装置の第２の実施形態の構成例を示すブロック図である。 最大入射角を算出する方法の例を説明する説明図である。 焦点距離を算出する方法の例を説明する説明図である。 第２の実施形態のカメラパラメータ推定装置２００の動作例を示すフローチャートである。 本発明によるカメラパラメータ推定装置の第３の実施形態の構成例を示すブロック図である。 魚眼レンズカメラで撮像された画像にガイドを重畳した例を示す説明図である。 第３の実施形態のカメラパラメータ推定装置３００の動作例を示すフローチャートである。 本発明によるカメラパラメータ推定装置の第４の実施形態の構成例を示すブロック図である。 平面チェスパターンを透視投影画像に戻した例を示す説明図である。 直線性を判断する処理の例を示す説明図である。 第４の実施形態のカメラパラメータ推定装置４００の動作例を示すフローチャートである。 本発明によるカメラパラメータ推定装置の第５の実施形態の構成例を示すブロック図である。 直線と判断する箇所の指示を受け付ける例を示す説明図である。 第５の実施形態のカメラパラメータ推定装置５００の動作例を示すフローチャートである。 本発明によるカメラパラメータ推定装置の概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明によるカメラパラメータ推定装置の第１の実施形態の構成例を示すブロック図である。本実施形態のカメラパラメータ推定装置１００は、画像取得装置１１と、楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、透視投影画像サイズ記憶手段１５と、最大入射角記憶手段１６と、射影方式選択手段１７と、透視投影画像表示装置１８と、射影方式指示手段１９とを備えている。

画像取得装置１１は、推定に用いられる画像を取得する。具体的には、画像取得装置１１は、魚眼レンズで撮像された直線が含まれる風景画像を取得する。直線が含まれる風景画像として、例えば、ビル、電柱、机、柱、床のパターンなどを含む風景画像があげられる。

なお、取得される画像は、直線が含まれていれば、風景画像に限定されず、例えば、上記特許文献１に記載された特殊な格子パターンであってもよい。ただし、特殊な格子パターンを推定ごとに準備し、撮像することは煩雑であるが、本実施形態のカメラパラメータ推定装置１００は、後述する処理により、特殊な格子パターンを用いなくても内部パラメータを容易に推定することが可能である。

画像取得装置１１は、撮像手段（図示せず）によって撮像された画像を取得してもよく、任意の記憶部（図示せず）から画像を読み取ってもよく、通信ネットワーク網を介して画像を受信してもよい。

楕円推定手段１２は、撮像された画像から、その画像を撮像した魚眼レンズの内部パラメータの一部を取得する。ここでは、楕円推定手段１２は、撮像された画像から、画像中心（Ｃ_ｕ，Ｃ_ｖ）、撮像素子の歪みαおよび魚眼レンズの視界領域の半径Ｒを推定する。理論的には、魚眼レンズの視界領域は、半径Ｒの真円になる。

楕円推定手段１２は、魚眼レンズカメラから得られた画像の視野境界に対して、例えば、楕円フィッティングを行い、内部パラメータの一部である画像中心（Ｃ_ｕ，Ｃ_ｖ）と撮像素子の歪みαを取得する。また、楕円推定手段１２は、複数の典型的な射影方式のパラメータとして、視野境界が真円である場合の半径Ｒを取得する。ただし、半径Ｒを取得する方法は、楕円フィッティングに限定されない。

図２は、内部パラメータの一部を取得する方法の一例を示す説明図である。撮像された画像１１０は、画像の左上を原点とし、横軸方向をｕ、縦軸方向をｖとする画像座標系で表すことができる。魚眼レンズで撮像された画像は楕円状になることから、長径および短径の長さをそれぞれ２ａおよび２ｂとしたとき、その楕円は、画像中心（Ｃ_ｕ，Ｃ_ｖ）を用いて、以下の式１で表される。

次に、魚眼レンズカメラの光軸を中心とする極座標系（以下、魚眼座標系と記す。）を考える。楕円推定手段１２は、図２の画像１２０に示すように、視野境界が真円になるように戻すための内部パラメータを算出する。ここでは、楕円推定手段１２は、短軸の長さ２ｂの半分の長さを真円の半径Ｒとするように内部パラメータを算出する。すなわち、Ｒ＝ｂである。ただし、Ｒ＝ａとしてもよい。

魚眼座標系において、円の中心を原点とし、ｕ´およびｖ´を直交座標としたとき、画像座標系の各点は、以下に示す式２を用いて、魚眼座標系の各点に変換できる。式２において、αは撮像素子の歪みであり、α＝ｂ／ａで算出される。

また、楕円推定手段１２は、魚眼座標系における極座標を、以下に示す式３で算出する。

ｒおよびＲを算出することで、典型的な射影方式における入射角を算出することが可能である。以下の説明では、典型的な射影方式として４種類（等距離射影方式、正射影方式、立体射影方式および等立体角射影方式）を例示する。ただし、本実施形態のカメラパラメータ推定装置が用いる射影方式は、これら４種類に限定されない。

等距離射影方式における入射角θは、以下に示す式４で算出される。正射影方式における入射角θは、以下に示す式５で算出される。立体射影方式における入射角θは、以下に示す式６で算出される。等立体角射影方式における入射角θは、以下に示す式７で算出される。

透視投影画像サイズ記憶手段１５は、生成される透視投影画像のサイズｓを記憶する。具体的には、透視投影画像サイズ記憶手段１５は、画像の幅ｗと高さｈで表されるサイズを記憶してもよい。生成される透視投影画像のサイズｓは、ユーザ等により予め定められ、透視投影画像サイズ記憶手段１５に記憶される。

最大入射角記憶手段１６は、生成される透視投影画像で用いられる最大入射角を記憶する。本実施形態では、最大入射角θ_ｍａｘは予め定められ、最大入射角記憶手段１６に記憶されているものとする。

透視投影画像サイズ記憶手段１５および最大入射角記憶手段１６は、メモリや磁気ディスク等により実現される。

焦点距離算出手段１４は、透視投影画像の生成に用いられる焦点距離を算出する。焦点距離ｆ´は、魚眼レンズカメラの焦点から、魚眼レンズカメラで撮像された画像を一般的な画像（透視投影画像）として表示する平面（透視投影平面）までの距離である。

焦点距離算出手段１４は、透視投影画像サイズ記憶手段１５から透視投影画像のサイズｓを取得する。具体的には、焦点距離算出手段１４は、透視投影画像サイズ記憶手段１５から幅ｗまたは高さｈを取得する。ここで取得された値をｓと記す。また、焦点距離算出手段１４は、最大入射角記憶手段１６から最大入射角θ_ｍａｘを取得する。このとき、焦点距離算出手段１４は、焦点距離ｆ´を以下の式８により算出する。

ｆ´＝ｓ／２ｔａｎθ_ｍａｘ （式８）

透視投影画像生成手段１３は、予め定めた射影方式ごとに、楕円推定手段１２が取得した内部パラメータを用いて、カメラから焦点距離ｆ´にある平面（透視投影平面）に透視投影することで得られる一般的な画像（すなわち、透視投影画像）を生成する。

具体的には、透視投影画像生成手段１３は、複数の射影方式を適用して、複数の投影画像を生成する。なお、上述する射影方式では、魚眼レンズカメラにおける視界領域の半径が用いられる。また、魚眼レンズカメラにおける視界領域の半径Ｒは、楕円推定手段１２によって撮像された画像から推定されている。そこで、透視投影画像生成手段１３は、魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する。

図３は、各座標系の関係を示す説明図である。画像座標系で表された図３に例示する画像２１０の任意の点ｍは、上記式２および式３により、ｒおよびφで表される魚眼座標系の点ｍ´に変換できる。また、魚眼座標系における点ｍ´は、指定された射影方式に基づき入射角θを求めて射影変換することにより、カメラ座標系における仮想球面上の点ｐに変換できる。

仮想球面を半径１の球とし、入射角θ、方位角φとすると、仮想球面上の点ｐは、以下に示す式９で算出できる。

ｐ＝（λ，μ，ν）＝（ｓｉｎθｃｏｓφ，ｓｉｎθｓｉｎφ，ｃｏｓθ） （式９）

そして、カメラ座標系の点ｐから透視投影平面上の点（ｕ´´´，ｖ´´´）へは、以下に示す式１０を用いて変換できる。式１０におけるｆ´は、焦点距離算出手段１４によって算出された焦点距離ｆ´である。

本実施形態では、透視投影画像生成手段１３は、画像取得装置１１が取得した画像（すなわち、魚眼レンズカメラにより撮像される画像）に対し、複数の射影方式を適用して複数の投影画像を生成する。

射影方式選択手段１７は、生成された投影画像を透視投影画像表示装置１８に表示する。透視投影画像表示装置１８は、例えば、タッチパネルやディスプレイ装置により実現される。

図４は、魚眼レンズカメラで撮影された画像から複数の射影方式により生成された画像の例を示す説明図である。図４に示す例では、異なる射影方式で生成された画像間で、歪みの程度に違いがあることを示す。

射影方式選択手段１７は、選択された透視投影画像に基づいて射影方式を決定する。透視投影画像の選択は、後述する射影方式指示手段１９によって指示される。

そして、射影方式選択手段１７は、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する。具体的には、射影方式選択手段１７は、射影方式、並びに、射影方式に応じたパラメータ（半径Ｒ）、画像中心および撮像画素の歪みを表す内部パラメータを決定し、出力する。

射影方式指示手段１９は、表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける。具体的には、ユーザが、複数の投影画像を参照し、最も直線性の高い直線を含む投影画像を判断すると、射影方式指示手段１９が、ユーザの判断による投影画像の選択を受け付ける。

直線性が高いとは、直線と比較した場合のズレの小ささである。すなわち、直線と比較した場合のズレがより小さいほど直線性が高いと言える。適切な射影方式に基づいて変換された画像は、元の投影画像に近づくため、元の画像で直線を表している部分は、直線に近くなるように変換される。一方、異なる射影方式に基づいて変換された画像は、適切に変換を行えない結果、元の画像で直線を表している部分にも歪みが発生する。

このように、透視投影画像生成手段１３が、複数の射影方式を適用して複数の投影画像を生成することで、ユーザが適切な画像を選択できる結果、適切な射影方式を決定することが可能になる。

射影方式指示手段１９は、例えば、タッチパネルに表示された複数の投影画像のうち、指定された位置に存在する投影画像を射影方式選択手段１７に通知してもよい。また、射影方式指示手段１９は、ポインティングデバイスによって指定された位置に存在する投影画像を射影方式選択手段１７に通知してもよい。

楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、射影方式選択手段１７と、射影方式指示手段１９とは、プログラム（カメラパラメータ推定プログラム）に従って動作するコンピュータのＣＰＵによって実現される。

例えば、プログラムは、カメラパラメータ推定装置１００が備える記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、楕円推定手段１２、透視投影画像生成手段１３、焦点距離算出手段１４、射影方式選択手段１７および射影方式指示手段１９として動作してもよい。

また、楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、射影方式選択手段１７と、射影方式指示手段１９とは、それぞれが専用のハードウェアで実現されていてもよい。また、画像を撮影する魚眼カメラ自体が、いわゆるインテリジェントカメラとして機能し、これらの各手段を備えていてもよい。例えば、魚眼カメラが、画像取得装置１１、楕円推定装置１２および透視投影画像生成手段１３（さらに、必要に応じて、焦点距離算出手段１４、透視投影画像サイズ記憶手段１５および最大入射角記憶手段１６）を備えていてもよい。そして、魚眼カメラが、生成された透視投影画像を射影方式選択手段１７に送信して、ユーザによる投影画像の選択を受け付けさせてもよい。

次に、本実施形態のカメラパラメータ推定装置１００の動作例を説明する。図５は、第１の実施形態のカメラパラメータ推定装置１００の動作例を示すフローチャートである。

画像取得装置１１は、魚眼レンズカメラにより撮像される画像を取得する（ステップＳ１１）。楕円推定手段１２は、取得した画像から内部パラメータの一部を推定する（ステップＳ１２）。具体的には、楕円推定手段１２は、内部パラメータとして、画像中心、撮像素子の歪みおよび魚眼レンズカメラの視界領域の半径を推定する。

透視投影画像生成手段１３は、取得した画像に対して複数の射影方式を適用することで、複数の投影画像を生成する（ステップＳ１３）。射影方式選択手段１７は、生成された投影画像を透視投影画像表示装置１８に表示する（ステップＳ１４）。射影方式指示手段１９は、透視投影画像表示装置１８に表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける（ステップＳ１５）。射影方式選択手段１７は、選択された投影画像に基づいて射影方式を決定する（ステップＳ１６）。そして、射影方式選択手段１７は、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する（ステップＳ１７）。

以上のように、本実施形態では、透視投影画像生成手段１３は、魚眼レンズカメラにより撮像される画像に対し、魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する。透視投影画像表示装置１８は、複数の投影画像を表示し、射影方式指示手段１９は、表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける。そして、射影方式選択手段１７は、選択された投影画像に基づいて射影方式を決定し、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する。よって、特殊な校正パターンや射影方式の前提知識を必要とせずに、内部パラメータを容易に推定できる。

実施形態２．
次に、本発明によるカメラパラメータ推定装置の第２の実施形態を説明する。第１の実施形態では、射影方式指示手段１９が、透視投影画像表示装置１８に表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける。その際、ユーザは、複数の投影画像を参照し、最も直線性の高い直線を含む投影画像を判断する。

直線性の高い直線を含む投影画像を判断させるためには、ユーザが着目する直線を適切に表示できることが好ましい。そこで、本実施形態では、透視投影画像の範囲を調整できる構成を説明する。

図６は、本発明によるカメラパラメータ推定装置の第２の実施形態の構成例を示すブロック図である。本実施形態のカメラパラメータ推定装置２００は、画像取得装置１１と、楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、透視投影画像サイズ記憶手段１５と、最大入射角記憶手段１６と、射影方式選択手段１７と、透視投影画像表示装置１８と、射影方式指示手段１９と、最大入射角算出手段２１と、透視投影範囲入力装置２２とを備えている。

すなわち、本実施形態のカメラパラメータ推定装置は、第１の実施形態のカメラパラメータ推定装置と比較し、最大入射角算出手段２１と、透視投影範囲入力装置２２とをさらに備えている。

透視投影範囲入力装置２２は、取得した画像（すなわち、魚眼レンズカメラで撮像された画像）のうち、投影画像を生成する範囲を入力する。具体的には、透視投影範囲入力装置２２は、ユーザから投影画像を生成する範囲の入力を受け付ける。

上記図３に示すように、透視投影画像は、取得された画像に対し最大入射角θ_ｍａｘで決定される半径距離から画像中心までの範囲が拡大された画像である。ユーザが透視投影画像で直線の直線性を確認するためには、直線を大きく写す必要がある。そこで、取得した画像の中心からの距離（半径距離）を短くして、表示させる画像を拡大するため、透視投影範囲入力装置２２は、画像中心からの半径距離を入力する。

範囲の指定方法は任意である。最大入射角算出手段２１は、例えば、魚眼レンズカメラで撮像された画像を画面に表示し、表示された画面上でクリックされた画像の点（ｕ_０，ｖ_０）を取得して、画像中心からの半径を入力してもよい。また、最大入射角算出手段２１は、画面上で複数の点がクリックされた場合、その点のうち最も半径距離が短くなる点を取得して、その半径距離を入力してもよい。

最大入射角算出手段２１は、入力された範囲に基づいて、射影方式ごとに最大入射角を算出する。図７は、最大入射角を算出する方法の例を説明する説明図である。魚眼レンズカメラで撮像された画像上の点（ｕ_０，ｖ_０）が指定されると、最大入射角算出手段２１は、例えば、楕円推定手段１２で求めた内部パラメータの一部と上記式２とに基づいて、その点を魚眼座標系の点（ｕ´，ｖ´）に変換する。さらに、最大入射角算出手段２１は、上記式３に基づいて、変換された魚眼座標系の点（ｕ´，ｖ´）から、ｒおよびφを算出する。

上記処理により算出されたｒと、楕円推定手段１２で求めた内部パラメータの一部であるＲを用い、最大入射角算出手段２１は、射影方式に応じて、例えば、上記式４から式７に示す式に基づいて、入射角を算出する。ここで算出された入射角が最大入射角として扱われる。

焦点距離算出手段１４は、最大入射角算出手段２１により決定された最大入射角を用いて焦点距離を算出する。図８は、焦点距離を算出する方法の例を説明する説明図である。図８（ａ）は、カメラ座標系と透視投影平面との関係を斜視図で表したものであり、図８（ｂ）は、カメラ座標系と透視投影平面との関係をＹ軸方向（ｖ´´´軸方向）から表したものである。図８では、透視投影平面上のｕ´´´軸方向を透視投影画像の幅ｗとし、透視投影平面上のｖ´´´軸方向を透視投影画像の高さｈとしている。

図８（ｂ）に示すように、焦点距離算出手段１４は、算出された最大入射角θ_ｍａｘおよび透視投影画像サイズ（ｗ×ｈ）におけるｗとｈのうち小さい方の値ｓを用いて、以下の式１１を用いて焦点距離ｆ´を算出する。図８（ｂ）は、幅ｗを基準に焦点距離ｆ´を算出する例である。

透視投影画像生成手段１３は、最大入射角により決定される範囲の投影画像を生成する。具体的には、透視投影画像生成手段１３は、最大入射角算出手段２１により算出された最大入射角θ_ｍａｘにより決定される焦点距離ｆ´の平面に投影される画像（透視投影画像）を生成する。

楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、射影方式選択手段１７と、射影方式指示手段１９と、最大入射角算出手段２１とは、プログラム（カメラパラメータ推定プログラム）に従って動作するコンピュータのＣＰＵによって実現される。

また、透視投影範囲入力装置２２は、例えば、タッチパネル等などの入出力装置により実現される。また、透視投影範囲入力装置２２は、例えば、ディスプレイ装置などの出力装置及びその出力装置に出力された内容を選択するポインティングデバイスなどにより実現されてもよい。なお、第１の実施形態と同様、魚眼カメラ自体が、いわゆるインテリジェントカメラとして機能し、カメラパラメータ推定装置２００に含まれる各手段を備えていてもよい。

次に、本実施形態のカメラパラメータ推定装置２００の動作例を説明する。図９は、第２の実施形態のカメラパラメータ推定装置２００の動作例を示すフローチャートである。画像取得装置１１は、魚眼レンズカメラにより撮像される画像を取得する（ステップＳ１１）。透視投影範囲入力装置２２は、ユーザから投影画像を生成する範囲の入力を受け付ける（ステップＳ２１）。楕円推定手段１２は、取得した画像から内部パラメータの一部を推定する（ステップＳ１２）。最大入射角算出手段２１は、受け付けた範囲に応じた最大入射角を射影方式ごとに算出する（ステップＳ２２）。透視投影画像生成手段１３は、取得した画像に対して複数の射影方式を適用することで、複数の投影画像を生成する（ステップＳ１３）。

以降、生成された投影画像を表示してユーザによる選択を受け付け、射影方式を決定して内部パラメータを算出するステップＳ１４からステップＳ１７までの処理が行われる。

以上のように、本実施形態では、透視投影範囲入力装置２２が、投影画像を生成する範囲の入力を受け付け、最大入射角算出手段２１が、範囲に応じた最大入射角を射影方式ごとに算出する。そして、透視投影画像生成手段１３が、最大入射角により決定される範囲の投影画像を射影方式ごとに生成する。

よって、第１の実施形態の効果に加え、生成される投影画像が見やすいものになり、ユーザが適切な射影方式で生成された投影画像を選択しやすくなる。

実施形態３．
次に、本発明によるカメラパラメータ推定装置の第３の実施形態を説明する。第１の実施形態および第２の実施形態で示すように、ユーザに直線性の高い直線を含む投影画像を判断させるためには、投影画像に変換する前の画像に、判断に適した直線が含まれていることが好ましい。

そこで、本実施形態では、投影画像に変換する前の画像（すなわち、魚眼レンズカメラで撮影された画像）が適切か否かを判断し易くする方法を説明する。

図１０は、本発明によるカメラパラメータ推定装置の第３の実施形態の構成例を示すブロック図である。本実施形態のカメラパラメータ推定装置３００は、画像取得装置１１と、楕円推定手段１２と、ガイド生成表示手段３１と、透視投影画像生成手段１３と、焦点距離算出手段１４と、透視投影画像サイズ記憶手段１５と、最大入射角記憶手段１６と、射影方式選択手段１７と、透視投影画像表示装置１８と、射影方式指示手段１９とを備えている。

すなわち、本実施形態のカメラパラメータ推定装置は、第１の実施形態のカメラパラメータ推定装置と比較し、ガイド生成表示手段３１をさらに備えている。なお、カメラパラメータ推定装置３００は、第２の実施形態で説明した最大入射角算出手段２１および透視投影範囲入力装置２２を備えていてもよい。

ガイド生成表示手段３１は、魚眼レンズカメラで撮像された画像に対し、内部パラメータの推定を補助する位置に直線を案内するためのガイドを生成し、画像に重畳させて表示する。具体的には、ガイド生成表示手段３１は、投影画像に変換したときの直線の歪みが大きく見えるように、魚眼カメラで撮像された画像上の直線の位置に誘導するようなガイドを生成し、表示する。

内部パラメータの推定を補助する位置について、魚眼レンズカメラで撮像された画像のうち、中心部分に近い画像ほど歪みが小さく、また中心から放射状の方向と平行なほど歪みが小さい。そこで、ガイド生成表示手段３１は、画像中心から所定距離の円を示すガイドまたは画像中心から放射状のガイドを、取得した画像に重畳させて表示する。円の中心は、楕円推定手段１２によって推定された中心位置が用いられれば良い。

また、歪みを判定するためには、直線の長さが一定以上存在することが好ましい。そこで、ガイド生成表示手段３１は、予め定めた長さのガイドを取得した画像に重畳させて表示してもよい。ガイドの長さは、投影画像に変換したときにユーザが判断し易い長さを考慮して決定されればよい。楕円推定手段１２によって魚眼レンズの視界領域の半径Ｒは算出できているため、半径Ｒを基準にガイドの長さを算出することもできる。

図１１は、魚眼レンズカメラで撮像された画像にガイドを重畳した例を示す説明図である。図１１に示す例では、中心から所定半径の距離に円状のガイドを表示することで、表示された円より外側に直線が写るよう案内している。また、図１１に示す例では、中心から放射状に８本のガイドを表示することで、画像の直線がこのガイドに沿わないように案内している。さらに図１１に示す例では、直線長さのサンプルＳをガイドとして表示し、直線の長さが所定以上になるように案内している。

他にも、ガイド生成表示手段３１は、一つの円だけでなく多重の円を表示してもよい。多重の円に接するように画像から得られた直線を合わせることで、放射状の直線を表示した場合と同様の効果を得ることができる。

ガイド生成表示手段３１は、この画像を利用するか否かの判断をユーザから受け付けてもよい。利用しないと判断された場合、画像取得装置１１が別の画像を取得し、楕円推定手段１２が内部パラメータを推定した後、ガイド生成表示手段３１が同様の処理を行う。適切な画像と判断されるまで、これらの処理が繰り返される。

ガイド生成表示手段３１は、プログラム（カメラパラメータ推定プログラム）に従って動作するコンピュータのＣＰＵおよび生成結果を表示する表示装置（例えば、ディスプレイ装置等）によって実現される。なお、第１の実施形態と同様、魚眼カメラ自体が、いわゆるインテリジェントカメラとして機能し、カメラパラメータ推定装置３００に含まれる各手段を備えていてもよい。

次に、本実施形態のカメラパラメータ推定装置３００の動作例を説明する。図１２は、第３の実施形態のカメラパラメータ推定装置３００の動作例を示すフローチャートである。

画像取得装置１１は、魚眼レンズカメラにより撮像される画像を取得する（ステップＳ１１）。楕円推定手段１２は、取得した画像から内部パラメータの一部を推定する（ステップＳ１２）。ガイド生成表示手段３１は、魚眼レンズカメラで撮像された画像に対し、内部パラメータの推定を補助する位置に直線を案内するためのガイドを生成し、表示する（ステップＳ３１）。

ガイドを表示した結果、ユーザが投影画像の生成に適してないと判断した場合（ステップＳ３２におけるＮｏ）、画像を取得するステップＳ１１からの処理が繰り返される。一方、ユーザが投影画像の生成に適している判断した場合（ステップＳ３２におけるＹｅｓ）、複数の投影画像を生成するステップＳ１３以降の処理が行われる。以後の処理は、図５に例示するステップＳ１３以降の処理と同様である。なお、ステップＳ１１、ステップＳ１２、ステップＳ３１およびステップＳ３２のループにおいて、内部パラメータの一部は変更されないので、２回目からステップＳ１２は省略されてもよい。

以上のように、本実施形態では、ガイド生成表示手段３１が、魚眼レンズカメラで撮像された画像に対し、内部パラメータの推定を補助する位置に直線を案内するためのガイドを生成し、その画像に重畳させて表示する。よって、第１の実施形態の効果に加え、変換された投影画像中に判断の対象とする直線を適切に含めることが可能になる。

実施形態４．
次に、本発明によるカメラパラメータ推定装置の第４の実施形態を説明する。第１の実施形態から第３の実施形態では、透視投影画像をユーザに選択させて、射影方式を決定した。本実施形態では、ユーザからの明示の指定を得ずに射影方式を決定して、内部パラメータを出力する方法を説明する。

図１３は、本発明によるカメラパラメータ推定装置の第４の実施形態の構成例を示すブロック図である。本実施形態のカメラパラメータ推定装置４００は、画像取得装置４１と、楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、透視投影画像サイズ記憶手段１５と、最大入射角記憶手段１６と、射影方式選択手段４２とを備えている。

すなわち、本実施形態のカメラパラメータ推定装置は、第１の実施形態のカメラパラメータ推定装置と比較し、透視投影画像表示装置１８および射影方式指示手段１９を備えていない点において異なる。また、楕円推定手段１２、透視投影画像生成手段１３、焦点距離算出手段１４、透視投影画像サイズ記憶手段１５および最大入射角記憶手段１６の内容は、第１の実施形態と同様である。

本実施形態の画像取得装置４１は、魚眼レンズカメラによって直線を含む対象が撮像された画像を取得する。具体的には、画像取得装置４１は、画像中に含まれる線が直線と認識できる対象を撮像した画像を取得する。例えば、画像取得装置４１は、画像から直線の構造が分かる特徴点や格子点などを自動的に取得できる対象を撮像した画像を取得する。本実施形態では、画像取得装置４１は、直線を含む対象として平面チェスパターンを撮像した画像を取得する。平面チェスパターンとは、白と黒の市松模様のことである。

ただし、画像取得装置４１が取得する画像は、平面チェスパターンを撮像した画像に限定されない。画像中の線が直線であることが認識できる対象（より具体的には、画像から直線の構造が分かる特徴を自動的に取得できる対象）であれば、その画像の内容は任意である。そして、透視投影画像生成手段１３は、第１の実施形態と同様に、複数の射影方式を適用して、複数の投影画像を生成する。

射影方式選択手段４２は、生成された投影画像に含まれる直線の直線性に基づいて、複数の投影画像の中から一つの投影画像を選択する。そして、射影方式選択手段４２は、選択された投影画像を生成した射影方式を特定する。本実施形態で撮像された画像中の直線の構造が分かる特徴から、射影方式選択手段４２は、その線の歪みの程度を算出して、直線性を判断する。

図１４は、平面チェスパターンを透視投影画像に戻した例を示す説明図である。図１４に示すように、魚眼レンズカメラで撮像された画像４００は、複数の射影方式により、画像４１０〜４１３で示す投影画像に変換される。平面チェスパターンを構成する線は全て直線で、射影方式選択手段４２は、画像から自動的にチェスの格子点を取得し、チェスの格子点を基準として直線性を判断する。

図１５は、直線性を判断する処理の例を示す説明図である。図１５に例示するように、チェスの格子点を起点とし、縦方向および横方向の直線性に着目する。まず、射影方式選択手段４２は、起点から格子点へのベクトル（格子点ベクトル）を生成する。射影方式選択手段４２は、縦方向および横方向の基準の格子点ベクトルをそれぞれ任意に決定し、基準の格子点ベクトルと他の格子点ベクトルとの内積を算出する。

射影方式選択手段４２は、全ての内積を平均することで、直線性を数値化する。この数値が１に近いほど直線性が高い。そのため、射影方式選択手段４２は、各射影方式によって変換された投影画像の中から、この値が最も１に近い投影画像を選択し、選択された投影画像を生成した射影方式を特定する。そして、射影方式選択手段４２は、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する。

このように、射影方式選択手段４２は、直線の位置を特定する複数の点を用いて、各点を起点とし隣接する点までのベクトルを決定し、基準として定めたベクトルと他のベクトルとの内積の平均が１に近いほど直線性が高いと判断してもよい。そして、射影方式選択手段４２は、この値が最も１に近い射影方式を選択してもよい。

楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、射影方式選択手段４２とは、プログラム（カメラパラメータ推定プログラム）に従って動作するコンピュータのＣＰＵによって実現される。なお、第１の実施形態と同様、魚眼カメラ自体が、いわゆるインテリジェントカメラとして機能し、カメラパラメータ推定装置４００に含まれる各手段を備えていてもよい。例えば、魚眼カメラが、画像取得装置４１、楕円推定装置１２、透視投影画像生成手段１３および射影方式選択手段４２（さらに、必要に応じて、焦点距離算出手段１４、透視投影画像サイズ記憶手段１５および最大入射角記憶手段１６）を備えていてもよい。

次に、本実施形態のカメラパラメータ推定装置４００の動作例を説明する。図１６は、第４の実施形態のカメラパラメータ推定装置４００の動作例を示すフローチャートである。画像取得装置４１は、魚眼レンズカメラによって直線を含む対象が撮像された画像を取得する（ステップＳ４１）。以降、内部パラメータの推定および複数の投影画像を生成するステップＳ１２からステップＳ１３の処理が行われる。

射影方式選択手段４２は、投影画像に含まれる直線の直線性に基づいて複数の投影画像の一つを選択する（ステップＳ４２）。射影方式選択手段４２は、選択された投影画像に基づいて射影方式を決定する（ステップＳ４３）。そして、射影方式選択手段４２は、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する（ステップＳ４４）。

以上のように、本実施形態では、透視投影画像生成手段１３が、魚眼レンズカメラによって直線を含む対象が撮像された画像に対し、魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する。射影方式選択手段４２は、投影画像に含まれる直線の直線性に基づいて複数の投影画像の一つを選択し、その選択された投影画像に基づいて射影方式を決定する。そして、射影方式選択手段４２は、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する。よって、ユーザの操作や射影方式の前提知識を必要とせずに、内部パラメータを容易に推定できる。

実施形態５．
次に、本発明によるカメラパラメータ推定装置の第５の実施形態を説明する。第４の実施形態では、画像中の線が直線であることを認識できる対象を撮像した画像を用いて、直線性の判断が行われた。本実施形態では、風景画像など、直線を一部に含むような対象を撮像した画像を用いて射影方式を決定し、内部パラメータを出力する方法を説明する。

図１７は、本発明によるカメラパラメータ推定装置の第５の実施形態の構成例を示すブロック図である。本実施形態のカメラパラメータ推定装置５００は、画像取得装置５１と、直線指示手段５２と、楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、透視投影画像サイズ記憶手段１５と、最大入射角記憶手段１６と、射影方式選択手段５３とを備えている。

すなわち、本実施形態のカメラパラメータ推定装置は、第４の実施形態のカメラパラメータ推定装置と比較し、画像取得装置５１および射影方式選択手段５３の内容が異なり、直線指示手段５２をさらに備えている。それ以外の構成は、第４の実施形態と同様である。

画像取得装置５１は、第１の実施形態と同様に、魚眼レンズカメラによって直線を少なくとも一部に含む対象が撮像された画像を取得する。なお、画像取得装置５１は、第４の実施形態に記載された平面チェスパターンのように、画像から直線の構造が分かる特徴を自動的に取得できる対象が撮影された画像を取得してもよい。

直線指示手段５２は、魚眼レンズカメラによって撮像された画像から、ユーザが直線と判断する箇所の指示を受け付ける。すなわち、本実施形態では、透視投影画像に変換する前に、直線性を判断する対象の指示をユーザから受け付ける。

直線指示手段５２は、例えば、ユーザから直線と判断する線の位置を複数の点で受け付けてもよい。また、直線指示手段５２は、ユーザから直線と判断する線をなぞって特定する指示を受け付けてもよい。

図１８は、直線指示手段５２が直線と判断する箇所の指示を受け付ける例を示す説明図である。図１８（ａ）に示すように、直線指示手段５２は、線の位置を複数の点Ｐで受け付けてもよい。また、図１８（ｂ）に示すように、直線指示手段５２は、線の位置をなぞって特定する指示を受け付けてもよい。線の位置がなぞって特定された場合、直線指示手段５２は、その線を所定間隔で区切った位置に点が指定されたものとして、線の位置を複数の点で特定してもよい（図１８（ｃ）参照）。

直線指示手段５２は、例えば、タッチパネル等などの入出力装置により実現される。また、直線指示手段５２は、例えば、ディスプレイ装置などの出力装置及びその出力装置に出力された画像の位置を特定するポインティングデバイスなどにより実現されてもよい。

射影方式選択手段５３は、直線指示手段５２が受け付けた箇所が示す直線の直線性に基づいて、複数の投影画像の一つを選択する。具体的には、透視投影画像生成手段１３によって、指示された位置も投影画像に変換されるため、射影方式選択手段５３は、その位置に基づいて直線性を判断する。

直線性を判断する方法は任意である。射影方式選択手段５３は、第４の実施形態と同様に、指定された各点から次の点へのベクトルを生成し、各ベクトルの内積の平均を算出して、直線性を判断してもよい。

楕円推定手段１２と、透視投影画像生成手段１３と、焦点距離算出手段１４と、射影方式選択手段５３とは、プログラム（カメラパラメータ推定プログラム）に従って動作するコンピュータのＣＰＵによって実現される。なお、第４の実施形態と同様、魚眼カメラ自体が、いわゆるインテリジェントカメラとして機能し、カメラパラメータ推定装置５００に含まれる各手段を備えていてもよい。

次に、本実施形態のカメラパラメータ推定装置５００の動作例を説明する。図１９は、第５の実施形態のカメラパラメータ推定装置５００の動作例を示すフローチャートである。画像取得装置５１は、魚眼レンズカメラによって直線を少なくとも一部に含む対象が撮像された画像を取得する（ステップＳ５１）。直線指示手段５２は、取得した画像の中から、ユーザが直線と判断する箇所の指示を受け付ける（ステップＳ５２）。以降、内部パラメータの推定および複数の投影画像を生成するステップＳ１２からステップＳ１３の処理が行われる。

射影方式選択手段５３は、受け付けた箇所が示す直線の直線性に基づいて、複数の投影画像の一つを選択する（ステップＳ５３）。以降、射影方式を決定して内部パラメータを出力するステップＳ４３からステップＳ４４の処理が行われる。

以上のように、本実施形態では、直線指示手段５２が、魚眼レンズカメラによって撮像された画像から、ユーザが直線と判断する箇所の指示を受け付ける。そして、射影方式選択手段５３が、受け付けた箇所が示す直線の直線性に基づいて、複数の投影画像の一つを選択する。よって、特殊な画像や射影方式の前提知識を必要とせずに、内部パラメータを容易に推定できる。

次に、本発明の概要を説明する。図２０は、本発明によるカメラパラメータ推定装置の概要を示すブロック図である。本発明によるカメラパラメータ推定装置９０（例えば、カメラパラメータ推定装置１００）は、魚眼レンズカメラにより撮像される画像に対し、魚眼レンズカメラにおける視界領域の半径（例えば、半径Ｒ）を用いる複数の射影方式を適用して、複数の投影画像を生成する投影画像生成部９１（例えば、透視投影画像生成手段１３）と、複数の投影画像を表示する表示部９２（例えば、投影画像表示装置１８）と、表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける選択受付部９３（例えば、射影方式指示手段１９）と、選択された投影画像に基づいて射影方式を決定する射影方式決定部９４（例えば、射影方式選択手段１７）と、決定された射影方式に応じた魚眼レンズカメラの内部パラメータを出力する出力部９５（例えば、射影方式選択手段１７）とを備えている。

そのような構成により、特殊な校正パターンや射影方式の前提知識を必要とせずに、内部パラメータを容易に推定できる。

また、本発明では、特許文献１に記載されているような、カメラの三軸の姿勢や地面からの位置などを表す外部パラメータを推定しなくても、内部パラメータを推定できる。

また、カメラパラメータ推定装置９０（例えば、カメラパラメータ推定装置２００）は、魚眼レンズカメラにより撮像される画像のうち、投影画像を生成する範囲の入力を受け付ける投影範囲入力部（例えば、透視投影範囲入力装置２２）と、範囲に応じた最大入射角を射影方式ごとに算出する最大入射角算出部（例えば、最大入射角算出手段２１）とを備えていてもよい。そして、投影画像生成部９１は、最大入射角により決定される範囲の投影画像を射影方式ごとに生成してもよい。

具体的には、投影範囲入力部は、画像の中心から指定された点までの距離を半径とする範囲の入力を受け付けてもよい。

また、投影画像生成部９１は、最大入射角により決定される焦点距離の平面に投影される投影画像を生成してもよい。

また、カメラパラメータ推定装置９０（例えば、カメラパラメータ推定装置３００）は、魚眼レンズカメラで撮像された画像に対し、内部パラメータの推定を補助する位置に直線を案内するためのガイドを生成し、画像に重畳させて表示するガイド生成表示部（例えば、ガイド生成表示手段３１）を備えていてもよい。

具体的には、ガイド生成表示部は、画像中心から所定距離の円を示すガイドまたは画像中心から放射状のガイドを生成し、魚眼レンズカメラで撮像された画像に重畳させて表示してもよい。

他にも、ガイド生成表示部は、予め定めた長さのガイドを生成し、魚眼レンズカメラで撮像された画像に重畳させて表示してもよい。

また、カメラパラメータ推定装置９０は、魚眼レンズカメラにより撮像される画像からその魚眼レンズカメラにおける視界領域の半径を推定する（例えば、楕円フィッティングで推定する）視界領域推定部（例えば、楕円推定手段１２）を備えていてもよい。

また、投影画像生成部９１は、射影方式として、等距離射影方式、正射影方式、立体射影方式および等立体射影方式の少なくとも２つ以上の射影方式を適用して、複数の投影画像を生成してもよい。

また、出力部９５は、魚眼レンズカメラの内部パラメータとして、その魚眼レンズカメラで撮影された画像の画像中心（例えば、（Ｃ_ｕ，Ｃ_ｖ））、その魚眼レンズカメラの撮像素子の歪み（例えば、α）および視界領域の半径（例えば、Ｒ）並びに射影方式を出力してもよい。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）魚眼レンズカメラにより撮像される画像に対し、前記魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する投影画像生成部と、前記複数の投影画像を表示する表示部と、前記表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける選択受付部と、前記選択された投影画像に基づいて射影方式を決定する射影方式決定部と、決定された射影方式に応じた前記魚眼レンズカメラの内部パラメータを出力する出力部とを備えたことを特徴とするカメラパラメータ推定装置。

（付記２）魚眼レンズカメラにより撮像される画像のうち、投影画像を生成する範囲の入力を受け付ける投影範囲入力部と、前記範囲に応じた最大入射角を射影方式ごとに算出する最大入射角算出部とを備え、前記投影画像生成部は、前記最大入射角により決定される範囲の投影画像を射影方式ごとに生成する付記１記載のカメラパラメータ推定装置。

（付記３）投影範囲入力部は、画像の中心から指定された点までの距離を半径とする範囲の入力を受け付ける付記２記載のカメラパラメータ推定装置。

（付記４）投影画像生成部は、最大入射角により決定される焦点距離の平面に投影される投影画像を生成する付記２または付記３記載のカメラパラメータ推定装置。

（付記５）魚眼レンズカメラで撮像された画像に対し、内部パラメータの推定を補助する位置に直線を案内するためのガイドを生成し、前記画像に重畳させて表示するガイド生成表示部を備えた付記１から付記４のうちのいずれか１つに記載のカメラパラメータ推定装置。

（付記６）ガイド生成表示部は、画像中心から所定距離の円を示すガイドまたは画像中心から放射状のガイドを生成し、魚眼レンズカメラで撮像された画像に重畳させて表示する付記５記載のカメラパラメータ推定装置。

（付記７）ガイド生成表示部は、予め定めた長さのガイドを生成し、魚眼レンズカメラで撮像された画像に重畳させて表示する付記５または付記６記載のカメラパラメータ推定装置。

（付記８）魚眼レンズカメラにより撮像される画像から当該魚眼レンズカメラにおける視界領域の半径を推定する視界領域推定部を備えた付記１から付記７のうちのいずれか１つに記載のカメラパラメータ推定装置。

（付記９）投影画像生成部は、射影方式として、等距離射影方式、正射影方式、立体射影方式および等立体射影方式の少なくとも２つ以上の射影方式を適用して、複数の投影画像を生成する付記１から付記８のうちのいずれか１つに記載のカメラパラメータ推定装置。

（付記１０）出力部は、魚眼レンズカメラの内部パラメータとして、当該魚眼レンズカメラで撮影された画像の画像中心、当該魚眼レンズカメラの撮像素子の歪みおよび視界領域の半径並びに射影方式を出力する付記１から付記９のうちのいずれか１つに記載のカメラパラメータ推定装置。

（付記１１）魚眼レンズカメラにより撮像される画像に対し、前記魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成し、前記複数の投影画像を表示し、前記表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付け、前記選択された投影画像に基づいて射影方式を決定し、決定された射影方式に応じた前記魚眼レンズカメラの内部パラメータを出力することを特徴とするカメラパラメータ推定方法。

（付記１２）魚眼レンズカメラにより撮像される画像のうち、投影画像を生成する範囲の入力を受け付け、前記範囲に応じた最大入射角を射影方式ごとに算出し、算出された最大入射角により決定される範囲の投影画像を射影方式ごとに生成する付記１１記載のカメラパラメータ推定方法。

（付記１３）コンピュータに、魚眼レンズカメラにより撮像される画像に対し、前記魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する投影画像生成処理、前記複数の投影画像を表示装置に表示する表示処理、前記表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける選択受付処理、前記選択された投影画像に基づいて射影方式を決定する射影方式決定処理、および、決定された射影方式に応じた前記魚眼レンズカメラの内部パラメータを出力する出力処理を実行させるためのカメラパラメータ推定プログラム。

（付記１４）コンピュータに、魚眼レンズカメラにより撮像される画像のうち、投影画像を生成する範囲の入力を受け付ける投影範囲入力処理、および、前記範囲に応じた最大入射角を射影方式ごとに算出する最大入射角算出処理を実行させ、前記投影画像生成処理で、前記最大入射角により決定される範囲の投影画像を射影方式ごとに生成させる付記１３記載のカメラパラメータ推定プログラム。

１１，４１，５１ 画像取得装置
１２ 楕円推定手段
１３ 透視投影画像生成手段
１４ 焦点距離算出手段
１５ 透視投影画像サイズ記憶手段
１６ 最大入射角記憶手段
１７，４２，５３ 射影方式選択手段
１８ 透視投影画像表示装置
１９ 射影方式指示手段
２１ 最大入射角算出手段
２２ 透視投影範囲入力装置
３１ ガイド生成表示手段
５２ 直線指示手段
１００，２００，３００，４００，５００ カメラパラメータ推定装置

Claims (14)

1. 魚眼レンズカメラにより撮像される画像に対し、前記魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する投影画像生成部と、
   前記複数の投影画像を表示する表示部と、
   前記表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける選択受付部と、
   前記選択された投影画像に基づいて射影方式を決定する射影方式決定部と、
   決定された射影方式に応じた前記魚眼レンズカメラの内部パラメータを出力する出力部とを備えた
   ことを特徴とするカメラパラメータ推定装置。
2. 魚眼レンズカメラにより撮像される画像のうち、投影画像を生成する範囲の入力を受け付ける投影範囲入力部と、
   前記範囲に応じた最大入射角を射影方式ごとに算出する最大入射角算出部とを備え、
   前記投影画像生成部は、前記最大入射角により決定される範囲の投影画像を射影方式ごとに生成する
   請求項１記載のカメラパラメータ推定装置。
3. 投影範囲入力部は、画像の中心から指定された点までの距離を半径とする範囲の入力を受け付ける
   請求項２記載のカメラパラメータ推定装置。
4. 投影画像生成部は、最大入射角により決定される焦点距離の平面に投影される投影画像を生成する
   請求項２または請求項３記載のカメラパラメータ推定装置。
5. 魚眼レンズカメラで撮像された画像に対し、内部パラメータの推定を補助する位置に直線を案内するためのガイドを生成し、前記画像に重畳させて表示するガイド生成表示部を備えた
   請求項１から請求項４のうちのいずれか１項に記載のカメラパラメータ推定装置。
6. ガイド生成表示部は、画像中心から所定距離の円を示すガイドまたは画像中心から放射状のガイドを生成し、魚眼レンズカメラで撮像された画像に重畳させて表示する
   請求項５記載のカメラパラメータ推定装置。
7. ガイド生成表示部は、予め定めた長さのガイドを生成し、魚眼レンズカメラで撮像された画像に重畳させて表示する
   請求項５または請求項６記載のカメラパラメータ推定装置。
8. 魚眼レンズカメラにより撮像される画像から当該魚眼レンズカメラにおける視界領域の半径を推定する視界領域推定部を備えた
   請求項１から請求項７のうちのいずれか１項に記載のカメラパラメータ推定装置。
9. 投影画像生成部は、射影方式として、等距離射影方式、正射影方式、立体射影方式および等立体射影方式の少なくとも２つ以上の射影方式を適用して、複数の投影画像を生成する
   請求項１から請求項８のうちのいずれか１項に記載のカメラパラメータ推定装置。
10. 出力部は、魚眼レンズカメラの内部パラメータとして、当該魚眼レンズカメラで撮影された画像の画像中心、当該魚眼レンズカメラの撮像素子の歪みおよび視界領域の半径並びに射影方式を出力する
    請求項１から請求項９のうちのいずれか１項に記載のカメラパラメータ推定装置。
11. 魚眼レンズカメラにより撮像される画像に対し、前記魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成し、
    前記複数の投影画像を表示し、
    前記表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付け、
    前記選択された投影画像に基づいて射影方式を決定し、
    決定された射影方式に応じた前記魚眼レンズカメラの内部パラメータを出力する
    ことを特徴とするカメラパラメータ推定方法。
12. 魚眼レンズカメラにより撮像される画像のうち、投影画像を生成する範囲の入力を受け付け、
    前記範囲に応じた最大入射角を射影方式ごとに算出し、
    算出された最大入射角により決定される範囲の投影画像を射影方式ごとに生成する
    請求項１１記載のカメラパラメータ推定方法。
13. コンピュータに、
    魚眼レンズカメラにより撮像される画像に対し、前記魚眼レンズカメラにおける視界領域の半径を用いる複数の射影方式を適用して、複数の投影画像を生成する投影画像生成処理、
    前記複数の投影画像を表示装置に表示する表示処理、
    前記表示された複数の投影画像の中から、ユーザによる投影画像の選択を受け付ける選択受付処理、
    前記選択された投影画像に基づいて射影方式を決定する射影方式決定処理、および、
    決定された射影方式に応じた前記魚眼レンズカメラの内部パラメータを出力する出力処理
    を実行させるためのカメラパラメータ推定プログラム。
14. コンピュータに、
    魚眼レンズカメラにより撮像される画像のうち、投影画像を生成する範囲の入力を受け付ける投影範囲入力処理、および、
    前記範囲に応じた最大入射角を射影方式ごとに算出する最大入射角算出処理を実行させ、
    前記投影画像生成処理で、前記最大入射角により決定される範囲の投影画像を射影方式ごとに生成させる
    請求項１３記載のカメラパラメータ推定プログラム。

Images