JP4631048B2 - 撮像装置及び撮像系パラメータの校正方法 - Google Patents

Description

本発明は、撮像装置及び撮像系パラメータの校正方法に関するものである。

周囲３６０度の全天周画像を撮像する方法として、例えば、特許文献１に記載の撮像装置を用いた方法がある。特許文献１に記載の撮像装置は、魚眼レンズの光軸を中心とした全視野方向に、その光軸を基準として少なくとも各方向９０度の画角を有する魚眼レンズを有する。特許文献１に記載の手法では、空間を１つの球体と考えた際に、その中心に上記撮像装置を配置し、まず、球体のうちの一方向の半球体の画像を取得する。次に、撮像装置を１８０度回転させて反対方向の半球体の画像を取得する。このようにして取得した２つの画像を結合して球面画像を形成する。
特開２０００−２２１３９１号公報

ところで、近年では、床と天井や陸上と空などを同時にモニターできる監視カメラや、移動ロボットなどの移動体の視覚センサーとして、全方位の視覚情報を同時に取得できる撮像装置が求められている。しかしながら、特許文献１に記載の撮像装置を用いた手法では、撮像装置を回転させて全方位を撮影しているので、同一時刻における全天周の画像を得ることができない。

そこで、本発明は、同一時刻における全天周の画像情報を取得可能な撮像装置、及び、その撮像装置に好適に適用できる撮像系パラメータの校正方法を提供することを目的とする。

上記課題を解決するために、本発明に係る撮像装置は、外面が入射面としての第１の湾曲面となっている画角を有する第１の結像手段と外面が入射面としての第２の湾曲面となっている第２の結像手段とが結合されることによって構成される中空の像形成部と、像形成部の中心部に配置される光路変更素子と、第１の結像手段によって結像される第１の被写体像と第２の結像手段によって結像される第２の被写体像とを共に撮像する撮像手段と、を備え、第１及び第２の結像手段は、第１及び第２の湾曲面に入射する入射光線を像形成部の中心部に集光し、光路変更素子は、第１及び第２の結像手段の各々に入射した入射光線の光路を変更して撮像手段に入射させ、撮像手段は、第１の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第１の被写体像と第２の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第２の被写体像とを共に撮像することを特徴とする。

上記撮像装置では、第１及び第２の結像手段が結合されて像形成部を構成しているため、像形成部の外面は第１及び第２の湾曲面を有することになる。これによって、像形成部の周囲の光が、像形成部内に取り込まれる。そして、第１及び第２の結像手段を通って像形成部内に取り込まれた光（入射光線）は、光路変更素子によって撮像手段側に伝搬するように光路が変更され、撮像手段が、第１及び第２の結像手段によって結像される第１及び第２の被写体像を共に取得する。

この場合、第１及び第２の被写体像は、像形成部の周囲に位置する被写体からの光によって形成されることになるので、第１及び第２の被写体像から、像形成部を中心としたほぼ全方位の画像情報を球体の表面に有する球面画像を形成することが可能である。そして、像形成部を動かさずに第１及び第２の被写体像を上述した撮像手段で撮像しているため、同一時刻における全天周の球面画像を得ることができる。

また、第１及び第２の結像手段を通った入射光線は、像形成部の中心部に集光されるので、像形成部は単一視点を有することになる。なお、球面画像を形成する観点から、第１及び第２の結像手段の画角は、１８０度であることが好適である。

また、本発明に係る撮像装置は、第１及び第２の被写体像から、第１及び第２の被写体像に含まれる画像情報を球体の表面に有する球面画像を形成する画像形成手段を更に備え、画像形成手段は、第１及び第２の結像手段が有する焦点距離をｆ_Ｉ（Ｉは、第１の結像手段に対してＬ，第２の結像手段に対してＲ、以下同様とする）、第１及び第２の結像手段の光軸と第１及び第２の結像手段の像面との交点に対応する画像中心Ｏ_Ｉを原点として有すると共に像面に対応するＸ_ＩＹ_Ｉ平面を有する３次元座標系を第１及び第２の画像座標系としたとき、第１及び第２の被写体像に含まれる画像情報を、第１及び第２の画像座標系の画像中心Ｏ_Ｉを中心とする半球体の表面に有する第１及び第２の半球面画像に変換する画像変換部と、画像変換部において得られた第１及び第２の半球面画像を、第１の画像座標系と第２の画像座標系の相対姿勢情報に基づいて結合することによって球面画像を形成する画像形成部とを備えることが好ましい。

第１及び第２の被写体像が有する画像情報は、全天周のうちの半分毎の画像情報に相当する。そして、画像変換部は、第１及び第２の被写体像から第１及び第２の半球面画像を形成し、画像形成部がそれらを結合することによって球面画像を形成している。その結果、全天周の球面画像を確実に得ることが可能である。

また、本発明に係る撮像装置が有する画像形成手段は、相対姿勢情報、画像中心Ｏ_Ｉ及び焦点距離ｆ_Ｉを校正する校正部を更に備え、画像変換部は、校正部によって校正された画像中心Ｏ_Ｉ及び焦点距離ｆ_Ｉに基づいて第１及び第２の被写体像を第１及び第２の半球面画像に変換し、画像形成部は、画像変換部で得られた第１及び第２の半球面画像を、校正部で校正された相対姿勢情報に基づいて結合して球面画像を形成することが好適である。

この場合、校正部によって画像中心Ｏ_Ｉ、焦点距離ｆ_Ｉ及び相対姿勢情報が校正され、画像変換部が、その校正された画像中心Ｏ_Ｉ、焦点距離ｆ_Ｉ及び相対姿勢情報に基づいて第１及び第２の半球面画像及び球面画像を形成し、画像形成部がそれらを結合して球面画像を取得する。その結果として、より正確な球面画像を取得することができる。

そして、第１及び第２の結像手段のそれぞれの中心線と第１及び第２の結像手段に入射する入射光線とのなす角度をθ_Ｉとし、第１及び第２の結像手段に入射した入射光線と像面との交点に対応するＸ_ＩＹ_Ｉ平面上の点の画像中心Ｏ_Ｉからの距離をｒ_Ｉとし、焦点距離ｆ_Ｉに依存しており距離ｒ_Ｉの歪みパラメータをｋ_Ｉとしたとき、距離ｒ_Ｉが、

と表されており、校正部は、式（１）のうちの２Ｎ−１（Ｎは、２以上の整数）次までの項を選択した、

を利用して、画像中心Ｏ_Ｉ、焦点距離ｆ_Ｉ及び相対姿勢情報のうちの少なくとも一つを校正することが好ましい。

式（１）は、第１及び第２の結像手段の結像特性に対応する。この式（１）から２Ｎ―１次までのＮ個の項を利用して校正する際には、より多くの第１及び第２の被写体像を利用して校正することになるので、結果として、より正確な校正が可能である。また、式（２）を利用して校正する際には、歪みパラメータとしてのｋ_Ｉを算出することになり、その結果として、歪みパラメータの校正も可能である。この歪みパラメータｋ_Ｉはｆ_Ｉに依存するため、歪みパラメータｋ_Ｉの算出は、焦点距離ｆ_Ｉの校正に相当することになる。

ところで、従来の撮像装置では、魚眼レンズの光軸と像面との交点としての画像中心や魚眼レンズの焦点距離等が装置の組立誤差などによって設計値からずれるためそれらを校正する必要がある。また、上述したように２つの画像を組み合わせて球面画像を形成するためには、２つの画像を表す座標系の相対姿勢情報が必要となる。

通常、撮像系パラメータとしての焦点距離や画像中心や相対姿勢情報の校正は、例えば次のようにして実施されていた。すなわち、魚眼レンズに入射した光と像面との交点の画像中心からの距離をｒとし、入射光線と魚眼レンズの光軸とのなす角度をθとし、魚眼レンズの焦点距離をｆとしたとき、ｒがｆθや２ｆtanθなどで表される理論的な魚眼レンズの結像特性を利用して撮像系パラメータの校正が行われていた。

しかしながら、監視カメラや移動体の視覚センサーでは正確な情報を取得することが必要で有るため、撮像装置の撮像系パラメータのより正確な校正が求められてきているが、従来のように結像特性（ｆθや２ｆtanθ）を利用しても十分な校正ができなかった。

そこで、本発明に係る撮像系パラメータ校正方法は、（１）入射面としての第１の湾曲面を有すると共に１８０度以上の画角を有する第１の結像手段と、（２）入射面としての第２の湾曲面を有すると共に１８０度以上の画角を有する第２の結像手段と、（３）第１の結像手段と第２の結像手段との間に配置されると共に第１及び第２の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、（４）第１の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第１の被写体像と第２の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第２の被写体像とを共に撮像する撮像手段とを備え、第１及び第２の結像手段が有する焦点距離をｆ_Ｉ（Ｉは、第１の結像手段に対してＬ，第２の結像手段に対してＲ、以下同様とする）、第１及び第２の結像手段の光軸と第１及び第２の結像手段の像面との交点に対応する画像中心Ｏ_Ｉを原点として有すると共に像面に対応するＸ_ＩＹ_Ｉ平面を有する３次元座標系を第１及び第２の画像座標系とし、第１及び第２の結像手段のそれぞれの中心線と第１及び第２の結像手段に入射する入射光線とのなす角度をθ_Ｉとし、第１及び第２の結像手段に入射した入射光線と像面との交点に対応するＸ_ＩＹ_Ｉ平面上の点の画像中心Ｏ_Ｉからの距離をｒ_Ｉとし、焦点距離ｆ_Ｉに依存しており距離ｒ_Ｉの歪みパラメータをｋ_Ｉとしたとき、距離ｒ_Ｉが、

で表される撮像装置に対して適用され、画像中心Ｏ_Ｉ、焦点距離ｆ_Ｉ、及び、第１の画像座標系と第２の画像座標系との相対姿勢情報を校正するパラメータ校正工程を備え、パラメータ校正工程は、画像中心Ｏ_Ｉ、焦点距離ｆ_Ｉ、及び、相対姿勢情報のうちの少なくとも１つを、式（３）のうち２Ｎ−１（Ｎは、２以上の整数）次の項までを選択した、

を利用して校正することを特徴とする。

式（３）は、歪みパラメータとしてのｋ_Ｉを含んだ第１及び第２の結像手段の結像特性を表している。そして、その２Ｎ−１次までの項からなる式（４）を利用して画像中心Ｏ_Ｉ、焦点距離ｆ_Ｉ、及び、相対姿勢情報のうちの少なくとも１つを校正するので、撮像系パラメータをより正確に校正できる。この歪みパラメータｋ_Ｉは、焦点距離ｆ_Ｉに依存しているので、焦点距離ｆ_Ｉの校正は、歪みパラメータｋ_Ｉを算出することに相当する。

そして、本発明に係る撮像系パラメータの校正方法におけるパラメータ校正工程は、第１及び第２の被写体像を取得する像取得工程と、３つ以上の第１及び第２の被写体像にそれぞれ含まれる一対の消失点に基づいて画像中心Ｏ_１を校正する画像中心校正工程と、Ｎ個以上の第１及び第２の被写体像に含まれる消失点の第１及び第２の画像座標系における位置座標、及び、式（４）を利用して焦点距離ｆ_Ｉを校正する焦点距離校正工程と、３つ以上の第１及び第２の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び直線群に略直交する直線群の消失点に基づいて、第１及び第２の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることが好適である。

例えば、画像中心Ｏ_Ｉは、第１及び第２の被写体像にそれぞれ含まれる一対の消失点の交点に基づいて求められるので、２つの第１及び第２の被写体像があれば校正できるが、上記方法では３つ以上の第１及び第２の被写体像にそれぞれ含まれる一対の消失点に基づいて画像中心Ｏ_Ｉを校正しているので、より正確な画像中心Ｏ_Ｉが得られる。

更に、式（４）では、式（１）からＮ個の項が選択されているため、結果として、Ｎ個のｋ_Ｉが含まれることになる。そして、Ｎ個以上の第１及び第２の被写体像に含まれる一対の消失点の位置座標を利用することによってｋ_Ｉを決定でき、その結果として、距離ｆ_Ｉを校正できる。また、３つ以上の第１及び第２の被写体像にそれぞれ含まれる実空間での水平線に略平行な直線群の消失点と、その直線群に直交する直線群の消失点に基づいて相対姿勢情報を校正するので、例えば、２つの第１及び第２の被写体像に基づいて校正する場合よりもより正確に校正できる。

更にまた、本発明に係るパラメータ校正方法が有するパラメータ校正工程は、第１及び第２の被写体像を取得する像取得工程と、像取得工程で取得された第１及び第２の被写体像の画像情報を、第１及び第２の画像座標系での画像中心Ｏ_Ｉを中心とした半球体の表面に有する第１及び第２の半球面画像に変換する第１の画像変換工程と、式（４）の逆関数をη（ｒ_Ｉ；ｋ_Ｉ，１〜ｋ_{Ｉ，２ｉ−１}）（ただし、ｉは、Ｎまでの２以上の整数）として、θ_Ｉを、

とし、第１及び第２の結像手段の校正後の画像中心の位置座標を（ｘ_Ｉ，ｃ，ｙ_Ｉ，ｃ）、実空間での直線パターンの投影像内の点のＸ_ＩＹ_Ｉ平面における位置座標を（ｘ_Ｉ，ｙ_Ｉ）とし、距離ｒ_Ｉを、

とし、φ_Ｉを、

とし、式（５）〜式（７）に基づいて表されると共に第１及び第２の半球面画像が有する直線パターンの投影像を含む平面の法線ベクトルｎ_Ｉが、第１及び第２の画像座標系が有するＺ_Ｉ軸となす角度をθ_Ｉｎとし、法線ベクトルｎ_ＩがＸ_Ｉ軸となす角度をφ_Ｉｎとし、前述した平面の方程式に基づいた評価関数ξ１_Ｉを

としたとき、式（８）を最小にするようにｘ_Ｉ，ｃ、ｙ_Ｉ，ｃ、ｋ_Ｉ，１〜ｋ_{Ｉ，２ｉ−１}を決めることによって内部パラメータとしての画像中心Ｏ_Ｉ及び焦点距離ｆ_Ｉを校正する内部パラメータ校正工程と、撮像手段によって同時に取得された一対の第１及び第２の被写体像の画像情報を、内部パラメータ校正工程で校正された画像中心Ｏ_Ｉを中心とする半球体の表面に有する第１及び第２の半球面画像に変換する第２の画像変換工程と、第２の画像変換工程で得られた第１の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをｎ_Ｌとし、第２の画像変換工程で得られた第２の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをｎ_Ｒとし、校正された画像中心Ｏ_Ｉを原点とする第２の画像座標系から第１の画像座標系への変換行列をＲ_ＬＲとし、評価関数ξ２を、

としたとき、式（９）を最小にする変換行列Ｒ_ＬＲを決定することによって相対姿勢情報を校正する相対姿勢情報校正工程とを備えることが好適である。

式（５）〜式（７）より、式（８）で表される評価関数ξ１_Ｉのθ_Ｉｎ、φ_Ｉｎ、θ_Ｉ、φ_Ｉは、ｘ_Ｉ，ｃ、ｙ_Ｉ，ｃ、ｋ_Ｉ，１〜ｋ_{Ｉ，２ｉ―１}の関数である。従って、式（８）を利用することで画像中心Ｏ_Ｉ及び焦点距離ｆ_Ｉを一緒に校正することができるので、校正に要する時間が短くなる。更に、式（５）より、θ_Ｉｎ、θ_Ｉには、歪みパラメータｋ_Ｉが含まれているので、歪みパラメータｋ_Ｉも算出できる。これは、焦点距離ｆ_Ｉの校正に相当し、焦点距離ｆ_Ｉをより正確に校正できることになる。

このようにして校正された画像中心Ｏ_Ｉ及び焦点距離ｆ_Ｉを利用して、第２の画像変換工程では、撮像手段によって同時に取得された第１及び第２の被写体像から第１及び第２の半球面画像が形成される。この第１及び第２の半球面画像には、実空間での同じ直線パターンが含まれている。この場合、その直線パターンの第１の半球面画像内の像を含む平面の法線ベクトルｎ_Ｌは、Ｒ_ＬＲｎ_Ｒで表されることになる。したがって、式（９）を最小にする変換行列Ｒ_ＬＲを求めることで最適な変換行列Ｒ_ＬＲを決定することができる。

更にまた、本発明に係るパラメータ校正方法が有するパラメータ校正工程は、第１及び第２の被写体像を取得する像取得工程と、第１及び第２の被写体像の画像情報を、第１及び第２の画像座標系での画像中心Ｏ_Ｉを中心とした半球体の表面に有する第１及び第２の半球面画像に変換する画像変換工程と、式（４）の逆関数をη（ｒ_Ｉ；ｋ_Ｉ，１〜ｋ_{Ｉ，２ｉ−１}）（ただし、ｉは、Ｎまでの２以上の整数）として、θ_Ｉを、

とし、第１の結像手段の校正後の画像中心の位置座標を（ｘ_Ｉ，ｃ，ｙ_Ｉ，ｃ）とし、第１及び第２の被写体像に含まれる点のＸ_ＩＹ_Ｉ平面での位置座標を（ｘ_Ｉ，ｙ_Ｉ）とし、距離ｒ_１を、

とし、φ_Ｉを、

としたときに、第１及び第２の半球面画像のうち位置座標（ｘ_Ｉ，ｙ_Ｉ）に対応する点の位置ベクトルｍ_Ｉを、

とし、第２の画像座標系から第１の画像座標系への変換行列をＲ_ＬＲとしたとき、第２の画像座標系で表される位置ベクトルｍ_Ｒを、変換行列Ｒ_ＬＲによって第１の画像座標系で表すことによって第１の画像座標系で表される球面画像を形成する画像形成工程と、画像形成工程において形成された球面画像上の点ｍの位置ベクトルを、

としたとき、点ｍに対応する実空間の点をＭ_ｃとし、第１の画像座標系に回転行列Ｒ

及び、並進行列Ｔ

を利用して変換できる３次元座標系としての世界座標系における点Ｍ_ｃの位置ベクトルを、

として、Ｎ_ｗを

とし、評価関数Ｃを、

としたとき、式（１９）を最小にするｘ_Ｉ,ｃ、ｙ_Ｉ,ｃ、ｋ_Ｉ，１〜ｋ_{Ｉ，２ｉ−１}（ただし、ｉはＮまでの２以上の整数）及び変換行列Ｒ_ＬＲを決定することによって、画像中心Ｏ_Ｉ、前記焦点距離ｆ_Ｉ及び前記相対姿勢情報を校正する校正工程とを備えることを特徴とする
この場合、球面画像は、第２の画像座標系で表される第２の半球面画像の点ｍ_Ｒを変換行列Ｒ_ＬＲによって第１の画像座標系の点に変換することで第１及び第２の半球面画像を結合して形成されている。したがって、球面画像上の点ｍの位置ベクトルは、位置ベクトルｍ_Ｌ又は位置ベクトルＲ_ＬＲｍ_Ｒによって表されることになる。

式（１０）〜式（１３）より、位置ベクトルｍが位置ベクトルｍ_Ｌに一致するときは、式（１３）に含まれるｕ，ｖ，ｓは、ｘ_Ｌ，ｃ、ｙ_Ｌ，ｃ、ｘ_Ｌ、ｙ_Ｌ及びｋ_Ｌ，１〜ｋ_{Ｌ，２ｉ−１}の関数になり、位置ベクトルｍが位置ベクトルｍ_Ｒに一致するときは、ｕ，ｖ，ｓは、ｘ_Ｒ，ｃ、ｙ_Ｒ，ｃ、ｘ_Ｒ、ｙ_Ｒ、ｋ_Ｒ，１〜ｋ_{Ｒ，２ｉ−１}、及び、Ｒ_ＬＲの関数になる。したがって、式（１８）を最小にするようにｘ_Ｉ,ｃ、ｙ_Ｉ,ｃ、ｋ_Ｉ，１〜ｋ_{Ｉ，２ｉ−１}及び変換行列Ｒ_ＬＲを決定することで、画像中心Ｏ_Ｉ、焦点距離ｆ_Ｉ及び相対姿勢情報をより正確に校正できることになる。

また、本発明に係る撮像系パラメータの校正方法は、入射面としての第１の湾曲面を有すると共に１８０度以上の画角を有する第１の結像手段と、入射面としての第２の湾曲面を有すると共に１８０度以上の画角を有する第２の結像手段と、第１の結像手段と第２の結像手段との間に配置されると共に第１及び第２の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、第１の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第１の被写体像と第２の結像手段を通り光路変更素子によって光路が変更された入射光線に基づいて形成される第２の被写体像とを共に撮像する撮像手段とを備える撮像装置に適用され、第１及び第２の被写体像を取得する像取得工程と、３つ以上の第１及び第２の被写体像にそれぞれ含まれる一対の消失点に基づいて、第１及び第２の結像手段の光軸と第１及び第２の結像手段の像面との交点に対応する画像中心Ｏ_Ｉ（Ｉは、第１の結像手段に対してはＬ、第２の結像手段に対してはＲ、以下同様とする）を校正する画像中心校正工程と、画像中心校正工程で校正された画像中心Ｏ_Ｉ、及び、第１及び第２の被写体像にそれぞれ含まれる一対の消失点の画像中心Ｏ_Ｉからの距離に基づいて、第１及び第２の結像手段の焦点距離ｆ_Ｉを校正する焦点距離校正工程と、３つ以上の第１及び第２の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び直線群に略直交する直線群の消失点に基づいて、画像中心Ｏ_Ｉを原点として有すると共に第１及び第２の結像手段の像面に対応するＸ_ＩＹ_Ｉ平面を有する３次元座標系としての第１及び第２の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることを特徴とする。

この場合、上記方法では３つ以上の第１及び第２の被写体像にそれぞれ含まれる一対の消失点に基づいて画像中心Ｏ_Ｉを校正しているので、より正確な画像中心Ｏ_Ｉが得られる。

また、画像中心Ｏ_Ｉから消失点までの距離は、第１及び第２の結像手段の結像特性に依存している。そして、上記方法では、、画像中心校正工程で校正された画像中心Ｏ_Ｉと、その画像中心Ｏ_Ｉから消失点までの距離に基づいて焦点距離ｆ_Ｌを校正するので、第１及び第２の結像手段の結像特性に応じて焦点距離ｆ_Ｌを校正できる。そして、３つ以上の第１及び第２の被写体像にそれぞれ含まれる実空間での水平線に略平行な直線群の消失点と、その直線群に直交する直線群の消失点に基づいて相対姿勢情報を校正するので、例えば、２つの第１及び第２の被写体像に基づいて校正する場合よりもより正確に校正できる。

本発明の撮像装置によれば、同時刻に全天周の球面画像を形成することができる。そして、本発明の撮像系パラメータの校正方法によれば、同時刻に全天周の球面画像を形成するための撮像装置をより正確に校正することが可能である。

以下、図を参照して本発明の好適な実施形態について説明する。尚、以下の説明においては、同一の要素には同一の符号を用いることとし重複する説明は省略する。

（第１の実施形態）
まず、本実施形態の撮像装置で得るべき球面画像について説明する。本実施形態において球面画像とは、全天周（全方位３６０度）に位置する各被写体の画像情報が球体の表面に投影されたものである。図１を参照してより具体的に説明する。

図１は、球面画像を説明する図である。図１に示すように、空間上に単位半径の球体１を考え、その中心Ｏ_１を原点として互いに直交するＸ軸、Ｙ軸、Ｚ軸を設定する。空間上の任意の点Ｍと球の中心Ｏ_１とを結ぶ直線と球体１の表面２上の交点をｍとする。また、点ｍと原点Ｏ_１とを結ぶ直線のＺ軸からの仰角をθとし、Ｘ軸からの方位角をφとすると、点ｍの位置ベクトルは、

と表される。

この点ｍは点Ｍが球体の表面へ投影された点に相当する。すなわち、点Ｍからの光が中心Ｏ_１に向かって進んでいるときに球体１の表面２と交わる点がｍであり、点ｍは点Ｍからの光が担う画像を形成するために必要な情報（画像情報）を有している。したがって、球体１の表面２には、中心Ｏ_１を視点としたときの周囲３６０度に位置する被写体を投影することができる。このように画像情報を有している球体１の表面２が球面画像に相当する。そして、このように被写体像を球面画像として表す、言い換えれば、被写体を球体の表面上に射影することを球面射影モデルとも称す。

この球面画像は、例えば、画角１８０度を有する一対の魚眼レンズを利用して周囲３６０度のうち半分ずつ（すなわち周囲１８０度ずつ）を撮影して得られる一対の被写体像から形成される。

図２（ａ）は、魚眼レンズの結像特性を示す模式図である。図２に示した３次元座標系は、魚眼レンズの光学中心を原点とすると共に、魚眼レンズの光軸３をＺ軸としたものである。ここで、光学中心とは、魚眼レンズに入射した入射光線ｌ１が集光する点である。以下、このような座標系をカメラ座標系と称す。

図２（ａ）に示すように、実空間上の点Ｍを魚眼レンズを利用して結像する場合、点Ｍからの入射光線ｌ１は、光軸３に直交すると共に、光学中心から魚眼レンズの焦点距離ｆのところに位置する像面５に投影されることになる。

図２（ｂ）は、魚眼レンズの像面を示す図である。像面５は、前述したようにＺ軸（光軸３）に直交する面である。この像面５とＺ軸との交点を画像中心Ｏ_２とする。この場合、点Ｍは、魚眼レンズによって、ＸＹ平面上の座標（ｒ，φ）で表される点ｑに投影される。画像中心Ｏ_２から点ｑまでの距離ｒは使用する魚眼レンズの結像特性によって決まる。魚眼レンズの結像特性としては、等距離射影方式(equidistance projection)や、正射影方式（orthogonal projection）、ステレオ射影方式（stereographicprojection）、等立体角射影方式（equisolid angleprojection）が挙げられる。以下の説明では、代表的な魚眼レンズの結像特性の一つとしての等立体角射影方式、

で射影されるものとする。ここで、仰角θは、魚眼レンズに入射する入射光線ｌ１と魚眼レンズの光軸３とのなす角度である。なお、他の射影方式も式と同様に、ｒがθの関数として表される。

式（２１）よりｒが分かれば仰角θが算出されることになるので、式（２０）に示すように、極座標で表される点ｍの座標が算出されることになる。１つの魚眼レンズで得られる被写体像は、全天周のうちの半分に相当するので、２つの魚眼レンズで得られた被写体像をそれぞれの画像中心を原点とする極座標で表して半球面画像を形成したのち、それらを結合することで、１つの球面画像を得られることになる。本明細書では、平面画像としての被写体像を、極座標で表すことを半球面画像に変換する、又は、球面画像に変換すると称す。

ところで、画像座標系とカメラ座標系とは一方をＺ軸方向に並進させることで重ね合わせられるので、同じものとして考えることができる。特に、球面画像を表す場合、すなわち、魚眼レンズで結像された被写体像を極座標表示する際には、θ及びφは、画像座標系で表す場合もカメラ座標系で表す場合も同じである。したがって、以下では、特に断らない限り、画像座標系とカメラ座標系とは同じものとする。

以上説明したような球面画像を形成する装置について具体的に説明する。

図３は、本発明の撮像装置の一実施形態の構成を示す概略構成図である。撮像装置１０Ａは、外形が略球状の球面視覚センサー２０を有する。

球面視覚センサー２０は、外形が略球状であって中空の像形成部２１を有する。像形成部２１は、第１の結像手段としての魚眼レンズ２２と、第２の結像手段としての魚眼レンズ２３とが結合されものである。魚眼レンズ２２，２３はそれらが有する入射面としての第１及び第２の湾曲面２２ａ，２３ａの中心線２２ｂ，２３ｂに対して回転対称体となるように構成されている。そして、魚眼レンズ２２，２３は、第１及び第２の湾曲面２２ａ，２３ａが外側を向くと共に、鏡面対称になるように配置されて結合されている。また、魚眼レンズ２２，２３は、図２で説明した結像特性を有しており、魚眼レンズ２２，２３の射影方式は、式（２１）で示した等立体角射影方式である。

図３では、魚眼レンズ２２，２３は、１つのレンズからなるように記載としているが、魚眼レンズ２２，２３は像形成部２１の径方向に沿って複数のレンズを有しており、式（２１）の結像特性をするように構成されている。また、魚眼レンズ２２，２３は、第１及び第２の湾曲面２２ａ，２３ａの各点に接する接平面（例えば、図中の平面ｄ）に垂直に入射した光は、球面視覚センサー２０の中心部２４を通るように設計されている。これによって、球面視覚センサー２０は、単一の視点を有することになる。

球面視覚センサー２０の中心部２４には、魚眼レンズ２２，２３に入射した入射光線ｌ２の光路を変更する光路変更素子２５が配置されている。光路変更素子２５は、例えば、直交する２つの面に鏡面が形成された直角プリズムである。前述したように魚眼レンズ２２，２３は、複数のレンズから構成されており、それらのレンズ内で光を屈折させているので、結果として光が通っていない領域もある。光路変更素子２５は、そのような領域を利用して魚眼レンズ２２，２３に保持されることで像形成部２１内に配置されている。光路変更素子２５は、魚眼レンズ２２，２３から入射した入射光線ｌ２を同じ方向（例えば、図中の下側）に伝搬させて、その光路上に位置する撮像手段２６に入射させる。

撮像手段２６は、ＣＣＤ等の撮像素子２７を有する。撮像素子２７は、複数の画素からなる受光面２７ａが、魚眼レンズ２２，２３の像面５Ｌ，５Ｒに位置するように配置されている。撮像手段２６も光路変更素子２５と同様に、魚眼レンズ２２，２３のうち光が通っていない領域を利用して魚眼レンズ２２，２３に対して保持されることで像形成部２１内に配置されている。

撮像素子２７は、図４に示すように、魚眼レンズ２２，２３に入射した入射光線ｌ２によって形成される第１及び第２の被写体像３１，３２を同時に取得する。この撮像素子２７上に結像され取得された第１及び第２の被写体像３１，３２は、受光面２７ａを構成する画素ごとに電気信号に変換されて、撮像手段２６の一部を構成する第１の通信部２８に入力される。第１の通信部２８は、入力された画像情報を有する電気信号を電波に変換して、画像形成手段４０に送信する。

図３に示すように、画像形成手段４０は、ＣＰＵなどを備えたいわゆるコンピュータであり、撮像素子２７で取得された第１及び第２の被写体像３１，３２から球面画像を形成する。画像形成手段４０は、第２の通信部４１と、パラメータ格納部４２と、画像変換部４３と、画像形成部４４と、校正部４５Ａとを有する。

パラメータ格納部４２は、魚眼レンズ２２の焦点距離ｆ_Ｌ及び魚眼レンズ２３の焦点距離ｆ_Ｒを格納している。また、パラメータ格納部４２は、魚眼レンズ２２の光軸と像面５との交点としての画像中心Ｏ_Ｌ及び、魚眼レンズ２３の光軸と像面５との交点としての画像中心Ｏ_Ｒの座標を格納している。前述したように魚眼レンズ２２，２３に入射した光は、光路変更素子２５によって光路が変更される。そのため、魚眼レンズ２２，２３の光軸とは、魚眼レンズ２２，２３の中心線（すなわち、第１及び第２の湾曲面２２ａ，２３ａの中心線２２ｂ，２３ｂ）に沿って入射した光の進行方向に一致するものとする。

更に、パラメータ格納部４２は、図５に示すように、画像中心Ｏ_Ｌを原点として設定される三次元座標系（Ｘ_ＬＹ_ＬＺ_Ｌ座標系）としての第１の画像座標系Ｓ_Ｌと、画像中心Ｏ_Ｒを原点として設定される三次元座標系（Ｘ_ＲＹ_ＲＺ_Ｒ座標系）としての第２の画像座標系Ｓ_Ｒの相対姿勢情報を格納している。この相対姿勢情報は、第２の画像座標系Ｓ_Ｒから第２の画像座標系Ｓ_Ｌへの変換行列Ｒ_ＬＲに相当する。そして、像形成部２１では、魚眼レンズ２２，２３の視点は一致しているので、変換行列Ｒ_ＬＲは、回転行列に相当することになる。なお、パラメータ格納部４２が格納している画像中心Ｏ_Ｌ，Ｏ_Ｒ、焦点距離ｆ_Ｌ，ｆ_Ｒ及び変換行列Ｒ_ＬＲは、初期値としては、球面視覚センサー２０の設計値が格納されている。

画像変換部４３は、平面画像である第１の被写体像３１を、図２を利用して説明した方法によって、第１の被写体像３１が有する画像情報を半球体の表面に有する第１の半球面画像に変換する。また、画像変換部４３は、平面画像である第２の被写体像３２を、図２を利用して説明した方法によって、第２の被写体像３２が有する画像情報を半球体の表面に有する半球面画像に変換する。ただし、入射角θは、魚眼レンズ２２については、入射光線ｌ１と中心線２２ｂとのなす角度θ_Ｌを意味し、魚眼レンズ２３については、入射光線ｌ１と中心線２３ｂとのなす角度θ_Ｒを意味する。

このように、第１及び第２の半球面画像を形成するとき、画像変換部４３は、パラメータ格納部４２に格納されている撮像系パラメータとしての画像中心Ｏ_Ｌ，Ｏ_Ｒ、焦点距離ｆ_Ｌ，ｆ_Ｒ及び変換行列Ｒ_ＬＲに基づいて第１及び第２の半球面画像を形成することになる。その結果として、第１の半球面画像は第１の画像座標系Ｏ_Ｌで表され、第２の半球面画像は第２の画像座標系Ｏ_Ｒで表される。

画像形成部４４は、画像変換部４３において形成された第１及び第２の半球面画像を、第１及び第２の画像座標系Ｏ_Ｌ，Ｏ_Ｒの相対姿勢情報としての変換行列Ｒ_ＬＲ、及び、画像中心Ｏ_Ｌ，Ｏ_Ｒに基づいて合成して球面画像を形成する。より具体的には、第１及び第２の半球面画像の画像中心Ｏ_Ｌ，Ｏ_Ｒを一致させ、第２の半球面画像を変換行列Ｒ_ＬＲで第１の画像座標系Ｏ_Ｌ上の点に変換することで球面画像を形成する。

上記のように球面画像は、撮像系パラメータ（画像中心、焦点距離、相対姿勢情報）を利用して形成されている。したがって、撮像系パラメータが撮像装置１０Ａにおいて校正される必要がある。そこで、校正部４５Ａは、実空間における平行な直線群（以下、平行直線群とも称す）の消失点を利用して撮像系パラメータを校正する。校正部４５Ａが消失点を利用して撮像系パラメータを校正する方法について説明する。校正部４５Ａは、ＣＰＵ等を有する画像形成手段４０に予め記録されている所定のプログラムを実行することによって次に示す方法によって撮像系パラメータを校正する。

魚眼レンズ２２は、画角１８０度を有しているので、第１の被写体像３１内には、図６に示すように、第１の画像座標系Ｓ_ＬにおけるＸ_ＬＹ_Ｌ平面において、画像中心Ｏ_Ｌから距離ｒ_１，ｒ_２の位置に一対の消失点（消失点対）Ｖ_１、Ｖ_２が現れる。この消失点の位置は、例えば、上記平行直線群に含まれる直線に対応する像としての曲線を円錐曲線でフィッティングし、複数の円錐曲線関数を算出したのち、それらの交点を求めることで算出される。一対の消失点Ｖ_１，Ｖ_２を結ぶ直線は、

であり、この直線上に画像中心Ｏ_Ｌが位置する。したがって、校正部４５Ａは、校正後の画像中心Ｏ_ＬをＣ_Ｌ（ｘ_Ｌ，ｃ，ｙ_Ｌ，ｃ）としたときに、次の評価関数Γ１

を最小にすることで画像中心Ｃ_Ｌを算出する。ここでは、魚眼レンズ２２について説明したが、魚眼レンズ２３についても同様であるので、魚眼レンズ２３については説明を省略する。

ところで、式（２１）に示した結像特性をテーラ展開すると、

となる。Ｉは、魚眼レンズ２２に対してはＬであり、魚眼レンズ２３に対してはＲであり、以下同様とする。ｋ_Ｉは、テーラ展開の係数であり、焦点距離ｆ_Ｉに依存する。そして、このｋ_Ｉによって、例えば、図６に示すように、ｒ_Ｌ，１、ｒ_Ｌ，２の長さの違いが生じることになるので、ｋ_Ｉは、結像点の画像中心Ｏ_Ｉに対する径方向の歪みを表す放射歪み（radial distortion）パラメータである。この放射歪みパラメータとしてのｋ_Ｉを算出することにより、球面視覚センサー２０における結像特性がより正確に求められることになる。

そこで、校正部４５Ａは、放射歪みパラメータとしてのｋ_Ｉを算出する。ただし、式（２４）では、無限個の項があるため、式（２４）のうち低次の項から３個までの項で表される、

を利用して放射歪みパラメータｋ_Ｉ，１，ｋ_Ｉ，３，ｋ_Ｉ，５を算出する。

先ず、魚眼レンズ２２に対する放射歪みパラメータｋ_Ｌ，１，ｋ_Ｌ，３，ｋ_Ｌ，５を算出する方法について説明する。消失点Ｖ_１，Ｖ_２に対して式（２５）を適用すると、

となる。この際、画像中心Ｏ_Ｉを校正している場合には、焦点距離ｆ_Ｌをより正確に校正する観点からｒ_Ｌ，１及びｒ_Ｌ，２は、校正された画像中心Ｏ_Ｉに対する距離であることが好ましい。

また、消失点Ｖ１，Ｖ２は、実空間での直線パターンを無限に延ばしたときの無限遠点の投影像に対応するため、そのような無限遠点から魚眼レンズ２２，２３へ入射する入射光線ｌ１と魚眼レンズ２２，２３との光軸とのなす角度であるθ_Ｌ，１とθ_Ｌ，２に対しては、

が成り立つ。式（２６）〜式（２８）において、未知数は３つ（ｋ_Ｌ，１、ｋ_Ｌ，３、ｋ_Ｌ，５）であるので、少なくとも３つ以上の第１の被写体像３１に対して一対の消失点Ｖ_１，Ｖ_２を算出することでｋ_Ｌ，１、ｋ_Ｌ，３、ｋ_Ｌ，５を決定することができる。同様にして、魚眼レンズ２３に対する放射歪みパラメータｋ_Ｒ，１、ｋ_Ｒ，３、ｋ_Ｒ，５も決定する。

前述したように、ｋ_Ｌ，１、ｋ_Ｌ，３、ｋ_Ｌ，５は、焦点距離ｆ_Ｌに依存しており、ｋ_Ｒ，１、ｋ_Ｒ，３、ｋ_Ｒ，５は、焦点距離ｆ_Ｒに依存している。その結果、放射歪みパラメータｋ_Ｌ，１、ｋ_Ｌ，３、ｋ_Ｌ，５、ｋ_Ｒ，１、ｋ_Ｒ，３、ｋ_Ｒ，５を決定することは、より正確に焦点距離ｆ_Ｌ、ｆ_Ｒを算出することに相当する。したがって放射歪みパラメータｋ_Ｌ、ｋ_Ｒを算出することを焦点距離ｆ_Ｌ，ｆ_Ｒの校正とも称す。

以上のようにして魚眼レンズ２２，２３の画像中心Ｃ_Ｌ，Ｃ_Ｒ及び焦点距離ｆ_Ｌ，ｆ_Ｒを算出したのちに、校正部４５Ａは、それらに基づいて第１の画像座標系Ｓ_Ｌと第２の画像座標系Ｓ_Ｒとの相対姿勢情報を算出する。相対姿勢情報は、前述したように第２の画像座標系Ｓ_Ｒから第１の座標座標系Ｓ_Ｌに変換するための変換行列Ｒ_ＬＲに相当するが、球面視覚センサー２０では、視点が一致しているので、この変換行列Ｒ_ＬＲは、回転行列に相当する。

前述したように第１及び第２の被写体像３１，３２には消失点Ｖ_１，Ｖ_２が現れるので、第１及び第２の被写体像３１，３２から形成される第１及び第２の半球面画像にも消失点が現れる。通常、第１及び第２の半球面画像には、実空間における水平線に略平行な直線群の像及びその消失点（以下、「第１消失点」という）、並びに、水平線に直交する方向（鉛直方向）に延びる直線に略平行な直線群の像及びその消失点（以下、「第２消失点」という）が現れている。

ここで、第１消失点の位置ベクトルをｐ１_ｈｃとし、第２消失点の位置ベクトルをｐ１_ｖｃとする。そして、３次元座標系である世界座標での第１消失点の位置ベクトルをｐ_ｈｗとし、第２消失点の位置ベクトルをｐ_ｖｗとする。この場合、世界座標系から第１の画像座標系Ｓ_Ｌへの回転行列をＲ１_ｃｗとすると以下の式が成り立つ。

Ｒ１_ｃｗは上述したように回転行列であって、３つの変数が含まれているが、（式２９）及び（式３０）を用いることで、６個の方程式が成り立つため、Ｒ１_ｃｗを算出可能である。

ところで、第１及び第２の半球面画像を結合することによって１つの球面画像を形成した場合、第１の半球面画像の第１消失点と第２の半球面画像の第１消失点とは一致し、第１の半球面画像の第２消失点と第２の半球面画像の第２消失点とは一致する。したがって、（式２９）及び（式３０）におけるｐ_ｈｗ及びｐ_ｖｗは、第２の半球面画像の第１消失点ｐ２_ｈｃ及び第２消失点ｐ２_ｖｃにも変換可能である。すなわち、世界座標系から第２の画像座標系Ｓ_Ｒへの変換行列をＲ２_ｃｗとすると、以下の式が成り立つ。

（式３１）及び（式３２）よりＲ２_ｃｗが算出できる。

そして、式（２９）と式（３０）、又は、（式３１）と（式３２）より、Ｒ１_ｃｗ及びＲ２_ｃｗに基づいて第２の画像座標系Ｓ_Ｒから第１の画像座標系Ｓ_Ｌへの回転行列Ｒ_ＬＲを算出することができる。

次に、撮像装置１０Ａにおける撮像系パラメータの校正方法についてより具体的に説明する。撮像系パラメータの校正では、図７に示すような３つの黒色の直線パターン５１が含まれた校正用チャート５０を利用する。なお、消失点を算出するため、球面視覚センサー２０に対して校正用チャート５０は十分大きいものとする。

続いて、撮像装置１０Ａの配置を変えながら、図８（ａ）〜図８（ｄ）に示すように、校正用チャート５０を複数（図８では、４枚）撮影する（像取得工程）。そして、校正部４５Ａは、複数の第１の被写体像３１に対して前述したように消失点対（一対の消失点）Ｖ_１，Ｖ_２の位置を算出し、式（２３）に示す評価関数Γ１を最小にするｘ_Ｌ，ｃ、ｙ_Ｌ，ｃを算出する（画像中心校正工程）。これは、例えば、ラグランジュ未定乗数法等に基づいて実施すればよい。

そして、校正部４５Ａが、算出したｘ_Ｌ，ｃ、ｙ_Ｌ，ｃを新しい画像中心Ｏ_Ｌとしてパラメータ格納部４２に入力することで画像中心Ｏ_Ｌが校正されることになる。

次に、撮像装置１０Ａを像形成部２１の中心部２４を通ると共に、魚眼レンズ２２，２３の中心線２２ｂ，２３ｂに略直交する直線を中心として回転させながら、図９（ａ）〜図９（ｃ）に示すように、校正用チャート５０を３枚撮像する。そして、校正部４５Ａは、３枚の第１の被写体像３１に対して一対の消失点Ｖ_１，Ｖ_２を算出する。次いで、式（２６）〜式（２８）を利用して放射歪みパラメータｋ_Ｌ，１、ｋ_Ｌ，３、ｋ_Ｌ，５を算出し、パラメータ格納部４２に入力する（焦点距離校正工程）。

以上の魚眼レンズ２２に対して実施する方法と同様にして、魚眼レンズ２３に対する画像中心Ｃ_Ｒ、及び、放射歪みパラメータｋ_Ｒ,１、ｋ_Ｒ,３、ｋ_Ｒ,５を算出する。そして、算出した画像中心Ｃ_Ｒ（ｘ_Ｌ，ｃ，ｙ_Ｌ，ｃ）及び放射歪みパラメータｋ_Ｒ，１、ｋ_Ｒ，３、ｋ_Ｒ，５をパラメータ格納部４２に入力する。

次に、撮像装置１０Ａの両方の魚眼レンズ２２，２３の視野内に校正用チャート５０が入ると共に、校正用チャート５０の直線パターン５１が水平になるように校正用チャート５０を配置する。そして、異なる角度で３つ以上の校正用チャート５０を撮像する。続いて、校正用チャート５０を９０度回転させ、直線パターン５１の延在方向が鉛直方向になるよう校正用チャート５０を配置する。そして、異なる角度で校正用チャート５０を３つ以上撮像する（像取得工程）。

続いて、画像変換部４３は、校正された画像中心Ｏ_Ｌ，Ｏ_Ｒ及び焦点距離ｆ_Ｌ，ｆ_Ｒを利用して、３つ以上取得された第１及び第２の被写体像３１，３２を第１及び第２の半球面画像に変換する。

ここで、校正された焦点距離ｆ_Ｌ，ｆ_Ｒを利用することは、放射歪みパラメータｋ_Ｌ，１、ｋ_Ｌ，３、ｋ_Ｌ，５及びｋ_Ｒ，１、ｋ_Ｒ，３、ｋ_Ｒ，５を利用することに対応するので、その結果として、式（２５）で表される結像特性を利用することになる。

そして、前述した第１消失点及び第２消失点を算出し、式（２９）及び式（３０）を利用してＲｗ１を決定する。また、式（３１）及び式（３２）を利用してＲｗ２を決定する。そして、式（２９）と式（３０）、又は、（式３１）と（式３２）より、Ｒ１_ｃｗ及びＲ２_ｃｗに基づいて第２の画像座標系Ｓ_Ｒから第１の画像座標系Ｓ_Ｌへの変換行列Ｒ_ＬＲを算出して、算出された変換行列Ｒ_ＬＲをパラメータ格納部４２に入力する（相対姿勢情報校正工程）。

上記校正方法では、３つ以上の第１の被写体像３１及び３つ以上の第２の被写体像３２を利用して画像中心Ｏ_Ｌ，Ｏ_Ｒを校正しているので、画像中心Ｏ_Ｌ，Ｏ_Ｒをより正確に校正できている。

更に、式（２４）で表される魚眼レンズ２２，２３の結像特性をテーラ展開し、低次の項から３項まで選択した式（２５）に基づいて焦点距離ｆ_Ｌ，ｆ_Ｒを校正している（言い換えれば、放射歪みパラメータｋ_Ｌ，１、ｋ_Ｌ，３、ｋ_Ｌ，５、ｋ_Ｒ，１、ｋ_Ｒ，３、ｋ_Ｒ，５を算出している）ので、球面視覚センサー２０に対応した結像特性が得られることになり、結果として、放射歪みも校正できることになる。

例えば、理論式としての式（２４）をそのまま利用して焦点距離ｆ_Ｌ，ｆ_Ｒを校正した場合には、放射歪みは校正できないが、上記のように、テーラ展開し、複数の項を選択してから焦点距離ｆ_Ｌ，ｆ_Ｒを校正することによって放射歪みもより確実に校正できる。

また、３つ以上の第１及び第２の被写体像３１，３２を利用して相対姿勢情報を校正しているので、画像中心Ｏ_Ｌ，Ｏ_Ｒの場合と同様により正確な相対姿勢情報としての変換行列Ｒ_ＬＲを算出できている。

以上のようにして校正された撮像系パラメータを有する撮像装置１０Ａでの球面画像形成方法について説明する。

先ず、撮像装置１０Ａが魚眼レンズ２２，２３を利用して第１及び第２の被写体像３１，３２を撮像すると、撮像素子２７は、それらを電気信号に変換して第１の通信部２８に入力する。第１の通信部２８は、入力された画像情報に相当する画像データを例えば無線によって第２の通信部４１に送信する。第２の通信部４１は、受信した画像データを画像変換部４３に入力する。

この画像変換部４３は、校正部４５Ａによって校正された撮像系パラメータに基づいて第１及び第２の被写体像３１，３２を第１及び第２の半球面画像に変換する。そして、画像形成部４４は、画像変換部４３で得られた第１及び第２の半球面画像のうち、第２の画像座標系Ｓ_Ｒで表されている第２の半球面画像を変換行列Ｒ_ＬＲによって第１の画像座標系Ｓ_Ｌに変換することで球面画像を形成する。

上記撮像装置１０Ａでは、画角１８０度を有する２つの魚眼レンズ２２，２３を利用して球面視覚センサー２０を中心とした全天周の被写体を撮像しているので、同一時刻における被写体の球面画像を得ることができる。その結果として、動的な環境の撮像にも好適に利用することが可能である。また、像形成部２１が有する魚眼レンズ２２，２３は同一の視点を有するので、球面画像における、例えば、左半球と右半球の画像のズレが小さくなっている。

そして、この球面画像は、校正部４５Ａによって校正された撮像系パラメータにも基づいて形成されているので、より正確に被写体を表した画像となっている。そのため、撮像装置１０Ａは、例えば、監視センサーや、移動ロボットなどの周辺認識システムに好適に利用できる。また、球面視覚センサー２０を小型化することによって、胃カメラなどにも利用できる。

（第２の実施形態）
本発明に係る撮像装置及び撮像系パラメータの校正方法の他の実施形態について説明する。図１０に示すように、撮像装置１０Ｂは、画像形成手段４０が、校正部４５Ｂを有する点で、図３に示した撮像装置１０Ａと主に相違する。球面視覚センサー２０の構成は、第１の実施形態の場合と同様であるため、説明を省略する。

この校正部４５Ｂで撮像系パラメータを校正する方法について説明する。校正部４５Ｂは、ＣＰＵ等を有する画像形成手段４０に予め記録されている所定のプログラムを実行することによって次に示す方法によって撮像系パラメータを校正する。本実施形態においても、像形成部２１が有する魚眼レンズ２２，２３の結像特性は、式（２５）で表されるものとする。先ず、魚眼レンズ２２，２３の画像中心Ｏ_Ｌ，Ｏ_Ｒ及び焦点距離ｆ_Ｌ，ｆ_Ｒの校正について説明する。

第１の実施形態の場合と同様に、校正前の第１の画像座標系Ｓ_Ｌでの魚眼レンズ２２の実際の（校正後の）画像中心Ｃ_Ｌの位置座標を（ｘ_Ｌ，ｃ，ｙ_Ｌ，ｃ）とする。また、Ｘ_ＬＹ_Ｌ平面における第１の被写体像３１内の点をｑ（ｘ_Ｌ，ｙ_Ｌ）とする。この際、点ｑに対応する第１の半球面画像（又は球面画像）上の点をｍ_ｑとすると、点ｍ_ｑは、式（２０）より、

と表される。

校正後の画像中心Ｏ_Ｌとしての点Ｃ_Ｌを原点とする第１の画像座標系Ｓ_Ｌにおける点ｑの位置座標は（ｘ_Ｌ−ｘ_Ｌ，ｃ，ｙ_Ｌ−ｙ_Ｌ，ｃ）となる。また、式（２５）の逆関数をηとすると、θ_Ｌは、

と表される。また、方位角φ_Ｌは、

となるので、第１の被写体像３１を第１の半球面画像に変換したときの点ｑに対応する点ｍ_ｑの位置ベクトルは、式（３３）、式（３４）及び式（３５）より、ｘ_Ｌ，ｃ、ｙ_Ｌ，ｃ及びｋ_Ｌ，１、ｋ_Ｌ，３、ｋ_Ｌ，５（又はｆ_Ｌ）の関数となる。

ところで、図１１に示すように、実空間での直線パターン５１は、球面画像上では大円の一部の円弧５２として表される。なお、図１１に示す直線パターン５１は、図７に示した直線パターン５１を模式的に表したものである。この円弧５２を含む平面の法線単位ベクトルｎ_Ｌは、

と表される。ここで、θ_Ｌｎは、単位法線ベクトルｎ_ＬとＺ_Ｌ軸とのなす角度であり、φ_Ｌｎは、単位法線ベクトルｎ_ＬのＸ_ＬＹ_Ｌ平面への投影線のＸ_Ｌ軸からの方位角である。この単位法線ベクトルｎ_Ｌは、円弧５２上の任意の点ｍ_ｑ１，ｍ_ｑ２の位置ベクトルの外積で決まるが、より正確にｎ_Ｌを算出するために、以下の式（３７）

によって算出する。前述したように、円弧５２上の点ｍ_ｑの位置を決めるθ_Ｌ、φ_Ｌは式（３４）及び式（３５）よりそれぞれ、ｘ_Ｌ，ｃ、ｙ_Ｌ，ｃ及びｋ_Ｌ，１、ｋ_Ｌ，３、ｋ_Ｌ，５（又は、ｆ_Ｌ）の関数であるため、θ_Ｌｎ及びφ_Ｌｎも同様にそれらの関数である。

この単位法線ベクトルｎ_Ｌと、式（３３）より、円弧５２を含む平面の方程式は、

となる。そこで、撮像された直線パターン５１の数をＦとし、円弧５２上の点の数をＰ_ｌとし、評価関数ξ１_Ｌを、

とする。そして、この評価関数ξ１_Ｌを最小にすることによって魚眼レンズ２２，２３の内部パラメータとしての画像中心Ｏ_Ｌ，放射歪みパラメータｋ_Ｌ，１，ｋ_Ｌ，３、ｋ_Ｌ，５（言い換えれば、焦点距離ｆ_Ｌ）をより正確に得ることができる。魚眼レンズ２３を校正する方法も同様であるので、説明は省略する。

次に、第１及び第２の画像座標系Ｓ_Ｌ，Ｓ_Ｒの相対姿勢情報の校正について説明する。

図１２に示すように、２つの魚眼レンズ２２，２３の視野に含まれる実空間での直線パターン５１を撮像装置１０Ｂによって撮像する。そして、そのようにして得られた直線パターン５１の第１及び第２の半球面画像としての円弧５２を含む平面の単位法線ベクトルｎ_Ｌ，ｎ_Ｒを算出する。この単位法線ベクトルｎ_Ｌ，ｎ_Ｒは、式（３７）と同様にして算出してもよいが、次のようにすることも可能である。すなわち、前述したように直線パターン５１の投影像は、式（３８）を満たす平面に含まれるが、この平面は、

とも表される。ただし、ａ，ｂ，ｃは、ａ^２＋ｂ^２＋ｃ^２が１という条件を満たす数である。

円弧５２上の点ｍ_ｑから平面（ａ，ｂ，ｃ）への距離ｔは、ａｂｃ（ａｘ＋ｂｙ＋ｃｚ）となるので、単位法線ベクトルｎ_Ｌは、評価関数Γ２

を最小にすることで求めることができる。

なお、単位法線ベクトルｎ_Ｌ（ｎ_Ｒ）としては、反対方向（すなわち、符合の異なる）を有する２つのものが算出されることになるが、それらの内積を取って評価することで、ｎ_Ｌ及びｎ_Ｒが同じ方向を向いているものを選択できる。

ところで、単位法線ベクトルｎ_Ｌ，ｎ_Ｒは、同時に撮像された直線パターン５１の像を含む平面に対するものであるので、第１及び第２の画像座標系Ｓ_Ｌ，Ｓ_Ｒが一致していれば同じになるはずである。そのため、第１の画像座標系Ｓ_Ｌと第２の画像座標系Ｓ_Ｒの相対姿勢情報としての変換行列Ｒ_ＬＲによって、

が成り立つことになる。従って、評価関数ξ２

を最小にすることでＲ_ＬＲを求めることができる。なお、式（４３）において、ｎ_Ｌ，ｌｉ及びｎ_Ｒ，ｌｉは、複数の直線パターン５１_ｉの投影像としての円弧５２_ｉを含む単位法線ベクトルをそれぞれ表している。

次に、上記方法に基づいて撮像装置１０Ｂによる撮像系パラメータの校正方法をより具体的に説明する。先ず、魚眼レンズ２２，２３の画像中心Ｏ_Ｌ，Ｏ_Ｒ及び焦点距離ｆ_Ｌ，ｆ_Ｒを校正する。図７に示した、直線パターン５１を含む校正用チャート５０を用意してそれを魚眼レンズ２２の視野内に配置した後に撮像装置１０Ｂで撮像する（像取得工程）。

画像変換部４３は、取得された第１の被写体像３１から、校正前の（換言すれば、設計値としての）画像中心Ｏ_Ｌ及び焦点距離ｆ_Ｌに基づいて第１の半球面画像を形成する（第１の画像変換工程）。校正部４５Ｂは、画像変換部４３で形成された第１の半球面画像内の点ｑを式（３４）及び式（３５）を利用して校正後の画像中心Ｃ_Ｌ（ｘ_Ｌ，ｃ，ｙ_Ｌ，ｃ）及びｋ_Ｌ，１、ｋ_Ｌ，３、ｋ_Ｌ，５（又はｆ_Ｌ）の関数に変換する。

次いで、そのようにして変換された直線パターン５１の投影像としての円弧５２を含む平面の法線ベクトルｎ_Ｌを式（３７）を利用して算出する。この単位法線ベクトルｎ_Ｌを算出するまでの工程をＦ個の直線パターン５１に対して繰り返す。なお、Ｆ個の直線パターン５１の投影像を得るためには、１つの直線パターン５１を含んだ校正用チャートをＦ回撮像してもよいし、図７に示したように複数の直線パターン５１を含んだ校正用チャート５０を直線パターン５１の総計がＦ個になるように撮像してもよい。

そして、校正部４５Ｂは、式（３９）に示した評価関数ξ１_Ｌを設定して、例えば、ラグランジュ未定乗数法によってｘ_Ｌ，ｃ、ｙ_Ｌ，ｃ、ｋ_Ｌ，１、ｋ_Ｌ，３、ｋ_Ｌ，５を決定する。そして、その結果を、パラメータ格納部４２に格納することで、画像中心Ｏ_Ｌ及び焦点距離ｆ_Ｌを校正する（内部パラメータ校正工程）。魚眼レンズ２３の校正方法は魚眼レンズ２２の場合と同様であるので、説明は省略する。

次に、校正用チャート５０を両方の魚眼レンズ２２，２３の視野内に配置して撮像装置１０Ｂを回転させながら校正用チャート５０を撮像する（像取得工程）。これにより、複数の直線パターン５１の第１及び第２の被写体像３１，３２を得ることができる。画像変換部４３は、校正された画像中心Ｏ_Ｌ，Ｏ_Ｒ及び焦点距離ｆ_Ｌ，ｆ_Ｒに基づいて第１及び第２の被写体像３１，３２を第１及び第２の半球面画像に変換する（第２の画像変換工程）。

続いて、校正部４５Ｂは、第１及び第２の半球面画像に含まれる直線パターン５１の投影像としての円弧５２を含む平面の単位法線ベクトルｎ_Ｌ，ｎ_Ｒを、式（４１）又は式（３７）によって算出する。更に、校正部４５Ｂは、式（３９）に示す評価関数ξ２を設定して、評価関数ξ２を最小にする変換行列Ｒ_ＬＲを決定することで、相対姿勢情報を校正する（相対姿勢情報校正工程）。

上記校正方法では、画像中心Ｏ_Ｌ及び焦点距離ｆ_Ｌが同時に校正され、また、画像中心Ｏ_Ｌ及び焦点距離ｆ_Ｌが同時に校正されるので、校正時間をより短くすることができる。また、直線パターン５１の像としての円弧５２を利用しているので、像形成部２１を構成している魚眼レンズ２２，２３のように画角が１８０度で互いの視野に重なりがない場合でも確実に校正を実施することが可能である。

以上のようにして、校正された撮像系パラメータを利用して撮像装置１０Ｂによって球面画像を形成する方法は、撮像装置１０Ａの場合と同様である。そして、球面視覚センサー２０の構成も第１の実施形態の場合と同様であるので、同じ効果を有する。すなわち、同一時刻における被写体の球面画像を得ることができ、その結果として、動的な環境の撮像にも好適に利用することが可能である。また、魚眼レンズ２２，２３は同一の視点を有するので、球面画像における、例えば、左半球と右半球の画像のズレが小さくなっている。撮像装置１０Ｂは、例えば、監視センサーや、移動ロボットなどの周辺認識システムに好適に利用でき、球面視覚センサー２０を小型化することによって、胃カメラなどにも利用できることも撮像装置１０Ａの場合と同様である。

（第３の実施形態）
本発明に係る撮像装置及び撮像系パラメータの校正方法の更に他の実施形態について説明する。図１３に示すように、撮像装置１０Ｃは、画像形成手段４０が、３次元物体に含まれいる特徴点Ｍｃを利用して撮像系パラメータを校正する校正部４５Ｃを有する点で、図３に示した撮像装置１０Ａと主に相違する。球面視覚センサー２０の構成は、第１の実施形態の場合と同様であるため、説明は省略する。

先ず、校正部４５Ｃによって撮像系パラメータを校正する方法について説明する。校正部４５Ｃは、ＣＰＵ等を有する画像形成手段４０に予め記録されている所定のプログラムを実行することによって次に示す方法によって撮像系パラメータを校正する。本実施形態においても、像形成部２１が有する魚眼レンズ２２，２３の結像特性は、式（２５）で表されるものとする。先ず、魚眼レンズ２２，２３の画像中心Ｏ_Ｌ，Ｏ_Ｒ及び焦点距離ｆ_Ｌ，ｆ_Ｒの校正について説明する。

図１４に示すように、球面視覚センサー２０が、校正用ボックス６０内に支持棒６１などによって支持されて配置されているとする。校正用ボックス６０には、複数の特徴点Ｍｃが格子状に配列されている。図１４において、ハッチング部分が特徴点Ｍ_ｃ及び球面視覚センサー２０を表している。また、球面視覚センサー２０を中心とする座標系と魚眼レンズ２２のカメラ座標系（すなわち、第１の画像座標系Ｓ_Ｌ）とは同じとする。これは、第２の画像座標系Ｓ_Ｒ上の点を変換行列Ｒ_ＬＲを利用して第１の画像座標系Ｓ_Ｌに移動することに相当する。

ここで、撮像装置１０Ｃによって形成される球面画像上の点の位置ベクトルをｍ、

とする。前述したように、球面画像は、第１の被写体像３１から変換された第１の半球面画像と、第２の被写体像３２から変換された第２の半球面画像とを結合したものである。より具体的には、球面画像は、第２の画像座標系Ｓ_Ｒで表される第２の半球面画像が変換行列Ｒ_ＬＲで第１の画像座標系Ｓ_Ｌ上に変換されて構成されている。したがって、点ｍが球面画像における第１の半球面画像上の点ｍ_Ｌであるとき、ｍはｍ_Ｌに一致する。また、点ｍが球面画像における第２の半球面画像に対応する点ｍ_Ｒであるとき、ｍはＲ_ＬＲｍ_Ｒに一致する。ｍ_Ｌ，ｍ_Ｒは、式（２０）を参照すると、それぞれ

と表される。

ここで、第１の実施形態の場合と同様に、校正後の魚眼レンズ２２の画像中心Ｏ_Ｌの座標をＣ_Ｌ（ｘ_Ｌ，ｃ，ｙ_Ｌ，ｃ）とし、校正後の魚眼レンズ２３の画像中心Ｏ_Ｒの座標をＣ_Ｒ（ｘ_Ｒ，ｃ，ｙ_Ｒ，ｃ）とし、式（２５）の逆関数をηとすると、式（３４）が成り立つ。以上のことからｕ，ｖ，ｓは、ｘ_Ｌ，ｃ，ｙ_Ｌ，ｃ，ｋ_Ｌ，１、ｋ_Ｌ，３、ｋ_Ｌ，５の関数か、又は、ｘ_Ｒ，ｃ、ｙ_Ｒ，ｃ、ｋ_Ｒ，１、ｋ_Ｒ，３、ｋ_Ｒ，５の関数になる。

また、球面画像上の点ｍに対応する実空間での特徴点Ｍ_ｃの第１の画像座標系Ｓ_Ｌ上の位置ベクトルを、

とする。そして、図１５に示すように、回転行列Ｒ及び並進行列Ｔによって第１の画像座標系Ｓ_Ｌに変換できる３次元座標系を世界座標系Ｓ_Ｗとする。回転行列Ｒは、ｊ_１，ｊ_２，ｊ_３をベクトルとしたとき、

であり、並進行列Ｔは、

である。このとき、Ｎ_ｗを、[X_w，Y_w，Z_w，1]とすると、

が成りたつ。

また、球面画像上の点の位置ベクトルをｍとし、ρを（Ｘ^２＋Ｙ^２＋Ｚ^２）^１／２とすると、

が成り立つ。これは、特徴点Ｍ_ｃが球面視覚センサー２０よりも十分遠くに位置していれば、位置ベクトルｍと位置ベクトルＭ_ｃとがほぼ一致することを示している。従って、式（５１）より、

となる。これにより、以下の２つの方程式が得られる。

式（５３）及び式（５４）において、Ｍ_ｗｉは、世界座標系Ｓ_ｗでのｉ番目の特徴点Ｍ_ｃの座標である。

ｕ、ｖ、ｓは、点ｍの位置に応じて、すなわち、魚眼レンズ２２によって撮像された点か、魚眼レンズ２３によって撮像された点かに応じてｘ_Ｌ，ｃ，ｙ_Ｌ，ｃ，ｋ_Ｌ，１、ｋ_Ｌ，３、ｋ_Ｌ，５の関数か、又は、ｘ_Ｒ，ｃ、ｙ_Ｒ，ｃ、ｋ_Ｒ，１、ｋ_Ｒ，３、ｋ_Ｒ，５であることから、式（５３）及び式（５４）には、｛ｘ_Ｌ，ｃ，ｙ_Ｌ，ｃ，ｋ_Ｌ，１、ｋ_Ｌ，３、ｋ_Ｌ，５，ｘ_Ｒ，ｃ、ｙ_Ｒ，ｃ、ｋ_Ｒ，１、ｋ_Ｒ，３、ｋ_Ｒ，５，Ｒ_ＬＲ，Ｒ，Ｔ｝が含まれており、結果として、１９個の未知数が含まれることになる。

しかしながら、撮像する特徴点Ｍ_ｃの数を増やすことによって、この未知数の数（ここでは、１９個）よりも多くの方程式を得ることができるので、未知数を決定できる。そこで、評価関数Ｃを

と設定し、式（５５）を最小にするように上記の未知数を決定することで各パラメータを校正することができる。

次に、上記方法を利用して撮像装置１０Ｃにおいて撮像系パラメータを校正する方法をより具体的に説明する。

先ず、球面視覚センサー２０より十分大きい校正用ボックス６０を用意する。この校正用ボックス６０としては、例えば、立方体の箱の内面に特徴点としてのＬＥＤを格子状に配置したものが考えられる。この校正用ボックス６０内に球面視覚センサー２０を支持棒６１などによって配置し、球面視覚センサー２０によって特徴点Ｍ_ｃを撮像する（像取得工程）。これによって、第１及び第２の被写体像３１，３２には、特徴点Ｍ_ｃに対応する像が形成されることになる。

そして、画像変換部４３は、取得された第１及び第２の被写体像３１，３２から、校正前の（換言すれば、校正前の）画像中心Ｏ_Ｌ，Ｏ_Ｒ及び焦点距離ｆ_Ｌ，ｆ_Ｒに基づいて第１及び第２の半球面画像を形成する（画像変換工程）。ここで、校正部４５Ｃは、画像変換部４３で形成された第１の半球面画像内の点ｍ_Ｌを式（３４）及び式（３５）を利用して校正後の画像中心Ｃ_Ｌ（ｘ_Ｌ，ｃ，ｙ_Ｌ，ｃ）、放射歪みパラメータｋ_Ｌ，１、ｋ_Ｌ，３Ｌ、ｋ_Ｌ，５の関数に変換する。また、第２の半球面画像内の点ｍ_Ｒを校正後の画像中心Ｃ_Ｒ（ｘ_Ｒ，ｃ，ｙ_Ｒ，ｃ）、及び、放射歪みパラメータｋ_Ｒ，１、ｋ_Ｒ，３、ｋ_Ｒ，５の関数に変換する。

次いで、そのようにして変換された第１及び第２の半球面画像に対して、画像形成部４４は、変換行列Ｒ_ＬＲを利用して第２の半球面画像を第１の画像座標系Ｓ_Ｌで表すことによって球面画像を形成する（画像形成工程）。

このように球面画像が形成されると、言い換えれば、第１の画像座標系Ｓ_Ｌにおいて、第１及び第２の半球面画像が一緒に表されると、校正部４５Ｃは、式（５５）に示した評価関数Ｃを設定して、例えば、ラグランジュ未定乗数法によって、評価関数Ｃを最小にする｛ｘ_Ｌ，ｃ，ｙ_Ｌ，ｃ，ｋ_Ｌ，１，ｋ_Ｌ，３，ｋ_Ｌ，５，ｘ_Ｒ，ｃ，ｙ_Ｒ，ｃ，ｋ_Ｒ，１，ｋ_Ｒ，３，ｋ_Ｒ，５，Ｒ_ＬＲ｝を決定する。

この際、上記の未知数は、魚眼レンズ２２に関する未知数{ｘ_Ｌ，ｃ，ｙ_Ｌ，ｃ，ｋ_Ｌ，１，ｋ_Ｌ，３，ｋ_Ｌ，５}と魚眼レンズ２３に関する未知数｛ｘ_Ｒ，ｃ，ｙ_Ｒ，ｃ，ｋ_Ｒ，１，ｋ_Ｒ，３，ｋ_Ｒ，５｝と変換行列Ｒ_ＬＲに分けられるので、先ず、魚眼レンズ２２，２３に関するパラメータを決定したのち、変換行列Ｒ_ＬＲを決定してもよい。

そして、校正部４５Ｃは、算出された｛ｘ_Ｌ，ｃ，ｙ_Ｌ，ｃ，ｋ_Ｌ，１，ｋ_Ｌ，３，ｋ_Ｌ，５，ｘ_Ｒ，ｃ，ｙ_Ｒ，ｃ，ｋ_Ｒ，１，ｋ_Ｒ，３，ｋ_Ｒ，５，Ｒ_ＬＲ｝をパラメータ格納部４２に入力する。これによって、画像中心Ｏ_Ｌ，Ｏ_Ｒ及び焦点距離ｆ_Ｌ，ｆ_Ｒ及び相対姿勢情報としての変換行列Ｒ_ＬＲが校正されることになる（校正工程）。

上記校正方法では、校正用ボックス６０を１回撮像することによって、画像中心Ｏ_Ｌ、Ｏ_Ｒ、焦点距離ｆ_Ｌ，ｆ_Ｒ及び相対姿勢情報が校正されることから、校正時間をより短くすることができる。また、３次元状に配列された特徴点Ｍ_ｃを利用しているので、球面視覚センサー２０を構成している魚眼レンズ２２，２３のように画角が１８０度で互いの視野に重なりがない場合でも確実に構成することが可能である。

また、例えば、従来の校正方法のように、いわゆる中心射影モデルによって校正する場合、３次元状に配列された特徴点を同様に扱えない、言い換えれば、全ての特徴点に対して同じ式を適用することができない。しかしながら、前述した球面視覚センサー２０の撮像系パラメータを校正する方法では、球面画像を利用して校正する（すなわち、球面射影モデルによって校正する）ため、全天周に位置する特徴点Ｍ_ｃを同様に扱うことができる。したがって、全ての特徴点Ｍ_ｃに対して同じ評価関数Ｃを適用することで撮像系パラメータを校正できる。その結果として、校正が容易であると共に、同じ式を利用するのでより正確に校正できる。

以上のようにして、校正された撮像系パラメータを利用して撮像装置１０Ｃによって球面画像を形成する方法は、撮像装置１０Ａの場合と同様である。そして、球面視覚センサー２０の構成も第１の実施形態の場合と同様であるので、同じ効果を有する。

すなわち、同一時刻における被写体の球面画像を得ることができ、その結果として、動的な環境の撮像にも好適に利用することが可能である。また、魚眼レンズ２２，２３は同一の視点を有するので、球面画像における、例えば、左半球と右半球の画像のズレが小さくなっている。

そして、撮像装置１０Ｃは、例えば、監視センサーや、移動ロボットなどの周辺認識システムに好適に利用でき、球面視覚センサー２０を小型化することによって、胃カメラなどにも利用できることも撮像装置１０Ａの場合と同様である。

以上、本発明に好適な実施形態について説明したが、本発明は上記実施形態に限定されない。例えば、図１６に示すような撮像装置１０Ｄの構成にしてもよい。撮像装置１０Ｄが有する球面視覚センサー８０は、一対の魚眼レンズ２２，２３からなる像形成部２１の外側に撮像手段２６が配置されている点で、球面視覚センサー２０の構成と相違する。

撮像手段２６は、例えば、魚眼レンズ２２，２３の第１及び第２の湾曲面２２ａ，２３ａに固定された断面が台形形状の収容部８１内に配置されていればよい。像形成部２１の外面は光を通すので、このような構成でも確実に第１及び第２の被写体像３１，３２を取得することが可能である。また、このように収容部８１を設けることで、例えば、球面視覚センサー８０を移動ロボットなどに容易に取り付けられることになる。

また、撮像手段２６は、第１の通信部２８を有するとしたが、例えば、図１６に示した撮像装置１０Ｄの構成の場合には、撮像手段２６には第１の通信部２８を設けなくてもよい。その場合には、撮像素子２７と画像形成手段４０とを、例えば、電気的に接続することが考えられる。

更に、像形成部２１の形状は球状としたが、像形成部２１は、断面が楕円形状になっていてもよい。更にまた、第１及び第２の実施形態で説明した撮像系パラメータの構成方法は、図１７に示すように、互いに離れた２つの魚眼レンズ９１，９２から構成される撮像装置１０Ｅに対しても適用できる。撮像装置１０Ｅの構成では、全天周球面画像を得るため、第１及び第２の結像手段としての魚眼レンズ９１，９２の画角ｗは、１８５度程度有ることが好ましい。

更にまた、第１〜第３の実施形態では、魚眼レンズ２２，２３の結像特性は、式（２１）で表されるとしたが、式（２４）で表される結像特性を有すればよい。

また、第１の実施形態において説明した撮像系パラメータの校正方法においては、式（２６）〜式（２８）を利用して焦点距離ｆ_Ｌ，ｆ_Ｒを校正した、言い換えれば、放射歪みパラメータｋ_Ｉを算出したが、焦点距離ｆ_Ｌ，ｆ_Ｒは式（２１）を利用して次のようにして校正してもよい。

先ず、魚眼レンズ２２の焦点距離ｆ_Ｌの校正方法について説明する。ここでは、校正部４５Ａは、画像中心Ｏ_Ｉを校正したものとして説明する。画像中心Ｏ_Ｉからの消失点Ｖ_１，Ｖ_２までの距離ｒ_Ｌ，１，ｒ_Ｌ，２は、式（２１）を利用すると、

が成り立つ。なお、画像中心Ｏ_Ｉは校正されているので、ｒ_Ｌ，１及びｒ_Ｌ，２は、校正された画像中心Ｏ_Ｉからの消失点Ｖ_１，Ｖ_２までの距離である。そして、θ_Ｌ，１及びθ_Ｌ，２に対しては、式（２８）が成り立つ。

ｒ_Ｌ，１及びｒ_Ｌ，２は、撮像素子２７の受光面２７ａ上の点の位置（対応する画素の位置）で決まるので、式（５６）、式（５７）及び式（２８）より、焦点距離ｆ_Ｌを決定することができる。すなわち、校正部４５Ａは、魚眼レンズ２２の校正された画像中心Ｏ_Ｌと、その画像中心Ｏ_Ｌからの消失点Ｖ_１，Ｖ_２までの距離とによって焦点距離ｆ_Ｌを校正する。魚眼レンズ２３の焦点距離ｆ_Ｒについても同様にして校正できるので、焦点距離ｆ_Ｒの校正方法については説明は省略する。このようにして校正された画像中心Ｏ_Ｉ及び焦点距離ｆ_Ｉに基づいて相対姿勢情報としての変換行列ＲＬＲを算出する方法は、第１の実施形態で説明した通りである。

画像中心Ｏ_Ｉ及び画像中心Ｏ_Ｌからの消失点Ｖ_１，Ｖ_２までの距離とに焦点距離ｆ_Ｉを校正する方法の場合も、ｒ_Ｉがｆ_Ｉθ_Ｉで表される等距離射影方式や、ｒ_Ｉがｆ_Ｉｓｉｎθ_Ｉで表される正射影方式や、ｒ_Ｉが２ｆ_Ｉｔａｎ（θ_Ｉ／２）で表されるステレオ射影方式に対しても適用できる。

また、更に、第３の実施形態において校正用ボックス６０は、立方体の内面にＬＥＤを３次元状に配列したものを例示したが、例えば、図１８に示すような校正用ボックス１００でもよい。図１８では、説明のために立方体としての校正用ボックス１００の半分（３面で構成される部分）を示している。図１８では、校正用ボックス１００の内面は、黒と白の市松模様になっている。この場合、黒及び白の正方形の角を特徴点とすることができる。

本発明に係る撮像装置は、例えば、警備システムでの監視センサーや、移動ロボットや製造ロボットの周辺認識装置に好適に利用することができる。更に、発掘現場や災害箇所などの狭隘箇所での撮影システムとしての利用も考えられる。更にまた、胃カメラやカプセル型の内視鏡としても利用可能である。そして、本発明に係る撮像系パラメータの校正方法は、上記のように利用する撮像装置の校正に好適に適用できる。

本発明に係る撮像装置で形成される球面画像を示す模式図である。 魚眼レンズの結像特性を示す模式図である。 本発明に係る撮像装置の一実施形態の構成の概略を示す概略構成図である。 撮像手段によって取得される第１及び第２の被写体像の模式図である。 第１及び第２の画像座標系を示す模式図である。 一対の消失点を含む第１の被写体像の模式図である。 直線パターンを含む校正用チャートの構成を示す概略構成図である。 異なる角度で撮像された直線パターンの第１の被写体像の図である。 撮像装置を回転させながら撮像された直線パターンの第１の被写体像の図である。 本発明に係る撮像装置の他の実施形態の構成の概略を示す概略構成図である。 実空間での直線パターンの球面画像における投影像を示す模式図である。 一対の魚眼レンズの視野内に配置された直線パターンの球面画像における投影像を示す模式図である。 本発明に係る撮像装置の更に他の実施形態の構成の概略を示す概略構成図である。 校正用ボックスの構成を示す模式図である。 第１の画像座標系と世界座標系との位置関係を示す模式図である。 本発明に係る撮像装置の更に他の実施形態の構成の概略を示す概略構成図である。 本発明に係る撮像系パラメータの校正方法を適用可能な撮像装置の他の形態の構成を示す概略構成図である。 校正用ボックスの構成の一例の構成を示す図である。

符号の説明

３…光軸，５…像面，１０Ａ，１０Ｂ，１０Ｃ，１０Ｄ，１０Ｅ…撮像装置、２１…像形成部、２２，９１…魚眼レンズ（第１の結像手段）、２３，９２…魚眼レンズ（第２の結像手段）、２２ａ…第１の湾曲面、２２ｂ…第１の結像手段の中心線、２３ａ…第２の湾曲面、２３ｂ…第２の結像手段の中心線、２４…像形成部の中心部、２５…光路変更素子、２６…撮像手段、３１…第１の被写体像、３２…第２の被写体像、４０…画像形成手段、５１…直線パターン。

Claims (9)

1. 外面が入射面としての第１の湾曲面となっている第１の結像手段と外面が入射面としての第２の湾曲面となっている第２の結像手段とが結合されることによって構成される中空の像形成部と、
   前記像形成部の中心部に配置される光路変更素子と、
   前記第１の結像手段によって結像される第１の被写体像と前記第２の結像手段によって結像される第２の被写体像とを共に撮像する撮像手段と、
   を備え、
   前記第１及び第２の結像手段は、前記第１及び第２の湾曲面に入射する入射光線を前記像形成部の前記中心部に集光し、
   前記光路変更素子は、前記第１及び第２の結像手段の各々に入射した入射光線の光路を変更して前記撮像手段に入射させ、
   前記撮像手段は、前記第１の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される前記第１の被写体像と前記第２の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される前記第２の被写体像とを共に撮像することを特徴とする撮像装置。
2. 前記第１及び第２の被写体像から、前記第１及び第２の被写体像に含まれる画像情報を球体の表面に有する球面画像を形成する画像形成手段を更に備え、
   前記画像形成手段は、
   前記第１及び第２の結像手段が有する焦点距離をｆ_Ｉ（Ｉは、第１の結像手段に対してＬ，第２の結像手段に対してＲ、以下同様とする）、前記第１及び第２の結像手段の光軸と前記第１及び第２の結像手段の像面との交点に対応する画像中心Ｏ_Ｉを原点として有すると共に前記像面に対応するＸ_ＩＹ_Ｉ平面を有する３次元座標系を第１及び第２の画像座標系としたとき、前記第１及び第２の被写体像に含まれる画像情報を、前記第１及び第２の画像座標系の前記画像中心Ｏ_Ｉを中心とする半球体の表面に有する第１及び第２の半球面画像に変換する画像変換部と、
   前記画像変換部において得られた第１及び第２の半球面画像を、前記第１の画像座標系と前記第２の画像座標系の相対姿勢情報に基づいて結合することによって前記球面画像を形成する画像形成部とを備えることを特徴とする請求項１に記載の撮像装置。
3. 前記画像形成手段は、
   前記相対姿勢情報、前記画像中心Ｏ_Ｉ及び前記焦点距離ｆ_Ｉを校正する校正部を更に備え、
   前記画像変換部は、前記校正部によって校正された画像中心Ｏ_Ｉ及び焦点距離ｆ_Ｉに基づいて前記第１及び第２の被写体像を第１及び第２の半球面画像に変換し、
   前記画像形成部は、前記画像変換部で得られた前記第１及び第２の半球面画像を、前記校正部で校正された相対姿勢情報に基づいて結合して前記球面画像を形成することを特徴とする請求項２に記載の撮像装置。
4. 前記第１及び第２の結像手段のそれぞれの中心線と前記第１及び第２の結像手段に入射する入射光線とのなす角度をθ_Ｉとし、前記第１及び第２の結像手段に入射した前記入射光線と前記像面との交点に対応する前記Ｘ_ＩＹ_Ｉ平面上の点の前記画像中心Ｏ_Ｉからの距離をｒ_Ｉとし、前記焦点距離ｆ_Ｉに依存しており前記距離ｒ_Ｉの歪みパラメータをｋ_Ｉとしたとき、前記距離ｒ_Ｉが、
   

   

   と表されており、前記校正部は、式（１）のうちの２Ｎ−１（Ｎは、２以上の整数）次までの項を選択した、
   

   

   を利用して、前記画像中心Ｏ_Ｉ、前記焦点距離ｆ_Ｉ及び前記相対姿勢情報のうちの少なくとも一つを校正することを特徴とする請求項３に記載の撮像装置。
5. 入射面としての第１の湾曲面を有すると共に１８０度以上の画角を有する第１の結像手段と、入射面としての第２の湾曲面を有すると共に１８０度以上の画角を有する第２の結像手段と、前記第１の結像手段と前記第２の結像手段との間に配置されると共に前記第１及び第２の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、前記第１の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第１の被写体像と前記第２の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第２の被写体像とを共に撮像する撮像手段とを備え、
   前記第１及び第２の結像手段が有する焦点距離をｆ_Ｉ（Ｉは、第１の結像手段に対してＬ，第２の結像手段に対してＲ、以下同様とする）、前記第１及び第２の結像手段の光軸と前記第１及び第２の結像手段の像面との交点に対応する画像中心Ｏ_Ｉを原点として有すると共に前記像面に対応するＸ_ＩＹ_Ｉ平面を有する３次元座標系を第１及び第２の画像座標系とし、前記第１及び第２の結像手段のそれぞれの中心線と前記第１及び第２の結像手段に入射する入射光線とのなす角度をθ_Ｉとし、前記第１及び第２の結像手段に入射した前記入射光線と前記像面との交点に対応する前記Ｘ_ＩＹ_Ｉ平面上の点の前記画像中心Ｏ_Ｉからの距離をｒ_Ｉとし、前記焦点距離ｆ_Ｉに依存しており前記距離ｒ_Ｉの歪みパラメータをｋ_Ｉとしたとき、前記距離ｒ_Ｉが、
   

   

   で表される撮像装置に対して適用され、
   前記画像中心Ｏ_Ｉ、前記焦点距離ｆ_Ｉ、及び、前記第１の画像座標系と前記第２の画像座標系との相対姿勢情報を校正するパラメータ校正工程を備え、
   前記パラメータ校正工程は、前記画像中心Ｏ_Ｉ、前記焦点距離ｆ_Ｉ、及び、前記相対姿勢情報のうちの少なくとも１つを、式（３）のうち２Ｎ−１（Ｎは、２以上の整数）次の項までを選択した、
   

   

   を利用して校正することを特徴とする撮像系パラメータの校正方法。
6. 前記パラメータ校正工程は、
   前記第１及び第２の被写体像を取得する像取得工程と、
   ３つ以上の前記第１及び第２の被写体像にそれぞれ含まれる一対の消失点に基づいて前記画像中心Ｏ _Ｉ を校正する画像中心校正工程と、
   Ｎ個以上の前記第１及び第２の被写体像に含まれる消失点の前記第１及び第２の画像座標系における位置座標、及び、式（４）を利用して前記焦点距離ｆ_Ｉを校正する焦点距離校正工程と、
   ３つ以上の前記第１及び第２の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び前記直線群に略直交する直線群の消失点に基づいて、前記第１及び第２の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることを特徴とする請求項５に記載の撮像系パラメータの校正方法。
7. 前記パラメータ校正工程は、
   前記第１及び第２の被写体像を取得する像取得工程と、
   前記像取得工程で取得された前記第１及び第２の被写体像の画像情報を、前記第１及び第２の画像座標系での前記画像中心Ｏ_Ｉを中心とした半球体の表面に有する第１及び第２の半球面画像に変換する第１の画像変換工程と、
   式（４）の逆関数をη（ｒ_Ｉ；ｋ_Ｉ，１〜ｋ_{Ｉ，２ｉ−１}）（ただし、ｉは、Ｎまでの２以上の整数）として、θ_Ｉを、
   

   

   とし、前記第１及び第２の結像手段の校正後の画像中心の位置座標を（ｘ_Ｉ，ｃ，ｙ_Ｉ，ｃ）、実空間での直線パターンの投影像内の点の前記Ｘ_ＩＹ_Ｉ平面における位置座標を（ｘ_Ｉ，ｙ_Ｉ）とし、前記距離ｒ_Ｉを、
   

   

   とし、φ_Ｉを、
   

   

   とし、式（５）〜式（７）に基づいて表されると共に前記第１及び第２の半球面画像が有する前記直線パターンの投影像を含む平面の法線ベクトルｎ_Ｉが、前記第１及び第２の画像座標系が有するＺ_Ｉ軸となす角度をθ_Ｉｎとし、前記法線ベクトルｎ_ＩがＸ_Ｉ軸となす角度をφ_Ｉｎとし、前記平面の方程式に基づいた評価関数ξ１_Ｉを
   

   

   としたとき、式（８）を最小にするようにｘ_Ｉ,ｃ、ｙ_Ｉ,ｃ、ｋ_Ｉ,１〜ｋ_{Ｉ,２ｉ−１}を決めることによって内部パラメータとしての前記画像中心Ｏ_Ｉ及び前記焦点距離ｆ_Ｉを校正する内部パラメータ校正工程と、
   前記撮像手段によって同時に取得された一対の第１及び第２の被写体像の画像情報を、前記内部パラメータ校正工程で校正された前記画像中心Ｏ_Ｉを中心とする半球体の表面に有する第１及び第２の半球面画像に変換する第２の画像変換工程と、
   前記第２の画像変換工程で得られた第１の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをｎ_Ｌとし、前記第２の画像変換工程で得られた第２の半球面画像が有する実空間での直線パターンの投影像を含む平面の法線ベクトルをｎ_Ｒとし、校正された前記画像中心Ｏ_Ｉを原点とする前記第２の画像座標系から前記第１の画像座標系への変換行列をＲ_ＬＲとし、評価関数ξ２を、
   

   

   としたとき、式（９）を最小にする変換行列Ｒ_ＬＲを決定することによって前記相対姿勢情報を校正する相対姿勢情報校正工程とを備えることを特徴とする請求項５に記載のパラメータの校正方法。
8. 前記パラメータ校正工程は、
   前記第１及び第２の被写体像を取得する像取得工程と、
   前記第１及び第２の被写体像の画像情報を、前記第１及び第２の画像座標系での前記画像中心Ｏ_Ｉを中心とした半球体の表面に有する第１及び第２の半球面画像に変換する画像変換工程と、
   式（４）の逆関数をη（ｒ_Ｉ；ｋ_Ｉ，１〜ｋ_{Ｉ，２ｉ−１}）（ただし、ｉは、Ｎまでの２以上の整数）として、θ_Ｉを、
   

   

   とし、前記第１の結像手段の校正後の画像中心の位置座標を（ｘ_Ｉ，ｃ，ｙ_Ｉ，ｃ）とし、前記第１及び第２の被写体像に含まれる点の前記Ｘ_ＩＹ_Ｉ平面での位置座標を（ｘ_Ｉ，ｙ_Ｉ）とし、前記距離ｒ_Ｉを、
   

   

   とし、φ_Ｉを、
   

   

   としたときに、前記第１及び第２の半球面画像のうち前記位置座標（ｘ_Ｉ，ｙ_Ｉ）に対応する点の位置ベクトルｍ_Ｉを、
   

   

   とし、前記第２の画像座標系から前記第１の画像座標系への変換行列をＲ_ＬＲとしたとき、前記第２の画像座標系で表される位置ベクトルｍ_Ｒを、前記変換行列Ｒ_ＬＲによって前記第１の画像座標系で表すことによって前記第１の画像座標系で表される球面画像を形成する画像形成工程と、
   前記画像形成工程において形成された前記球面画像上の点ｍの位置ベクトルを、
   

   

   としたとき、点ｍに対応する実空間の点をＭ_ｃとし、前記第１の画像座標系に回転行列Ｒ
   

   

   及び、並進行列Ｔ
   

   

   を利用して変換できる３次元座標系としての世界座標系における前記点Ｍ_ｃの位置ベクトルを、
   

   

   として、Ｎ_ｗを
   

   

   とし、評価関数Ｃを、
   

   

   としたとき、式（１９）を最小にするｘ_Ｉ,ｃ、ｙ_Ｉ，ｃ、ｋ_Ｉ，１〜ｋ_{Ｉ，２ｉ−１}（ただし、ｉはＮまでの２以上の整数）及び変換行列Ｒ_ＬＲを決定することによって、前記画像中心Ｏ_Ｉ、前記焦点距離ｆ_Ｉ及び前記相対姿勢情報を校正する校正工程とを備えることを特徴とする請求項５に記載の撮像系パラメータの校正方法。
9. 入射面としての第１の湾曲面を有すると共に１８０度以上の画角を有する第１の結像手と、入射面としての第２の湾曲面を有すると共に１８０度以上の画角を有する第２の結像手段と、前記第１の結像手段と前記第２の結像手段との間に配置されると共に前記第１及び第２の結像手段に入射した入射光線の光路を変更して同じ側に伝搬させる光路変更素子と、前記第１の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第１の被写体像と前記第２の結像手段を通り前記光路変更素子によって光路が変更された入射光線に基づいて形成される第２の被写体像とを共に撮像する撮像手段とを備える撮像装置に適用され、
   前記第１及び第２の被写体像を取得する像取得工程と、
   ３つ以上の前記第１及び第２の被写体像にそれぞれ含まれる一対の消失点に基づいて、前記第１及び第２の結像手段の光軸と前記第１及び第２の結像手段の像面との交点に対応する画像中心Ｏ_Ｉ（Ｉは、第１の結像手段に対してはＬ、第２の結像手段に対してはＲ、以下同様とする）を校正する画像中心校正工程と、
   前記画像中心校正工程で校正された前記画像中心Ｏ_Ｉ、及び、前記第１及び第２の被写体像にそれぞれ含まれる一対の消失点の前記画像中心Ｏ_Ｉからの距離を利用して、前記第１及び第２の結像手段の焦点距離ｆ_Ｉを校正する焦点距離校正工程と、
   ３つ以上の前記第１及び第２の被写体像に含まれており実空間での水平線に略平行な直線群の消失点及び前記直線群に略直交する直線群の消失点に基づいて、画像中心Ｏ_Ｉを原点として有すると共に前記第１及び第２の結像手段の像面に対応するＸ_ＩＹ_Ｉ平面を有する３次元座標系としての第１及び第２の画像座標系の相対姿勢情報を取得する姿勢情報取得工程とを備えることを特徴とする撮像系パラメータの校正方法。
   

Images