JP3752063B2 - 全方位ステレオ画像撮影装置 - Google Patents
全方位ステレオ画像撮影装置 Download PDFInfo
- Publication number
- JP3752063B2 JP3752063B2 JP25397897A JP25397897A JP3752063B2 JP 3752063 B2 JP3752063 B2 JP 3752063B2 JP 25397897 A JP25397897 A JP 25397897A JP 25397897 A JP25397897 A JP 25397897A JP 3752063 B2 JP3752063 B2 JP 3752063B2
- Authority
- JP
- Japan
- Prior art keywords
- mirror
- image
- camera
- omnidirectional
- stereo
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Input (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、全方位のステレオ画像対を得ることのできる全方位ステレオ画像撮影装置に関するものである。
【０００２】
【従来の技術】
従来、全方位の画像を実時間で撮影する装置としては、特開平６−２９５３３３号公報に開示されているものなどがある。
図１１はこの従来の装置の構成図であり、８０１は回転双曲面のミラーであり、８０２はカメラである。双曲面ミラー８０１は凸部分が反射面であり、その凸部分を鉛直下向きに配置し、カメラ８０２は、双曲面の外焦点８０３にレンズ中心がくるよう配置する。
【０００３】
ミラーの内側の焦点を８０４とし、点８０５から内側の焦点８０４へ向かう光８０６は、ミラー８０１で反射され、カメラのレンズ中心である外側の焦点８０３を通過する。このためカメラ８０２で得られる像は、内側の焦点８０４から見た中心投影の像と等価なものになる。
【０００４】
このようにして、リアルタイムに全方位の画像を取得することができる。
【０００５】
また、高い解像度の全方位の画像を取得するために、角錐型のミラーと複数個のカメラを用いた全方位の画像の撮影装置として、特開平８−１２５８３５号公報に開示されているものがある。
【０００６】
図１２は、この従来の装置の構成図であり、９０１は角錐型のミラーであり、９０２は角錐ミラー９０１の各面に写る像をとらえるよう各面に対応して配置されたカメラ群である。
【０００７】
各カメラのレンズ中心が対応するミラー面によって作られる虚像が角錐の中心の一点で重なるよう、各カメラの位置を配置することにより、虚像の交点から外周方向を見たのと等価な全周囲の画像を分割したものが、各カメラに取得される。
【０００８】
このようにして分割して得られた画像を、画像処理によって繋ぎあわせることにより、全周囲のパノラマ画像を生成する。
【０００９】
この場合、全周囲画像を１つのカメラで取得する場合に比べ、カメラの解像度が同じ場合、複数のカメラで分担した方が高解像度の画像が得られることなる。
【００１０】
【発明が解決しようとする課題】
しかしながら上記の方法を距離計測などで用いられるステレオ画像の撮影に利用する場合、以下のような課題が生じる。
【００１１】
ステレオ画像の撮影は、異なるカメラ位置から同一対象を撮影した２つのステレオ画像対を撮影することになる。上記全方位の撮影装置を用いる場合でも、２つの撮影装置を一定の間隔をおいて並べることとなる。
【００１２】
その場合、全方位の撮影装置の特性から、一方の撮影装置の映像には、もう一方の撮影装置がお互いに写り、視野をふさぐことととなる。これは、全方位の撮影を損なうこととなる。
【００１３】
前記課題を解決するために、一台の撮像装置を移動し、異なる位置での映像を時間をおいて撮影する移動ステレオの手法を用いることも可能である。しかし、この場合リアルタイムの映像の取得は不可能となる。
【００１４】
本発明は、従来の全方位ステレオ撮影装置のこのような課題を考慮して、従来に比べてより完全な全方位のステレオ画像対を、リアルタイムに取得することが出来る全方向ステレオ画像撮影装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
第１の本発明は、所定方向の全方位の像を反射させる第１の双曲面ミラーと、
前記第１のミラーと異なる曲率の所定方向の全方位の像を反射させる第２の双曲面ミラーと、
前記第１の双曲面ミラー及び第２の双曲面ミラーによりそれぞれ反射した同一対象物をステレオ画像として撮像するカメラとを備え、
前記第１の双曲面ミラーと前記第２の双曲面ミラーは、双方の双曲面の中心軸が一致し、かつ外側の焦点の位置が一致するよう配置されており、
前記カメラは、前記外側の焦点の位置が、前記カメラのレンズ中心の位置に一致するように配置されている全方位ステレオ画像撮影装置である。
【００１６】
第２の本発明は、所定方向の実質上全方位の像を反射させる第１の角錐型ミラーと、
前記第１の角錐型ミラーと中心軸同士が実質上一致した、所定方向の実質上全方位の像を反射させる第２の角錐型ミラーと、
前記第１の角錐型ミラーの一つの反射面、及びその反射面に対応した前記第２の角錐型ミラーの一つの反射面によりそれぞれ反射した同一対象物をステレオ画像として撮像する、前記第１、第２の角錐型ミラーの対応する２つの反射面の組毎に設けられたカメラとを備え、
前記第１の角錐型ミラーの前記一つの反射面、前記第２の角錐型ミラーの前記一つの反射面、及び前記カメラは、前記２種類の画像が前記カメラ内においてそれぞれ異なる位置に像を結び、かつ前記各角錐型ミラーの反射面に対する前記各カメラの虚像のレンズ中心が、各角錐ミラー毎に前記中心軸上の一点に位置するように配置されている全方位ステレオ画像撮影装置である。
【００１９】
第３の本発明は、上記第１又は第２の本発明の全方位ステレオ画像撮影装置によって撮影された画像データを利用して、前記２つのミラー又は前記相互に対応する２つの反射面により反射した各画像の画像領域間のステレオ対応点を求める対応点計算部と、
前記対応点計算部で求めたステレオ対応点に基づいて、その対応点の３次元座標を計算する奥行き計算部と、を備えた全方位ステレオ画像撮影装置である。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図７を用いて説明する。
【００２１】
（実施の形態１）
図１は本発明の全方位ステレオ画像撮影装置の概略構成図を示す。
【００２２】
図１において、１０１、１０２は、ことなる曲率の双曲面の断面を持つ双曲面ミラーであり、１０３は鉛直方向を示しており、前記双曲面ミラー１０１，１０２の軸は、鉛直方向１０３と一致する。１０４はその双曲面の外側の焦点にレンズ中心が位置するよう、鉛直方向１０３に沿って配置されたカメラである。
【００２３】
この光学的な配置を図２を用いて説明する。図２は、図１の鉛直線１０３を含む面にそった断面の模式図である。２０１は上部に位置する双曲面ミラー１であり、２０２は下部に位置する双曲面ミラー２である。尚、図２の双曲面ミラー１（２０１）は、図１の双曲面ミラー１０１に対応し、又、双曲面ミラー２（２０２）は、図１の双曲面ミラー１０２に対応する。ここで、座標系を、原点０を２つの双曲面ミラーの焦点２０３におき、上方向をＺ軸、横方向をＹ軸、画面手前方向をＸ軸とする。カメラの焦点距離をｆとして、像を結ぶＺ＝ｆの投影面を２０４とする。
【００２４】
双曲面ミラー１の形状は、次の式で表せる。
【００２５】
【数１】
【００２６】
ここで、ａ1、ｂ1、ｃ1は、双曲面の形状を決めるパラメータで、以下の関係がある。
【００２７】
【数２】
【００２８】
図２のように、外側の焦点を原点（０，０，０）に固定した場合、もう一つの内側の焦点２０５の座標は、（０，０，２Ｃ1）となる。
【００２９】
同様に双曲面ミラー２に関して
【００３０】
【数３】
【００３１】
【数４】
【００３２】
の関係が成り立つ。ここで双曲面ミラー２の内側の焦点２０６の座標は、（０，０，２Ｃ2）となる。
【００３３】
いま図２の２０７で示される点Ｐ（Ｘｐ、Ｙｐ、Ｚｐ）が、投影面２０４にどのように写るかを示す。点Ｐから焦点２０５に向かう光は、双曲面ミラー１で反射され、原点におかれたカメラのレンズに入射する。このとき投影面２０４に写る像が、２０８の点Ｐ1（ｘp1、ｙp1、ｆ）である。
【００３４】
同様に２０７の点Ｐから、双曲面ミラー２の焦点２０６に向かう光が、投影面２０４に結ぶ像は、２０９の点Ｐ2（ｘp2、ｙp2、ｆ）で表される。
【００３５】
投影面の像の様子を図３に示す。３０１はカメラの撮影範囲を示し、３０２のリング状の部分が双曲面ミラー１に反射した像の写る範囲であり、３０３の円状の部分が双曲面ミラー２の反射像の写る範囲を示している。
【００３６】
この３０２，３０３が、全方位に対応するステレオ画像対である。このように同一カメラの投影面に、領域が分かれてステレオ画像対が投影されるので、カメラを動画記録可能なビデオカメラなどにすれば、リアルタイムで全方位のステレオ画像が撮影できる。
【００３７】
なお、以上の説明では、全方位を写すためのミラーを、双曲面ミラーで構成した例で説明したが、その他の角錐ミラーでも同様に実施可能である。これについては、更に後述する。
【００３８】
次に、双曲面ミラーから得られたステレオ画像対の関係から、計測点の３次元情報を計測する手法について説明する。
【００３９】
図２の２０７で示された点Ｐが投影面２０４に投影された点Ｐ1，Ｐ2は、図３では、それぞれ３０４，３０５で示される位置に投影される。投影面上でのＰ1、Ｐ2の座標は、それぞれ（ｘp1、ｙp1）、（ｙp2、ｙp2）となる。
【００４０】
３次元空間で同一の点が、２つの双曲面ミラー１，２によって投影された点Ｐ１，Ｐ２の間には、双曲面ミラーがＺ軸に関して回転対称であるという性質から、双曲面ミラーの軸の中心を通る直線上に並ぶという制約が生じる。
言い換えると、空間上の同一点の投影面上での対応点を探索するステレオ対の探索の時に、探索範囲を２次元の平面から、１次元の直線に限定でき、探索にかかる処理を低減できる。
【００４１】
処理の流れを図４を用いて説明する。４０１は、図３で示したカメラでの撮影画像である。４０２は、前記撮影画像からステレオ対応点を探索する対応点計算部であり、４０３は前記対応点計算部からのステレオ対応点の組から、その点の３次元座標を計算する奥行き計算部である。
【００４２】
対応点計算部４０２においては、撮影画像を中心から外側に向かって放射方向に輝度値の一次微分を行い、エッジを抽出する。このエッジデータに対して、ステレオ対応点を相関を計算して探索する。探索範囲は中心から放射状にのびる直線状に限定する。相関値が予め与えたしきい値より高い点の組の座標Ｐ1（ｘp1，ｙp1）、Ｐ2（ｘp2，ｙp2）を、４０３の奥行き計算部に出力する。
【００４３】
奥行き計算部４０３においては、与えられた２つのステレオ対応点の組から、図２の２０７に示す対応点Ｐの３次元座標（Ｘｐ、Ｙｐ、Ｚｐ）を計算する。
【００４４】
図５に示すように、双曲面のパラメータａ1、ｂ1、ｃ1、カメラの焦点距離ｆ、点Ｐから双曲面の内側の焦点への直線が水平線とのなす角を−α１、双曲面ミラー１からの原点への反射光と水平線がなす角をβ１とすると、
【００４５】
【数５】
【００４６】
【数６】
【００４７】
【数７】
【００４８】
の関係が得られる。ここで、図５では、双曲面ミラー１と点Ｑとの関係を描いた説明図であり、その説明の都合上、双曲面ミラー２の記載を省略している。従って、同図の双曲面ミラー１を双曲面ミラー２と見なすことにより、双曲面ミラー２についても、上記と同様に、
【００４９】
【数８】
【００５０】
【数９】
【００５１】
【数１０】
【００５２】
の関係が成り立つ。
【００５３】
また、ステレオ対応点が、投影面で中心を通る直線の上に制限されるという拘束は、その直線が投影面のＸ軸となす角をθとして
【００５４】
【数１１】
【００５５】
の関係が得られる。
【００５６】
（式５）から（式１１）を元に、Ｘｐ、Ｙｐ、Ｚｐについて求めると
【００５７】
【数１２】
【００５８】
よって、双曲面ミラーの形状のパラメータａ1，ｂ1、ｃ1、ａ2、ｂ2、ｃ2、カメラの焦点距離ｆは判っているので、ステレオ対応点（ｘp1，ｙp1）、（ｘp2，ｙp2）の組から（式１２）により、対応する点の３次元座標を計算する。計算された出力が図４の４０４の座標出力である。
【００５９】
（実施の形態２）
図６は、本発明の全方位ステレオ画像撮影装置の実施の形態２の概略構成図を示す。
【００６０】
図６において、６０１は上部角錐ミラー、６０２は下部角錐ミラーであり、その中心線６０５と一致する６０３は上部角錐ミラーの各面の反射像を撮影する上部カメラ群、６０４は下部角錐ミラーの各反射像を撮影する下部カメラ群である。
【００６１】
光学的な配置を図７を用いて説明する。図７は、図６の中心線６０５を含み、角錐の１つの面に垂直に交わる平面に沿った断面の模式図である。７０１、７０２は、それぞれ上部角錐ミラー、下部角錐ミラー、７０３、７０４はそれぞれ上部カメラ、下部カメラである。７０５を２つの角錐ミラーの中心線上の中間点Ｏとする。上部カメラ７０３に写る映像は、ミラー７０１によって反射され、上部カメラ７０３の虚像７０６の位置から見た映像と等価なものになる。同様に下部カメラ７０４の虚像を７０７とする。
【００６２】
水平方向に分割された像を、全方位のステレオに隙間なく接合するためには、各方向のカメラのレンズ中心を一致させる必要がある。１つのカメラで時間をずらして撮影する場合には、レンズ中心も回転の中心として、水平方向に回転すればよいが、同時に複数のカメラで撮影する場合には、同時に２つのカメラを同じ場所に置けないので不可能である。しかしミラーを使って、すべてのカメラの虚像のレンズ中心を１つの点に集めれば、カメラの実体は別々の場所に位置し、等価的なレンズ中心だけを一点に集めることができる。角錐ミラーの場合、このレンズ中心の集まる場所は、角錐ミラーの中心線上になり、各カメラは虚像のレンズ中心が、中心線上の一点に位置するよう配置される。
【００６３】
カメラ７０３の撮影範囲を、線分７０８，７０９で囲まれる領域、カメラ７０４の撮影範囲を線分７１０，７１１で囲まれる領域としたとき、両方のカメラに投影像が写るステレオ計測可能な領域は、７１２で示す斜線の領域となる。
【００６４】
次に、この領域とミラー、カメラの画角、位置との関係を説明する。図７に示すように、角錐ミラーの角度をγとする。上部、下部とも同じ形状のミラーとする。またカメラ７０３，７０４の光軸は鉛直線上を向いているとする。このときミラーによって反射されたカメラの光軸７１３、７１４が水平方向となす仰角をψとすれば、γとψとの関係は次の式のようになる。
【００６５】
【数１３】
【００６６】
７０５の原点０からカメラの虚像のレンズ中心までの距離をＬとして、カメラの上下方向の画角を２ρとする。７０５の原点０から外側に向かって水平な方向をＹ軸、鉛直方向をＺ軸とし、計測領域７１２が始まる点７１５の座標を（０，ｙ0，０）とおけば、ｙ0は、
【００６７】
【数１４】
ｙ0 = Ｌ ／ tan(ψ+ρ)
となる。
【００６８】
計測領域７１２の形状が変化する点７１６のＹ座標をｙcとすれば、ｙ0＜ｙ＜ｙcでの計測領域７１２の境界上の点７１６のｚ座標は、
【００６９】
【数１５】
ｚ ＝ ｙ tan(ψ+ρ) ― Ｌ
となる。
【００７０】
ｙc＜ｙでの計測領域７１２の境界上の点７１７のｚ座標は、
【００７１】
【数１６】
ｚ ＝ Ｌ ― ｙ tan(ψ-ρ)
となる。
（式１４）、（式１５）から、点７１７の座標ｙcは、
【００７２】
【数１７】
ｙc ＝ ２Ｌ ／ （ tan(ψ＋ρ) ＋ tan(ψ−ρ) ）
となる。
【００７３】
計測したい対象が存在する領域を、計測領域７１２が覆うように、角錐ミラーの距離Ｌ、仰角ψを調整することにより、望む計測領域のステレオ画像対を取得することができる。
【００７４】
なお、以上の説明では、全方位を写すためのミラーを、角錐ミラーで構成した例で説明したが、その他の球面ミラー、円錐ミラー、双曲面ミラーでも同様に実施可能である。
【００７５】
以上述べたことから明らかな様に本実施の形態にれば、例えば、移動ロボットの視覚系や、人工現実感などの分野における実環境の取得などにおいて、全方位のリアルタイムの画像だけでなく、その画像中の対象物までの距離などの情報を与える全方位のステレオ画像対を得ることのできる全方位のステレオ画像撮影装置を提供することが出来る。
【００７６】
即ち、水平方向の全方位を写すミラー２組を、その互いが他方のミラーに写りこまないよう上下対称に組み合わせる、あるいは、２つの反射像を同一カメラの投影面の異なる位置に像を結ぶよう形状の違うミラーを上下方向に配置することにより、全方位のステレオ画像対をリアルタイムに取得可能となる。
【００７７】
特に曲率の違う２つの双曲面ミラーを組み合わせることにより、全方位のステレオ画像対を１つの映像の中に撮影可能となり、リアルタイムに全方位のステレオ画像撮影が可能となる。また得られた画像からステレオ対応点を探索する場合、放射状の直線上でのみ探索すればよく、高速に対応点の３次元座標を求めることが可能となる。
【００７８】
尚、上記実施の形態１では、全方位を写すためのミラーを、双曲面ミラーで構成した例で説明したが、これに限らず例えば、以下に示すような角錐ミラーで構成しても良い。
【００７９】
即ち、ここでは、全方位を写すためのミラーを、角錐ミラーで構成した実施例について説明する。
【００８０】
図８は、角錐ミラーで構成した本発明の全方位ステレオ画像撮影装置の概略構成図である。図８において、１００１は上部角錐ミラーであり、１００２は下部角錐ミラーであり、１００３は上部、下部角錐ミラーの対応する平面の反射像を同時に撮影するカメラ群である。この場合、１つのカメラには対応する上下の角錐ミラーの面のステレオ像が得られる。この像は、全方位を水平方向に分割したものであり、全カメラの像を合成することで、水平方向３６０度の像を得ることができる。
【００８１】
次に、光学的な配置を、図９を用いて説明する。図９は、図８の角錐ミラーの中心軸を含み、角錐ミラーを構成する平面ミラーの１つに垂直な平面で切断した断面図を示している。１１０１が注目する上部角錐ミラー面、１１０２は、それに対応する下部角錐ミラー面である。１１０３は、それら２つのミラー面に写る反射像を撮影するカメラである。
【００８２】
１１０４に示す点Ｑが、上部、下部ミラー面で反射され、カメラ１１０３の投影面１１０５に写る像は、それぞれｑ１、ｑ２となる。よって、同一の点からの２つのステレオ対が、１つのカメラの投影面上に得られる。
【００８３】
この様にして得られた点ｑ１，ｑ２の座標を利用して、以下に述べる計算により、点Ｑの３次元座標が得られる。
【００８４】
ここで、点Ｑの３次元座標と、カメラの投影像の関係について、図９，１０を参照しながら述べる。
【００８５】
即ち、図９に示すように、１１０３のカメラから見た像は、カメラの虚像１１０６，１１０７から見た場合の像と等価である。よってカメラ１１０３に撮影される像を考える場合、仮想的に虚像１１０６，１１０７の位置にカメラをおいたものとして、考えても良い。ただし、鏡像の関係にあるため、撮影される像も、反転した虚像の関係にあることに注意する必要がある。
【００８６】
次に、図１０を参照しながら、点Ｑの３次元座標の算出方法について更に述べる。
【００８７】
図１０は、１２０１の下部ミラー面に関して１２０４の点Ｑと、１２０６の投影像ｑ２の関係を示したものである。今１２０２のカメラのレンズ中心を座標系の原点として、カメラの光軸方向をＺ軸、ミラー面に垂直な横方向をＹ軸、図面手前方向をＸ軸とする。１２０１のミラー面は、Ｚ軸と成す角がγで、Ｚ軸と交わる点が原点OからＲの距離にあるとする。
【００８８】
このＸＹＺ座標系で、１２０４の点Ｑの座標を（ＸQ、ＹQ、ＺQ）とし、焦点距離ｆのカメラの投影面１２０５に写る像１２０６をｑ２（ｘq2、ｙq2、ｆ）として、その２つの関係を求める。
【００８９】
１２０２のカメラの虚像を１２０３とし、そのレンズ中心をＯ’とする。点Ｑの投影像ｑ２は、カメラの虚像の投影面１２０７に写る像ｑ２’（１２０８）と鏡像の関係にある。よって１２０７の投影面上の座標系での、ｑ２’の座標からｑ２の座標は求められる。
【００９０】
まず、原点が１２０３のカメラの虚像のレンズ中心Ｏ’にあり、カメラの虚像の光軸にＺ’軸が一致し、Ｘ’軸が前記ＸＹＺ座標系のＸ軸と平行な、Ｘ’Ｙ’Ｚ’座標系を考える。この座標系でのｑ２’の座標は、(ｘq2’ 、ｙq2’ 、ｆ)となる。ｑ２との鏡像の関係にあるので、
【００９１】
【数１８】
ｘq2 ＝ −ｘq2’
ｙq2 ＝ −ｙq2’
となる。
【００９２】
次に、点ＱのＸ’Ｙ’Ｚ’座標系での座標を求める。ＸＹＺ座標系とＸ’Ｙ’Ｚ’座標系の変換は、ＸＹＺ座標系の原点Ｏを、Ｏ’へ平行移動し、Ｚ軸がＺ’軸へ一致するよう、Ｘ軸周りに回転することにより、求められる。
【００９３】
今、Ｚ軸とＺ’軸の成す角をψとすれば、
【００９４】
【数１９】
ψ ＝ ２γ
の関係がある。一方、ＯからＯ’への平行移動により、Ｑ（ＸQ、ＹQ、ＺQ）の座標値は、
【００９５】
【数２０】
（ＸQ、ＹQ＋Ｒsinψ、ＺQ＋Ｒ＋Ｒcosψ）
となる。次に、Ｘ軸周りのψ回転により
【００９６】
【数２１】
【００９７】
となる。
【００９８】
Ｚ'でｆの距離にある投影面１２０７の投影により、点Ｑの投影像ｑ２’(ｘq2’、ｙq2’、ｆ)の座標が求まり、（式１８）より、カメラへの投影像ｑ２（ｘq2、ｙq2、ｆ）が求まる。
【００９９】
【数２２】
ｘq2 ＝ −ｘq2’ ＝ −ｆ・ＸQ’／ＺQ’
ｙq2 ＝ −ｙq2’ ＝ −ｆ・ＹQ’／ＺQ’
以上により、ミラーの位置R、傾きγ、カメラの焦点距離ｆを用いて、任意の点Ｑ（ＸQ、ＹQ、ＺQ）と、そのカメラでの像ｑ２（ｘq2、ｙq2、ｆ）には、（式２１）、（式２２）の関係が成り立つ。
【０１００】
一方、図９におけるような、上部、下部の２つのミラー面では、その傾きγ、カメラからの距離Ｒが異なる。よって、一点Ｑのカメラでの投影像は、それぞれのγ、Ｒと（式２１）、（式２２）により、別の点ｑ１、ｑ２となる。
【０１０１】
従って、逆に、それぞれのγ、Ｒが判っていれば、点ｑ１、ｑ２の座標と、（式２１）、（式２２）により、点Ｑの３次元座標（ＸQ、ＹQ、ＺQ）を計算できる。尚、上述した点Ｑの３次元座標の計算方法は、上記実施の形態２において点Ｐの３次元座標を求める場合にも同様に用いることが出来ることは言うまでもない。
【０１０２】
【発明の効果】
以上述べたところから明らかな様に本発明は、従来に比べてより完全な全方位のステレオ画像対を、リアルタイムに取得することが出来るという長所を有する。
【図面の簡単な説明】
【図１】本発明の一実施の形態の全方位ステレオ画像撮影装置の概略構成図
【図２】同実施の形態の全方位ステレオ画像撮影装置の鉛直断面図
【図３】同実施の形態のカメラにより得られる投影像を示す図
【図４】同実施の形態の３次元座標を計算する処理の流れを示す図
【図５】同実施の形態の光学系の関係を示す説明図
【図６】本発明の全方位ステレオ画像撮影装置の第２の実施の形態の概略構成図
【図７】本発明の第２の実施の形態の測定範囲を説明する図
【図８】本発明の全方位ステレオ画像撮影装置の他の実施の形態の角錐ミラーを用いた概略構成図
【図９】同実施の形態の鉛直断面図
【図１０】同実施の形態の光学系の関係を示す説明図
【図１１】従来の双曲面型全方位撮影装置の説明図
【図１２】従来の角錐型全方位撮影装置の説明図
【符号の説明】
１０１ 上部の双曲面ミラー
１０２ 下部の双曲面ミラー
１０４ カメラ
２０１、 ２０２ 双曲面ミラー
２０４ 投影面
２０５、 ２０６ 双曲面の焦点
２０７ 計測点
２０８、 ２０９ 投影面へ投影された点
３０１ 撮影像
３０２ 上部双曲面ミラーの投影範囲
３０３ 部双曲面ミラーの投影範囲
４０１ 投影像
４０２ 対応点計算部
４０３ 奥行き計算部
４０４ ３次元座標データ
６０１、６０２ 角錐ミラー
６０３、６０４ カメラ群
６０５ 角錐中心
７０１、７０２ 角錐ミラー
７０３、７０４ カメラ
７０６、７０７ カメラの虚像
７０８、７０９、７１０、７１１ カメラの撮影範囲
７１２ ステレオ計測可能な領域
７１３、７１４ カメラの光軸
７１５、７１６、７１７、７１８ ステレオ計測可能な領域の境界上の点
８０１ 双曲面ミラー
８０２ カメラ
８０３ レンズ中心（外焦点）
８０４ 内焦点
８０５ 観測点
８０６ 観測点からの光線
９０１ 角錐ミラー
９０２ カメラ群
１００１ 上部角錐ミラー
１００２ 下部角錐ミラー
１００３ カメラ群
１１０１ 上部ミラー面
１１０２ 下部ミラー面
１１０３ カメラ
１１０４ 計測点
１１０５ カメラの投影面
１１０６ 上部ミラー面に対応するカメラの虚像
１１０７ 下部ミラー面に対応するカメラの虚像
１２０１ ミラー面
１２０２ カメラ
１２０３ カメラの虚像
１２０４ 計測点
１２０５ カメラの投影面
１２０６ 計測点の投影像
１２０７ 虚像の投影面
１２０８ 虚像の投影面への投影像
【発明の属する技術分野】
本発明は、全方位のステレオ画像対を得ることのできる全方位ステレオ画像撮影装置に関するものである。
【０００２】
【従来の技術】
従来、全方位の画像を実時間で撮影する装置としては、特開平６−２９５３３３号公報に開示されているものなどがある。
図１１はこの従来の装置の構成図であり、８０１は回転双曲面のミラーであり、８０２はカメラである。双曲面ミラー８０１は凸部分が反射面であり、その凸部分を鉛直下向きに配置し、カメラ８０２は、双曲面の外焦点８０３にレンズ中心がくるよう配置する。
【０００３】
ミラーの内側の焦点を８０４とし、点８０５から内側の焦点８０４へ向かう光８０６は、ミラー８０１で反射され、カメラのレンズ中心である外側の焦点８０３を通過する。このためカメラ８０２で得られる像は、内側の焦点８０４から見た中心投影の像と等価なものになる。
【０００４】
このようにして、リアルタイムに全方位の画像を取得することができる。
【０００５】
また、高い解像度の全方位の画像を取得するために、角錐型のミラーと複数個のカメラを用いた全方位の画像の撮影装置として、特開平８−１２５８３５号公報に開示されているものがある。
【０００６】
図１２は、この従来の装置の構成図であり、９０１は角錐型のミラーであり、９０２は角錐ミラー９０１の各面に写る像をとらえるよう各面に対応して配置されたカメラ群である。
【０００７】
各カメラのレンズ中心が対応するミラー面によって作られる虚像が角錐の中心の一点で重なるよう、各カメラの位置を配置することにより、虚像の交点から外周方向を見たのと等価な全周囲の画像を分割したものが、各カメラに取得される。
【０００８】
このようにして分割して得られた画像を、画像処理によって繋ぎあわせることにより、全周囲のパノラマ画像を生成する。
【０００９】
この場合、全周囲画像を１つのカメラで取得する場合に比べ、カメラの解像度が同じ場合、複数のカメラで分担した方が高解像度の画像が得られることなる。
【００１０】
【発明が解決しようとする課題】
しかしながら上記の方法を距離計測などで用いられるステレオ画像の撮影に利用する場合、以下のような課題が生じる。
【００１１】
ステレオ画像の撮影は、異なるカメラ位置から同一対象を撮影した２つのステレオ画像対を撮影することになる。上記全方位の撮影装置を用いる場合でも、２つの撮影装置を一定の間隔をおいて並べることとなる。
【００１２】
その場合、全方位の撮影装置の特性から、一方の撮影装置の映像には、もう一方の撮影装置がお互いに写り、視野をふさぐことととなる。これは、全方位の撮影を損なうこととなる。
【００１３】
前記課題を解決するために、一台の撮像装置を移動し、異なる位置での映像を時間をおいて撮影する移動ステレオの手法を用いることも可能である。しかし、この場合リアルタイムの映像の取得は不可能となる。
【００１４】
本発明は、従来の全方位ステレオ撮影装置のこのような課題を考慮して、従来に比べてより完全な全方位のステレオ画像対を、リアルタイムに取得することが出来る全方向ステレオ画像撮影装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
第１の本発明は、所定方向の全方位の像を反射させる第１の双曲面ミラーと、
前記第１のミラーと異なる曲率の所定方向の全方位の像を反射させる第２の双曲面ミラーと、
前記第１の双曲面ミラー及び第２の双曲面ミラーによりそれぞれ反射した同一対象物をステレオ画像として撮像するカメラとを備え、
前記第１の双曲面ミラーと前記第２の双曲面ミラーは、双方の双曲面の中心軸が一致し、かつ外側の焦点の位置が一致するよう配置されており、
前記カメラは、前記外側の焦点の位置が、前記カメラのレンズ中心の位置に一致するように配置されている全方位ステレオ画像撮影装置である。
【００１６】
第２の本発明は、所定方向の実質上全方位の像を反射させる第１の角錐型ミラーと、
前記第１の角錐型ミラーと中心軸同士が実質上一致した、所定方向の実質上全方位の像を反射させる第２の角錐型ミラーと、
前記第１の角錐型ミラーの一つの反射面、及びその反射面に対応した前記第２の角錐型ミラーの一つの反射面によりそれぞれ反射した同一対象物をステレオ画像として撮像する、前記第１、第２の角錐型ミラーの対応する２つの反射面の組毎に設けられたカメラとを備え、
前記第１の角錐型ミラーの前記一つの反射面、前記第２の角錐型ミラーの前記一つの反射面、及び前記カメラは、前記２種類の画像が前記カメラ内においてそれぞれ異なる位置に像を結び、かつ前記各角錐型ミラーの反射面に対する前記各カメラの虚像のレンズ中心が、各角錐ミラー毎に前記中心軸上の一点に位置するように配置されている全方位ステレオ画像撮影装置である。
【００１９】
第３の本発明は、上記第１又は第２の本発明の全方位ステレオ画像撮影装置によって撮影された画像データを利用して、前記２つのミラー又は前記相互に対応する２つの反射面により反射した各画像の画像領域間のステレオ対応点を求める対応点計算部と、
前記対応点計算部で求めたステレオ対応点に基づいて、その対応点の３次元座標を計算する奥行き計算部と、を備えた全方位ステレオ画像撮影装置である。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について、図１から図７を用いて説明する。
【００２１】
（実施の形態１）
図１は本発明の全方位ステレオ画像撮影装置の概略構成図を示す。
【００２２】
図１において、１０１、１０２は、ことなる曲率の双曲面の断面を持つ双曲面ミラーであり、１０３は鉛直方向を示しており、前記双曲面ミラー１０１，１０２の軸は、鉛直方向１０３と一致する。１０４はその双曲面の外側の焦点にレンズ中心が位置するよう、鉛直方向１０３に沿って配置されたカメラである。
【００２３】
この光学的な配置を図２を用いて説明する。図２は、図１の鉛直線１０３を含む面にそった断面の模式図である。２０１は上部に位置する双曲面ミラー１であり、２０２は下部に位置する双曲面ミラー２である。尚、図２の双曲面ミラー１（２０１）は、図１の双曲面ミラー１０１に対応し、又、双曲面ミラー２（２０２）は、図１の双曲面ミラー１０２に対応する。ここで、座標系を、原点０を２つの双曲面ミラーの焦点２０３におき、上方向をＺ軸、横方向をＹ軸、画面手前方向をＸ軸とする。カメラの焦点距離をｆとして、像を結ぶＺ＝ｆの投影面を２０４とする。
【００２４】
双曲面ミラー１の形状は、次の式で表せる。
【００２５】
【数１】
ここで、ａ1、ｂ1、ｃ1は、双曲面の形状を決めるパラメータで、以下の関係がある。
【００２７】
【数２】
図２のように、外側の焦点を原点（０，０，０）に固定した場合、もう一つの内側の焦点２０５の座標は、（０，０，２Ｃ1）となる。
【００２９】
同様に双曲面ミラー２に関して
【００３０】
【数３】
【数４】
の関係が成り立つ。ここで双曲面ミラー２の内側の焦点２０６の座標は、（０，０，２Ｃ2）となる。
【００３３】
いま図２の２０７で示される点Ｐ（Ｘｐ、Ｙｐ、Ｚｐ）が、投影面２０４にどのように写るかを示す。点Ｐから焦点２０５に向かう光は、双曲面ミラー１で反射され、原点におかれたカメラのレンズに入射する。このとき投影面２０４に写る像が、２０８の点Ｐ1（ｘp1、ｙp1、ｆ）である。
【００３４】
同様に２０７の点Ｐから、双曲面ミラー２の焦点２０６に向かう光が、投影面２０４に結ぶ像は、２０９の点Ｐ2（ｘp2、ｙp2、ｆ）で表される。
【００３５】
投影面の像の様子を図３に示す。３０１はカメラの撮影範囲を示し、３０２のリング状の部分が双曲面ミラー１に反射した像の写る範囲であり、３０３の円状の部分が双曲面ミラー２の反射像の写る範囲を示している。
【００３６】
この３０２，３０３が、全方位に対応するステレオ画像対である。このように同一カメラの投影面に、領域が分かれてステレオ画像対が投影されるので、カメラを動画記録可能なビデオカメラなどにすれば、リアルタイムで全方位のステレオ画像が撮影できる。
【００３７】
なお、以上の説明では、全方位を写すためのミラーを、双曲面ミラーで構成した例で説明したが、その他の角錐ミラーでも同様に実施可能である。これについては、更に後述する。
【００３８】
次に、双曲面ミラーから得られたステレオ画像対の関係から、計測点の３次元情報を計測する手法について説明する。
【００３９】
図２の２０７で示された点Ｐが投影面２０４に投影された点Ｐ1，Ｐ2は、図３では、それぞれ３０４，３０５で示される位置に投影される。投影面上でのＰ1、Ｐ2の座標は、それぞれ（ｘp1、ｙp1）、（ｙp2、ｙp2）となる。
【００４０】
３次元空間で同一の点が、２つの双曲面ミラー１，２によって投影された点Ｐ１，Ｐ２の間には、双曲面ミラーがＺ軸に関して回転対称であるという性質から、双曲面ミラーの軸の中心を通る直線上に並ぶという制約が生じる。
言い換えると、空間上の同一点の投影面上での対応点を探索するステレオ対の探索の時に、探索範囲を２次元の平面から、１次元の直線に限定でき、探索にかかる処理を低減できる。
【００４１】
処理の流れを図４を用いて説明する。４０１は、図３で示したカメラでの撮影画像である。４０２は、前記撮影画像からステレオ対応点を探索する対応点計算部であり、４０３は前記対応点計算部からのステレオ対応点の組から、その点の３次元座標を計算する奥行き計算部である。
【００４２】
対応点計算部４０２においては、撮影画像を中心から外側に向かって放射方向に輝度値の一次微分を行い、エッジを抽出する。このエッジデータに対して、ステレオ対応点を相関を計算して探索する。探索範囲は中心から放射状にのびる直線状に限定する。相関値が予め与えたしきい値より高い点の組の座標Ｐ1（ｘp1，ｙp1）、Ｐ2（ｘp2，ｙp2）を、４０３の奥行き計算部に出力する。
【００４３】
奥行き計算部４０３においては、与えられた２つのステレオ対応点の組から、図２の２０７に示す対応点Ｐの３次元座標（Ｘｐ、Ｙｐ、Ｚｐ）を計算する。
【００４４】
図５に示すように、双曲面のパラメータａ1、ｂ1、ｃ1、カメラの焦点距離ｆ、点Ｐから双曲面の内側の焦点への直線が水平線とのなす角を−α１、双曲面ミラー１からの原点への反射光と水平線がなす角をβ１とすると、
【００４５】
【数５】
【数６】
【数７】
の関係が得られる。ここで、図５では、双曲面ミラー１と点Ｑとの関係を描いた説明図であり、その説明の都合上、双曲面ミラー２の記載を省略している。従って、同図の双曲面ミラー１を双曲面ミラー２と見なすことにより、双曲面ミラー２についても、上記と同様に、
【００４９】
【数８】
【数９】
【数１０】
の関係が成り立つ。
【００５３】
また、ステレオ対応点が、投影面で中心を通る直線の上に制限されるという拘束は、その直線が投影面のＸ軸となす角をθとして
【００５４】
【数１１】
の関係が得られる。
【００５６】
（式５）から（式１１）を元に、Ｘｐ、Ｙｐ、Ｚｐについて求めると
【００５７】
【数１２】
よって、双曲面ミラーの形状のパラメータａ1，ｂ1、ｃ1、ａ2、ｂ2、ｃ2、カメラの焦点距離ｆは判っているので、ステレオ対応点（ｘp1，ｙp1）、（ｘp2，ｙp2）の組から（式１２）により、対応する点の３次元座標を計算する。計算された出力が図４の４０４の座標出力である。
【００５９】
（実施の形態２）
図６は、本発明の全方位ステレオ画像撮影装置の実施の形態２の概略構成図を示す。
【００６０】
図６において、６０１は上部角錐ミラー、６０２は下部角錐ミラーであり、その中心線６０５と一致する６０３は上部角錐ミラーの各面の反射像を撮影する上部カメラ群、６０４は下部角錐ミラーの各反射像を撮影する下部カメラ群である。
【００６１】
光学的な配置を図７を用いて説明する。図７は、図６の中心線６０５を含み、角錐の１つの面に垂直に交わる平面に沿った断面の模式図である。７０１、７０２は、それぞれ上部角錐ミラー、下部角錐ミラー、７０３、７０４はそれぞれ上部カメラ、下部カメラである。７０５を２つの角錐ミラーの中心線上の中間点Ｏとする。上部カメラ７０３に写る映像は、ミラー７０１によって反射され、上部カメラ７０３の虚像７０６の位置から見た映像と等価なものになる。同様に下部カメラ７０４の虚像を７０７とする。
【００６２】
水平方向に分割された像を、全方位のステレオに隙間なく接合するためには、各方向のカメラのレンズ中心を一致させる必要がある。１つのカメラで時間をずらして撮影する場合には、レンズ中心も回転の中心として、水平方向に回転すればよいが、同時に複数のカメラで撮影する場合には、同時に２つのカメラを同じ場所に置けないので不可能である。しかしミラーを使って、すべてのカメラの虚像のレンズ中心を１つの点に集めれば、カメラの実体は別々の場所に位置し、等価的なレンズ中心だけを一点に集めることができる。角錐ミラーの場合、このレンズ中心の集まる場所は、角錐ミラーの中心線上になり、各カメラは虚像のレンズ中心が、中心線上の一点に位置するよう配置される。
【００６３】
カメラ７０３の撮影範囲を、線分７０８，７０９で囲まれる領域、カメラ７０４の撮影範囲を線分７１０，７１１で囲まれる領域としたとき、両方のカメラに投影像が写るステレオ計測可能な領域は、７１２で示す斜線の領域となる。
【００６４】
次に、この領域とミラー、カメラの画角、位置との関係を説明する。図７に示すように、角錐ミラーの角度をγとする。上部、下部とも同じ形状のミラーとする。またカメラ７０３，７０４の光軸は鉛直線上を向いているとする。このときミラーによって反射されたカメラの光軸７１３、７１４が水平方向となす仰角をψとすれば、γとψとの関係は次の式のようになる。
【００６５】
【数１３】
７０５の原点０からカメラの虚像のレンズ中心までの距離をＬとして、カメラの上下方向の画角を２ρとする。７０５の原点０から外側に向かって水平な方向をＹ軸、鉛直方向をＺ軸とし、計測領域７１２が始まる点７１５の座標を（０，ｙ0，０）とおけば、ｙ0は、
【００６７】
【数１４】
ｙ0 = Ｌ ／ tan(ψ+ρ)
となる。
【００６８】
計測領域７１２の形状が変化する点７１６のＹ座標をｙcとすれば、ｙ0＜ｙ＜ｙcでの計測領域７１２の境界上の点７１６のｚ座標は、
【００６９】
【数１５】
ｚ ＝ ｙ tan(ψ+ρ) ― Ｌ
となる。
【００７０】
ｙc＜ｙでの計測領域７１２の境界上の点７１７のｚ座標は、
【００７１】
【数１６】
ｚ ＝ Ｌ ― ｙ tan(ψ-ρ)
となる。
（式１４）、（式１５）から、点７１７の座標ｙcは、
【００７２】
【数１７】
ｙc ＝ ２Ｌ ／ （ tan(ψ＋ρ) ＋ tan(ψ−ρ) ）
となる。
【００７３】
計測したい対象が存在する領域を、計測領域７１２が覆うように、角錐ミラーの距離Ｌ、仰角ψを調整することにより、望む計測領域のステレオ画像対を取得することができる。
【００７４】
なお、以上の説明では、全方位を写すためのミラーを、角錐ミラーで構成した例で説明したが、その他の球面ミラー、円錐ミラー、双曲面ミラーでも同様に実施可能である。
【００７５】
以上述べたことから明らかな様に本実施の形態にれば、例えば、移動ロボットの視覚系や、人工現実感などの分野における実環境の取得などにおいて、全方位のリアルタイムの画像だけでなく、その画像中の対象物までの距離などの情報を与える全方位のステレオ画像対を得ることのできる全方位のステレオ画像撮影装置を提供することが出来る。
【００７６】
即ち、水平方向の全方位を写すミラー２組を、その互いが他方のミラーに写りこまないよう上下対称に組み合わせる、あるいは、２つの反射像を同一カメラの投影面の異なる位置に像を結ぶよう形状の違うミラーを上下方向に配置することにより、全方位のステレオ画像対をリアルタイムに取得可能となる。
【００７７】
特に曲率の違う２つの双曲面ミラーを組み合わせることにより、全方位のステレオ画像対を１つの映像の中に撮影可能となり、リアルタイムに全方位のステレオ画像撮影が可能となる。また得られた画像からステレオ対応点を探索する場合、放射状の直線上でのみ探索すればよく、高速に対応点の３次元座標を求めることが可能となる。
【００７８】
尚、上記実施の形態１では、全方位を写すためのミラーを、双曲面ミラーで構成した例で説明したが、これに限らず例えば、以下に示すような角錐ミラーで構成しても良い。
【００７９】
即ち、ここでは、全方位を写すためのミラーを、角錐ミラーで構成した実施例について説明する。
【００８０】
図８は、角錐ミラーで構成した本発明の全方位ステレオ画像撮影装置の概略構成図である。図８において、１００１は上部角錐ミラーであり、１００２は下部角錐ミラーであり、１００３は上部、下部角錐ミラーの対応する平面の反射像を同時に撮影するカメラ群である。この場合、１つのカメラには対応する上下の角錐ミラーの面のステレオ像が得られる。この像は、全方位を水平方向に分割したものであり、全カメラの像を合成することで、水平方向３６０度の像を得ることができる。
【００８１】
次に、光学的な配置を、図９を用いて説明する。図９は、図８の角錐ミラーの中心軸を含み、角錐ミラーを構成する平面ミラーの１つに垂直な平面で切断した断面図を示している。１１０１が注目する上部角錐ミラー面、１１０２は、それに対応する下部角錐ミラー面である。１１０３は、それら２つのミラー面に写る反射像を撮影するカメラである。
【００８２】
１１０４に示す点Ｑが、上部、下部ミラー面で反射され、カメラ１１０３の投影面１１０５に写る像は、それぞれｑ１、ｑ２となる。よって、同一の点からの２つのステレオ対が、１つのカメラの投影面上に得られる。
【００８３】
この様にして得られた点ｑ１，ｑ２の座標を利用して、以下に述べる計算により、点Ｑの３次元座標が得られる。
【００８４】
ここで、点Ｑの３次元座標と、カメラの投影像の関係について、図９，１０を参照しながら述べる。
【００８５】
即ち、図９に示すように、１１０３のカメラから見た像は、カメラの虚像１１０６，１１０７から見た場合の像と等価である。よってカメラ１１０３に撮影される像を考える場合、仮想的に虚像１１０６，１１０７の位置にカメラをおいたものとして、考えても良い。ただし、鏡像の関係にあるため、撮影される像も、反転した虚像の関係にあることに注意する必要がある。
【００８６】
次に、図１０を参照しながら、点Ｑの３次元座標の算出方法について更に述べる。
【００８７】
図１０は、１２０１の下部ミラー面に関して１２０４の点Ｑと、１２０６の投影像ｑ２の関係を示したものである。今１２０２のカメラのレンズ中心を座標系の原点として、カメラの光軸方向をＺ軸、ミラー面に垂直な横方向をＹ軸、図面手前方向をＸ軸とする。１２０１のミラー面は、Ｚ軸と成す角がγで、Ｚ軸と交わる点が原点OからＲの距離にあるとする。
【００８８】
このＸＹＺ座標系で、１２０４の点Ｑの座標を（ＸQ、ＹQ、ＺQ）とし、焦点距離ｆのカメラの投影面１２０５に写る像１２０６をｑ２（ｘq2、ｙq2、ｆ）として、その２つの関係を求める。
【００８９】
１２０２のカメラの虚像を１２０３とし、そのレンズ中心をＯ’とする。点Ｑの投影像ｑ２は、カメラの虚像の投影面１２０７に写る像ｑ２’（１２０８）と鏡像の関係にある。よって１２０７の投影面上の座標系での、ｑ２’の座標からｑ２の座標は求められる。
【００９０】
まず、原点が１２０３のカメラの虚像のレンズ中心Ｏ’にあり、カメラの虚像の光軸にＺ’軸が一致し、Ｘ’軸が前記ＸＹＺ座標系のＸ軸と平行な、Ｘ’Ｙ’Ｚ’座標系を考える。この座標系でのｑ２’の座標は、(ｘq2’ 、ｙq2’ 、ｆ)となる。ｑ２との鏡像の関係にあるので、
【００９１】
【数１８】
ｘq2 ＝ −ｘq2’
ｙq2 ＝ −ｙq2’
となる。
【００９２】
次に、点ＱのＸ’Ｙ’Ｚ’座標系での座標を求める。ＸＹＺ座標系とＸ’Ｙ’Ｚ’座標系の変換は、ＸＹＺ座標系の原点Ｏを、Ｏ’へ平行移動し、Ｚ軸がＺ’軸へ一致するよう、Ｘ軸周りに回転することにより、求められる。
【００９３】
今、Ｚ軸とＺ’軸の成す角をψとすれば、
【００９４】
【数１９】
ψ ＝ ２γ
の関係がある。一方、ＯからＯ’への平行移動により、Ｑ（ＸQ、ＹQ、ＺQ）の座標値は、
【００９５】
【数２０】
（ＸQ、ＹQ＋Ｒsinψ、ＺQ＋Ｒ＋Ｒcosψ）
となる。次に、Ｘ軸周りのψ回転により
【００９６】
【数２１】
となる。
【００９８】
Ｚ'でｆの距離にある投影面１２０７の投影により、点Ｑの投影像ｑ２’(ｘq2’、ｙq2’、ｆ)の座標が求まり、（式１８）より、カメラへの投影像ｑ２（ｘq2、ｙq2、ｆ）が求まる。
【００９９】
【数２２】
ｘq2 ＝ −ｘq2’ ＝ −ｆ・ＸQ’／ＺQ’
ｙq2 ＝ −ｙq2’ ＝ −ｆ・ＹQ’／ＺQ’
以上により、ミラーの位置R、傾きγ、カメラの焦点距離ｆを用いて、任意の点Ｑ（ＸQ、ＹQ、ＺQ）と、そのカメラでの像ｑ２（ｘq2、ｙq2、ｆ）には、（式２１）、（式２２）の関係が成り立つ。
【０１００】
一方、図９におけるような、上部、下部の２つのミラー面では、その傾きγ、カメラからの距離Ｒが異なる。よって、一点Ｑのカメラでの投影像は、それぞれのγ、Ｒと（式２１）、（式２２）により、別の点ｑ１、ｑ２となる。
【０１０１】
従って、逆に、それぞれのγ、Ｒが判っていれば、点ｑ１、ｑ２の座標と、（式２１）、（式２２）により、点Ｑの３次元座標（ＸQ、ＹQ、ＺQ）を計算できる。尚、上述した点Ｑの３次元座標の計算方法は、上記実施の形態２において点Ｐの３次元座標を求める場合にも同様に用いることが出来ることは言うまでもない。
【０１０２】
【発明の効果】
以上述べたところから明らかな様に本発明は、従来に比べてより完全な全方位のステレオ画像対を、リアルタイムに取得することが出来るという長所を有する。
【図面の簡単な説明】
【図１】本発明の一実施の形態の全方位ステレオ画像撮影装置の概略構成図
【図２】同実施の形態の全方位ステレオ画像撮影装置の鉛直断面図
【図３】同実施の形態のカメラにより得られる投影像を示す図
【図４】同実施の形態の３次元座標を計算する処理の流れを示す図
【図５】同実施の形態の光学系の関係を示す説明図
【図６】本発明の全方位ステレオ画像撮影装置の第２の実施の形態の概略構成図
【図７】本発明の第２の実施の形態の測定範囲を説明する図
【図８】本発明の全方位ステレオ画像撮影装置の他の実施の形態の角錐ミラーを用いた概略構成図
【図９】同実施の形態の鉛直断面図
【図１０】同実施の形態の光学系の関係を示す説明図
【図１１】従来の双曲面型全方位撮影装置の説明図
【図１２】従来の角錐型全方位撮影装置の説明図
【符号の説明】
１０１ 上部の双曲面ミラー
１０２ 下部の双曲面ミラー
１０４ カメラ
２０１、 ２０２ 双曲面ミラー
２０４ 投影面
２０５、 ２０６ 双曲面の焦点
２０７ 計測点
２０８、 ２０９ 投影面へ投影された点
３０１ 撮影像
３０２ 上部双曲面ミラーの投影範囲
３０３ 部双曲面ミラーの投影範囲
４０１ 投影像
４０２ 対応点計算部
４０３ 奥行き計算部
４０４ ３次元座標データ
６０１、６０２ 角錐ミラー
６０３、６０４ カメラ群
６０５ 角錐中心
７０１、７０２ 角錐ミラー
７０３、７０４ カメラ
７０６、７０７ カメラの虚像
７０８、７０９、７１０、７１１ カメラの撮影範囲
７１２ ステレオ計測可能な領域
７１３、７１４ カメラの光軸
７１５、７１６、７１７、７１８ ステレオ計測可能な領域の境界上の点
８０１ 双曲面ミラー
８０２ カメラ
８０３ レンズ中心（外焦点）
８０４ 内焦点
８０５ 観測点
８０６ 観測点からの光線
９０１ 角錐ミラー
９０２ カメラ群
１００１ 上部角錐ミラー
１００２ 下部角錐ミラー
１００３ カメラ群
１１０１ 上部ミラー面
１１０２ 下部ミラー面
１１０３ カメラ
１１０４ 計測点
１１０５ カメラの投影面
１１０６ 上部ミラー面に対応するカメラの虚像
１１０７ 下部ミラー面に対応するカメラの虚像
１２０１ ミラー面
１２０２ カメラ
１２０３ カメラの虚像
１２０４ 計測点
１２０５ カメラの投影面
１２０６ 計測点の投影像
１２０７ 虚像の投影面
１２０８ 虚像の投影面への投影像
Claims (3)
- 所定方向の全方位の像を反射させる第１の双曲面ミラーと、
前記第１のミラーと異なる曲率の所定方向の全方位の像を反射させる第２の双曲面ミラーと、
前記第１の双曲面ミラー及び第２の双曲面ミラーによりそれぞれ反射した同一対象物をステレオ画像として撮像するカメラとを備え、
前記第１の双曲面ミラーと前記第２の双曲面ミラーは、双方の双曲面の中心軸が一致し、かつ外側の焦点の位置が一致するよう配置されており、
前記カメラは、前記外側の焦点の位置が、前記カメラのレンズ中心の位置に一致するように配置されていることを特徴とする全方位ステレオ画像撮影装置。 - 所定方向の実質上全方位の像を反射させる第１の角錐型ミラーと、
前記第１の角錐型ミラーと中心軸同士が実質上一致した、所定方向の実質上全方位の像を反射させる第２の角錐型ミラーと、
前記第１の角錐型ミラーの一つの反射面、及びその反射面に対応した前記第２の角錐型ミラーの一つの反射面によりそれぞれ反射した同一対象物をステレオ画像として撮像する、前記第１、第２の角錐型ミラーの対応する２つの反射面の組毎に設けられたカメラとを備え、
前記第１の角錐型ミラーの前記一つの反射面、前記第２の角錐型ミラーの前記一つの反射面、及び前記カメラは、前記２種類の画像が前記カメラ内においてそれぞれ異なる位置に像を結び、かつ前記各角錐型ミラーの反射面に対する前記各カメラの虚像のレンズ中心が、各角錐ミラー毎に前記中心軸上の一点に位置するように配置されていることを特徴とする全方位ステレオ画像撮影装置。 - 請求項１又は２に記載の全方位ステレオ画像撮影装置によって撮影された画像データを利用して、前記２つのミラー又は前記相互に対応する２つの反射面により反射した各画像の画像領域間のステレオ対応点を求める対応点計算部と、
前記対応点計算部で求めたステレオ対応点に基づいて、その対応点の３次元座標を計算する奥行き計算部と、
を備えたことを特徴とする全方位ステレオ画像撮影装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25397897A JP3752063B2 (ja) | 1997-09-18 | 1997-09-18 | 全方位ステレオ画像撮影装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25397897A JP3752063B2 (ja) | 1997-09-18 | 1997-09-18 | 全方位ステレオ画像撮影装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1195344A JPH1195344A (ja) | 1999-04-09 |
| JP3752063B2 true JP3752063B2 (ja) | 2006-03-08 |
Family
ID=17258578
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25397897A Expired - Lifetime JP3752063B2 (ja) | 1997-09-18 | 1997-09-18 | 全方位ステレオ画像撮影装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3752063B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001154295A (ja) | 1999-11-30 | 2001-06-08 | Matsushita Electric Ind Co Ltd | 全方位視覚カメラ |
| US7463280B2 (en) * | 2003-06-03 | 2008-12-09 | Steuart Iii Leonard P | Digital 3D/360 degree camera system |
| JP4554954B2 (ja) * | 2004-02-19 | 2010-09-29 | 康史 八木 | 全方位撮像システム |
| GB2425363A (en) | 2005-04-18 | 2006-10-25 | Sharp Kk | Panoramic adapter with mirrors formed by rotating conic section |
| JP2007081826A (ja) * | 2005-09-14 | 2007-03-29 | Fujifilm Corp | 監視システム |
| KR100763941B1 (ko) | 2006-02-09 | 2007-10-05 | 전북대학교산학협력단 | 전방향 스테레오 영상 장치 |
| JP4902368B2 (ja) * | 2007-01-24 | 2012-03-21 | 三洋電機株式会社 | 画像処理装置及び画像処理方法 |
| JP4409618B2 (ja) | 2008-06-04 | 2010-02-03 | 暁 吉井 | 全視野投影装置および全視野映像システム |
| JP5337658B2 (ja) * | 2009-10-02 | 2013-11-06 | 株式会社トプコン | 広角撮像装置及び測定システム |
| US20120154519A1 (en) * | 2010-12-17 | 2012-06-21 | Microsoft Corporation | Chassis assembly for 360-degree stereoscopic video capture |
| EP2695385B8 (en) * | 2011-04-08 | 2016-03-16 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Capturing panoramic or semi-panoramic 3d scenes |
| JP7043375B2 (ja) * | 2018-09-18 | 2022-03-29 | 株式会社日立製作所 | ステレオカメラ、車載灯具ユニット、及びステレオカメラシステム |
| JP7134925B2 (ja) * | 2019-07-05 | 2022-09-12 | 株式会社日立製作所 | ステレオカメラ |
-
1997
- 1997-09-18 JP JP25397897A patent/JP3752063B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1195344A (ja) | 1999-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200326184A1 (en) | Dual-resolution 3d scanner and method of using | |
| US6304285B1 (en) | Method and apparatus for omnidirectional imaging | |
| US6744569B2 (en) | Method and apparatus for omnidirectional three dimensional imaging | |
| US7176960B1 (en) | System and methods for generating spherical mosaic images | |
| Nene et al. | Stereo with mirrors | |
| KR100599423B1 (ko) | 전방향성 이미징 장치 | |
| JP3752063B2 (ja) | 全方位ステレオ画像撮影装置 | |
| US7420750B2 (en) | Catadioptric single camera systems having radial epipolar geometry and methods and means thereof | |
| KR20020007211A (ko) | 전방위 시각 센서 | |
| Lin et al. | High resolution catadioptric omni-directional stereo sensor for robot vision | |
| RU2000117577A (ru) | Всенаправленное устройство формирования изображения | |
| US20030156187A1 (en) | Rectified catadioptric stereo sensors | |
| JP3804916B2 (ja) | 撮像システムとその画像データ制御に用いられるプログラムおよびその撮像システムにおける撮像画像の歪み補正方法とその手順を記憶させた記憶媒体 | |
| JPH06295333A (ja) | 全方位視覚系 | |
| JP2010256296A (ja) | 全方位３次元空間認識入力装置 | |
| CA2394260A1 (en) | Rectified catadioptric stereo sensors | |
| JP2006220603A (ja) | 撮像装置 | |
| JP2021012075A (ja) | ステレオカメラ | |
| Lu et al. | Image-based system for measuring objects on an oblique plane and its applications in 2-D localization | |
| Fiala et al. | Feature extraction and calibration for stereo reconstruction using non-svp optics in a panoramic stereo-vision sensor | |
| JP2007264402A (ja) | 全方位視覚センサ | |
| JP3887809B2 (ja) | 撮像装置 | |
| JP3872250B2 (ja) | 広画角撮像装置 | |
| KR101469361B1 (ko) | 초광각 파노라마 영상 촬영 장치 | |
| JP2007333525A (ja) | 距離測定装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040818 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050630 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050712 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050909 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051209 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121216 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121216 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131216 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |