JP2001256492A - 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体Info
- Publication number
- JP2001256492A JP2001256492A JP2000070848A JP2000070848A JP2001256492A JP 2001256492 A JP2001256492 A JP 2001256492A JP 2000070848 A JP2000070848 A JP 2000070848A JP 2000070848 A JP2000070848 A JP 2000070848A JP 2001256492 A JP2001256492 A JP 2001256492A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- transformed
- cylindrically
- cylindrical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 111
- 238000005304 joining Methods 0.000 claims abstract description 44
- 238000006243 chemical reaction Methods 0.000 claims abstract description 37
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 230000003287 optical effect Effects 0.000 claims description 57
- 230000002194 synthesizing effect Effects 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 20
- 239000002131 composite material Substances 0.000 claims description 15
- 230000001131 transforming effect Effects 0.000 claims description 14
- 239000000203 mixture Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 11
- 239000013598 vector Substances 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 230000005484 gravity Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 3
- 230000010339 dilation Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 101000917858 Homo sapiens Low affinity immunoglobulin gamma Fc region receptor III-A Proteins 0.000 description 1
- 101000917839 Homo sapiens Low affinity immunoglobulin gamma Fc region receptor III-B Proteins 0.000 description 1
- 102100029185 Low affinity immunoglobulin gamma Fc region receptor III-B Human genes 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 この発明は、水平方向３６０度の合成画像を
自動的に生成するのに適した、画像合成装置を提供する
ことを目的とする。 【解決手段】 この発明による第１の画像合成装置は、
魚眼レンズが装着された撮像手段によって撮像された複
数枚の魚眼画像に基づいて、水平方向３６０度の合成画
像を生成する画像合成装置であって、各魚眼画像を円筒
面に投影変換する第１手段、および第１手段によって得
られた各円筒投影変換画像を接合する第２手段を備えて
いる。
自動的に生成するのに適した、画像合成装置を提供する
ことを目的とする。 【解決手段】 この発明による第１の画像合成装置は、
魚眼レンズが装着された撮像手段によって撮像された複
数枚の魚眼画像に基づいて、水平方向３６０度の合成画
像を生成する画像合成装置であって、各魚眼画像を円筒
面に投影変換する第１手段、および第１手段によって得
られた各円筒投影変換画像を接合する第２手段を備えて
いる。
Description
【０００１】
【発明の属する技術分野】この発明は、水平方向３６０
度あるいは全方位方向３６０度の合成画像を自動的に生
成し臨場感高く提示する人工現実感システムに適用され
る、画像合成装置、画像合成方法、画像合成プログラム
を記録したコンピュータ読み取り可能な記録媒体に関す
る。
度あるいは全方位方向３６０度の合成画像を自動的に生
成し臨場感高く提示する人工現実感システムに適用され
る、画像合成装置、画像合成方法、画像合成プログラム
を記録したコンピュータ読み取り可能な記録媒体に関す
る。
【０００２】
【従来の技術】〔１〕従来のオプテカルフローの算出方
法についての説明
法についての説明
【０００３】２枚の画像からオプティカルフローを計算
し、得られたオプティカルフローに基づいて、２枚の画
像間での位置合わせを行う技術が知られている。従来の
オプテカルフローの算出方法について説明する。
し、得られたオプティカルフローに基づいて、２枚の画
像間での位置合わせを行う技術が知られている。従来の
オプテカルフローの算出方法について説明する。
【０００４】（１）Lucas-Kanade法 従来から、動画像における運動物体の見かけの速度場
（オプティカルフロー）を計算する手法が数多く提案さ
れている。中でも局所勾配法であるLucas-Kanade法は、
最も良い手法の一つである。その理由は、処理が高速、
実装が容易、結果が信頼度を持つことである。
（オプティカルフロー）を計算する手法が数多く提案さ
れている。中でも局所勾配法であるLucas-Kanade法は、
最も良い手法の一つである。その理由は、処理が高速、
実装が容易、結果が信頼度を持つことである。
【０００５】Lucas-Kanade法の詳細については、文献：
B.Lucas and T.Kanade,"An Iterative Image Registra
tion Technique with an Application to Stereo Visio
n,"In Seventh International Joint Conference on Ar
tificial Intelligence(IJCAI-81), pp. 674-979, 1981
を参照のこと。
B.Lucas and T.Kanade,"An Iterative Image Registra
tion Technique with an Application to Stereo Visio
n,"In Seventh International Joint Conference on Ar
tificial Intelligence(IJCAI-81), pp. 674-979, 1981
を参照のこと。
【０００６】以下に、Lucas-Kanade法の概要を述べる。
ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ
（ｘ，ｙ，ｔ）が、ある微小時間後（δｔ）に座標（ｘ
＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったま
ま移動した時、次のオプティカルフロー拘束式１が成り
立つ。
ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ
（ｘ，ｙ，ｔ）が、ある微小時間後（δｔ）に座標（ｘ
＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったま
ま移動した時、次のオプティカルフロー拘束式１が成り
立つ。
【０００７】
【数１】
【０００８】２次元画像でオプティカルフロー｛ｖ＝
（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算する
には、未知パラメータ数が２個であるので、もう一個拘
束式が必要である。Lucas とKanade( 金出) は、同一物
体の局所領域では、同一のオプティカルフローを持つと
仮定した。
（δｘ／δｔ，δｙ／δｔ）＝（ｕ，ｖ）｝を計算する
には、未知パラメータ数が２個であるので、もう一個拘
束式が必要である。Lucas とKanade( 金出) は、同一物
体の局所領域では、同一のオプティカルフローを持つと
仮定した。
【０００９】例えば、画像上の局所領域ω内で、オプテ
ィカルフローが一定であるとすると、最小化したい濃淡
パターンの二乗誤差Ｅは、 Ｉ0 （ｐ）＝Ｉ（ｘ，ｙ，ｔ），Ｉ1 （ｐ＋ｖ）＝Ｉ
（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ） と書き改めると、次式２で定義できる。
ィカルフローが一定であるとすると、最小化したい濃淡
パターンの二乗誤差Ｅは、 Ｉ0 （ｐ）＝Ｉ（ｘ，ｙ，ｔ），Ｉ1 （ｐ＋ｖ）＝Ｉ
（ｘ＋ｕ，ｙ＋ｖ，ｔ＋δｔ） と書き改めると、次式２で定義できる。
【００１０】
【数２】
【００１１】ここで、ｖが微少な場合には、テーラー展
開の２次以上の項を無視できるので、次式３の関係が成
り立つ。
開の２次以上の項を無視できるので、次式３の関係が成
り立つ。
【００１２】
【数３】
【００１３】ここで、ｇ（ｐ）は、Ｉ1 （ｐ）の一次微
分である。
分である。
【００１４】誤差Ｅが最小になるのは、Ｅのｖに対する
微分値が０の時であるので、次式４の関係が成り立つ。
微分値が０の時であるので、次式４の関係が成り立つ。
【００１５】
【数４】
【００１６】故にオプティカルフローｖは次式５で求め
られる。
られる。
【００１７】
【数５】
【００１８】更に、次式６に示すように、ニュートン・
ラフソン的な反復演算によって精度良く求めることがで
きる。
ラフソン的な反復演算によって精度良く求めることがで
きる。
【００１９】
【数６】
【００２０】（２）階層的推定法 Lucas-Kanade法を含む勾配法の最も大きな問題点は、良
好な初期値が必要なために、大きな動きに対しては適用
できないことである。そこで、従来からピラミッド階層
構造型に数段回の解像度の異なる画像を作成して解決す
る方法が提案されている。
好な初期値が必要なために、大きな動きに対しては適用
できないことである。そこで、従来からピラミッド階層
構造型に数段回の解像度の異なる画像を作成して解決す
る方法が提案されている。
【００２１】これは、まず、２枚の連続した画像から、
予めそれぞれの画像の数段階の解像度の異なる画像を作
成する。次に、最も解像度の低い画像間において、おお
まかなオプティカルフローを計算する。そして、この結
果を参考にして、一段解像度の高い画像間においてより
精密なオプティカルフローを計算する。この処理を最も
解像度の高い画像間まで順次繰り返す。
予めそれぞれの画像の数段階の解像度の異なる画像を作
成する。次に、最も解像度の低い画像間において、おお
まかなオプティカルフローを計算する。そして、この結
果を参考にして、一段解像度の高い画像間においてより
精密なオプティカルフローを計算する。この処理を最も
解像度の高い画像間まで順次繰り返す。
【００２２】図４は原画像を、図３は図４の原画像より
解像度の低い画像を、図２は図３の低解像度画像より解
像度の低い画像を、図１は図２の低解像度画像より解像
度の低い画像を、それぞれ示している。図１〜図４にお
いて、Ｓは、１つのパッチを示している。
解像度の低い画像を、図２は図３の低解像度画像より解
像度の低い画像を、図１は図２の低解像度画像より解像
度の低い画像を、それぞれ示している。図１〜図４にお
いて、Ｓは、１つのパッチを示している。
【００２３】図１の画像（階層１の画像）、図２の画像
（階層２の画像）、図３の画像（階層３の画像）および
図４の画像（階層４の画像）の順番で段階的にオプティ
カルフローが求められる。図１〜図４において矢印は、
パッチ毎に求められたオプティカルフローベクトルを示
している。
（階層２の画像）、図３の画像（階層３の画像）および
図４の画像（階層４の画像）の順番で段階的にオプティ
カルフローが求められる。図１〜図４において矢印は、
パッチ毎に求められたオプティカルフローベクトルを示
している。
【００２４】しかしながら、ここでの問題点は、実画像
では、十分な模様（テクスチャ）を含む領域が少なく、
信頼性のあるオプティカルフローが得られないことにあ
る。
では、十分な模様（テクスチャ）を含む領域が少なく、
信頼性のあるオプティカルフローが得られないことにあ
る。
【００２５】〔２〕本出願人が開発したオプティカルフ
ロー算出方法についての説明。
ロー算出方法についての説明。
【００２６】本出願人が開発したオプティカルフロー算
出方法は、ピラミッド階層型に数段回の解像度の異なる
画像を作成して、オプティカルフローを段階的に計算す
る階層的推定を前提としている。オプティカルフローの
計算方法は、Lucas-Kanade法等の勾配法に従う。つま
り、階層構造化した勾配法によるオプティカルフロー推
定法を前提としている。ここでは、勾配法としてLucas-
Kanade法が用いられている。
出方法は、ピラミッド階層型に数段回の解像度の異なる
画像を作成して、オプティカルフローを段階的に計算す
る階層的推定を前提としている。オプティカルフローの
計算方法は、Lucas-Kanade法等の勾配法に従う。つま
り、階層構造化した勾配法によるオプティカルフロー推
定法を前提としている。ここでは、勾配法としてLucas-
Kanade法が用いられている。
【００２７】本出願人が開発したオプティカルフロー推
定方法の特徴は、階層構造化したLucas-Kanade法による
オプティカルフロー推定法の各段階において得られたオ
プティカルフローを、膨張処理によって補完することに
ある。以下、これについて詳しく説明する。
定方法の特徴は、階層構造化したLucas-Kanade法による
オプティカルフロー推定法の各段階において得られたオ
プティカルフローを、膨張処理によって補完することに
ある。以下、これについて詳しく説明する。
【００２８】Lucas-Kanade法の長所の一つは、追跡結果
が信頼性を持つことである。Tomasiと Kanade とは、あ
る領域の追跡可能性が、以下のように微分画像から算出
できることを示した(C.Tomasi and T.Kanade,"Shape an
d Motion from Image Streams: a Factorization metho
d-Part 3 Detection and Tracking of Point Features
,"CMU-CS-91-132, Carnegie Mellon University, 199
1.) 。
が信頼性を持つことである。Tomasiと Kanade とは、あ
る領域の追跡可能性が、以下のように微分画像から算出
できることを示した(C.Tomasi and T.Kanade,"Shape an
d Motion from Image Streams: a Factorization metho
d-Part 3 Detection and Tracking of Point Features
,"CMU-CS-91-132, Carnegie Mellon University, 199
1.) 。
【００２９】ある領域画像ωの垂直・水平方向の微分の
２乗を要素に持つ次式７の２×２の係数行列Ｇから、そ
の固有値を計算することで、その領域の追跡可能性を決
定することができる。
２乗を要素に持つ次式７の２×２の係数行列Ｇから、そ
の固有値を計算することで、その領域の追跡可能性を決
定することができる。
【００３０】
【数７】
【００３１】この行列Ｇの固有値が両方とも大きい場合
には、その領域は直交方向に変化を持ち、一意の位置決
めが可能である。従って、小さい方の固有値λmin と、
追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γ
を次式８によって得ることができる。
には、その領域は直交方向に変化を持ち、一意の位置決
めが可能である。従って、小さい方の固有値λmin と、
追跡後の領域間の濃淡残差Ｅから、追跡結果の信頼度γ
を次式８によって得ることができる。
【００３２】
【数８】
【００３３】本発明者らは、オプティカルフローの同一
階層内で信頼度の高い結果を用いて、信頼度の低い領域
を補間する方法を開発した。これは、一段階粗い階層で
の結果を、追跡の初期値だけに用いて、着目している現
段階の階層の結果には何も利用しない。代わりに、テク
スチャの少ない領域のオプティカルフローはその周囲の
オプティカルフローに近い値を持つと仮定し、モルフォ
ロジー処理によりフロー場を補完するものである。
階層内で信頼度の高い結果を用いて、信頼度の低い領域
を補間する方法を開発した。これは、一段階粗い階層で
の結果を、追跡の初期値だけに用いて、着目している現
段階の階層の結果には何も利用しない。代わりに、テク
スチャの少ない領域のオプティカルフローはその周囲の
オプティカルフローに近い値を持つと仮定し、モルフォ
ロジー処理によりフロー場を補完するものである。
【００３４】図５にフローベクトルの膨張処理の様子を
示す。
示す。
【００３５】左図は、フローベクトルの信頼度のマップ
を濃淡で表したものである。ここで、黒ければ黒い程信
頼度が高いとする。
を濃淡で表したものである。ここで、黒ければ黒い程信
頼度が高いとする。
【００３６】まず、得られたフローをしきい値処理す
る。白い部分は、結果の信頼度が低いために、しきい値
処理されたものである。
る。白い部分は、結果の信頼度が低いために、しきい値
処理されたものである。
【００３７】次に、２値画像でのモルフォロジー演算に
よる穴埋め処理を模して、フロー場において結果の膨張
処理を次のように行う。ある領域ｉ，ｊのフローベクト
ルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信
頼度γに応じて重み付けを行って次式９のように計算で
きる。
よる穴埋め処理を模して、フロー場において結果の膨張
処理を次のように行う。ある領域ｉ，ｊのフローベクト
ルｕ（ｉ，ｊ）は、その４近傍のフローベクトルから信
頼度γに応じて重み付けを行って次式９のように計算で
きる。
【００３８】
【数９】
【００３９】この処理を、しきい値処理されたすべての
信頼度の低い領域が埋まるまで、繰り返す。この補完処
理を、各階層において行う。なお、ある領域ｉ，ｊのフ
ローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベク
トルから信頼度γに応じて重み付けを行って算出するよ
うにしてもよい。
信頼度の低い領域が埋まるまで、繰り返す。この補完処
理を、各階層において行う。なお、ある領域ｉ，ｊのフ
ローベクトルｕ（ｉ，ｊ）を、その８近傍のフローベク
トルから信頼度γに応じて重み付けを行って算出するよ
うにしてもよい。
【００４０】図６（ａ）は、ある階層の画像に対してし
きい値処理されたオプティカルフローを示し、図６
（ｂ）は補完後のオプティカルフローを示している。図
６（ａ）において、矢印はしきい値処理によって信頼度
が高いと判定されたオプティカルフローベクトルであ
り、×印は信頼度が低いとされた部分を示している。
きい値処理されたオプティカルフローを示し、図６
（ｂ）は補完後のオプティカルフローを示している。図
６（ａ）において、矢印はしきい値処理によって信頼度
が高いと判定されたオプティカルフローベクトルであ
り、×印は信頼度が低いとされた部分を示している。
【００４１】〔３〕従来の画像合成技術についての説明
【００４２】通常のカメラと通常のレンズを用いて、複
数の画像を撮像し、これらを接合して、水平方向の３６
０度あるいは全方位天球状の画像を合成する技術が知ら
れている(United States Patent 5,396,583 3/1995, Ch
en et al., Proceedings ofACM SIGGRAPH 1997, Szelis
ki et al.) 。
数の画像を撮像し、これらを接合して、水平方向の３６
０度あるいは全方位天球状の画像を合成する技術が知ら
れている(United States Patent 5,396,583 3/1995, Ch
en et al., Proceedings ofACM SIGGRAPH 1997, Szelis
ki et al.) 。
【００４３】しかしながら、この技術には次の問題があ
る。第１は、撮像枚数が多いため、撮像方法が複雑にな
る。これは、各画像の視野が狭いためである。第２の問
題は、自動で合成することが困難である。この方法は、
画像の特徴的な模様（テクスチャ）を用いて合成するパ
ラメータを算出する。ところが、視野が狭いと壁など真
っ白で特徴的なパターンを持たない画像が撮像されると
自動合成に失敗する。
る。第１は、撮像枚数が多いため、撮像方法が複雑にな
る。これは、各画像の視野が狭いためである。第２の問
題は、自動で合成することが困難である。この方法は、
画像の特徴的な模様（テクスチャ）を用いて合成するパ
ラメータを算出する。ところが、視野が狭いと壁など真
っ白で特徴的なパターンを持たない画像が撮像されると
自動合成に失敗する。
【００４４】ミラーを用いた全方位センサが提案されて
いる(United States Patent 3505465, 4/1970, Rees)。
しかしながら、この全方位センサを用いた画像合成シス
テムでは、１台のカメラで広視野を撮像するため、解像
度が低いという問題がある。また、ミラーを円錐上に配
置し、複数のカメラで撮像するシステムも存在するが、
カメラ間の特性の違いのため、継ぎ目が目立ってしまう
問題がある。
いる(United States Patent 3505465, 4/1970, Rees)。
しかしながら、この全方位センサを用いた画像合成シス
テムでは、１台のカメラで広視野を撮像するため、解像
度が低いという問題がある。また、ミラーを円錐上に配
置し、複数のカメラで撮像するシステムも存在するが、
カメラ間の特性の違いのため、継ぎ目が目立ってしまう
問題がある。
【００４５】魚眼レンズを装着したカメラを用いて撮像
した複数毎の画像を合成する方法として、視野１８５度
の魚眼画像２枚を貼りあわせて、全方位の画像を合成す
る方法が提案されている(United States Patent 599094
1, 11/1999, Jackson et al.) 。
した複数毎の画像を合成する方法として、視野１８５度
の魚眼画像２枚を貼りあわせて、全方位の画像を合成す
る方法が提案されている(United States Patent 599094
1, 11/1999, Jackson et al.) 。
【００４６】しかしながら、この方法では、次の２つの
問題がある。第１の問題は、撮像方法が困難なことであ
る。通常の三脚だけで、全く反対方向の画像を２枚撮像
するのは、容易でない。そのため特殊な機構を持ったカ
メラや治具が利用される。第２の問題は、画像間で継ぎ
目が目立つことである。これは、２枚の画像の重なり部
が少なく、継ぎ目を目立たないようにする処理が単純な
フィルタリング処理だけしか行われないためである。
問題がある。第１の問題は、撮像方法が困難なことであ
る。通常の三脚だけで、全く反対方向の画像を２枚撮像
するのは、容易でない。そのため特殊な機構を持ったカ
メラや治具が利用される。第２の問題は、画像間で継ぎ
目が目立つことである。これは、２枚の画像の重なり部
が少なく、継ぎ目を目立たないようにする処理が単純な
フィルタリング処理だけしか行われないためである。
【００４７】魚眼レンズを装着したカメラを三脚に載
せ、水平回転方向に回転し、重なり領域を持った２枚よ
り多い枚数の画像を撮像し、これらの画像を合成するシ
ステムが提案されている(Y. Xiong and K. Turkowski,
"Creating Image-Based VR Using a Self-Calibrating
Fisheye Lens," Proceedings of IEEE International
Conference on Computer Vision and Patter Recogniti
on, 1997)。
せ、水平回転方向に回転し、重なり領域を持った２枚よ
り多い枚数の画像を撮像し、これらの画像を合成するシ
ステムが提案されている(Y. Xiong and K. Turkowski,
"Creating Image-Based VR Using a Self-Calibrating
Fisheye Lens," Proceedings of IEEE International
Conference on Computer Vision and Patter Recogniti
on, 1997)。
【００４８】しかしながら、このシステムは、完全に自
動で画像を合成することは困難である。なぜなら、合成
処理に魚眼レンズの画像そのままを入力し、非線形最小
化法を用いるため、良好な初期値を人手で提供すること
が不可欠となるからである。
動で画像を合成することは困難である。なぜなら、合成
処理に魚眼レンズの画像そのままを入力し、非線形最小
化法を用いるため、良好な初期値を人手で提供すること
が不可欠となるからである。
【００４９】
【発明が解決しようとする課題】この発明は、水平方向
３６０度の合成画像を自動的に生成するのに適した、画
像合成装置、画像合成方法、画像合成プログラムを記録
したコンピュータ読み取り可能な記録媒体を提供するこ
とを目的とする。
３６０度の合成画像を自動的に生成するのに適した、画
像合成装置、画像合成方法、画像合成プログラムを記録
したコンピュータ読み取り可能な記録媒体を提供するこ
とを目的とする。
【００５０】この発明は、全方位方向３６０度の合成画
像を自動的に生成するのに適した、画像合成装置、画像
合成方法、画像合成プログラムを記録したコンピュータ
読み取り可能な記録媒体を提供することを目的とする。
像を自動的に生成するのに適した、画像合成装置、画像
合成方法、画像合成プログラムを記録したコンピュータ
読み取り可能な記録媒体を提供することを目的とする。
【００５１】
【課題を解決するための手段】この発明による第１の画
像合成装置は、魚眼レンズが装着された撮像手段によっ
て撮像された複数枚の魚眼画像に基づいて、水平方向３
６０度の合成画像を生成する画像合成装置であって、各
魚眼画像を円筒面に投影変換する第１手段、および第１
手段によって得られた各円筒投影変換画像を接合する第
２手段を備えていることを特徴とする。
像合成装置は、魚眼レンズが装着された撮像手段によっ
て撮像された複数枚の魚眼画像に基づいて、水平方向３
６０度の合成画像を生成する画像合成装置であって、各
魚眼画像を円筒面に投影変換する第１手段、および第１
手段によって得られた各円筒投影変換画像を接合する第
２手段を備えていることを特徴とする。
【００５２】第１手段としては、たとえば、心射円筒投
影法を用いて各魚眼画像を円筒面に投影変換するものが
用いられる。
影法を用いて各魚眼画像を円筒面に投影変換するものが
用いられる。
【００５３】第２手段としては、たとえば、接合すべき
２つの円筒投影変換画像の重なり部を抽出する手段、一
方の円筒投影変換画像における他方の円筒投影変換画像
との重なり部分から、両円筒投影変換画像間のオプティ
カルフローによる追跡に有効な複数の部分画像を特徴点
として抽出する手段、上記一方の円筒投影変換画像上の
各特徴点に対応する上記他方の円筒投影変換画像上の点
を、両円筒投影変換画像間のオプティカルフローに基づ
いて追跡する手段、上記追跡結果に基づいて、２つの円
筒投影変換画像間の幾何変換係数を算出する手段、およ
び得られた幾何変換係数に基づいて２つの円筒投影変換
画像を接合する手段を備えているものが用いられる。
２つの円筒投影変換画像の重なり部を抽出する手段、一
方の円筒投影変換画像における他方の円筒投影変換画像
との重なり部分から、両円筒投影変換画像間のオプティ
カルフローによる追跡に有効な複数の部分画像を特徴点
として抽出する手段、上記一方の円筒投影変換画像上の
各特徴点に対応する上記他方の円筒投影変換画像上の点
を、両円筒投影変換画像間のオプティカルフローに基づ
いて追跡する手段、上記追跡結果に基づいて、２つの円
筒投影変換画像間の幾何変換係数を算出する手段、およ
び得られた幾何変換係数に基づいて２つの円筒投影変換
画像を接合する手段を備えているものが用いられる。
【００５４】この発明による第２の画像合成装置は、魚
眼レンズが装着された撮像手段によって撮像された複数
枚の魚眼画像に基づいて、全方位方向３６０度の合成画
像を生成する装置であって、各魚眼画像を円筒面に投影
変換する第１手段、第１手段によって得られた各円筒投
影変換画像を接合する第２手段、および第２手段で得ら
れた合成画像を球面に投影変換する第３手段を備えてい
ることを特徴とする。
眼レンズが装着された撮像手段によって撮像された複数
枚の魚眼画像に基づいて、全方位方向３６０度の合成画
像を生成する装置であって、各魚眼画像を円筒面に投影
変換する第１手段、第１手段によって得られた各円筒投
影変換画像を接合する第２手段、および第２手段で得ら
れた合成画像を球面に投影変換する第３手段を備えてい
ることを特徴とする。
【００５５】第１手段としては、たとえば、正距円筒投
影法を用いて各魚眼画像を円筒面に投影変換するものが
用いられる。
影法を用いて各魚眼画像を円筒面に投影変換するものが
用いられる。
【００５６】第２手段としては、たとえば、接合すべき
２つの円筒投影変換画像の重なり部を抽出する手段、一
方の円筒投影変換画像における他方の円筒投影変換画像
との重なり部分から、両円筒投影変換画像間のオプティ
カルフローによる追跡に有効な複数の部分画像を特徴点
として抽出する手段、上記一方の円筒投影変換画像上の
各特徴点に対応する上記他方の円筒投影変換画像上の点
を、両円筒投影変換画像間のオプティカルフローに基づ
いて追跡する手段、上記追跡結果に基づいて、２つの円
筒投影変換画像間の幾何変換係数を算出する手段、およ
び得られた幾何変換係数に基づいて２つの円筒投影変換
画像を接合する手段を備えているものが用いられる。
２つの円筒投影変換画像の重なり部を抽出する手段、一
方の円筒投影変換画像における他方の円筒投影変換画像
との重なり部分から、両円筒投影変換画像間のオプティ
カルフローによる追跡に有効な複数の部分画像を特徴点
として抽出する手段、上記一方の円筒投影変換画像上の
各特徴点に対応する上記他方の円筒投影変換画像上の点
を、両円筒投影変換画像間のオプティカルフローに基づ
いて追跡する手段、上記追跡結果に基づいて、２つの円
筒投影変換画像間の幾何変換係数を算出する手段、およ
び得られた幾何変換係数に基づいて２つの円筒投影変換
画像を接合する手段を備えているものが用いられる。
【００５７】この発明による第１の画像合成方法は、魚
眼レンズが装着された撮像手段によって撮像された複数
枚の魚眼画像に基づいて、水平方向３６０度の合成画像
を生成する画像合成方法であって、各魚眼画像を円筒面
に投影変換する第１ステップ、および第１ステップによ
って得られた各円筒投影変換画像を接合する第２ステッ
プを備えていることを特徴とする。
眼レンズが装着された撮像手段によって撮像された複数
枚の魚眼画像に基づいて、水平方向３６０度の合成画像
を生成する画像合成方法であって、各魚眼画像を円筒面
に投影変換する第１ステップ、および第１ステップによ
って得られた各円筒投影変換画像を接合する第２ステッ
プを備えていることを特徴とする。
【００５８】第１ステップとしては、たとえば、心射円
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
【００５９】第２ステップとしては、たとえば、接合す
べき２つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、２つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て２つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
べき２つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、２つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て２つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
【００６０】この発明による第２の画像合成方法は、魚
眼レンズが装着された撮像手段によって撮像された複数
枚の魚眼画像に基づいて、全方位方向３６０度の合成画
像を生成する方法であって、各魚眼画像を円筒面に投影
変換する第１ステップ、第１ステップによって得られた
各円筒投影変換画像を接合する第２ステップ、および第
２ステップで得られた合成画像を球面に投影変換する第
３ステップを備えていることを特徴とする。
眼レンズが装着された撮像手段によって撮像された複数
枚の魚眼画像に基づいて、全方位方向３６０度の合成画
像を生成する方法であって、各魚眼画像を円筒面に投影
変換する第１ステップ、第１ステップによって得られた
各円筒投影変換画像を接合する第２ステップ、および第
２ステップで得られた合成画像を球面に投影変換する第
３ステップを備えていることを特徴とする。
【００６１】第１ステップとしては、たとえば、正距円
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
【００６２】第２ステップとしては、たとえば、接合す
べき２つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、２つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て２つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
べき２つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、２つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て２つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
【００６３】この発明による第１の画像合成処理プログ
ラムを記録したコンピュータ読み取り可能な記録媒体
は、魚眼レンズが装着された撮像手段によって撮像され
た複数枚の魚眼画像に基づいて、水平方向３６０度の合
成画像を生成するための画像合成処理プログラムを記録
したコンピュータ読み取り可能な記録媒体であって、各
魚眼画像を円筒面に投影変換する第１ステップ、および
第１ステップによって得られた各円筒投影変換画像を接
合する第２ステップをコンピュータに実行させるための
画像合成処理プログラムを記録していることを特徴とす
る。
ラムを記録したコンピュータ読み取り可能な記録媒体
は、魚眼レンズが装着された撮像手段によって撮像され
た複数枚の魚眼画像に基づいて、水平方向３６０度の合
成画像を生成するための画像合成処理プログラムを記録
したコンピュータ読み取り可能な記録媒体であって、各
魚眼画像を円筒面に投影変換する第１ステップ、および
第１ステップによって得られた各円筒投影変換画像を接
合する第２ステップをコンピュータに実行させるための
画像合成処理プログラムを記録していることを特徴とす
る。
【００６４】第１ステップとしては、たとえば、心射円
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
【００６５】第２ステップとしては、たとえば、接合す
べき２つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、２つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て２つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
べき２つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、２つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て２つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
【００６６】この発明による第２の画像合成処理プログ
ラムを記録したコンピュータ読み取り可能な記録媒体
は、魚眼レンズが装着された撮像手段によって撮像され
た複数枚の魚眼画像に基づいて、全方位方向３６０度の
合成画像を生成するための画像合成処理プログラムを記
録したコンピュータ読み取り可能な記録媒体であって、
各魚眼画像を円筒面に投影変換する第１ステップ、第１
ステップによって得られた各円筒投影変換画像を接合す
る第２ステップ、および第２ステップで得られた合成画
像を球面に投影変換する第３ステップをコンピュータに
実行させるための画像合成処理プログラムを記録してい
ることを特徴とする。
ラムを記録したコンピュータ読み取り可能な記録媒体
は、魚眼レンズが装着された撮像手段によって撮像され
た複数枚の魚眼画像に基づいて、全方位方向３６０度の
合成画像を生成するための画像合成処理プログラムを記
録したコンピュータ読み取り可能な記録媒体であって、
各魚眼画像を円筒面に投影変換する第１ステップ、第１
ステップによって得られた各円筒投影変換画像を接合す
る第２ステップ、および第２ステップで得られた合成画
像を球面に投影変換する第３ステップをコンピュータに
実行させるための画像合成処理プログラムを記録してい
ることを特徴とする。
【００６７】第１ステップとしては、たとえば、正距円
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
【００６８】第２ステップとしては、たとえば、接合す
べき２つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、２つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て２つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
べき２つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、２つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て２つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
【００６９】
【発明の実施の形態】以下、この発明を、水平３６０度
あるいは全方位方向の画像を、ユーザの視線に応じて対
話的に表示する人工現実感システムに適用した場合の実
施の形態について説明する。
あるいは全方位方向の画像を、ユーザの視線に応じて対
話的に表示する人工現実感システムに適用した場合の実
施の形態について説明する。
【００７０】〔１〕人工現実感システムの全体構成の説
明
明
【００７１】図７は、人工現実感システムの全体構成を
示している。この実施の形態による人工現実感システム
は、魚眼レンズが装着されたカメラによって撮像された
複数枚の画像に基づいて、水平３６０度あるいは全方位
方向の画像を生成するシステムである。
示している。この実施の形態による人工現実感システム
は、魚眼レンズが装着されたカメラによって撮像された
複数枚の画像に基づいて、水平３６０度あるいは全方位
方向の画像を生成するシステムである。
【００７２】人工現実感システムは、画像撮像部１、円
筒投影変換処理部２、画像接合処理部３、球面投影変換
処理部４および表示処理部５を備えている。この実施の
形態では、表示モードとして、水平３６０度の画像をユ
ーザの視線方向に応じて表示する円筒画像表示モード
と、全方位方向の画像をユーザの視線方向に応じて表示
する球面画像表示モードとがある。
筒投影変換処理部２、画像接合処理部３、球面投影変換
処理部４および表示処理部５を備えている。この実施の
形態では、表示モードとして、水平３６０度の画像をユ
ーザの視線方向に応じて表示する円筒画像表示モード
と、全方位方向の画像をユーザの視線方向に応じて表示
する球面画像表示モードとがある。
【００７３】画像撮像部１の撮像手段としては、魚眼レ
ンズを装着したカメラが用いられる。図８は、魚眼レン
ズのカメラモデルを示している。このモデルでは、3 次
元空間における視線方向( θ, φ) の対象物は、魚眼画
像上の座標( ｘ, ｙ) に次式１０で投影される。
ンズを装着したカメラが用いられる。図８は、魚眼レン
ズのカメラモデルを示している。このモデルでは、3 次
元空間における視線方向( θ, φ) の対象物は、魚眼画
像上の座標( ｘ, ｙ) に次式１０で投影される。
【００７４】
【数１０】
【００７５】ただし、c は、通常のレンズの焦点距離に
相当するパラメータである。
相当するパラメータである。
【００７６】魚眼レンズを装着したカメラによる撮像方
法には、２つの方法がある。第１は、カメラを三脚など
に固定し、水平回転しながら複数の画像を撮像する方法
である。この時、隣合う画像で重なり領域を持つように
撮像する。
法には、２つの方法がある。第１は、カメラを三脚など
に固定し、水平回転しながら複数の画像を撮像する方法
である。この時、隣合う画像で重なり領域を持つように
撮像する。
【００７７】第２は、カメラの投影中心を共有するよう
にカメラを複数台円周上に配置し、撮像する方法であ
る。この時、隣合うカメラで重なり領域を持つように配
置する。
にカメラを複数台円周上に配置し、撮像する方法であ
る。この時、隣合うカメラで重なり領域を持つように配
置する。
【００７８】円筒投影変換処理部２は、画像撮像部１に
よって得られた各魚眼画像をユーザによって指定された
表示モードに従って、心射円筒投影変換あるいは正距円
筒投影変換する。つまり、表示モードとして、円筒画像
表示モードが指定された場合には、画像撮像部１によっ
て得られた各魚眼画像を心射円筒投影変換する。表示モ
ードとして、球画像表示モードが指定された場合には、
画像撮像部１によって得られた各魚眼画像を正距円筒投
影変換する。
よって得られた各魚眼画像をユーザによって指定された
表示モードに従って、心射円筒投影変換あるいは正距円
筒投影変換する。つまり、表示モードとして、円筒画像
表示モードが指定された場合には、画像撮像部１によっ
て得られた各魚眼画像を心射円筒投影変換する。表示モ
ードとして、球画像表示モードが指定された場合には、
画像撮像部１によって得られた各魚眼画像を正距円筒投
影変換する。
【００７９】画像接合処理部３は、円筒投影変換された
各画像の重なり領域および円筒座標系での幾何変換パラ
メータを自動的に算出し、得られた幾何変換パラメータ
を用いて、円筒投影変換された各画像を接合する。
各画像の重なり領域および円筒座標系での幾何変換パラ
メータを自動的に算出し、得られた幾何変換パラメータ
を用いて、円筒投影変換された各画像を接合する。
【００８０】球面投影変換処理部４は、ユーザによって
球画像表示モードが指定された場合に、画像接合処理部
３によって接合された画像を球面に投影した画像を生成
する。
球画像表示モードが指定された場合に、画像接合処理部
３によって接合された画像を球面に投影した画像を生成
する。
【００８１】表示処理部５は、ユーザの視線方向に応じ
て、画像接合処理部３によって得られた円筒画像あるい
は球面投影変換処理部４によって得られた球面画像のい
ずれかから通常の透視投影画像を作成して、表示する。
て、画像接合処理部３によって得られた円筒画像あるい
は球面投影変換処理部４によって得られた球面画像のい
ずれかから通常の透視投影画像を作成して、表示する。
【００８２】円筒投影変換処理部２、画像接合処理部
３、球面投影変換処理部４および表示処理部５は、図９
に示すパーソナルコンピュータによって実現される。
３、球面投影変換処理部４および表示処理部５は、図９
に示すパーソナルコンピュータによって実現される。
【００８３】パーソナルコンピュータ１０には、ディス
プレイ２１、マウス２２およびキーボード２３が接続さ
れている。パーソナルコンピュータ１０は、ＣＰＵ１
１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭの
ようなリムーバブルディスクのドライブ（ディスクドラ
イブ）１４を備えている。
プレイ２１、マウス２２およびキーボード２３が接続さ
れている。パーソナルコンピュータ１０は、ＣＰＵ１
１、メモリ１２、ハードディスク１３、ＣＤ−ＲＯＭの
ようなリムーバブルディスクのドライブ（ディスクドラ
イブ）１４を備えている。
【００８４】ハードディスク１３には、ＯＳ（オペレー
ティングシステム）等の他、円筒投影変換処理、画像接
合処理、球面投影変換処理および表示処理等を行なうた
めの画像処理プログラムが格納されている。画像処理プ
ログラムは、それが格納されたＣＤ−ＲＯＭ２０を用い
て、ハードディスク１３にインストールされる。また、
ハードディスク１３には、画像撮像部１によって撮像さ
れかつ合成されるべき複数の魚眼画像が予め格納されて
いるものとする。
ティングシステム）等の他、円筒投影変換処理、画像接
合処理、球面投影変換処理および表示処理等を行なうた
めの画像処理プログラムが格納されている。画像処理プ
ログラムは、それが格納されたＣＤ−ＲＯＭ２０を用い
て、ハードディスク１３にインストールされる。また、
ハードディスク１３には、画像撮像部１によって撮像さ
れかつ合成されるべき複数の魚眼画像が予め格納されて
いるものとする。
【００８５】〔２〕 ＣＰＵ１１によって行われる全体
的な処理手順の説明。
的な処理手順の説明。
【００８６】図１０は、ＣＰＵ１１によって行われる全
体的な処理手順を示している。まず、合成されるべき複
数の魚眼画像をメモリ１２に読み込む（ステップ１）。
体的な処理手順を示している。まず、合成されるべき複
数の魚眼画像をメモリ１２に読み込む（ステップ１）。
【００８７】ユーザによって指定された表示モードが円
筒画像表示モードであるか球画像表示モードであるかを
判定する（ステップ２）。
筒画像表示モードであるか球画像表示モードであるかを
判定する（ステップ２）。
【００８８】ユーザによって指定された表示モードが円
筒画像表示モードである場合には、ステップ１で読み込
まれた各魚眼画像に対して心射円筒投影変換処理を行な
う（ステップ３）。ユーザによって指定された表示モー
ドが球画像表示モードである場合には、ステップ１で読
み込まれた各魚眼画像に対して正距円筒投影変換処理を
行なう（ステップ４）。
筒画像表示モードである場合には、ステップ１で読み込
まれた各魚眼画像に対して心射円筒投影変換処理を行な
う（ステップ３）。ユーザによって指定された表示モー
ドが球画像表示モードである場合には、ステップ１で読
み込まれた各魚眼画像に対して正距円筒投影変換処理を
行なう（ステップ４）。
【００８９】ステップ３またはステップ４によって各魚
眼画像に対応する円筒投影変換画像が得られると、これ
らの各円筒投影変換画像を接合するための画像接合処理
を行なう（ステップ５）。
眼画像に対応する円筒投影変換画像が得られると、これ
らの各円筒投影変換画像を接合するための画像接合処理
を行なう（ステップ５）。
【００９０】ユーザによって円筒画像表示モードが指定
されている場合には（ステップ６でＹＥＳ）、ステップ
５で接合された画像を円筒表示する（ステップ７）。ユ
ーザによって球画像表示モードが指定されている場合に
は（ステップ６でＮＯ）、ステップ５で接合された画像
に対して球面投影変換処理を行なう（ステップ８）。そ
して得られた画像を球表示する（ステップ９）。
されている場合には（ステップ６でＹＥＳ）、ステップ
５で接合された画像を円筒表示する（ステップ７）。ユ
ーザによって球画像表示モードが指定されている場合に
は（ステップ６でＮＯ）、ステップ５で接合された画像
に対して球面投影変換処理を行なう（ステップ８）。そ
して得られた画像を球表示する（ステップ９）。
【００９１】〔３〕図１０のステップ３または４の円筒
投影変換処理についての説明
投影変換処理についての説明
【００９２】図１０のステップ３またはステップ４で
は、各魚眼画像を、円筒面へ投影して変換する。ステッ
プ３の心射円筒投影は、レンズ中心から見た視線と円筒
面との交点とに基づいて画像を投影する方法である。ス
テップ４の正距円筒投影は、円筒の円周方向だけでなく
軸方向にも等距離に、画像を投影する方法である（アー
サー・Ｈ・ロビンソン, ランダル・Ｄ・セール, ジョエ
ル・Ｌ・モリソン, " 地図学の基礎,"地図情報センタ
ー, 1984）。
は、各魚眼画像を、円筒面へ投影して変換する。ステッ
プ３の心射円筒投影は、レンズ中心から見た視線と円筒
面との交点とに基づいて画像を投影する方法である。ス
テップ４の正距円筒投影は、円筒の円周方向だけでなく
軸方向にも等距離に、画像を投影する方法である（アー
サー・Ｈ・ロビンソン, ランダル・Ｄ・セール, ジョエ
ル・Ｌ・モリソン, " 地図学の基礎,"地図情報センタ
ー, 1984）。
【００９３】〔３−１〕心射円筒投影についての説明 図１１は、心射円筒投影のモデルを示している。
【００９４】魚眼レンズの視野角が１８０度の対象物
が、魚眼画像での中心から距離がＲの部分に投影されて
いるとする。ここで、半径がＲの球を考え、魚眼画像の
座標を一旦球に投影した後に、球に投影された画像の座
標をその球に接する円筒面へ投影する。
が、魚眼画像での中心から距離がＲの部分に投影されて
いるとする。ここで、半径がＲの球を考え、魚眼画像の
座標を一旦球に投影した後に、球に投影された画像の座
標をその球に接する円筒面へ投影する。
【００９５】レンズ中心から（θ, φ）方向の視線が、
球と交わる点Ｐ（θ, φ, Ｒ）を、円筒面に投影した点
Ｐ’の座標の( Ｘ, Ｙ) は、視線と円筒面との交点であ
り、次式１１で計算することができる。
球と交わる点Ｐ（θ, φ, Ｒ）を、円筒面に投影した点
Ｐ’の座標の( Ｘ, Ｙ) は、視線と円筒面との交点であ
り、次式１１で計算することができる。
【００９６】
【数１１】
【００９７】そして、円筒画像上の点Ｐ’( Ｘ, Ｙ) に
対応する魚眼画像上の点ｐ（ｘ, ｙ) は、次式１２で表
すことができる。
対応する魚眼画像上の点ｐ（ｘ, ｙ) は、次式１２で表
すことができる。
【００９８】
【数１２】
【００９９】更に、魚眼画像上の点ｐ（ｘ, ｙ) で与え
られた時の円筒画像上の点Ｐ’（Ｘ，Ｙ）は、次式１３
で求めることができる。
られた時の円筒画像上の点Ｐ’（Ｘ，Ｙ）は、次式１３
で求めることができる。
【０１００】
【数１３】
【０１０１】上記式１３によって、魚眼画像を心射円筒
投影を用いて、円筒画像に変換することができる。円筒
画像に変換された各画像は、ハードディスク１３に格納
される。
投影を用いて、円筒画像に変換することができる。円筒
画像に変換された各画像は、ハードディスク１３に格納
される。
【０１０２】〔３−２〕正距円筒投影についての説明
【０１０３】正距円筒投影は、円筒の円周方向だけでな
く、軸方向にも等距離に投影する方法である。
く、軸方向にも等距離に投影する方法である。
【０１０４】図１２は、正距円筒投影のモデルを示して
いる。上述した心射円筒投影では、球の上部と下部が円
筒面に投影されないのに対して、正距円筒投影では、球
の上部と下部も円筒面に投影することができる。また、
正距円筒投影は、球面上の２点間の距離が円筒面におい
て正しく比例するという特徴を持っている。
いる。上述した心射円筒投影では、球の上部と下部が円
筒面に投影されないのに対して、正距円筒投影では、球
の上部と下部も円筒面に投影することができる。また、
正距円筒投影は、球面上の２点間の距離が円筒面におい
て正しく比例するという特徴を持っている。
【０１０５】まず、心射円筒投影を用いた変換と同様に
半径Ｒの球を考える。この時、レンズ中心から( θ,
φ) 方向の視線が、球と交わる点Ｐ（θ, φ, Ｒ）を、
円筒面に投影した点Ｐ’の座標( Ｘ, Ｙ) は、次式１４
で計算することができる。
半径Ｒの球を考える。この時、レンズ中心から( θ,
φ) 方向の視線が、球と交わる点Ｐ（θ, φ, Ｒ）を、
円筒面に投影した点Ｐ’の座標( Ｘ, Ｙ) は、次式１４
で計算することができる。
【０１０６】
【数１４】
【０１０７】そして、円筒画像上の点Ｐ’（Ｘ, Ｙ) に
対応する魚眼画像上の点ｐ（ｘ，ｙ）は、次式１５で計
算することができる。
対応する魚眼画像上の点ｐ（ｘ，ｙ）は、次式１５で計
算することができる。
【０１０８】
【数１５】
【０１０９】また、魚眼画像上の点ｐ（ｘ，ｙ）が与え
られた時の円筒画像上の点Ｐ’（Ｘ，Ｙ）は、次式１６
で計算できる。
られた時の円筒画像上の点Ｐ’（Ｘ，Ｙ）は、次式１６
で計算できる。
【０１１０】
【数１６】
【０１１１】上記式１６によって、魚眼画像を正距円筒
投影を用いて、円筒画像に変換することができる。円筒
画像に変換された各画像は、ハードディスク１３に格納
される。
投影を用いて、円筒画像に変換することができる。円筒
画像に変換された各画像は、ハードディスク１３に格納
される。
【０１１２】〔４〕図１０のステップ５の画像接合処理
についての説明
についての説明
【０１１３】図１３は、図１０のステップ５で実行され
る画像接合処理手順を示している。
る画像接合処理手順を示している。
【０１１４】(I) まず、ユーザによって指定された接合
されるべき複数枚の画像（円筒投影変換された画像）が
メモリ１２に読み込まれる（ステップ１１）。説明の便
宜上、ここでは、重なり部を有する２枚の画像（第１画
像Ａ１及び第２画像Ａ２）を接合する場合について説明
する。
されるべき複数枚の画像（円筒投影変換された画像）が
メモリ１２に読み込まれる（ステップ１１）。説明の便
宜上、ここでは、重なり部を有する２枚の画像（第１画
像Ａ１及び第２画像Ａ２）を接合する場合について説明
する。
【０１１５】(II) 次に、第１画像Ａ１と第２画像Ａ２
との重なり部の抽出処理が行われる（ステップ１２）。
この重なり部の抽出処理は、たとえば、ＳＳＤ法（Sum
of Squared Difference)、正規化相互相関法に基づいて
行われる。
との重なり部の抽出処理が行われる（ステップ１２）。
この重なり部の抽出処理は、たとえば、ＳＳＤ法（Sum
of Squared Difference)、正規化相互相関法に基づいて
行われる。
【０１１６】（ａ）ＳＳＤ法の説明 ＳＳＤ法では、まず、重なり部を抽出すべき２枚の画像
Ａ１、Ａ２それぞれについて、原画像より解像度の低い
画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度画像
Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式
１７に示すように画素あたりの２乗誤差Ｅを用いて求め
られる。画像間の移動量（ｄ）が可能な範囲で変化せし
められ、Ｅが最も小さい移動量（ｄ）から、重なり部が
抽出される。
Ａ１、Ａ２それぞれについて、原画像より解像度の低い
画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度画像
Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、次式
１７に示すように画素あたりの２乗誤差Ｅを用いて求め
られる。画像間の移動量（ｄ）が可能な範囲で変化せし
められ、Ｅが最も小さい移動量（ｄ）から、重なり部が
抽出される。
【０１１７】
【数１７】
【０１１８】（ｂ）正規化相互相関法の説明 正規化相互相関法では、まず、重なり部を抽出すべき２
枚の画像Ａ１、Ａ２それぞれについて、原画像より解像
度の低い画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度
画像Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、
次式１８に示すように正規化相互相関係数Ｃを用いて求
められる。画像間の移動量（ｄ）が可能な範囲で変化せ
しめられ、Ｃが最も大きな移動量（ｄ）から、重なり部
が抽出される。
枚の画像Ａ１、Ａ２それぞれについて、原画像より解像
度の低い画像Ｉ1 ，Ｉ2 が生成される。２枚の低解像度
画像Ｉ1 ，Ｉ2 の重なり部分ω（サイズ：Ｍ×Ｎ）が、
次式１８に示すように正規化相互相関係数Ｃを用いて求
められる。画像間の移動量（ｄ）が可能な範囲で変化せ
しめられ、Ｃが最も大きな移動量（ｄ）から、重なり部
が抽出される。
【０１１９】
【数１８】
【０１２０】式１８において、Ｉ1 ￣、Ｉ2 ￣は、第１
画像を固定させ、第２画像をｄだけ移動させたときの、
両画像の重なり部における各画像それぞれの濃淡値の平
均である。また、σ1 、σ2 は、第１画像Ｉ1 を固定さ
せ、第２画像Ｉ2 をｄだけ移動させたときの、両画像の
重なり部における各画像それぞれの濃淡値の分散であ
る。
画像を固定させ、第２画像をｄだけ移動させたときの、
両画像の重なり部における各画像それぞれの濃淡値の平
均である。また、σ1 、σ2 は、第１画像Ｉ1 を固定さ
せ、第２画像Ｉ2 をｄだけ移動させたときの、両画像の
重なり部における各画像それぞれの濃淡値の分散であ
る。
【０１２１】(III) 次に、特徴点抽出処理が行われる
（ステップ１３）。つまり、第１画像Ａ１における第２
画像Ａ２との重なり部分から、追跡に有効な複数の部分
画像（矩形領域）が特徴点として抽出される。ただし、
各特徴点は互いに重ならないように抽出される。具体的
には、上述した固有値λmin （式８参照）の高い部分が
特徴点として抽出される。
（ステップ１３）。つまり、第１画像Ａ１における第２
画像Ａ２との重なり部分から、追跡に有効な複数の部分
画像（矩形領域）が特徴点として抽出される。ただし、
各特徴点は互いに重ならないように抽出される。具体的
には、上述した固有値λmin （式８参照）の高い部分が
特徴点として抽出される。
【０１２２】(IV) 次に、特徴点追跡処理が行われる
（ステップ１４）。つまり、抽出された第１画像Ａ１上
の特徴点に対する第２画像Ａ２上の位置が追跡される。
（ステップ１４）。つまり、抽出された第１画像Ａ１上
の特徴点に対する第２画像Ａ２上の位置が追跡される。
【０１２３】具体的には、まず、本出願人が開発したオ
プティカルフロー推定方法（従来技術の説明の欄の
〔２〕参照）によって、適当なサイズ（例えば、１３×
１３）のパッチ毎のオプティカルフローベクトルが求め
られる。第１画像Ａ１上の特徴点に対応する第２画像Ａ
２上の位置は、第１画像Ａ１上の特徴点の４近傍のパッ
チのフローベクトルから線形補間により画素単位以下で
求められる。これにより、第１画像Ａ１と第２画像Ａ２
との重なり部において、両画像の対応点の座標が得られ
る。
プティカルフロー推定方法（従来技術の説明の欄の
〔２〕参照）によって、適当なサイズ（例えば、１３×
１３）のパッチ毎のオプティカルフローベクトルが求め
られる。第１画像Ａ１上の特徴点に対応する第２画像Ａ
２上の位置は、第１画像Ａ１上の特徴点の４近傍のパッ
チのフローベクトルから線形補間により画素単位以下で
求められる。これにより、第１画像Ａ１と第２画像Ａ２
との重なり部において、両画像の対応点の座標が得られ
る。
【０１２４】(V) 第１画像に第２画像を接合する場合に
は、上記ステップ１４で求められた第１画像Ａ１と第２
画像Ａ２との対応点の座標に基づいて、第２画像Ａ２内
の各画素の座標を第１画像Ａ１上の座標に変換するため
の幾何変換行列（幾何変換係数）を算出する（ステップ
１５）。第２画像に第１画像を接合する場合には、第１
画像Ａ１内の各画素の座標を第２画像Ａ２上の座標に変
換するための幾何変換行列（幾何変換係数）を算出すれ
ばよい。
は、上記ステップ１４で求められた第１画像Ａ１と第２
画像Ａ２との対応点の座標に基づいて、第２画像Ａ２内
の各画素の座標を第１画像Ａ１上の座標に変換するため
の幾何変換行列（幾何変換係数）を算出する（ステップ
１５）。第２画像に第１画像を接合する場合には、第１
画像Ａ１内の各画素の座標を第２画像Ａ２上の座標に変
換するための幾何変換行列（幾何変換係数）を算出すれ
ばよい。
【０１２５】幾何変換行列としては、２次元平行移動の
ための行列または２次元剛体変換行列が用いられる。
ための行列または２次元剛体変換行列が用いられる。
【０１２６】この段階では、第２画像Ａ２内の各画素の
座標を第１画像Ａ１上の座標に変換しないが、第２画像
Ａ２内の各画素の座標（ｘ，ｙ，１）を第１画像Ａ１の
座標（ｘ’，ｙ’，１）に変換する式は、次式１９また
は次式２０で表される。
座標を第１画像Ａ１上の座標に変換しないが、第２画像
Ａ２内の各画素の座標（ｘ，ｙ，１）を第１画像Ａ１の
座標（ｘ’，ｙ’，１）に変換する式は、次式１９また
は次式２０で表される。
【０１２７】
【数１９】
【０１２８】
【数２０】
【０１２９】上記式１９は、幾何変換行列として２次元
平行移動のための行列を用いた場合の変換式を示し、上
記式２０は、幾何変換行列として２次元剛体変換行列を
用いた場合の変換式を示している。
平行移動のための行列を用いた場合の変換式を示し、上
記式２０は、幾何変換行列として２次元剛体変換行列を
用いた場合の変換式を示している。
【０１３０】上記式１９において、（ｔx ，ｔy ）は平
行移動量を示し、ｋは零でない任意の定数を示してい
る。また、上記式２０において、（ｔx ，ｔy ）は平行
移動量を示し、θは回転角を示し、ｋは零でない任意の
定数を示している。
行移動量を示し、ｋは零でない任意の定数を示してい
る。また、上記式２０において、（ｔx ，ｔy ）は平行
移動量を示し、θは回転角を示し、ｋは零でない任意の
定数を示している。
【０１３１】(VI) 次に、画素値調合の重み（画素値調
合係数）を算出する（ステップ１６）。
合係数）を算出する（ステップ１６）。
【０１３２】１台のカメラを移動させて複数の画像を撮
像した場合や、複数のカメラで複数の画像を撮像した場
合には、自動露出調整機能が動作することにより、画像
間の明るさが異なってしまう。
像した場合や、複数のカメラで複数の画像を撮像した場
合には、自動露出調整機能が動作することにより、画像
間の明るさが異なってしまう。
【０１３３】そこで、接合されるべき第１画像と第２画
像とが重なる領域では、各画像の画素値を調合する処理
を後処理として行なう。画素値調合処理は、両画像の重
なり領域の画素値を画像間で滑らかに変化させることに
より、明るさの差異を目立たなくさせる処理である。ま
た、この処理は、同時に、幾何学変換による合成誤差も
目立たなくさせることができる。
像とが重なる領域では、各画像の画素値を調合する処理
を後処理として行なう。画素値調合処理は、両画像の重
なり領域の画素値を画像間で滑らかに変化させることに
より、明るさの差異を目立たなくさせる処理である。ま
た、この処理は、同時に、幾何学変換による合成誤差も
目立たなくさせることができる。
【０１３４】この実施の形態では、各画像の重心からの
距離に基づいて両画像の重なり領域の画素値を調合す
る。
距離に基づいて両画像の重なり領域の画素値を調合す
る。
【０１３５】まず、第１画像の重心位置Ｇ1 を求める。
また、第２画像を第１画像に接合した合成画像上で、第
２画像の重心位置Ｇ2 を、接合のために使用される変換
式（上記式１９式または上記式２０式）に基づいて求め
る。
また、第２画像を第１画像に接合した合成画像上で、第
２画像の重心位置Ｇ2 を、接合のために使用される変換
式（上記式１９式または上記式２０式）に基づいて求め
る。
【０１３６】次に、第１画像の４頂点（４隅）の位置を
それぞれ求める。また、第２画像を第１画像に接合した
合成画像上で、第２画像の４頂点の位置を、接合に使用
される変換式（上記式１９式または上記式２０式）に基
づいて求める。これにより、合成画像上における第１画
像の４頂点の位置および第２画像の４頂点の位置が分か
るので、合成画像上において第１画像と第２画像との重
なり領域を抽出する。
それぞれ求める。また、第２画像を第１画像に接合した
合成画像上で、第２画像の４頂点の位置を、接合に使用
される変換式（上記式１９式または上記式２０式）に基
づいて求める。これにより、合成画像上における第１画
像の４頂点の位置および第２画像の４頂点の位置が分か
るので、合成画像上において第１画像と第２画像との重
なり領域を抽出する。
【０１３７】合成画像上での第１画像と第２画像との重
なり領域内の各画素（画素値調合対象画素）から第１画
像と第２画像のそれぞれの画像の重心位置Ｇ1 、Ｇ2 ま
での距離に応じて、当該画素値調合対象画素の画素値の
重みを決定する。この重みは、画素値調合対象画素から
重心までの距離が近い方の画像の画素値を大きくするよ
うに決定する。
なり領域内の各画素（画素値調合対象画素）から第１画
像と第２画像のそれぞれの画像の重心位置Ｇ1 、Ｇ2 ま
での距離に応じて、当該画素値調合対象画素の画素値の
重みを決定する。この重みは、画素値調合対象画素から
重心までの距離が近い方の画像の画素値を大きくするよ
うに決定する。
【０１３８】つまり、合成画像上での第１画像と第２画
像との重なり領域内の画素値調合対象画素の座標から、
合成画像上での第１画像の重心位置Ｇ1 までのユークリ
ッド距離をｄ1 、合成画像上での第２画像の重心位置Ｇ
2 までのユークリッド距離をｄ2 とすると、画素値調合
対象画素における第１画像の画素値に対する重みｗ1お
よび第２画像の画素値に対する重みｗ2 は、次式２１で
表される。
像との重なり領域内の画素値調合対象画素の座標から、
合成画像上での第１画像の重心位置Ｇ1 までのユークリ
ッド距離をｄ1 、合成画像上での第２画像の重心位置Ｇ
2 までのユークリッド距離をｄ2 とすると、画素値調合
対象画素における第１画像の画素値に対する重みｗ1お
よび第２画像の画素値に対する重みｗ2 は、次式２１で
表される。
【０１３９】
【数２１】
【０１４０】各画素値調合対象画素に対して式２１に基
づいて重みｗ1 およびｗ2 を算出し、画素値調合対象画
素に対する重みｗ1 およびｗ2 のテーブル（重みテーブ
ル）を作成する。
づいて重みｗ1 およびｗ2 を算出し、画素値調合対象画
素に対する重みｗ1 およびｗ2 のテーブル（重みテーブ
ル）を作成する。
【０１４１】(VII) 次に、画像を合成する（ステップ
１７）。
１７）。
【０１４２】つまり、上記式１９または上記式２０を用
いて第２画像を第１画像の座標系に描画する。
いて第２画像を第１画像の座標系に描画する。
【０１４３】この際、ステップ１６で得られた重みテー
ブルに基づいて、第１画像と第２画像の重なり領域の画
素値Ｐ1 、Ｐ2 を画素調合する。すなわち、次式２２に
より、各画素値調合対象画素の画素値Ｐi を算出する。
ブルに基づいて、第１画像と第２画像の重なり領域の画
素値Ｐ1 、Ｐ2 を画素調合する。すなわち、次式２２に
より、各画素値調合対象画素の画素値Ｐi を算出する。
【０１４４】
【数２２】
【０１４５】〔８〕図１０のステップ８の球面投影変換
処理についての説明
処理についての説明
【０１４６】図１０のステップ８では、ステップ５で得
られた合成画像（円筒画像）を球に投影した画像を生成
する。方形画像を球などの基本幾何構成要素に投影する
方法は、テクスチャマッピングと呼ばれ、既によく知ら
れているので、その詳細な説明については省略する(Jam
es Foley et. al, "Computer Graphics PRINCIPLES AND
PRACTICE", Addison-Wesley Publishing Company, 199
6)。
られた合成画像（円筒画像）を球に投影した画像を生成
する。方形画像を球などの基本幾何構成要素に投影する
方法は、テクスチャマッピングと呼ばれ、既によく知ら
れているので、その詳細な説明については省略する(Jam
es Foley et. al, "Computer Graphics PRINCIPLES AND
PRACTICE", Addison-Wesley Publishing Company, 199
6)。
【０１４７】
〔９〕図１０のステップ７または９の表示
処理についての説明
処理についての説明
【０１４８】図１０のステップ７では、図１０のステッ
プ５で得られた円筒投影変換画像をユーザの視線方向に
応じて透視投影画像に変換して表示させる。
プ５で得られた円筒投影変換画像をユーザの視線方向に
応じて透視投影画像に変換して表示させる。
【０１４９】図１０のステップ９では、図１０のステッ
プ８で球面投影変換処理によって得られた球投影変換画
像の中心にユーザの視点の位置を配置する。そして、ユ
ーザの視線方向に応じて、球投影変換画像を透視投影画
像に変換して表示させる。
プ８で球面投影変換処理によって得られた球投影変換画
像の中心にユーザの視点の位置を配置する。そして、ユ
ーザの視線方向に応じて、球投影変換画像を透視投影画
像に変換して表示させる。
【０１５０】上記実施の形態によれば、撮像手段として
魚眼レンズを装着したカメラを用いることで、広い画角
を獲得し、水平３６０度あるいは全方位方向の画像を生
成するために必要な画像の枚数を少なくすることがで
き、また全方位センサのように１台のカメラで全視野を
獲得するものに比べて解像度を向上させることができ
る。
魚眼レンズを装着したカメラを用いることで、広い画角
を獲得し、水平３６０度あるいは全方位方向の画像を生
成するために必要な画像の枚数を少なくすることがで
き、また全方位センサのように１台のカメラで全視野を
獲得するものに比べて解像度を向上させることができ
る。
【０１５１】また、上記実施の形態によれば、魚眼レン
ズが装着されたカメラ１台を三脚に固定して水平方向に
回転するか、あるいは、魚眼レンズが装着された複数台
のカメラを円周上に配置して、少しずつ重なりのある画
像を撮像することによって、各撮像画像を接合してパノ
ラマ画像に合成することができる。
ズが装着されたカメラ１台を三脚に固定して水平方向に
回転するか、あるいは、魚眼レンズが装着された複数台
のカメラを円周上に配置して、少しずつ重なりのある画
像を撮像することによって、各撮像画像を接合してパノ
ラマ画像に合成することができる。
【０１５２】また、上記実施の形態によれば、魚眼レン
ズが装着されたカメラによって撮像された各画像を、円
筒投影変換画像に変換し、円筒面上に投影された各画像
を接合しているので、自動的に接合処理を行うことが可
能となる。
ズが装着されたカメラによって撮像された各画像を、円
筒投影変換画像に変換し、円筒面上に投影された各画像
を接合しているので、自動的に接合処理を行うことが可
能となる。
【０１５３】また、上記実施の形態による画像接合処理
方法を用いることによって、各魚眼画像を円筒投影変換
した画像から、パノラマ画像を自動的に合成することが
できる。
方法を用いることによって、各魚眼画像を円筒投影変換
した画像から、パノラマ画像を自動的に合成することが
できる。
【０１５４】また、上記実施の形態によれば、円筒面に
投影された画像を透視投影画像に変換して表示する表示
モードと、球面に投影された画像を透視投影画像に変換
して表示する表示モードとを、ユーザに選択させること
ができる。
投影された画像を透視投影画像に変換して表示する表示
モードと、球面に投影された画像を透視投影画像に変換
して表示する表示モードとを、ユーザに選択させること
ができる。
【０１５５】
【発明の効果】この発明によれば、水平方向３６０度の
合成画像を自動的に生成するのに適した、画像合成装
置、画像合成方法、画像合成プログラムを記録したコン
ピュータ読み取り可能な記録媒体が得られる。
合成画像を自動的に生成するのに適した、画像合成装
置、画像合成方法、画像合成プログラムを記録したコン
ピュータ読み取り可能な記録媒体が得られる。
【０１５６】また、この発明によれば、全方位方向３６
０度の合成画像を自動的に生成するのに適した、画像合
成装置、画像合成方法、画像合成プログラムを記録した
コンピュータ読み取り可能な記録媒体が得られる。
０度の合成画像を自動的に生成するのに適した、画像合
成装置、画像合成方法、画像合成プログラムを記録した
コンピュータ読み取り可能な記録媒体が得られる。
【図１】図１は、階層的推定法を説明するための図であ
って、階層１の画像を示す模式図である。
って、階層１の画像を示す模式図である。
【図２】図２は、階層的推定法を説明するための図であ
って、階層２の画像を示す模式図である。
って、階層２の画像を示す模式図である。
【図３】図３は、階層的推定法を説明するための図であ
って、階層３の画像を示す模式図である。
って、階層３の画像を示す模式図である。
【図４】図４は、階層的推定法を説明するための図であ
って、階層４の画像を示す模式図である。
って、階層４の画像を示す模式図である。
【図５】図５は、実施例で採用されたオプティカルフロ
ー推定方法において行われる膨張処理を説明するための
模式図である。
ー推定方法において行われる膨張処理を説明するための
模式図である。
【図６】図６（ａ）は、ある階層の画像に対してしきい
値処理されたオプティカルフローの例を示す模式図であ
り、図６（ｂ）は、補完後のオプティカルフローを示す
模式図である。
値処理されたオプティカルフローの例を示す模式図であ
り、図６（ｂ）は、補完後のオプティカルフローを示す
模式図である。
【図７】図７は、人工現実感システムの全体構成を示す
機能ブロック図である。
機能ブロック図である。
【図８】図８は、魚眼レンズのカメラモデルを示す模式
図である。
図である。
【図９】図９は、円筒投影変換部２、画像接合処理部
３、球面投影変換部４および表示処理部５を実現するた
めのパーソナルコンピュータの構成を示すブロック図で
ある。
３、球面投影変換部４および表示処理部５を実現するた
めのパーソナルコンピュータの構成を示すブロック図で
ある。
【図１０】図１０は、ＣＰＵ１１によって行われる全体
的な処理手順を示すフローチャートである。
的な処理手順を示すフローチャートである。
【図１１】図１１は、心射円筒投影のモデルを示す模式
図である。
図である。
【図１２】図１２は、正距円筒投影のモデルを示す模式
図である。
図である。
【図１３】図１３は、図１０のステップ５で実行される
画像接合処理手順を示すフローチャートである。
画像接合処理手順を示すフローチャートである。
１ 画像撮像部 ２ 円筒投影変換部 ３ 画像接合処理部 ４ 球面投影変換部 ５ 表示処理部 １０ パーソナルコンピュータ １１ ＣＰＵ １２ メモリ １３ ハードディスク １４ ディスクドライブ
フロントページの続き (72)発明者 畑中 晴雄 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内 Ｆターム(参考） 5B057 BA11 CD16 CD17 CE10 DA20 DB06 DC06 5C023 AA03 AA04 AA11 AA31 AA37 CA03 EA03 5L096 BA20 CA02 FA60 HA05
Claims (18)
- 【請求項１】 魚眼レンズが装着された撮像手段によっ
て撮像された複数枚の魚眼画像に基づいて、水平方向３
６０度の合成画像を生成する画像合成装置であって、 各魚眼画像を円筒面に投影変換する第１手段、および第
１手段によって得られた各円筒投影変換画像を接合する
第２手段、 を備えていることを特徴とする画像合成装置。 - 【請求項２】 第１手段は、心射円筒投影法を用いて各
魚眼画像を円筒面に投影変換することを特徴とする請求
項１に記載の画像合成装置。 - 【請求項３】 第２手段は、 接合すべき２つの円筒投影変換画像の重なり部を抽出す
る手段、 一方の円筒投影変換画像における他方の円筒投影変換画
像との重なり部分から、両円筒投影変換画像間のオプテ
ィカルフローによる追跡に有効な複数の部分画像を特徴
点として抽出する手段、 上記一方の円筒投影変換画像上の各特徴点に対応する上
記他方の円筒投影変換画像上の点を、両円筒投影変換画
像間のオプティカルフローに基づいて追跡する手段、 上記追跡結果に基づいて、２つの円筒投影変換画像間の
幾何変換係数を算出する手段、および得られた幾何変換
係数に基づいて２つの円筒投影変換画像を接合する手
段、 を備えていることを特徴とする請求項１および２のいず
れかに記載の画像合成装置。 - 【請求項４】 魚眼レンズが装着された撮像手段によっ
て撮像された複数枚の魚眼画像に基づいて、全方位方向
３６０度の合成画像を生成する装置であって、 各魚眼画像を円筒面に投影変換する第１手段、 第１手段によって得られた各円筒投影変換画像を接合す
る第２手段、および第２手段で得られた合成画像を球面
に投影変換する第３手段、 を備えていることを特徴とする画像合成装置。 - 【請求項５】 第１手段は、正距円筒投影法を用いて各
魚眼画像を円筒面に投影変換することを特徴とする請求
項４に記載の画像合成装置。 - 【請求項６】 第２手段は、 接合すべき２つの円筒投影変換画像の重なり部を抽出す
る手段、 一方の円筒投影変換画像における他方の円筒投影変換画
像との重なり部分から、両円筒投影変換画像間のオプテ
ィカルフローによる追跡に有効な複数の部分画像を特徴
点として抽出する手段、 上記一方の円筒投影変換画像上の各特徴点に対応する上
記他方の円筒投影変換画像上の点を、両円筒投影変換画
像間のオプティカルフローに基づいて追跡する手段、 上記追跡結果に基づいて、２つの円筒投影変換画像間の
幾何変換係数を算出する手段、および得られた幾何変換
係数に基づいて２つの円筒投影変換画像を接合する手
段、 を備えていることを特徴とする請求項４および５のいず
れかに記載の画像合成装置。 - 【請求項７】 魚眼レンズが装着された撮像手段によっ
て撮像された複数枚の魚眼画像に基づいて、水平方向３
６０度の合成画像を生成する画像合成方法であって、 各魚眼画像を円筒面に投影変換する第１ステップ、およ
び第１ステップによって得られた各円筒投影変換画像を
接合する第２ステップ、 を備えていることを特徴とする画像合成方法。 - 【請求項８】 第１ステップは、心射円筒投影法を用い
て各魚眼画像を円筒面に投影変換することを特徴とする
請求項７に記載の画像合成方法。 - 【請求項９】 第２ステップは、 接合すべき２つの円筒投影変換画像の重なり部を抽出す
るステップ、 一方の円筒投影変換画像における他方の円筒投影変換画
像との重なり部分から、両円筒投影変換画像間のオプテ
ィカルフローによる追跡に有効な複数の部分画像を特徴
点として抽出するステップ、 上記一方の円筒投影変換画像上の各特徴点に対応する上
記他方の円筒投影変換画像上の点を、両円筒投影変換画
像間のオプティカルフローに基づいて追跡するステッ
プ、 上記追跡結果に基づいて、２つの円筒投影変換画像間の
幾何変換係数を算出するステップ、および得られた幾何
変換係数に基づいて２つの円筒投影変換画像を接合する
ステップ、 を備えていることを特徴とする請求項７および８のいず
れかに記載の画像合成方法。 - 【請求項１０】 魚眼レンズが装着された撮像手段によ
って撮像された複数枚の魚眼画像に基づいて、全方位方
向３６０度の合成画像を生成する方法であって、 各魚眼画像を円筒面に投影変換する第１ステップ、 第１ステップによって得られた各円筒投影変換画像を接
合する第２ステップ、および第２ステップで得られた合
成画像を球面に投影変換する第３ステップ、 を備えていることを特徴とする画像合成方法。 - 【請求項１１】 第１ステップは、正距円筒投影法を用
いて各魚眼画像を円筒面に投影変換することを特徴とす
る請求項１０に記載の画像合成方法。 - 【請求項１２】 第２ステップは、 接合すべき２つの円筒投影変換画像の重なり部を抽出す
るステップ、 一方の円筒投影変換画像における他方の円筒投影変換画
像との重なり部分から、両円筒投影変換画像間のオプテ
ィカルフローによる追跡に有効な複数の部分画像を特徴
点として抽出するステップ、 上記一方の円筒投影変換画像上の各特徴点に対応する上
記他方の円筒投影変換画像上の点を、両円筒投影変換画
像間のオプティカルフローに基づいて追跡するステッ
プ、 上記追跡結果に基づいて、２つの円筒投影変換画像間の
幾何変換係数を算出するステップ、および得られた幾何
変換係数に基づいて２つの円筒投影変換画像を接合する
ステップ、 を備えていることを特徴とする請求項１０および１１の
いずれかに記載の画像合成方法。 - 【請求項１３】 魚眼レンズが装着された撮像手段によ
って撮像された複数枚の魚眼画像に基づいて、水平方向
３６０度の合成画像を生成するための画像合成処理プロ
グラムを記録したコンピュータ読み取り可能な記録媒体
であって、 各魚眼画像を円筒面に投影変換する第１ステップ、およ
び第１ステップによって得られた各円筒投影変換画像を
接合する第２ステップ、をコンピュータに実行させるた
めの画像合成処理プログラムを記録したコンピュータ読
み取り可能な記録媒体。 - 【請求項１４】 第１ステップは、心射円筒投影法を用
いて各魚眼画像を円筒面に投影変換することを特徴とす
る請求項１３に記載の画像合成処理プログラムを記録し
たコンピュータ読み取り可能な記録媒体。 - 【請求項１５】 第２ステップは、 接合すべき２つの円筒投影変換画像の重なり部を抽出す
るステップ、 一方の円筒投影変換画像における他方の円筒投影変換画
像との重なり部分から、両円筒投影変換画像間のオプテ
ィカルフローによる追跡に有効な複数の部分画像を特徴
点として抽出するステップ、 上記一方の円筒投影変換画像上の各特徴点に対応する上
記他方の円筒投影変換画像上の点を、両円筒投影変換画
像間のオプティカルフローに基づいて追跡するステッ
プ、 上記追跡結果に基づいて、２つの円筒投影変換画像間の
幾何変換係数を算出するステップ、および得られた幾何
変換係数に基づいて２つの円筒投影変換画像を接合する
ステップ、 を備えていることを特徴とする請求項１３および１４の
いずれかに記載の画像合成処理プログラムを記録したコ
ンピュータ読み取り可能な記録媒体。 - 【請求項１６】 魚眼レンズが装着された撮像手段によ
って撮像された複数枚の魚眼画像に基づいて、全方位方
向３６０度の合成画像を生成するための画像合成処理プ
ログラムを記録したコンピュータ読み取り可能な記録媒
体であって、 各魚眼画像を円筒面に投影変換する第１ステップ、 第１ステップによって得られた各円筒投影変換画像を接
合する第２ステップ、および第２ステップで得られた合
成画像を球面に投影変換する第３ステップ、 をコンピュータに実行させるための画像合成処理プログ
ラムを記録したコンピュータ読み取り可能な記録媒体。 - 【請求項１７】 第１ステップは、正距円筒投影法を用
いて各魚眼画像を円筒面に投影変換することを特徴とす
る請求項１６に記載の画像合成処理プログラムを記録し
たコンピュータ読み取り可能な記録媒体。 - 【請求項１８】 第２ステップは、 接合すべき２つの円筒投影変換画像の重なり部を抽出す
るステップ、 一方の円筒投影変換画像における他方の円筒投影変換画
像との重なり部分から、両円筒投影変換画像間のオプテ
ィカルフローによる追跡に有効な複数の部分画像を特徴
点として抽出するステップ、 上記一方の円筒投影変換画像上の各特徴点に対応する上
記他方の円筒投影変換画像上の点を、両円筒投影変換画
像間のオプティカルフローに基づいて追跡するステッ
プ、 上記追跡結果に基づいて、２つの円筒投影変換画像間の
幾何変換係数を算出するステップ、および得られた幾何
変換係数に基づいて２つの円筒投影変換画像を接合する
ステップ、 を備えていることを特徴とする請求項１６および１７の
いずれかに記載の画像合成処理プログラムを記録したコ
ンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000070848A JP2001256492A (ja) | 2000-03-14 | 2000-03-14 | 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000070848A JP2001256492A (ja) | 2000-03-14 | 2000-03-14 | 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2001256492A true JP2001256492A (ja) | 2001-09-21 |
Family
ID=18589517
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000070848A Pending JP2001256492A (ja) | 2000-03-14 | 2000-03-14 | 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2001256492A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007049276A (ja) * | 2005-08-08 | 2007-02-22 | Sanyo Electric Co Ltd | 車載パノラマカメラシステム |
| CN102663734A (zh) * | 2012-03-15 | 2012-09-12 | 天津理工大学 | 鱼眼镜头的标定及鱼眼图像的畸变矫正方法 |
| JP2015124189A (ja) * | 2013-12-26 | 2015-07-06 | 日本メナード化粧品株式会社 | 皮脂合成抑制剤 |
| JP2017022742A (ja) * | 2016-09-06 | 2017-01-26 | 株式会社リコー | 画像処理装置、画像処理方法、撮像装置、及びシステム |
| JP2017034362A (ja) * | 2015-07-29 | 2017-02-09 | 株式会社リコー | 動画表示装置、動画表示方法、およびプログラム |
| US11037327B2 (en) | 2017-09-22 | 2021-06-15 | Fujitsu Limited | Camera control method, camera control device, and non-transitory computer-readable storage medium |
-
2000
- 2000-03-14 JP JP2000070848A patent/JP2001256492A/ja active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007049276A (ja) * | 2005-08-08 | 2007-02-22 | Sanyo Electric Co Ltd | 車載パノラマカメラシステム |
| JP4679293B2 (ja) * | 2005-08-08 | 2011-04-27 | 三洋電機株式会社 | 車載パノラマカメラシステム |
| CN102663734A (zh) * | 2012-03-15 | 2012-09-12 | 天津理工大学 | 鱼眼镜头的标定及鱼眼图像的畸变矫正方法 |
| JP2015124189A (ja) * | 2013-12-26 | 2015-07-06 | 日本メナード化粧品株式会社 | 皮脂合成抑制剤 |
| JP2017034362A (ja) * | 2015-07-29 | 2017-02-09 | 株式会社リコー | 動画表示装置、動画表示方法、およびプログラム |
| JP2017022742A (ja) * | 2016-09-06 | 2017-01-26 | 株式会社リコー | 画像処理装置、画像処理方法、撮像装置、及びシステム |
| US11037327B2 (en) | 2017-09-22 | 2021-06-15 | Fujitsu Limited | Camera control method, camera control device, and non-transitory computer-readable storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109242873B (zh) | 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 | |
| JP3435084B2 (ja) | オプティカルフロー推定方法および画像合成方法 | |
| US5963664A (en) | Method and system for image combination using a parallax-based technique | |
| JP6201476B2 (ja) | 自由視点画像撮像装置およびその方法 | |
| EP2383699B1 (en) | Method for estimating a pose of an articulated object model | |
| US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
| US20190141247A1 (en) | Threshold determination in a ransac algorithm | |
| EP0930585B1 (en) | Image processing apparatus | |
| US6473536B1 (en) | Image synthesis method, image synthesizer, and recording medium on which image synthesis program is recorded | |
| US20020164067A1 (en) | Nearest neighbor edge selection from feature tracking | |
| SG189284A1 (en) | Rapid 3d modeling | |
| Simon | Tracking-by-synthesis using point features and pyramidal blurring | |
| JP2001274973A (ja) | 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3557168B2 (ja) | レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2000155831A (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| Dai et al. | Freely explore the scene with 360 field of view | |
| JP2001256492A (ja) | 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3540696B2 (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
| JP2002094849A (ja) | 広視野画像撮像装置 | |
| JP2004046573A (ja) | チルト角算出方法、円筒パノラマ画像合成方法、ならびに円筒パノラマ画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP3979811B2 (ja) | 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2001222707A (ja) | 中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体 | |
| JP3384764B2 (ja) | 画像の対応領域抽出方法、画像合成方法、画像合成装置、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JP2002170111A (ja) | 画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体 | |
| Kang et al. | Creating walk-through images from a video sequence of a dynamic scene |