JP2001256492A - 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents
画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体Info
- Publication number
- JP2001256492A JP2001256492A JP2000070848A JP2000070848A JP2001256492A JP 2001256492 A JP2001256492 A JP 2001256492A JP 2000070848 A JP2000070848 A JP 2000070848A JP 2000070848 A JP2000070848 A JP 2000070848A JP 2001256492 A JP2001256492 A JP 2001256492A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- transformed
- cylindrically
- cylindrical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 111
- 238000005304 joining Methods 0.000 claims abstract description 44
- 238000006243 chemical reaction Methods 0.000 claims abstract description 37
- 238000003384 imaging method Methods 0.000 claims abstract description 8
- 230000003287 optical effect Effects 0.000 claims description 57
- 230000002194 synthesizing effect Effects 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 20
- 239000002131 composite material Substances 0.000 claims description 15
- 230000001131 transforming effect Effects 0.000 claims description 14
- 239000000203 mixture Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 11
- 239000013598 vector Substances 0.000 description 10
- 230000015572 biosynthetic process Effects 0.000 description 8
- 238000003786 synthesis reaction Methods 0.000 description 8
- 230000005484 gravity Effects 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 3
- 230000010339 dilation Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 238000002156 mixing Methods 0.000 description 2
- 230000000877 morphologic effect Effects 0.000 description 2
- 101000917858 Homo sapiens Low affinity immunoglobulin gamma Fc region receptor III-A Proteins 0.000 description 1
- 101000917839 Homo sapiens Low affinity immunoglobulin gamma Fc region receptor III-B Proteins 0.000 description 1
- 102100029185 Low affinity immunoglobulin gamma Fc region receptor III-B Human genes 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000005429 filling process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 この発明は、水平方向360度の合成画像を
自動的に生成するのに適した、画像合成装置を提供する
ことを目的とする。 【解決手段】 この発明による第1の画像合成装置は、
魚眼レンズが装着された撮像手段によって撮像された複
数枚の魚眼画像に基づいて、水平方向360度の合成画
像を生成する画像合成装置であって、各魚眼画像を円筒
面に投影変換する第1手段、および第1手段によって得
られた各円筒投影変換画像を接合する第2手段を備えて
いる。
自動的に生成するのに適した、画像合成装置を提供する
ことを目的とする。 【解決手段】 この発明による第1の画像合成装置は、
魚眼レンズが装着された撮像手段によって撮像された複
数枚の魚眼画像に基づいて、水平方向360度の合成画
像を生成する画像合成装置であって、各魚眼画像を円筒
面に投影変換する第1手段、および第1手段によって得
られた各円筒投影変換画像を接合する第2手段を備えて
いる。
Description
【0001】
【発明の属する技術分野】この発明は、水平方向360
度あるいは全方位方向360度の合成画像を自動的に生
成し臨場感高く提示する人工現実感システムに適用され
る、画像合成装置、画像合成方法、画像合成プログラム
を記録したコンピュータ読み取り可能な記録媒体に関す
る。
度あるいは全方位方向360度の合成画像を自動的に生
成し臨場感高く提示する人工現実感システムに適用され
る、画像合成装置、画像合成方法、画像合成プログラム
を記録したコンピュータ読み取り可能な記録媒体に関す
る。
【0002】
【従来の技術】〔1〕従来のオプテカルフローの算出方
法についての説明
法についての説明
【0003】2枚の画像からオプティカルフローを計算
し、得られたオプティカルフローに基づいて、2枚の画
像間での位置合わせを行う技術が知られている。従来の
オプテカルフローの算出方法について説明する。
し、得られたオプティカルフローに基づいて、2枚の画
像間での位置合わせを行う技術が知られている。従来の
オプテカルフローの算出方法について説明する。
【0004】(1)Lucas-Kanade法 従来から、動画像における運動物体の見かけの速度場
(オプティカルフロー)を計算する手法が数多く提案さ
れている。中でも局所勾配法であるLucas-Kanade法は、
最も良い手法の一つである。その理由は、処理が高速、
実装が容易、結果が信頼度を持つことである。
(オプティカルフロー)を計算する手法が数多く提案さ
れている。中でも局所勾配法であるLucas-Kanade法は、
最も良い手法の一つである。その理由は、処理が高速、
実装が容易、結果が信頼度を持つことである。
【0005】Lucas-Kanade法の詳細については、文献:
B.Lucas and T.Kanade,"An Iterative Image Registra
tion Technique with an Application to Stereo Visio
n,"In Seventh International Joint Conference on Ar
tificial Intelligence(IJCAI-81), pp. 674-979, 1981
を参照のこと。
B.Lucas and T.Kanade,"An Iterative Image Registra
tion Technique with an Application to Stereo Visio
n,"In Seventh International Joint Conference on Ar
tificial Intelligence(IJCAI-81), pp. 674-979, 1981
を参照のこと。
【0006】以下に、Lucas-Kanade法の概要を述べる。
ある時刻tの画像座標p=(x,y)の濃淡パターンI
(x,y,t)が、ある微小時間後(δt)に座標(x
+δx,y+δy)に、その濃淡分布を一定に保ったま
ま移動した時、次のオプティカルフロー拘束式1が成り
立つ。
ある時刻tの画像座標p=(x,y)の濃淡パターンI
(x,y,t)が、ある微小時間後(δt)に座標(x
+δx,y+δy)に、その濃淡分布を一定に保ったま
ま移動した時、次のオプティカルフロー拘束式1が成り
立つ。
【0007】
【数1】
【0008】2次元画像でオプティカルフロー{v=
(δx/δt,δy/δt)=(u,v)}を計算する
には、未知パラメータ数が2個であるので、もう一個拘
束式が必要である。Lucas とKanade( 金出) は、同一物
体の局所領域では、同一のオプティカルフローを持つと
仮定した。
(δx/δt,δy/δt)=(u,v)}を計算する
には、未知パラメータ数が2個であるので、もう一個拘
束式が必要である。Lucas とKanade( 金出) は、同一物
体の局所領域では、同一のオプティカルフローを持つと
仮定した。
【0009】例えば、画像上の局所領域ω内で、オプテ
ィカルフローが一定であるとすると、最小化したい濃淡
パターンの二乗誤差Eは、 I0 (p)=I(x,y,t),I1 (p+v)=I
(x+u,y+v,t+δt) と書き改めると、次式2で定義できる。
ィカルフローが一定であるとすると、最小化したい濃淡
パターンの二乗誤差Eは、 I0 (p)=I(x,y,t),I1 (p+v)=I
(x+u,y+v,t+δt) と書き改めると、次式2で定義できる。
【0010】
【数2】
【0011】ここで、vが微少な場合には、テーラー展
開の2次以上の項を無視できるので、次式3の関係が成
り立つ。
開の2次以上の項を無視できるので、次式3の関係が成
り立つ。
【0012】
【数3】
【0013】ここで、g(p)は、I1 (p)の一次微
分である。
分である。
【0014】誤差Eが最小になるのは、Eのvに対する
微分値が0の時であるので、次式4の関係が成り立つ。
微分値が0の時であるので、次式4の関係が成り立つ。
【0015】
【数4】
【0016】故にオプティカルフローvは次式5で求め
られる。
られる。
【0017】
【数5】
【0018】更に、次式6に示すように、ニュートン・
ラフソン的な反復演算によって精度良く求めることがで
きる。
ラフソン的な反復演算によって精度良く求めることがで
きる。
【0019】
【数6】
【0020】(2)階層的推定法 Lucas-Kanade法を含む勾配法の最も大きな問題点は、良
好な初期値が必要なために、大きな動きに対しては適用
できないことである。そこで、従来からピラミッド階層
構造型に数段回の解像度の異なる画像を作成して解決す
る方法が提案されている。
好な初期値が必要なために、大きな動きに対しては適用
できないことである。そこで、従来からピラミッド階層
構造型に数段回の解像度の異なる画像を作成して解決す
る方法が提案されている。
【0021】これは、まず、2枚の連続した画像から、
予めそれぞれの画像の数段階の解像度の異なる画像を作
成する。次に、最も解像度の低い画像間において、おお
まかなオプティカルフローを計算する。そして、この結
果を参考にして、一段解像度の高い画像間においてより
精密なオプティカルフローを計算する。この処理を最も
解像度の高い画像間まで順次繰り返す。
予めそれぞれの画像の数段階の解像度の異なる画像を作
成する。次に、最も解像度の低い画像間において、おお
まかなオプティカルフローを計算する。そして、この結
果を参考にして、一段解像度の高い画像間においてより
精密なオプティカルフローを計算する。この処理を最も
解像度の高い画像間まで順次繰り返す。
【0022】図4は原画像を、図3は図4の原画像より
解像度の低い画像を、図2は図3の低解像度画像より解
像度の低い画像を、図1は図2の低解像度画像より解像
度の低い画像を、それぞれ示している。図1〜図4にお
いて、Sは、1つのパッチを示している。
解像度の低い画像を、図2は図3の低解像度画像より解
像度の低い画像を、図1は図2の低解像度画像より解像
度の低い画像を、それぞれ示している。図1〜図4にお
いて、Sは、1つのパッチを示している。
【0023】図1の画像(階層1の画像)、図2の画像
(階層2の画像)、図3の画像(階層3の画像)および
図4の画像(階層4の画像)の順番で段階的にオプティ
カルフローが求められる。図1〜図4において矢印は、
パッチ毎に求められたオプティカルフローベクトルを示
している。
(階層2の画像)、図3の画像(階層3の画像)および
図4の画像(階層4の画像)の順番で段階的にオプティ
カルフローが求められる。図1〜図4において矢印は、
パッチ毎に求められたオプティカルフローベクトルを示
している。
【0024】しかしながら、ここでの問題点は、実画像
では、十分な模様(テクスチャ)を含む領域が少なく、
信頼性のあるオプティカルフローが得られないことにあ
る。
では、十分な模様(テクスチャ)を含む領域が少なく、
信頼性のあるオプティカルフローが得られないことにあ
る。
【0025】〔2〕本出願人が開発したオプティカルフ
ロー算出方法についての説明。
ロー算出方法についての説明。
【0026】本出願人が開発したオプティカルフロー算
出方法は、ピラミッド階層型に数段回の解像度の異なる
画像を作成して、オプティカルフローを段階的に計算す
る階層的推定を前提としている。オプティカルフローの
計算方法は、Lucas-Kanade法等の勾配法に従う。つま
り、階層構造化した勾配法によるオプティカルフロー推
定法を前提としている。ここでは、勾配法としてLucas-
Kanade法が用いられている。
出方法は、ピラミッド階層型に数段回の解像度の異なる
画像を作成して、オプティカルフローを段階的に計算す
る階層的推定を前提としている。オプティカルフローの
計算方法は、Lucas-Kanade法等の勾配法に従う。つま
り、階層構造化した勾配法によるオプティカルフロー推
定法を前提としている。ここでは、勾配法としてLucas-
Kanade法が用いられている。
【0027】本出願人が開発したオプティカルフロー推
定方法の特徴は、階層構造化したLucas-Kanade法による
オプティカルフロー推定法の各段階において得られたオ
プティカルフローを、膨張処理によって補完することに
ある。以下、これについて詳しく説明する。
定方法の特徴は、階層構造化したLucas-Kanade法による
オプティカルフロー推定法の各段階において得られたオ
プティカルフローを、膨張処理によって補完することに
ある。以下、これについて詳しく説明する。
【0028】Lucas-Kanade法の長所の一つは、追跡結果
が信頼性を持つことである。Tomasiと Kanade とは、あ
る領域の追跡可能性が、以下のように微分画像から算出
できることを示した(C.Tomasi and T.Kanade,"Shape an
d Motion from Image Streams: a Factorization metho
d-Part 3 Detection and Tracking of Point Features
,"CMU-CS-91-132, Carnegie Mellon University, 199
1.) 。
が信頼性を持つことである。Tomasiと Kanade とは、あ
る領域の追跡可能性が、以下のように微分画像から算出
できることを示した(C.Tomasi and T.Kanade,"Shape an
d Motion from Image Streams: a Factorization metho
d-Part 3 Detection and Tracking of Point Features
,"CMU-CS-91-132, Carnegie Mellon University, 199
1.) 。
【0029】ある領域画像ωの垂直・水平方向の微分の
2乗を要素に持つ次式7の2×2の係数行列Gから、そ
の固有値を計算することで、その領域の追跡可能性を決
定することができる。
2乗を要素に持つ次式7の2×2の係数行列Gから、そ
の固有値を計算することで、その領域の追跡可能性を決
定することができる。
【0030】
【数7】
【0031】この行列Gの固有値が両方とも大きい場合
には、その領域は直交方向に変化を持ち、一意の位置決
めが可能である。従って、小さい方の固有値λmin と、
追跡後の領域間の濃淡残差Eから、追跡結果の信頼度γ
を次式8によって得ることができる。
には、その領域は直交方向に変化を持ち、一意の位置決
めが可能である。従って、小さい方の固有値λmin と、
追跡後の領域間の濃淡残差Eから、追跡結果の信頼度γ
を次式8によって得ることができる。
【0032】
【数8】
【0033】本発明者らは、オプティカルフローの同一
階層内で信頼度の高い結果を用いて、信頼度の低い領域
を補間する方法を開発した。これは、一段階粗い階層で
の結果を、追跡の初期値だけに用いて、着目している現
段階の階層の結果には何も利用しない。代わりに、テク
スチャの少ない領域のオプティカルフローはその周囲の
オプティカルフローに近い値を持つと仮定し、モルフォ
ロジー処理によりフロー場を補完するものである。
階層内で信頼度の高い結果を用いて、信頼度の低い領域
を補間する方法を開発した。これは、一段階粗い階層で
の結果を、追跡の初期値だけに用いて、着目している現
段階の階層の結果には何も利用しない。代わりに、テク
スチャの少ない領域のオプティカルフローはその周囲の
オプティカルフローに近い値を持つと仮定し、モルフォ
ロジー処理によりフロー場を補完するものである。
【0034】図5にフローベクトルの膨張処理の様子を
示す。
示す。
【0035】左図は、フローベクトルの信頼度のマップ
を濃淡で表したものである。ここで、黒ければ黒い程信
頼度が高いとする。
を濃淡で表したものである。ここで、黒ければ黒い程信
頼度が高いとする。
【0036】まず、得られたフローをしきい値処理す
る。白い部分は、結果の信頼度が低いために、しきい値
処理されたものである。
る。白い部分は、結果の信頼度が低いために、しきい値
処理されたものである。
【0037】次に、2値画像でのモルフォロジー演算に
よる穴埋め処理を模して、フロー場において結果の膨張
処理を次のように行う。ある領域i,jのフローベクト
ルu(i,j)は、その4近傍のフローベクトルから信
頼度γに応じて重み付けを行って次式9のように計算で
きる。
よる穴埋め処理を模して、フロー場において結果の膨張
処理を次のように行う。ある領域i,jのフローベクト
ルu(i,j)は、その4近傍のフローベクトルから信
頼度γに応じて重み付けを行って次式9のように計算で
きる。
【0038】
【数9】
【0039】この処理を、しきい値処理されたすべての
信頼度の低い領域が埋まるまで、繰り返す。この補完処
理を、各階層において行う。なお、ある領域i,jのフ
ローベクトルu(i,j)を、その8近傍のフローベク
トルから信頼度γに応じて重み付けを行って算出するよ
うにしてもよい。
信頼度の低い領域が埋まるまで、繰り返す。この補完処
理を、各階層において行う。なお、ある領域i,jのフ
ローベクトルu(i,j)を、その8近傍のフローベク
トルから信頼度γに応じて重み付けを行って算出するよ
うにしてもよい。
【0040】図6(a)は、ある階層の画像に対してし
きい値処理されたオプティカルフローを示し、図6
(b)は補完後のオプティカルフローを示している。図
6(a)において、矢印はしきい値処理によって信頼度
が高いと判定されたオプティカルフローベクトルであ
り、×印は信頼度が低いとされた部分を示している。
きい値処理されたオプティカルフローを示し、図6
(b)は補完後のオプティカルフローを示している。図
6(a)において、矢印はしきい値処理によって信頼度
が高いと判定されたオプティカルフローベクトルであ
り、×印は信頼度が低いとされた部分を示している。
【0041】〔3〕従来の画像合成技術についての説明
【0042】通常のカメラと通常のレンズを用いて、複
数の画像を撮像し、これらを接合して、水平方向の36
0度あるいは全方位天球状の画像を合成する技術が知ら
れている(United States Patent 5,396,583 3/1995, Ch
en et al., Proceedings ofACM SIGGRAPH 1997, Szelis
ki et al.) 。
数の画像を撮像し、これらを接合して、水平方向の36
0度あるいは全方位天球状の画像を合成する技術が知ら
れている(United States Patent 5,396,583 3/1995, Ch
en et al., Proceedings ofACM SIGGRAPH 1997, Szelis
ki et al.) 。
【0043】しかしながら、この技術には次の問題があ
る。第1は、撮像枚数が多いため、撮像方法が複雑にな
る。これは、各画像の視野が狭いためである。第2の問
題は、自動で合成することが困難である。この方法は、
画像の特徴的な模様(テクスチャ)を用いて合成するパ
ラメータを算出する。ところが、視野が狭いと壁など真
っ白で特徴的なパターンを持たない画像が撮像されると
自動合成に失敗する。
る。第1は、撮像枚数が多いため、撮像方法が複雑にな
る。これは、各画像の視野が狭いためである。第2の問
題は、自動で合成することが困難である。この方法は、
画像の特徴的な模様(テクスチャ)を用いて合成するパ
ラメータを算出する。ところが、視野が狭いと壁など真
っ白で特徴的なパターンを持たない画像が撮像されると
自動合成に失敗する。
【0044】ミラーを用いた全方位センサが提案されて
いる(United States Patent 3505465, 4/1970, Rees)。
しかしながら、この全方位センサを用いた画像合成シス
テムでは、1台のカメラで広視野を撮像するため、解像
度が低いという問題がある。また、ミラーを円錐上に配
置し、複数のカメラで撮像するシステムも存在するが、
カメラ間の特性の違いのため、継ぎ目が目立ってしまう
問題がある。
いる(United States Patent 3505465, 4/1970, Rees)。
しかしながら、この全方位センサを用いた画像合成シス
テムでは、1台のカメラで広視野を撮像するため、解像
度が低いという問題がある。また、ミラーを円錐上に配
置し、複数のカメラで撮像するシステムも存在するが、
カメラ間の特性の違いのため、継ぎ目が目立ってしまう
問題がある。
【0045】魚眼レンズを装着したカメラを用いて撮像
した複数毎の画像を合成する方法として、視野185度
の魚眼画像2枚を貼りあわせて、全方位の画像を合成す
る方法が提案されている(United States Patent 599094
1, 11/1999, Jackson et al.) 。
した複数毎の画像を合成する方法として、視野185度
の魚眼画像2枚を貼りあわせて、全方位の画像を合成す
る方法が提案されている(United States Patent 599094
1, 11/1999, Jackson et al.) 。
【0046】しかしながら、この方法では、次の2つの
問題がある。第1の問題は、撮像方法が困難なことであ
る。通常の三脚だけで、全く反対方向の画像を2枚撮像
するのは、容易でない。そのため特殊な機構を持ったカ
メラや治具が利用される。第2の問題は、画像間で継ぎ
目が目立つことである。これは、2枚の画像の重なり部
が少なく、継ぎ目を目立たないようにする処理が単純な
フィルタリング処理だけしか行われないためである。
問題がある。第1の問題は、撮像方法が困難なことであ
る。通常の三脚だけで、全く反対方向の画像を2枚撮像
するのは、容易でない。そのため特殊な機構を持ったカ
メラや治具が利用される。第2の問題は、画像間で継ぎ
目が目立つことである。これは、2枚の画像の重なり部
が少なく、継ぎ目を目立たないようにする処理が単純な
フィルタリング処理だけしか行われないためである。
【0047】魚眼レンズを装着したカメラを三脚に載
せ、水平回転方向に回転し、重なり領域を持った2枚よ
り多い枚数の画像を撮像し、これらの画像を合成するシ
ステムが提案されている(Y. Xiong and K. Turkowski,
"Creating Image-Based VR Using a Self-Calibrating
Fisheye Lens," Proceedings of IEEE International
Conference on Computer Vision and Patter Recogniti
on, 1997)。
せ、水平回転方向に回転し、重なり領域を持った2枚よ
り多い枚数の画像を撮像し、これらの画像を合成するシ
ステムが提案されている(Y. Xiong and K. Turkowski,
"Creating Image-Based VR Using a Self-Calibrating
Fisheye Lens," Proceedings of IEEE International
Conference on Computer Vision and Patter Recogniti
on, 1997)。
【0048】しかしながら、このシステムは、完全に自
動で画像を合成することは困難である。なぜなら、合成
処理に魚眼レンズの画像そのままを入力し、非線形最小
化法を用いるため、良好な初期値を人手で提供すること
が不可欠となるからである。
動で画像を合成することは困難である。なぜなら、合成
処理に魚眼レンズの画像そのままを入力し、非線形最小
化法を用いるため、良好な初期値を人手で提供すること
が不可欠となるからである。
【0049】
【発明が解決しようとする課題】この発明は、水平方向
360度の合成画像を自動的に生成するのに適した、画
像合成装置、画像合成方法、画像合成プログラムを記録
したコンピュータ読み取り可能な記録媒体を提供するこ
とを目的とする。
360度の合成画像を自動的に生成するのに適した、画
像合成装置、画像合成方法、画像合成プログラムを記録
したコンピュータ読み取り可能な記録媒体を提供するこ
とを目的とする。
【0050】この発明は、全方位方向360度の合成画
像を自動的に生成するのに適した、画像合成装置、画像
合成方法、画像合成プログラムを記録したコンピュータ
読み取り可能な記録媒体を提供することを目的とする。
像を自動的に生成するのに適した、画像合成装置、画像
合成方法、画像合成プログラムを記録したコンピュータ
読み取り可能な記録媒体を提供することを目的とする。
【0051】
【課題を解決するための手段】この発明による第1の画
像合成装置は、魚眼レンズが装着された撮像手段によっ
て撮像された複数枚の魚眼画像に基づいて、水平方向3
60度の合成画像を生成する画像合成装置であって、各
魚眼画像を円筒面に投影変換する第1手段、および第1
手段によって得られた各円筒投影変換画像を接合する第
2手段を備えていることを特徴とする。
像合成装置は、魚眼レンズが装着された撮像手段によっ
て撮像された複数枚の魚眼画像に基づいて、水平方向3
60度の合成画像を生成する画像合成装置であって、各
魚眼画像を円筒面に投影変換する第1手段、および第1
手段によって得られた各円筒投影変換画像を接合する第
2手段を備えていることを特徴とする。
【0052】第1手段としては、たとえば、心射円筒投
影法を用いて各魚眼画像を円筒面に投影変換するものが
用いられる。
影法を用いて各魚眼画像を円筒面に投影変換するものが
用いられる。
【0053】第2手段としては、たとえば、接合すべき
2つの円筒投影変換画像の重なり部を抽出する手段、一
方の円筒投影変換画像における他方の円筒投影変換画像
との重なり部分から、両円筒投影変換画像間のオプティ
カルフローによる追跡に有効な複数の部分画像を特徴点
として抽出する手段、上記一方の円筒投影変換画像上の
各特徴点に対応する上記他方の円筒投影変換画像上の点
を、両円筒投影変換画像間のオプティカルフローに基づ
いて追跡する手段、上記追跡結果に基づいて、2つの円
筒投影変換画像間の幾何変換係数を算出する手段、およ
び得られた幾何変換係数に基づいて2つの円筒投影変換
画像を接合する手段を備えているものが用いられる。
2つの円筒投影変換画像の重なり部を抽出する手段、一
方の円筒投影変換画像における他方の円筒投影変換画像
との重なり部分から、両円筒投影変換画像間のオプティ
カルフローによる追跡に有効な複数の部分画像を特徴点
として抽出する手段、上記一方の円筒投影変換画像上の
各特徴点に対応する上記他方の円筒投影変換画像上の点
を、両円筒投影変換画像間のオプティカルフローに基づ
いて追跡する手段、上記追跡結果に基づいて、2つの円
筒投影変換画像間の幾何変換係数を算出する手段、およ
び得られた幾何変換係数に基づいて2つの円筒投影変換
画像を接合する手段を備えているものが用いられる。
【0054】この発明による第2の画像合成装置は、魚
眼レンズが装着された撮像手段によって撮像された複数
枚の魚眼画像に基づいて、全方位方向360度の合成画
像を生成する装置であって、各魚眼画像を円筒面に投影
変換する第1手段、第1手段によって得られた各円筒投
影変換画像を接合する第2手段、および第2手段で得ら
れた合成画像を球面に投影変換する第3手段を備えてい
ることを特徴とする。
眼レンズが装着された撮像手段によって撮像された複数
枚の魚眼画像に基づいて、全方位方向360度の合成画
像を生成する装置であって、各魚眼画像を円筒面に投影
変換する第1手段、第1手段によって得られた各円筒投
影変換画像を接合する第2手段、および第2手段で得ら
れた合成画像を球面に投影変換する第3手段を備えてい
ることを特徴とする。
【0055】第1手段としては、たとえば、正距円筒投
影法を用いて各魚眼画像を円筒面に投影変換するものが
用いられる。
影法を用いて各魚眼画像を円筒面に投影変換するものが
用いられる。
【0056】第2手段としては、たとえば、接合すべき
2つの円筒投影変換画像の重なり部を抽出する手段、一
方の円筒投影変換画像における他方の円筒投影変換画像
との重なり部分から、両円筒投影変換画像間のオプティ
カルフローによる追跡に有効な複数の部分画像を特徴点
として抽出する手段、上記一方の円筒投影変換画像上の
各特徴点に対応する上記他方の円筒投影変換画像上の点
を、両円筒投影変換画像間のオプティカルフローに基づ
いて追跡する手段、上記追跡結果に基づいて、2つの円
筒投影変換画像間の幾何変換係数を算出する手段、およ
び得られた幾何変換係数に基づいて2つの円筒投影変換
画像を接合する手段を備えているものが用いられる。
2つの円筒投影変換画像の重なり部を抽出する手段、一
方の円筒投影変換画像における他方の円筒投影変換画像
との重なり部分から、両円筒投影変換画像間のオプティ
カルフローによる追跡に有効な複数の部分画像を特徴点
として抽出する手段、上記一方の円筒投影変換画像上の
各特徴点に対応する上記他方の円筒投影変換画像上の点
を、両円筒投影変換画像間のオプティカルフローに基づ
いて追跡する手段、上記追跡結果に基づいて、2つの円
筒投影変換画像間の幾何変換係数を算出する手段、およ
び得られた幾何変換係数に基づいて2つの円筒投影変換
画像を接合する手段を備えているものが用いられる。
【0057】この発明による第1の画像合成方法は、魚
眼レンズが装着された撮像手段によって撮像された複数
枚の魚眼画像に基づいて、水平方向360度の合成画像
を生成する画像合成方法であって、各魚眼画像を円筒面
に投影変換する第1ステップ、および第1ステップによ
って得られた各円筒投影変換画像を接合する第2ステッ
プを備えていることを特徴とする。
眼レンズが装着された撮像手段によって撮像された複数
枚の魚眼画像に基づいて、水平方向360度の合成画像
を生成する画像合成方法であって、各魚眼画像を円筒面
に投影変換する第1ステップ、および第1ステップによ
って得られた各円筒投影変換画像を接合する第2ステッ
プを備えていることを特徴とする。
【0058】第1ステップとしては、たとえば、心射円
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
【0059】第2ステップとしては、たとえば、接合す
べき2つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、2つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て2つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
べき2つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、2つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て2つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
【0060】この発明による第2の画像合成方法は、魚
眼レンズが装着された撮像手段によって撮像された複数
枚の魚眼画像に基づいて、全方位方向360度の合成画
像を生成する方法であって、各魚眼画像を円筒面に投影
変換する第1ステップ、第1ステップによって得られた
各円筒投影変換画像を接合する第2ステップ、および第
2ステップで得られた合成画像を球面に投影変換する第
3ステップを備えていることを特徴とする。
眼レンズが装着された撮像手段によって撮像された複数
枚の魚眼画像に基づいて、全方位方向360度の合成画
像を生成する方法であって、各魚眼画像を円筒面に投影
変換する第1ステップ、第1ステップによって得られた
各円筒投影変換画像を接合する第2ステップ、および第
2ステップで得られた合成画像を球面に投影変換する第
3ステップを備えていることを特徴とする。
【0061】第1ステップとしては、たとえば、正距円
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
【0062】第2ステップとしては、たとえば、接合す
べき2つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、2つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て2つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
べき2つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、2つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て2つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
【0063】この発明による第1の画像合成処理プログ
ラムを記録したコンピュータ読み取り可能な記録媒体
は、魚眼レンズが装着された撮像手段によって撮像され
た複数枚の魚眼画像に基づいて、水平方向360度の合
成画像を生成するための画像合成処理プログラムを記録
したコンピュータ読み取り可能な記録媒体であって、各
魚眼画像を円筒面に投影変換する第1ステップ、および
第1ステップによって得られた各円筒投影変換画像を接
合する第2ステップをコンピュータに実行させるための
画像合成処理プログラムを記録していることを特徴とす
る。
ラムを記録したコンピュータ読み取り可能な記録媒体
は、魚眼レンズが装着された撮像手段によって撮像され
た複数枚の魚眼画像に基づいて、水平方向360度の合
成画像を生成するための画像合成処理プログラムを記録
したコンピュータ読み取り可能な記録媒体であって、各
魚眼画像を円筒面に投影変換する第1ステップ、および
第1ステップによって得られた各円筒投影変換画像を接
合する第2ステップをコンピュータに実行させるための
画像合成処理プログラムを記録していることを特徴とす
る。
【0064】第1ステップとしては、たとえば、心射円
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
【0065】第2ステップとしては、たとえば、接合す
べき2つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、2つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て2つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
べき2つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、2つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て2つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
【0066】この発明による第2の画像合成処理プログ
ラムを記録したコンピュータ読み取り可能な記録媒体
は、魚眼レンズが装着された撮像手段によって撮像され
た複数枚の魚眼画像に基づいて、全方位方向360度の
合成画像を生成するための画像合成処理プログラムを記
録したコンピュータ読み取り可能な記録媒体であって、
各魚眼画像を円筒面に投影変換する第1ステップ、第1
ステップによって得られた各円筒投影変換画像を接合す
る第2ステップ、および第2ステップで得られた合成画
像を球面に投影変換する第3ステップをコンピュータに
実行させるための画像合成処理プログラムを記録してい
ることを特徴とする。
ラムを記録したコンピュータ読み取り可能な記録媒体
は、魚眼レンズが装着された撮像手段によって撮像され
た複数枚の魚眼画像に基づいて、全方位方向360度の
合成画像を生成するための画像合成処理プログラムを記
録したコンピュータ読み取り可能な記録媒体であって、
各魚眼画像を円筒面に投影変換する第1ステップ、第1
ステップによって得られた各円筒投影変換画像を接合す
る第2ステップ、および第2ステップで得られた合成画
像を球面に投影変換する第3ステップをコンピュータに
実行させるための画像合成処理プログラムを記録してい
ることを特徴とする。
【0067】第1ステップとしては、たとえば、正距円
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
筒投影法を用いて各魚眼画像を円筒面に投影変換するも
のが用いられる。
【0068】第2ステップとしては、たとえば、接合す
べき2つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、2つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て2つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
べき2つの円筒投影変換画像の重なり部を抽出するステ
ップ、一方の円筒投影変換画像における他方の円筒投影
変換画像との重なり部分から、両円筒投影変換画像間の
オプティカルフローによる追跡に有効な複数の部分画像
を特徴点として抽出するステップ、上記一方の円筒投影
変換画像上の各特徴点に対応する上記他方の円筒投影変
換画像上の点を、両円筒投影変換画像間のオプティカル
フローに基づいて追跡するステップ、上記追跡結果に基
づいて、2つの円筒投影変換画像間の幾何変換係数を算
出するステップ、および得られた幾何変換係数に基づい
て2つの円筒投影変換画像を接合するステップを備えて
いるものが用いられる。
【0069】
【発明の実施の形態】以下、この発明を、水平360度
あるいは全方位方向の画像を、ユーザの視線に応じて対
話的に表示する人工現実感システムに適用した場合の実
施の形態について説明する。
あるいは全方位方向の画像を、ユーザの視線に応じて対
話的に表示する人工現実感システムに適用した場合の実
施の形態について説明する。
【0070】〔1〕人工現実感システムの全体構成の説
明
明
【0071】図7は、人工現実感システムの全体構成を
示している。この実施の形態による人工現実感システム
は、魚眼レンズが装着されたカメラによって撮像された
複数枚の画像に基づいて、水平360度あるいは全方位
方向の画像を生成するシステムである。
示している。この実施の形態による人工現実感システム
は、魚眼レンズが装着されたカメラによって撮像された
複数枚の画像に基づいて、水平360度あるいは全方位
方向の画像を生成するシステムである。
【0072】人工現実感システムは、画像撮像部1、円
筒投影変換処理部2、画像接合処理部3、球面投影変換
処理部4および表示処理部5を備えている。この実施の
形態では、表示モードとして、水平360度の画像をユ
ーザの視線方向に応じて表示する円筒画像表示モード
と、全方位方向の画像をユーザの視線方向に応じて表示
する球面画像表示モードとがある。
筒投影変換処理部2、画像接合処理部3、球面投影変換
処理部4および表示処理部5を備えている。この実施の
形態では、表示モードとして、水平360度の画像をユ
ーザの視線方向に応じて表示する円筒画像表示モード
と、全方位方向の画像をユーザの視線方向に応じて表示
する球面画像表示モードとがある。
【0073】画像撮像部1の撮像手段としては、魚眼レ
ンズを装着したカメラが用いられる。図8は、魚眼レン
ズのカメラモデルを示している。このモデルでは、3 次
元空間における視線方向( θ, φ) の対象物は、魚眼画
像上の座標( x, y) に次式10で投影される。
ンズを装着したカメラが用いられる。図8は、魚眼レン
ズのカメラモデルを示している。このモデルでは、3 次
元空間における視線方向( θ, φ) の対象物は、魚眼画
像上の座標( x, y) に次式10で投影される。
【0074】
【数10】
【0075】ただし、c は、通常のレンズの焦点距離に
相当するパラメータである。
相当するパラメータである。
【0076】魚眼レンズを装着したカメラによる撮像方
法には、2つの方法がある。第1は、カメラを三脚など
に固定し、水平回転しながら複数の画像を撮像する方法
である。この時、隣合う画像で重なり領域を持つように
撮像する。
法には、2つの方法がある。第1は、カメラを三脚など
に固定し、水平回転しながら複数の画像を撮像する方法
である。この時、隣合う画像で重なり領域を持つように
撮像する。
【0077】第2は、カメラの投影中心を共有するよう
にカメラを複数台円周上に配置し、撮像する方法であ
る。この時、隣合うカメラで重なり領域を持つように配
置する。
にカメラを複数台円周上に配置し、撮像する方法であ
る。この時、隣合うカメラで重なり領域を持つように配
置する。
【0078】円筒投影変換処理部2は、画像撮像部1に
よって得られた各魚眼画像をユーザによって指定された
表示モードに従って、心射円筒投影変換あるいは正距円
筒投影変換する。つまり、表示モードとして、円筒画像
表示モードが指定された場合には、画像撮像部1によっ
て得られた各魚眼画像を心射円筒投影変換する。表示モ
ードとして、球画像表示モードが指定された場合には、
画像撮像部1によって得られた各魚眼画像を正距円筒投
影変換する。
よって得られた各魚眼画像をユーザによって指定された
表示モードに従って、心射円筒投影変換あるいは正距円
筒投影変換する。つまり、表示モードとして、円筒画像
表示モードが指定された場合には、画像撮像部1によっ
て得られた各魚眼画像を心射円筒投影変換する。表示モ
ードとして、球画像表示モードが指定された場合には、
画像撮像部1によって得られた各魚眼画像を正距円筒投
影変換する。
【0079】画像接合処理部3は、円筒投影変換された
各画像の重なり領域および円筒座標系での幾何変換パラ
メータを自動的に算出し、得られた幾何変換パラメータ
を用いて、円筒投影変換された各画像を接合する。
各画像の重なり領域および円筒座標系での幾何変換パラ
メータを自動的に算出し、得られた幾何変換パラメータ
を用いて、円筒投影変換された各画像を接合する。
【0080】球面投影変換処理部4は、ユーザによって
球画像表示モードが指定された場合に、画像接合処理部
3によって接合された画像を球面に投影した画像を生成
する。
球画像表示モードが指定された場合に、画像接合処理部
3によって接合された画像を球面に投影した画像を生成
する。
【0081】表示処理部5は、ユーザの視線方向に応じ
て、画像接合処理部3によって得られた円筒画像あるい
は球面投影変換処理部4によって得られた球面画像のい
ずれかから通常の透視投影画像を作成して、表示する。
て、画像接合処理部3によって得られた円筒画像あるい
は球面投影変換処理部4によって得られた球面画像のい
ずれかから通常の透視投影画像を作成して、表示する。
【0082】円筒投影変換処理部2、画像接合処理部
3、球面投影変換処理部4および表示処理部5は、図9
に示すパーソナルコンピュータによって実現される。
3、球面投影変換処理部4および表示処理部5は、図9
に示すパーソナルコンピュータによって実現される。
【0083】パーソナルコンピュータ10には、ディス
プレイ21、マウス22およびキーボード23が接続さ
れている。パーソナルコンピュータ10は、CPU1
1、メモリ12、ハードディスク13、CD−ROMの
ようなリムーバブルディスクのドライブ(ディスクドラ
イブ)14を備えている。
プレイ21、マウス22およびキーボード23が接続さ
れている。パーソナルコンピュータ10は、CPU1
1、メモリ12、ハードディスク13、CD−ROMの
ようなリムーバブルディスクのドライブ(ディスクドラ
イブ)14を備えている。
【0084】ハードディスク13には、OS(オペレー
ティングシステム)等の他、円筒投影変換処理、画像接
合処理、球面投影変換処理および表示処理等を行なうた
めの画像処理プログラムが格納されている。画像処理プ
ログラムは、それが格納されたCD−ROM20を用い
て、ハードディスク13にインストールされる。また、
ハードディスク13には、画像撮像部1によって撮像さ
れかつ合成されるべき複数の魚眼画像が予め格納されて
いるものとする。
ティングシステム)等の他、円筒投影変換処理、画像接
合処理、球面投影変換処理および表示処理等を行なうた
めの画像処理プログラムが格納されている。画像処理プ
ログラムは、それが格納されたCD−ROM20を用い
て、ハードディスク13にインストールされる。また、
ハードディスク13には、画像撮像部1によって撮像さ
れかつ合成されるべき複数の魚眼画像が予め格納されて
いるものとする。
【0085】〔2〕 CPU11によって行われる全体
的な処理手順の説明。
的な処理手順の説明。
【0086】図10は、CPU11によって行われる全
体的な処理手順を示している。まず、合成されるべき複
数の魚眼画像をメモリ12に読み込む(ステップ1)。
体的な処理手順を示している。まず、合成されるべき複
数の魚眼画像をメモリ12に読み込む(ステップ1)。
【0087】ユーザによって指定された表示モードが円
筒画像表示モードであるか球画像表示モードであるかを
判定する(ステップ2)。
筒画像表示モードであるか球画像表示モードであるかを
判定する(ステップ2)。
【0088】ユーザによって指定された表示モードが円
筒画像表示モードである場合には、ステップ1で読み込
まれた各魚眼画像に対して心射円筒投影変換処理を行な
う(ステップ3)。ユーザによって指定された表示モー
ドが球画像表示モードである場合には、ステップ1で読
み込まれた各魚眼画像に対して正距円筒投影変換処理を
行なう(ステップ4)。
筒画像表示モードである場合には、ステップ1で読み込
まれた各魚眼画像に対して心射円筒投影変換処理を行な
う(ステップ3)。ユーザによって指定された表示モー
ドが球画像表示モードである場合には、ステップ1で読
み込まれた各魚眼画像に対して正距円筒投影変換処理を
行なう(ステップ4)。
【0089】ステップ3またはステップ4によって各魚
眼画像に対応する円筒投影変換画像が得られると、これ
らの各円筒投影変換画像を接合するための画像接合処理
を行なう(ステップ5)。
眼画像に対応する円筒投影変換画像が得られると、これ
らの各円筒投影変換画像を接合するための画像接合処理
を行なう(ステップ5)。
【0090】ユーザによって円筒画像表示モードが指定
されている場合には(ステップ6でYES)、ステップ
5で接合された画像を円筒表示する(ステップ7)。ユ
ーザによって球画像表示モードが指定されている場合に
は(ステップ6でNO)、ステップ5で接合された画像
に対して球面投影変換処理を行なう(ステップ8)。そ
して得られた画像を球表示する(ステップ9)。
されている場合には(ステップ6でYES)、ステップ
5で接合された画像を円筒表示する(ステップ7)。ユ
ーザによって球画像表示モードが指定されている場合に
は(ステップ6でNO)、ステップ5で接合された画像
に対して球面投影変換処理を行なう(ステップ8)。そ
して得られた画像を球表示する(ステップ9)。
【0091】〔3〕図10のステップ3または4の円筒
投影変換処理についての説明
投影変換処理についての説明
【0092】図10のステップ3またはステップ4で
は、各魚眼画像を、円筒面へ投影して変換する。ステッ
プ3の心射円筒投影は、レンズ中心から見た視線と円筒
面との交点とに基づいて画像を投影する方法である。ス
テップ4の正距円筒投影は、円筒の円周方向だけでなく
軸方向にも等距離に、画像を投影する方法である(アー
サー・H・ロビンソン, ランダル・D・セール, ジョエ
ル・L・モリソン, " 地図学の基礎,"地図情報センタ
ー, 1984)。
は、各魚眼画像を、円筒面へ投影して変換する。ステッ
プ3の心射円筒投影は、レンズ中心から見た視線と円筒
面との交点とに基づいて画像を投影する方法である。ス
テップ4の正距円筒投影は、円筒の円周方向だけでなく
軸方向にも等距離に、画像を投影する方法である(アー
サー・H・ロビンソン, ランダル・D・セール, ジョエ
ル・L・モリソン, " 地図学の基礎,"地図情報センタ
ー, 1984)。
【0093】〔3−1〕心射円筒投影についての説明 図11は、心射円筒投影のモデルを示している。
【0094】魚眼レンズの視野角が180度の対象物
が、魚眼画像での中心から距離がRの部分に投影されて
いるとする。ここで、半径がRの球を考え、魚眼画像の
座標を一旦球に投影した後に、球に投影された画像の座
標をその球に接する円筒面へ投影する。
が、魚眼画像での中心から距離がRの部分に投影されて
いるとする。ここで、半径がRの球を考え、魚眼画像の
座標を一旦球に投影した後に、球に投影された画像の座
標をその球に接する円筒面へ投影する。
【0095】レンズ中心から(θ, φ)方向の視線が、
球と交わる点P(θ, φ, R)を、円筒面に投影した点
P’の座標の( X, Y) は、視線と円筒面との交点であ
り、次式11で計算することができる。
球と交わる点P(θ, φ, R)を、円筒面に投影した点
P’の座標の( X, Y) は、視線と円筒面との交点であ
り、次式11で計算することができる。
【0096】
【数11】
【0097】そして、円筒画像上の点P’( X, Y) に
対応する魚眼画像上の点p(x, y) は、次式12で表
すことができる。
対応する魚眼画像上の点p(x, y) は、次式12で表
すことができる。
【0098】
【数12】
【0099】更に、魚眼画像上の点p(x, y) で与え
られた時の円筒画像上の点P’(X,Y)は、次式13
で求めることができる。
られた時の円筒画像上の点P’(X,Y)は、次式13
で求めることができる。
【0100】
【数13】
【0101】上記式13によって、魚眼画像を心射円筒
投影を用いて、円筒画像に変換することができる。円筒
画像に変換された各画像は、ハードディスク13に格納
される。
投影を用いて、円筒画像に変換することができる。円筒
画像に変換された各画像は、ハードディスク13に格納
される。
【0102】〔3−2〕正距円筒投影についての説明
【0103】正距円筒投影は、円筒の円周方向だけでな
く、軸方向にも等距離に投影する方法である。
く、軸方向にも等距離に投影する方法である。
【0104】図12は、正距円筒投影のモデルを示して
いる。上述した心射円筒投影では、球の上部と下部が円
筒面に投影されないのに対して、正距円筒投影では、球
の上部と下部も円筒面に投影することができる。また、
正距円筒投影は、球面上の2点間の距離が円筒面におい
て正しく比例するという特徴を持っている。
いる。上述した心射円筒投影では、球の上部と下部が円
筒面に投影されないのに対して、正距円筒投影では、球
の上部と下部も円筒面に投影することができる。また、
正距円筒投影は、球面上の2点間の距離が円筒面におい
て正しく比例するという特徴を持っている。
【0105】まず、心射円筒投影を用いた変換と同様に
半径Rの球を考える。この時、レンズ中心から( θ,
φ) 方向の視線が、球と交わる点P(θ, φ, R)を、
円筒面に投影した点P’の座標( X, Y) は、次式14
で計算することができる。
半径Rの球を考える。この時、レンズ中心から( θ,
φ) 方向の視線が、球と交わる点P(θ, φ, R)を、
円筒面に投影した点P’の座標( X, Y) は、次式14
で計算することができる。
【0106】
【数14】
【0107】そして、円筒画像上の点P’(X, Y) に
対応する魚眼画像上の点p(x,y)は、次式15で計
算することができる。
対応する魚眼画像上の点p(x,y)は、次式15で計
算することができる。
【0108】
【数15】
【0109】また、魚眼画像上の点p(x,y)が与え
られた時の円筒画像上の点P’(X,Y)は、次式16
で計算できる。
られた時の円筒画像上の点P’(X,Y)は、次式16
で計算できる。
【0110】
【数16】
【0111】上記式16によって、魚眼画像を正距円筒
投影を用いて、円筒画像に変換することができる。円筒
画像に変換された各画像は、ハードディスク13に格納
される。
投影を用いて、円筒画像に変換することができる。円筒
画像に変換された各画像は、ハードディスク13に格納
される。
【0112】〔4〕図10のステップ5の画像接合処理
についての説明
についての説明
【0113】図13は、図10のステップ5で実行され
る画像接合処理手順を示している。
る画像接合処理手順を示している。
【0114】(I) まず、ユーザによって指定された接合
されるべき複数枚の画像(円筒投影変換された画像)が
メモリ12に読み込まれる(ステップ11)。説明の便
宜上、ここでは、重なり部を有する2枚の画像(第1画
像A1及び第2画像A2)を接合する場合について説明
する。
されるべき複数枚の画像(円筒投影変換された画像)が
メモリ12に読み込まれる(ステップ11)。説明の便
宜上、ここでは、重なり部を有する2枚の画像(第1画
像A1及び第2画像A2)を接合する場合について説明
する。
【0115】(II) 次に、第1画像A1と第2画像A2
との重なり部の抽出処理が行われる(ステップ12)。
この重なり部の抽出処理は、たとえば、SSD法(Sum
of Squared Difference)、正規化相互相関法に基づいて
行われる。
との重なり部の抽出処理が行われる(ステップ12)。
この重なり部の抽出処理は、たとえば、SSD法(Sum
of Squared Difference)、正規化相互相関法に基づいて
行われる。
【0116】(a)SSD法の説明 SSD法では、まず、重なり部を抽出すべき2枚の画像
A1、A2それぞれについて、原画像より解像度の低い
画像I1 ,I2 が生成される。2枚の低解像度画像
I1 ,I2 の重なり部分ω(サイズ:M×N)が、次式
17に示すように画素あたりの2乗誤差Eを用いて求め
られる。画像間の移動量(d)が可能な範囲で変化せし
められ、Eが最も小さい移動量(d)から、重なり部が
抽出される。
A1、A2それぞれについて、原画像より解像度の低い
画像I1 ,I2 が生成される。2枚の低解像度画像
I1 ,I2 の重なり部分ω(サイズ:M×N)が、次式
17に示すように画素あたりの2乗誤差Eを用いて求め
られる。画像間の移動量(d)が可能な範囲で変化せし
められ、Eが最も小さい移動量(d)から、重なり部が
抽出される。
【0117】
【数17】
【0118】(b)正規化相互相関法の説明 正規化相互相関法では、まず、重なり部を抽出すべき2
枚の画像A1、A2それぞれについて、原画像より解像
度の低い画像I1 ,I2 が生成される。2枚の低解像度
画像I1 ,I2 の重なり部分ω(サイズ:M×N)が、
次式18に示すように正規化相互相関係数Cを用いて求
められる。画像間の移動量(d)が可能な範囲で変化せ
しめられ、Cが最も大きな移動量(d)から、重なり部
が抽出される。
枚の画像A1、A2それぞれについて、原画像より解像
度の低い画像I1 ,I2 が生成される。2枚の低解像度
画像I1 ,I2 の重なり部分ω(サイズ:M×N)が、
次式18に示すように正規化相互相関係数Cを用いて求
められる。画像間の移動量(d)が可能な範囲で変化せ
しめられ、Cが最も大きな移動量(d)から、重なり部
が抽出される。
【0119】
【数18】
【0120】式18において、I1  ̄、I2  ̄は、第1
画像を固定させ、第2画像をdだけ移動させたときの、
両画像の重なり部における各画像それぞれの濃淡値の平
均である。また、σ1 、σ2 は、第1画像I1 を固定さ
せ、第2画像I2 をdだけ移動させたときの、両画像の
重なり部における各画像それぞれの濃淡値の分散であ
る。
画像を固定させ、第2画像をdだけ移動させたときの、
両画像の重なり部における各画像それぞれの濃淡値の平
均である。また、σ1 、σ2 は、第1画像I1 を固定さ
せ、第2画像I2 をdだけ移動させたときの、両画像の
重なり部における各画像それぞれの濃淡値の分散であ
る。
【0121】(III) 次に、特徴点抽出処理が行われる
(ステップ13)。つまり、第1画像A1における第2
画像A2との重なり部分から、追跡に有効な複数の部分
画像(矩形領域)が特徴点として抽出される。ただし、
各特徴点は互いに重ならないように抽出される。具体的
には、上述した固有値λmin (式8参照)の高い部分が
特徴点として抽出される。
(ステップ13)。つまり、第1画像A1における第2
画像A2との重なり部分から、追跡に有効な複数の部分
画像(矩形領域)が特徴点として抽出される。ただし、
各特徴点は互いに重ならないように抽出される。具体的
には、上述した固有値λmin (式8参照)の高い部分が
特徴点として抽出される。
【0122】(IV) 次に、特徴点追跡処理が行われる
(ステップ14)。つまり、抽出された第1画像A1上
の特徴点に対する第2画像A2上の位置が追跡される。
(ステップ14)。つまり、抽出された第1画像A1上
の特徴点に対する第2画像A2上の位置が追跡される。
【0123】具体的には、まず、本出願人が開発したオ
プティカルフロー推定方法(従来技術の説明の欄の
〔2〕参照)によって、適当なサイズ(例えば、13×
13)のパッチ毎のオプティカルフローベクトルが求め
られる。第1画像A1上の特徴点に対応する第2画像A
2上の位置は、第1画像A1上の特徴点の4近傍のパッ
チのフローベクトルから線形補間により画素単位以下で
求められる。これにより、第1画像A1と第2画像A2
との重なり部において、両画像の対応点の座標が得られ
る。
プティカルフロー推定方法(従来技術の説明の欄の
〔2〕参照)によって、適当なサイズ(例えば、13×
13)のパッチ毎のオプティカルフローベクトルが求め
られる。第1画像A1上の特徴点に対応する第2画像A
2上の位置は、第1画像A1上の特徴点の4近傍のパッ
チのフローベクトルから線形補間により画素単位以下で
求められる。これにより、第1画像A1と第2画像A2
との重なり部において、両画像の対応点の座標が得られ
る。
【0124】(V) 第1画像に第2画像を接合する場合に
は、上記ステップ14で求められた第1画像A1と第2
画像A2との対応点の座標に基づいて、第2画像A2内
の各画素の座標を第1画像A1上の座標に変換するため
の幾何変換行列(幾何変換係数)を算出する(ステップ
15)。第2画像に第1画像を接合する場合には、第1
画像A1内の各画素の座標を第2画像A2上の座標に変
換するための幾何変換行列(幾何変換係数)を算出すれ
ばよい。
は、上記ステップ14で求められた第1画像A1と第2
画像A2との対応点の座標に基づいて、第2画像A2内
の各画素の座標を第1画像A1上の座標に変換するため
の幾何変換行列(幾何変換係数)を算出する(ステップ
15)。第2画像に第1画像を接合する場合には、第1
画像A1内の各画素の座標を第2画像A2上の座標に変
換するための幾何変換行列(幾何変換係数)を算出すれ
ばよい。
【0125】幾何変換行列としては、2次元平行移動の
ための行列または2次元剛体変換行列が用いられる。
ための行列または2次元剛体変換行列が用いられる。
【0126】この段階では、第2画像A2内の各画素の
座標を第1画像A1上の座標に変換しないが、第2画像
A2内の各画素の座標(x,y,1)を第1画像A1の
座標(x’,y’,1)に変換する式は、次式19また
は次式20で表される。
座標を第1画像A1上の座標に変換しないが、第2画像
A2内の各画素の座標(x,y,1)を第1画像A1の
座標(x’,y’,1)に変換する式は、次式19また
は次式20で表される。
【0127】
【数19】
【0128】
【数20】
【0129】上記式19は、幾何変換行列として2次元
平行移動のための行列を用いた場合の変換式を示し、上
記式20は、幾何変換行列として2次元剛体変換行列を
用いた場合の変換式を示している。
平行移動のための行列を用いた場合の変換式を示し、上
記式20は、幾何変換行列として2次元剛体変換行列を
用いた場合の変換式を示している。
【0130】上記式19において、(tx ,ty )は平
行移動量を示し、kは零でない任意の定数を示してい
る。また、上記式20において、(tx ,ty )は平行
移動量を示し、θは回転角を示し、kは零でない任意の
定数を示している。
行移動量を示し、kは零でない任意の定数を示してい
る。また、上記式20において、(tx ,ty )は平行
移動量を示し、θは回転角を示し、kは零でない任意の
定数を示している。
【0131】(VI) 次に、画素値調合の重み(画素値調
合係数)を算出する(ステップ16)。
合係数)を算出する(ステップ16)。
【0132】1台のカメラを移動させて複数の画像を撮
像した場合や、複数のカメラで複数の画像を撮像した場
合には、自動露出調整機能が動作することにより、画像
間の明るさが異なってしまう。
像した場合や、複数のカメラで複数の画像を撮像した場
合には、自動露出調整機能が動作することにより、画像
間の明るさが異なってしまう。
【0133】そこで、接合されるべき第1画像と第2画
像とが重なる領域では、各画像の画素値を調合する処理
を後処理として行なう。画素値調合処理は、両画像の重
なり領域の画素値を画像間で滑らかに変化させることに
より、明るさの差異を目立たなくさせる処理である。ま
た、この処理は、同時に、幾何学変換による合成誤差も
目立たなくさせることができる。
像とが重なる領域では、各画像の画素値を調合する処理
を後処理として行なう。画素値調合処理は、両画像の重
なり領域の画素値を画像間で滑らかに変化させることに
より、明るさの差異を目立たなくさせる処理である。ま
た、この処理は、同時に、幾何学変換による合成誤差も
目立たなくさせることができる。
【0134】この実施の形態では、各画像の重心からの
距離に基づいて両画像の重なり領域の画素値を調合す
る。
距離に基づいて両画像の重なり領域の画素値を調合す
る。
【0135】まず、第1画像の重心位置G1 を求める。
また、第2画像を第1画像に接合した合成画像上で、第
2画像の重心位置G2 を、接合のために使用される変換
式(上記式19式または上記式20式)に基づいて求め
る。
また、第2画像を第1画像に接合した合成画像上で、第
2画像の重心位置G2 を、接合のために使用される変換
式(上記式19式または上記式20式)に基づいて求め
る。
【0136】次に、第1画像の4頂点(4隅)の位置を
それぞれ求める。また、第2画像を第1画像に接合した
合成画像上で、第2画像の4頂点の位置を、接合に使用
される変換式(上記式19式または上記式20式)に基
づいて求める。これにより、合成画像上における第1画
像の4頂点の位置および第2画像の4頂点の位置が分か
るので、合成画像上において第1画像と第2画像との重
なり領域を抽出する。
それぞれ求める。また、第2画像を第1画像に接合した
合成画像上で、第2画像の4頂点の位置を、接合に使用
される変換式(上記式19式または上記式20式)に基
づいて求める。これにより、合成画像上における第1画
像の4頂点の位置および第2画像の4頂点の位置が分か
るので、合成画像上において第1画像と第2画像との重
なり領域を抽出する。
【0137】合成画像上での第1画像と第2画像との重
なり領域内の各画素(画素値調合対象画素)から第1画
像と第2画像のそれぞれの画像の重心位置G1 、G2 ま
での距離に応じて、当該画素値調合対象画素の画素値の
重みを決定する。この重みは、画素値調合対象画素から
重心までの距離が近い方の画像の画素値を大きくするよ
うに決定する。
なり領域内の各画素(画素値調合対象画素)から第1画
像と第2画像のそれぞれの画像の重心位置G1 、G2 ま
での距離に応じて、当該画素値調合対象画素の画素値の
重みを決定する。この重みは、画素値調合対象画素から
重心までの距離が近い方の画像の画素値を大きくするよ
うに決定する。
【0138】つまり、合成画像上での第1画像と第2画
像との重なり領域内の画素値調合対象画素の座標から、
合成画像上での第1画像の重心位置G1 までのユークリ
ッド距離をd1 、合成画像上での第2画像の重心位置G
2 までのユークリッド距離をd2 とすると、画素値調合
対象画素における第1画像の画素値に対する重みw1お
よび第2画像の画素値に対する重みw2 は、次式21で
表される。
像との重なり領域内の画素値調合対象画素の座標から、
合成画像上での第1画像の重心位置G1 までのユークリ
ッド距離をd1 、合成画像上での第2画像の重心位置G
2 までのユークリッド距離をd2 とすると、画素値調合
対象画素における第1画像の画素値に対する重みw1お
よび第2画像の画素値に対する重みw2 は、次式21で
表される。
【0139】
【数21】
【0140】各画素値調合対象画素に対して式21に基
づいて重みw1 およびw2 を算出し、画素値調合対象画
素に対する重みw1 およびw2 のテーブル(重みテーブ
ル)を作成する。
づいて重みw1 およびw2 を算出し、画素値調合対象画
素に対する重みw1 およびw2 のテーブル(重みテーブ
ル)を作成する。
【0141】(VII) 次に、画像を合成する(ステップ
17)。
17)。
【0142】つまり、上記式19または上記式20を用
いて第2画像を第1画像の座標系に描画する。
いて第2画像を第1画像の座標系に描画する。
【0143】この際、ステップ16で得られた重みテー
ブルに基づいて、第1画像と第2画像の重なり領域の画
素値P1 、P2 を画素調合する。すなわち、次式22に
より、各画素値調合対象画素の画素値Pi を算出する。
ブルに基づいて、第1画像と第2画像の重なり領域の画
素値P1 、P2 を画素調合する。すなわち、次式22に
より、各画素値調合対象画素の画素値Pi を算出する。
【0144】
【数22】
【0145】〔8〕図10のステップ8の球面投影変換
処理についての説明
処理についての説明
【0146】図10のステップ8では、ステップ5で得
られた合成画像(円筒画像)を球に投影した画像を生成
する。方形画像を球などの基本幾何構成要素に投影する
方法は、テクスチャマッピングと呼ばれ、既によく知ら
れているので、その詳細な説明については省略する(Jam
es Foley et. al, "Computer Graphics PRINCIPLES AND
PRACTICE", Addison-Wesley Publishing Company, 199
6)。
られた合成画像(円筒画像)を球に投影した画像を生成
する。方形画像を球などの基本幾何構成要素に投影する
方法は、テクスチャマッピングと呼ばれ、既によく知ら
れているので、その詳細な説明については省略する(Jam
es Foley et. al, "Computer Graphics PRINCIPLES AND
PRACTICE", Addison-Wesley Publishing Company, 199
6)。
【0147】
〔9〕図10のステップ7または9の表示
処理についての説明
処理についての説明
【0148】図10のステップ7では、図10のステッ
プ5で得られた円筒投影変換画像をユーザの視線方向に
応じて透視投影画像に変換して表示させる。
プ5で得られた円筒投影変換画像をユーザの視線方向に
応じて透視投影画像に変換して表示させる。
【0149】図10のステップ9では、図10のステッ
プ8で球面投影変換処理によって得られた球投影変換画
像の中心にユーザの視点の位置を配置する。そして、ユ
ーザの視線方向に応じて、球投影変換画像を透視投影画
像に変換して表示させる。
プ8で球面投影変換処理によって得られた球投影変換画
像の中心にユーザの視点の位置を配置する。そして、ユ
ーザの視線方向に応じて、球投影変換画像を透視投影画
像に変換して表示させる。
【0150】上記実施の形態によれば、撮像手段として
魚眼レンズを装着したカメラを用いることで、広い画角
を獲得し、水平360度あるいは全方位方向の画像を生
成するために必要な画像の枚数を少なくすることがで
き、また全方位センサのように1台のカメラで全視野を
獲得するものに比べて解像度を向上させることができ
る。
魚眼レンズを装着したカメラを用いることで、広い画角
を獲得し、水平360度あるいは全方位方向の画像を生
成するために必要な画像の枚数を少なくすることがで
き、また全方位センサのように1台のカメラで全視野を
獲得するものに比べて解像度を向上させることができ
る。
【0151】また、上記実施の形態によれば、魚眼レン
ズが装着されたカメラ1台を三脚に固定して水平方向に
回転するか、あるいは、魚眼レンズが装着された複数台
のカメラを円周上に配置して、少しずつ重なりのある画
像を撮像することによって、各撮像画像を接合してパノ
ラマ画像に合成することができる。
ズが装着されたカメラ1台を三脚に固定して水平方向に
回転するか、あるいは、魚眼レンズが装着された複数台
のカメラを円周上に配置して、少しずつ重なりのある画
像を撮像することによって、各撮像画像を接合してパノ
ラマ画像に合成することができる。
【0152】また、上記実施の形態によれば、魚眼レン
ズが装着されたカメラによって撮像された各画像を、円
筒投影変換画像に変換し、円筒面上に投影された各画像
を接合しているので、自動的に接合処理を行うことが可
能となる。
ズが装着されたカメラによって撮像された各画像を、円
筒投影変換画像に変換し、円筒面上に投影された各画像
を接合しているので、自動的に接合処理を行うことが可
能となる。
【0153】また、上記実施の形態による画像接合処理
方法を用いることによって、各魚眼画像を円筒投影変換
した画像から、パノラマ画像を自動的に合成することが
できる。
方法を用いることによって、各魚眼画像を円筒投影変換
した画像から、パノラマ画像を自動的に合成することが
できる。
【0154】また、上記実施の形態によれば、円筒面に
投影された画像を透視投影画像に変換して表示する表示
モードと、球面に投影された画像を透視投影画像に変換
して表示する表示モードとを、ユーザに選択させること
ができる。
投影された画像を透視投影画像に変換して表示する表示
モードと、球面に投影された画像を透視投影画像に変換
して表示する表示モードとを、ユーザに選択させること
ができる。
【0155】
【発明の効果】この発明によれば、水平方向360度の
合成画像を自動的に生成するのに適した、画像合成装
置、画像合成方法、画像合成プログラムを記録したコン
ピュータ読み取り可能な記録媒体が得られる。
合成画像を自動的に生成するのに適した、画像合成装
置、画像合成方法、画像合成プログラムを記録したコン
ピュータ読み取り可能な記録媒体が得られる。
【0156】また、この発明によれば、全方位方向36
0度の合成画像を自動的に生成するのに適した、画像合
成装置、画像合成方法、画像合成プログラムを記録した
コンピュータ読み取り可能な記録媒体が得られる。
0度の合成画像を自動的に生成するのに適した、画像合
成装置、画像合成方法、画像合成プログラムを記録した
コンピュータ読み取り可能な記録媒体が得られる。
【図1】図1は、階層的推定法を説明するための図であ
って、階層1の画像を示す模式図である。
って、階層1の画像を示す模式図である。
【図2】図2は、階層的推定法を説明するための図であ
って、階層2の画像を示す模式図である。
って、階層2の画像を示す模式図である。
【図3】図3は、階層的推定法を説明するための図であ
って、階層3の画像を示す模式図である。
って、階層3の画像を示す模式図である。
【図4】図4は、階層的推定法を説明するための図であ
って、階層4の画像を示す模式図である。
って、階層4の画像を示す模式図である。
【図5】図5は、実施例で採用されたオプティカルフロ
ー推定方法において行われる膨張処理を説明するための
模式図である。
ー推定方法において行われる膨張処理を説明するための
模式図である。
【図6】図6(a)は、ある階層の画像に対してしきい
値処理されたオプティカルフローの例を示す模式図であ
り、図6(b)は、補完後のオプティカルフローを示す
模式図である。
値処理されたオプティカルフローの例を示す模式図であ
り、図6(b)は、補完後のオプティカルフローを示す
模式図である。
【図7】図7は、人工現実感システムの全体構成を示す
機能ブロック図である。
機能ブロック図である。
【図8】図8は、魚眼レンズのカメラモデルを示す模式
図である。
図である。
【図9】図9は、円筒投影変換部2、画像接合処理部
3、球面投影変換部4および表示処理部5を実現するた
めのパーソナルコンピュータの構成を示すブロック図で
ある。
3、球面投影変換部4および表示処理部5を実現するた
めのパーソナルコンピュータの構成を示すブロック図で
ある。
【図10】図10は、CPU11によって行われる全体
的な処理手順を示すフローチャートである。
的な処理手順を示すフローチャートである。
【図11】図11は、心射円筒投影のモデルを示す模式
図である。
図である。
【図12】図12は、正距円筒投影のモデルを示す模式
図である。
図である。
【図13】図13は、図10のステップ5で実行される
画像接合処理手順を示すフローチャートである。
画像接合処理手順を示すフローチャートである。
1 画像撮像部 2 円筒投影変換部 3 画像接合処理部 4 球面投影変換部 5 表示処理部 10 パーソナルコンピュータ 11 CPU 12 メモリ 13 ハードディスク 14 ディスクドライブ
フロントページの続き (72)発明者 畑中 晴雄 大阪府守口市京阪本通2丁目5番5号 三 洋電機株式会社内 Fターム(参考) 5B057 BA11 CD16 CD17 CE10 DA20 DB06 DC06 5C023 AA03 AA04 AA11 AA31 AA37 CA03 EA03 5L096 BA20 CA02 FA60 HA05
Claims (18)
- 【請求項1】 魚眼レンズが装着された撮像手段によっ
て撮像された複数枚の魚眼画像に基づいて、水平方向3
60度の合成画像を生成する画像合成装置であって、 各魚眼画像を円筒面に投影変換する第1手段、および第
1手段によって得られた各円筒投影変換画像を接合する
第2手段、 を備えていることを特徴とする画像合成装置。 - 【請求項2】 第1手段は、心射円筒投影法を用いて各
魚眼画像を円筒面に投影変換することを特徴とする請求
項1に記載の画像合成装置。 - 【請求項3】 第2手段は、 接合すべき2つの円筒投影変換画像の重なり部を抽出す
る手段、 一方の円筒投影変換画像における他方の円筒投影変換画
像との重なり部分から、両円筒投影変換画像間のオプテ
ィカルフローによる追跡に有効な複数の部分画像を特徴
点として抽出する手段、 上記一方の円筒投影変換画像上の各特徴点に対応する上
記他方の円筒投影変換画像上の点を、両円筒投影変換画
像間のオプティカルフローに基づいて追跡する手段、 上記追跡結果に基づいて、2つの円筒投影変換画像間の
幾何変換係数を算出する手段、および得られた幾何変換
係数に基づいて2つの円筒投影変換画像を接合する手
段、 を備えていることを特徴とする請求項1および2のいず
れかに記載の画像合成装置。 - 【請求項4】 魚眼レンズが装着された撮像手段によっ
て撮像された複数枚の魚眼画像に基づいて、全方位方向
360度の合成画像を生成する装置であって、 各魚眼画像を円筒面に投影変換する第1手段、 第1手段によって得られた各円筒投影変換画像を接合す
る第2手段、および第2手段で得られた合成画像を球面
に投影変換する第3手段、 を備えていることを特徴とする画像合成装置。 - 【請求項5】 第1手段は、正距円筒投影法を用いて各
魚眼画像を円筒面に投影変換することを特徴とする請求
項4に記載の画像合成装置。 - 【請求項6】 第2手段は、 接合すべき2つの円筒投影変換画像の重なり部を抽出す
る手段、 一方の円筒投影変換画像における他方の円筒投影変換画
像との重なり部分から、両円筒投影変換画像間のオプテ
ィカルフローによる追跡に有効な複数の部分画像を特徴
点として抽出する手段、 上記一方の円筒投影変換画像上の各特徴点に対応する上
記他方の円筒投影変換画像上の点を、両円筒投影変換画
像間のオプティカルフローに基づいて追跡する手段、 上記追跡結果に基づいて、2つの円筒投影変換画像間の
幾何変換係数を算出する手段、および得られた幾何変換
係数に基づいて2つの円筒投影変換画像を接合する手
段、 を備えていることを特徴とする請求項4および5のいず
れかに記載の画像合成装置。 - 【請求項7】 魚眼レンズが装着された撮像手段によっ
て撮像された複数枚の魚眼画像に基づいて、水平方向3
60度の合成画像を生成する画像合成方法であって、 各魚眼画像を円筒面に投影変換する第1ステップ、およ
び第1ステップによって得られた各円筒投影変換画像を
接合する第2ステップ、 を備えていることを特徴とする画像合成方法。 - 【請求項8】 第1ステップは、心射円筒投影法を用い
て各魚眼画像を円筒面に投影変換することを特徴とする
請求項7に記載の画像合成方法。 - 【請求項9】 第2ステップは、 接合すべき2つの円筒投影変換画像の重なり部を抽出す
るステップ、 一方の円筒投影変換画像における他方の円筒投影変換画
像との重なり部分から、両円筒投影変換画像間のオプテ
ィカルフローによる追跡に有効な複数の部分画像を特徴
点として抽出するステップ、 上記一方の円筒投影変換画像上の各特徴点に対応する上
記他方の円筒投影変換画像上の点を、両円筒投影変換画
像間のオプティカルフローに基づいて追跡するステッ
プ、 上記追跡結果に基づいて、2つの円筒投影変換画像間の
幾何変換係数を算出するステップ、および得られた幾何
変換係数に基づいて2つの円筒投影変換画像を接合する
ステップ、 を備えていることを特徴とする請求項7および8のいず
れかに記載の画像合成方法。 - 【請求項10】 魚眼レンズが装着された撮像手段によ
って撮像された複数枚の魚眼画像に基づいて、全方位方
向360度の合成画像を生成する方法であって、 各魚眼画像を円筒面に投影変換する第1ステップ、 第1ステップによって得られた各円筒投影変換画像を接
合する第2ステップ、および第2ステップで得られた合
成画像を球面に投影変換する第3ステップ、 を備えていることを特徴とする画像合成方法。 - 【請求項11】 第1ステップは、正距円筒投影法を用
いて各魚眼画像を円筒面に投影変換することを特徴とす
る請求項10に記載の画像合成方法。 - 【請求項12】 第2ステップは、 接合すべき2つの円筒投影変換画像の重なり部を抽出す
るステップ、 一方の円筒投影変換画像における他方の円筒投影変換画
像との重なり部分から、両円筒投影変換画像間のオプテ
ィカルフローによる追跡に有効な複数の部分画像を特徴
点として抽出するステップ、 上記一方の円筒投影変換画像上の各特徴点に対応する上
記他方の円筒投影変換画像上の点を、両円筒投影変換画
像間のオプティカルフローに基づいて追跡するステッ
プ、 上記追跡結果に基づいて、2つの円筒投影変換画像間の
幾何変換係数を算出するステップ、および得られた幾何
変換係数に基づいて2つの円筒投影変換画像を接合する
ステップ、 を備えていることを特徴とする請求項10および11の
いずれかに記載の画像合成方法。 - 【請求項13】 魚眼レンズが装着された撮像手段によ
って撮像された複数枚の魚眼画像に基づいて、水平方向
360度の合成画像を生成するための画像合成処理プロ
グラムを記録したコンピュータ読み取り可能な記録媒体
であって、 各魚眼画像を円筒面に投影変換する第1ステップ、およ
び第1ステップによって得られた各円筒投影変換画像を
接合する第2ステップ、をコンピュータに実行させるた
めの画像合成処理プログラムを記録したコンピュータ読
み取り可能な記録媒体。 - 【請求項14】 第1ステップは、心射円筒投影法を用
いて各魚眼画像を円筒面に投影変換することを特徴とす
る請求項13に記載の画像合成処理プログラムを記録し
たコンピュータ読み取り可能な記録媒体。 - 【請求項15】 第2ステップは、 接合すべき2つの円筒投影変換画像の重なり部を抽出す
るステップ、 一方の円筒投影変換画像における他方の円筒投影変換画
像との重なり部分から、両円筒投影変換画像間のオプテ
ィカルフローによる追跡に有効な複数の部分画像を特徴
点として抽出するステップ、 上記一方の円筒投影変換画像上の各特徴点に対応する上
記他方の円筒投影変換画像上の点を、両円筒投影変換画
像間のオプティカルフローに基づいて追跡するステッ
プ、 上記追跡結果に基づいて、2つの円筒投影変換画像間の
幾何変換係数を算出するステップ、および得られた幾何
変換係数に基づいて2つの円筒投影変換画像を接合する
ステップ、 を備えていることを特徴とする請求項13および14の
いずれかに記載の画像合成処理プログラムを記録したコ
ンピュータ読み取り可能な記録媒体。 - 【請求項16】 魚眼レンズが装着された撮像手段によ
って撮像された複数枚の魚眼画像に基づいて、全方位方
向360度の合成画像を生成するための画像合成処理プ
ログラムを記録したコンピュータ読み取り可能な記録媒
体であって、 各魚眼画像を円筒面に投影変換する第1ステップ、 第1ステップによって得られた各円筒投影変換画像を接
合する第2ステップ、および第2ステップで得られた合
成画像を球面に投影変換する第3ステップ、 をコンピュータに実行させるための画像合成処理プログ
ラムを記録したコンピュータ読み取り可能な記録媒体。 - 【請求項17】 第1ステップは、正距円筒投影法を用
いて各魚眼画像を円筒面に投影変換することを特徴とす
る請求項16に記載の画像合成処理プログラムを記録し
たコンピュータ読み取り可能な記録媒体。 - 【請求項18】 第2ステップは、 接合すべき2つの円筒投影変換画像の重なり部を抽出す
るステップ、 一方の円筒投影変換画像における他方の円筒投影変換画
像との重なり部分から、両円筒投影変換画像間のオプテ
ィカルフローによる追跡に有効な複数の部分画像を特徴
点として抽出するステップ、 上記一方の円筒投影変換画像上の各特徴点に対応する上
記他方の円筒投影変換画像上の点を、両円筒投影変換画
像間のオプティカルフローに基づいて追跡するステッ
プ、 上記追跡結果に基づいて、2つの円筒投影変換画像間の
幾何変換係数を算出するステップ、および得られた幾何
変換係数に基づいて2つの円筒投影変換画像を接合する
ステップ、 を備えていることを特徴とする請求項16および17の
いずれかに記載の画像合成処理プログラムを記録したコ
ンピュータ読み取り可能な記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000070848A JP2001256492A (ja) | 2000-03-14 | 2000-03-14 | 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000070848A JP2001256492A (ja) | 2000-03-14 | 2000-03-14 | 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2001256492A true JP2001256492A (ja) | 2001-09-21 |
Family
ID=18589517
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000070848A Pending JP2001256492A (ja) | 2000-03-14 | 2000-03-14 | 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2001256492A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007049276A (ja) * | 2005-08-08 | 2007-02-22 | Sanyo Electric Co Ltd | 車載パノラマカメラシステム |
CN102663734A (zh) * | 2012-03-15 | 2012-09-12 | 天津理工大学 | 鱼眼镜头的标定及鱼眼图像的畸变矫正方法 |
JP2015124189A (ja) * | 2013-12-26 | 2015-07-06 | 日本メナード化粧品株式会社 | 皮脂合成抑制剤 |
JP2017022742A (ja) * | 2016-09-06 | 2017-01-26 | 株式会社リコー | 画像処理装置、画像処理方法、撮像装置、及びシステム |
JP2017034362A (ja) * | 2015-07-29 | 2017-02-09 | 株式会社リコー | 動画表示装置、動画表示方法、およびプログラム |
US11037327B2 (en) | 2017-09-22 | 2021-06-15 | Fujitsu Limited | Camera control method, camera control device, and non-transitory computer-readable storage medium |
-
2000
- 2000-03-14 JP JP2000070848A patent/JP2001256492A/ja active Pending
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007049276A (ja) * | 2005-08-08 | 2007-02-22 | Sanyo Electric Co Ltd | 車載パノラマカメラシステム |
JP4679293B2 (ja) * | 2005-08-08 | 2011-04-27 | 三洋電機株式会社 | 車載パノラマカメラシステム |
CN102663734A (zh) * | 2012-03-15 | 2012-09-12 | 天津理工大学 | 鱼眼镜头的标定及鱼眼图像的畸变矫正方法 |
JP2015124189A (ja) * | 2013-12-26 | 2015-07-06 | 日本メナード化粧品株式会社 | 皮脂合成抑制剤 |
JP2017034362A (ja) * | 2015-07-29 | 2017-02-09 | 株式会社リコー | 動画表示装置、動画表示方法、およびプログラム |
JP2017022742A (ja) * | 2016-09-06 | 2017-01-26 | 株式会社リコー | 画像処理装置、画像処理方法、撮像装置、及びシステム |
US11037327B2 (en) | 2017-09-22 | 2021-06-15 | Fujitsu Limited | Camera control method, camera control device, and non-transitory computer-readable storage medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109242873B (zh) | 一种基于消费级彩色深度相机对物体进行360度实时三维重建的方法 | |
JP3435084B2 (ja) | オプティカルフロー推定方法および画像合成方法 | |
US5963664A (en) | Method and system for image combination using a parallax-based technique | |
JP6201476B2 (ja) | 自由視点画像撮像装置およびその方法 | |
EP2383699B1 (en) | Method for estimating a pose of an articulated object model | |
US11348267B2 (en) | Method and apparatus for generating a three-dimensional model | |
US20190141247A1 (en) | Threshold determination in a ransac algorithm | |
EP0930585B1 (en) | Image processing apparatus | |
US6473536B1 (en) | Image synthesis method, image synthesizer, and recording medium on which image synthesis program is recorded | |
US20020164067A1 (en) | Nearest neighbor edge selection from feature tracking | |
SG189284A1 (en) | Rapid 3d modeling | |
Simon | Tracking-by-synthesis using point features and pyramidal blurring | |
JP2001274973A (ja) | 顕微鏡画像合成装置、顕微鏡画像合成方法、顕微鏡画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP3557168B2 (ja) | レンズ歪み係数算出装置および算出方法、レンズ歪み係数算出プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2000155831A (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
Dai et al. | Freely explore the scene with 360 field of view | |
JP2001256492A (ja) | 画像合成装置、画像合成方法、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP3540696B2 (ja) | 画像合成方法、画像合成装置、画像合成プログラムを記録した記録媒体 | |
JP2002094849A (ja) | 広視野画像撮像装置 | |
JP2004046573A (ja) | チルト角算出方法、円筒パノラマ画像合成方法、ならびに円筒パノラマ画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP3979811B2 (ja) | 画像合成装置、画像合成方法、画像合成処理プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2001222707A (ja) | 中間画像合成方法、中間画像合成装置、中間画像合成プログラムを記録した記録媒体 | |
JP3384764B2 (ja) | 画像の対応領域抽出方法、画像合成方法、画像合成装置、画像合成プログラムを記録したコンピュータ読み取り可能な記録媒体 | |
JP2002170111A (ja) | 画像合成装置、画像合成方法および画像合成プログラムを記録した記録媒体 | |
Kang et al. | Creating walk-through images from a video sequence of a dynamic scene |