JP2002213984A - パノラマ画像による案内システム、中央装置及び端末装置、並びにコンピュータプログラム及び記録媒体 - Google Patents
パノラマ画像による案内システム、中央装置及び端末装置、並びにコンピュータプログラム及び記録媒体Info
- Publication number
- JP2002213984A JP2002213984A JP2001005819A JP2001005819A JP2002213984A JP 2002213984 A JP2002213984 A JP 2002213984A JP 2001005819 A JP2001005819 A JP 2001005819A JP 2001005819 A JP2001005819 A JP 2001005819A JP 2002213984 A JP2002213984 A JP 2002213984A
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- panoramic
- panoramic image
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Navigation (AREA)
- Image Generation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Instructional Devices (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Traffic Control Systems (AREA)
Abstract
(57)【要約】
【課題】 従来は事実上不可能と考えられていた任意視
点での任意視線方向による画像表示により種々の案内を
行なうパノラマ画像による案内システムを提供する。 【解決手段】 サーバ10は、予め撮像された複数のパノ
ラマ画像と、各画像の少なくとも撮像位置に関する情報
とを記憶した画像DB14と、ユーザ端末20が発信する位置
情報で示される位置を視点とするパノラマ画像を生成す
るパノラマ画像生成部13と、生成されたパノラマ画像に
案内情報を付加する GIS部15と、案内情報が付加された
パノラマ画像をユーザ端末20へ送信する通信部11とを備
える。ユーザ端末20は、位置情報をサーバ10へ送信し、
案内情報が付加されたパノラマ画像をサーバ10から受信
する通信部21と、受信したパノラマ画像の一部又は全部
及びその範囲に付加されている案内情報とを表示する表
示部25とを備える。
点での任意視線方向による画像表示により種々の案内を
行なうパノラマ画像による案内システムを提供する。 【解決手段】 サーバ10は、予め撮像された複数のパノ
ラマ画像と、各画像の少なくとも撮像位置に関する情報
とを記憶した画像DB14と、ユーザ端末20が発信する位置
情報で示される位置を視点とするパノラマ画像を生成す
るパノラマ画像生成部13と、生成されたパノラマ画像に
案内情報を付加する GIS部15と、案内情報が付加された
パノラマ画像をユーザ端末20へ送信する通信部11とを備
える。ユーザ端末20は、位置情報をサーバ10へ送信し、
案内情報が付加されたパノラマ画像をサーバ10から受信
する通信部21と、受信したパノラマ画像の一部又は全部
及びその範囲に付加されている案内情報とを表示する表
示部25とを備える。
Description
【0001】
【発明の属する技術分野】本発明は、パノラマ画像によ
る案内システムに関し、より詳細には、歩行者、または
自動車のドライバ等が求める任意の地点におけるパノラ
マ画像をその都度生成し、その一部(部分パノラマ画
像)を任意の視線方向の画像として表示し、種々の案内
を行なうことが可能なシステムに関する。また、本発明
はそのようなパノラマ画像による案内システムの中央装
置及び端末装置に関し、更にコンピュータプログラム及
び記録媒体に関する。なお、以下においては通常の撮像
装置、たとえば一般的なフィルムカメラ、デジタルスチ
ルカメラ、ビデオカメラ等では撮像不可能な、視点(撮
像位置)を中心とした 360度全周または 360度未満の周
囲のシーンが撮像されたいわゆるパノラマ画像を対象と
しているが、本発明はそのようなパノラマ画像に限ら
ず、どのような画像にも適用可能である。
る案内システムに関し、より詳細には、歩行者、または
自動車のドライバ等が求める任意の地点におけるパノラ
マ画像をその都度生成し、その一部(部分パノラマ画
像)を任意の視線方向の画像として表示し、種々の案内
を行なうことが可能なシステムに関する。また、本発明
はそのようなパノラマ画像による案内システムの中央装
置及び端末装置に関し、更にコンピュータプログラム及
び記録媒体に関する。なお、以下においては通常の撮像
装置、たとえば一般的なフィルムカメラ、デジタルスチ
ルカメラ、ビデオカメラ等では撮像不可能な、視点(撮
像位置)を中心とした 360度全周または 360度未満の周
囲のシーンが撮像されたいわゆるパノラマ画像を対象と
しているが、本発明はそのようなパノラマ画像に限ら
ず、どのような画像にも適用可能である。
【0002】
【従来の技術】歩行者が現在位置を確認する場合、一般
的に本人が携帯している地図または街頭に設置されてい
る案内図が利用される。また、自動車、船舶等には GPS
を利用した位置確認装置が普及している。特に自動車の
場合、 GPSによって自身(自車)の地球上での位置(経
緯度)を確認して地図上にそれを表示するのみならず、
ユーザが予め設定した目的地に到達するための経路をも
表示するナビゲーションシステムが普及している。更に
近年では、ナビゲーションシステムに種々の機能、たと
えば特定の施設(駐車場、コンビニエンストア等)を表
示する機能、平面地図ではなく立体地図または鳥瞰地図
を表示する機能、音声案内の機能、等が付加されてお
り、従来の平面地図に比してより視認性が向上して利用
し易くなっている。
的に本人が携帯している地図または街頭に設置されてい
る案内図が利用される。また、自動車、船舶等には GPS
を利用した位置確認装置が普及している。特に自動車の
場合、 GPSによって自身(自車)の地球上での位置(経
緯度)を確認して地図上にそれを表示するのみならず、
ユーザが予め設定した目的地に到達するための経路をも
表示するナビゲーションシステムが普及している。更に
近年では、ナビゲーションシステムに種々の機能、たと
えば特定の施設(駐車場、コンビニエンストア等)を表
示する機能、平面地図ではなく立体地図または鳥瞰地図
を表示する機能、音声案内の機能、等が付加されてお
り、従来の平面地図に比してより視認性が向上して利用
し易くなっている。
【0003】一方、近年の種々の携帯情報端末装置(モ
バイルコンピュータ、 PDA:Personal Digital Assista
nt等)の普及に伴って歩行者用のナビゲーションシステ
ムも実用化されている。
バイルコンピュータ、 PDA:Personal Digital Assista
nt等)の普及に伴って歩行者用のナビゲーションシステ
ムも実用化されている。
【0004】たとえば、NTT DoCoMoの「どこNavi」と称
されるサービスでは、専用の携帯端末装置によって、歩
行者の現在位置、地図情報、経路情報、いわゆるタウン
情報(店舗案内等)等が提供される。
されるサービスでは、専用の携帯端末装置によって、歩
行者の現在位置、地図情報、経路情報、いわゆるタウン
情報(店舗案内等)等が提供される。
【0005】また、通産省の外郭団体である「民間活力
開発機構」が開発したシステムでは、比較的小範囲では
あるが、歩行者が携帯する PHSにより現在位置を確認
し、その位置に応じた地図上に名所、飲食店、土産物店
等の位置が表示される。
開発機構」が開発したシステムでは、比較的小範囲では
あるが、歩行者が携帯する PHSにより現在位置を確認
し、その位置に応じた地図上に名所、飲食店、土産物店
等の位置が表示される。
【0006】更に、 ある特定の場所、たとえば地下鉄駅
の地上への出口等のパノラマ画像を表示し、その画像上
の歩行者が所望する建物等の情報を表示するシステム等
も開発されている。
の地上への出口等のパノラマ画像を表示し、その画像上
の歩行者が所望する建物等の情報を表示するシステム等
も開発されている。
【0007】
【発明が解決しようとする課題】一般の歩行者にとって
は平面地図上で現在位置を確認すること、更に地図上の
表示と現実の周囲の景観とを対比させることは容易では
なく、また方向の判断も難しい。このような問題に対し
ては前述の地下鉄駅の出口等のパノラマ画像を表示する
システムが有効ではあるが、ユーザが所望する全ての場
所のパノラマ画像が用意されているわけではなく、また
そのようなことは事実上不可能である。
は平面地図上で現在位置を確認すること、更に地図上の
表示と現実の周囲の景観とを対比させることは容易では
なく、また方向の判断も難しい。このような問題に対し
ては前述の地下鉄駅の出口等のパノラマ画像を表示する
システムが有効ではあるが、ユーザが所望する全ての場
所のパノラマ画像が用意されているわけではなく、また
そのようなことは事実上不可能である。
【0008】また、平面地図では勿論のこと、立体地
図、鳥瞰地図であってもそれに重畳して文字情報を表示
した場合、本来の地図情報が隠蔽されるため、地図上の
文字表示にはその量に自ずから制約が存在する。更に、
ユーザがより以上の情報、たとえば単に店名のみならず
その営業内容等の情報をも所望する場合には地図情報の
みでは応じることが出来ない。このような問題に対して
は地図上、またはパノラマ地図上の特定位置を指示(た
とえばカーソルでクリック)することでより詳細な情報
を別途表示したり、またはURL がアクセスされてホーム
ページが表示されるシステムが実用化されている。しか
し、この場合においてもユーザが所望する全ての場所の
パノラマ画像を用意することは事実上不可能である。
図、鳥瞰地図であってもそれに重畳して文字情報を表示
した場合、本来の地図情報が隠蔽されるため、地図上の
文字表示にはその量に自ずから制約が存在する。更に、
ユーザがより以上の情報、たとえば単に店名のみならず
その営業内容等の情報をも所望する場合には地図情報の
みでは応じることが出来ない。このような問題に対して
は地図上、またはパノラマ地図上の特定位置を指示(た
とえばカーソルでクリック)することでより詳細な情報
を別途表示したり、またはURL がアクセスされてホーム
ページが表示されるシステムが実用化されている。しか
し、この場合においてもユーザが所望する全ての場所の
パノラマ画像を用意することは事実上不可能である。
【0009】ところで、ある視点から周囲の 360度を見
回したパノラマ画像は、旧来から存在するそのような用
途専用のカメラで得ることが可能であり、また近年では
通常のカメラで撮像した複数の画像を自動的に接合して
パノラマ画像を生成するコンピュータソフトウェアも普
及している。しかし、それらにより得られるパノラマ画
像はいずれも視点が撮像時の視点に固定されたままであ
ることは言うまでもない。
回したパノラマ画像は、旧来から存在するそのような用
途専用のカメラで得ることが可能であり、また近年では
通常のカメラで撮像した複数の画像を自動的に接合して
パノラマ画像を生成するコンピュータソフトウェアも普
及している。しかし、それらにより得られるパノラマ画
像はいずれも視点が撮像時の視点に固定されたままであ
ることは言うまでもない。
【0010】また、前述のような要求を満たすために
は、任意視点でしかも任意視線方向で画像を表示させる
必要がある。近年のコンピュータグラフィックス(CG)
技術の発展により、視点を移動させつつ、且つ視線方向
を移動させつつ画像を表示することは一般的になってい
る。しかし、そのような技術はあくまでもCGを応用した
仮想現実の世界のことであり、ユーザが所望するすべて
の場所のCGパノラマ画像を用意することは実用上は不可
能である。
は、任意視点でしかも任意視線方向で画像を表示させる
必要がある。近年のコンピュータグラフィックス(CG)
技術の発展により、視点を移動させつつ、且つ視線方向
を移動させつつ画像を表示することは一般的になってい
る。しかし、そのような技術はあくまでもCGを応用した
仮想現実の世界のことであり、ユーザが所望するすべて
の場所のCGパノラマ画像を用意することは実用上は不可
能である。
【0011】更に、任意視点且つ任意視線方向で画像を
表示させるためには、任意視点におけるパノラマ画像
(可能であれば 360度全周)が必要になる。ある位置を
視点としてそこに撮像装置を設置し、その位置からパノ
ラマ画像を撮像した場合、その視線方向に対応した画像
を表示することにより任意視線方向の画像表示が可能に
なる。従って、任意視点において任意視線方向の画像を
得るためには全ての任意視点においてパノラマ画像を用
意する必要が生じるが、そのようなことは事実上不可能
である。
表示させるためには、任意視点におけるパノラマ画像
(可能であれば 360度全周)が必要になる。ある位置を
視点としてそこに撮像装置を設置し、その位置からパノ
ラマ画像を撮像した場合、その視線方向に対応した画像
を表示することにより任意視線方向の画像表示が可能に
なる。従って、任意視点において任意視線方向の画像を
得るためには全ての任意視点においてパノラマ画像を用
意する必要が生じるが、そのようなことは事実上不可能
である。
【0012】本発明は上述のような従来は事実上不可能
と考えられていた任意視点での任意視線方向による画像
表示のために任意視点でのパノラマ画像の生成を可能と
し、それによって種々の案内を行なうことが可能なパノ
ラマ画像による案内システムの提供を目的とする。ま
た、本発明はそのようなパノラマ画像による案内システ
ムの中央装置及び端末装置の提供を目的とし、更に中央
装置のコンピュータプログラム及び記録媒体の提供を目
的とする。
と考えられていた任意視点での任意視線方向による画像
表示のために任意視点でのパノラマ画像の生成を可能と
し、それによって種々の案内を行なうことが可能なパノ
ラマ画像による案内システムの提供を目的とする。ま
た、本発明はそのようなパノラマ画像による案内システ
ムの中央装置及び端末装置の提供を目的とし、更に中央
装置のコンピュータプログラム及び記録媒体の提供を目
的とする。
【0013】
【課題を解決するための手段】第1の発明のパノラマ画
像による案内システムは、中央装置と、位置情報を発信
する端末装置とを含み、前記中央装置は、前記端末装置
が発信する位置情報を受信する通信部と、予め撮像され
た複数のパノラマ画像及び/又はパノラマ画像に変換し
得る複数の組画像と、各パノラマ画像及び/又は組画像
の少なくとも撮像位置に関する情報とを記憶した画像記
憶部と、前記通信部が前記端末装置から受信した位置情
報で示される位置に最も近い位置で撮像されたパノラマ
画像又は組画像とそれとは異なる位置で撮像された少な
くとも2個のパノラマ画像又は組画像を前記画像記憶部
から読み出す画像読み出し部と、該画像読み出し部によ
り読み出された画像から前記通信部が受信した位置情報
で示される位置を視点とするパノラマ画像を生成するパ
ノラマ画像生成部と、該パノラマ画像生成部が生成した
パノラマ画像に案内のための案内情報を付加する情報付
加手段とを備え、前記通信部は案内情報が付加されたパ
ノラマ画像を前記端末装置へ送信すべくなしてあり、前
記端末装置は、位置情報を前記中央装置へ送信し、案内
情報が付加されたパノラマ画像を前記中央装置から受信
する通信部と、該通信部が受信したパノラマ画像の一部
又は全部と、その範囲に付加されている案内情報とを表
示する表示部とを備えたことを特徴とする。
像による案内システムは、中央装置と、位置情報を発信
する端末装置とを含み、前記中央装置は、前記端末装置
が発信する位置情報を受信する通信部と、予め撮像され
た複数のパノラマ画像及び/又はパノラマ画像に変換し
得る複数の組画像と、各パノラマ画像及び/又は組画像
の少なくとも撮像位置に関する情報とを記憶した画像記
憶部と、前記通信部が前記端末装置から受信した位置情
報で示される位置に最も近い位置で撮像されたパノラマ
画像又は組画像とそれとは異なる位置で撮像された少な
くとも2個のパノラマ画像又は組画像を前記画像記憶部
から読み出す画像読み出し部と、該画像読み出し部によ
り読み出された画像から前記通信部が受信した位置情報
で示される位置を視点とするパノラマ画像を生成するパ
ノラマ画像生成部と、該パノラマ画像生成部が生成した
パノラマ画像に案内のための案内情報を付加する情報付
加手段とを備え、前記通信部は案内情報が付加されたパ
ノラマ画像を前記端末装置へ送信すべくなしてあり、前
記端末装置は、位置情報を前記中央装置へ送信し、案内
情報が付加されたパノラマ画像を前記中央装置から受信
する通信部と、該通信部が受信したパノラマ画像の一部
又は全部と、その範囲に付加されている案内情報とを表
示する表示部とを備えたことを特徴とする。
【0014】また第2の発明は第1の発明のパノラマ画
像による案内システムにおいて更に、前記端末装置は、
自身の位置を検出する位置検出部を更に備え、前記通信
部は前記位置検出部が検出した位置を前記位置情報とし
て前記中央装置へ送信すべくなしてあることを特徴とす
る。
像による案内システムにおいて更に、前記端末装置は、
自身の位置を検出する位置検出部を更に備え、前記通信
部は前記位置検出部が検出した位置を前記位置情報とし
て前記中央装置へ送信すべくなしてあることを特徴とす
る。
【0015】また第3の発明は第1または第2の発明の
パノラマ画像による案内システムにおいて更に、前記パ
ノラマ画像生成部は、前記通信部が受信した位置情報で
示される位置に最も近い画像の撮像位置を視点とする第
1のパノラマ画像の画像面上の所定の特徴量を有する特
徴点を複数抽出する手段と、抽出された各特徴点の位置
と前記第1のパノラマ画像の視点とを通る基準直線を設
定する手段と、各基準直線上の各点と前記第1のパノラ
マ画像とはそれぞれ異なる画像の撮像位置を視点とする
少なくとも2個の第2のパノラマ画像それぞれの視点と
を通る直線が前記第2のパノラマ画像それぞれの画像面
と交差する各位置の特徴量を求める手段と、各特徴点に
関して、前記第1のパノラマ画像における特徴量と前記
第2のパノラマ画像それぞれにおける各特徴量との差を
求める手段と、各特徴点に関して求められた特徴量の差
が最小である前記第2のパノラマ画像それぞれの画像面
上の位置に対応する基準直線上の距離を各特徴点の前記
第1のパノラマ画像の視点からの3次元位置情報として
求める手段と、求められた各特徴点の3次元位置情報に
基づいて前記第1のパノラマ画像の3次元位置情報を取
得する手段と、取得された3次元位置情報を前記端末装
置が発信する位置情報で示される位置を視点とするパノ
ラマ画像面に射影する手段とを有することと特徴とす
る。
パノラマ画像による案内システムにおいて更に、前記パ
ノラマ画像生成部は、前記通信部が受信した位置情報で
示される位置に最も近い画像の撮像位置を視点とする第
1のパノラマ画像の画像面上の所定の特徴量を有する特
徴点を複数抽出する手段と、抽出された各特徴点の位置
と前記第1のパノラマ画像の視点とを通る基準直線を設
定する手段と、各基準直線上の各点と前記第1のパノラ
マ画像とはそれぞれ異なる画像の撮像位置を視点とする
少なくとも2個の第2のパノラマ画像それぞれの視点と
を通る直線が前記第2のパノラマ画像それぞれの画像面
と交差する各位置の特徴量を求める手段と、各特徴点に
関して、前記第1のパノラマ画像における特徴量と前記
第2のパノラマ画像それぞれにおける各特徴量との差を
求める手段と、各特徴点に関して求められた特徴量の差
が最小である前記第2のパノラマ画像それぞれの画像面
上の位置に対応する基準直線上の距離を各特徴点の前記
第1のパノラマ画像の視点からの3次元位置情報として
求める手段と、求められた各特徴点の3次元位置情報に
基づいて前記第1のパノラマ画像の3次元位置情報を取
得する手段と、取得された3次元位置情報を前記端末装
置が発信する位置情報で示される位置を視点とするパノ
ラマ画像面に射影する手段とを有することと特徴とす
る。
【0016】また第4の発明は第1乃至第3のいずれか
の発明のパノラマ画像による案内システムにおいて更
に、前記案内情報は、前記パノラマ画像生成部が生成し
たパノラマ画像上に文字情報として重畳表示される地図
情報であることを特徴とする。
の発明のパノラマ画像による案内システムにおいて更
に、前記案内情報は、前記パノラマ画像生成部が生成し
たパノラマ画像上に文字情報として重畳表示される地図
情報であることを特徴とする。
【0017】また第5の発明は第1乃至第3のいずれか
の発明のパノラマ画像による案内システムにおいて更
に、前記案内情報は、前記パノラマ画像生成部が生成し
たパノラマ画像に表示されているオブジェクトに予め対
応付けられている文字情報、音声情報、画像情報及び/
又はURLであることを特徴とする。
の発明のパノラマ画像による案内システムにおいて更
に、前記案内情報は、前記パノラマ画像生成部が生成し
たパノラマ画像に表示されているオブジェクトに予め対
応付けられている文字情報、音声情報、画像情報及び/
又はURLであることを特徴とする。
【0018】第6の発明は上述のようなパノラマ画像に
よる案内システムに使用される中央装置であって、予め
撮像された複数のパノラマ画像及び/又はパノラマ画像
に変換し得る複数の組画像と、各パノラマ画像及び/又
は組画像の少なくとも撮像位置に関する情報とを記憶し
た画像記憶部と、外部から位置情報を受信する通信部
と、該通信部が受信した位置情報で示される位置に最も
近い位置で撮像されたパノラマ画像又は組画像とそれと
は異なる位置で撮像された少なくとも2個のパノラマ画
像又は組画像を前記画像記憶部から読み出す画像読み出
し部と、該画像読み出し部により読み出された画像から
前記通信部が受信した位置情報で示される位置を視点と
するパノラマ画像を生成するパノラマ画像生成部と、該
パノラマ画像生成部が生成したパノラマ画像に案内のた
めの案内情報を付加する情報付加手段とを備え、前記通
信部は案内情報が付加されたパノラマ画像を前記端末装
置へ送信すべくなしてあることを特徴とする。
よる案内システムに使用される中央装置であって、予め
撮像された複数のパノラマ画像及び/又はパノラマ画像
に変換し得る複数の組画像と、各パノラマ画像及び/又
は組画像の少なくとも撮像位置に関する情報とを記憶し
た画像記憶部と、外部から位置情報を受信する通信部
と、該通信部が受信した位置情報で示される位置に最も
近い位置で撮像されたパノラマ画像又は組画像とそれと
は異なる位置で撮像された少なくとも2個のパノラマ画
像又は組画像を前記画像記憶部から読み出す画像読み出
し部と、該画像読み出し部により読み出された画像から
前記通信部が受信した位置情報で示される位置を視点と
するパノラマ画像を生成するパノラマ画像生成部と、該
パノラマ画像生成部が生成したパノラマ画像に案内のた
めの案内情報を付加する情報付加手段とを備え、前記通
信部は案内情報が付加されたパノラマ画像を前記端末装
置へ送信すべくなしてあることを特徴とする。
【0019】また第7の発明は第6の発明の中央装置に
おいて更に、前記パノラマ画像生成部は、前記受信した
位置情報で示される位置に最も近い画像の撮像位置を視
点とする第1のパノラマ画像の画像面上の所定の特徴量
を有する特徴点を複数抽出する手段と、抽出された各特
徴点の位置と前記第1のパノラマ画像の視点とを通る基
準直線を設定する手段と、各基準直線上の各点と前記第
1のパノラマ画像とはそれぞれ異なる画像の撮像位置を
視点とする少なくとも2個の第2のパノラマ画像それぞ
れの視点とを通る直線が前記第2のパノラマ画像それぞ
れの画像面と交差する各位置の特徴量を求める手段と、
各特徴点に関して、前記第1のパノラマ画像における特
徴量と前記第2のパノラマ画像それぞれにおける各特徴
量との差を求める手段と、各特徴点に関して求められた
特徴量の差が最小である前記第2のパノラマ画像それぞ
れの画像面上の位置に対応する基準直線上の距離を各特
徴点の前記第1のパノラマ画像の視点からの3次元位置
情報として求める手段と、取得された3次元位置情報を
前記受信した位置情報で示される位置を視点とするパノ
ラマ画像面に射影する手段とを有することと特徴とす
る。
おいて更に、前記パノラマ画像生成部は、前記受信した
位置情報で示される位置に最も近い画像の撮像位置を視
点とする第1のパノラマ画像の画像面上の所定の特徴量
を有する特徴点を複数抽出する手段と、抽出された各特
徴点の位置と前記第1のパノラマ画像の視点とを通る基
準直線を設定する手段と、各基準直線上の各点と前記第
1のパノラマ画像とはそれぞれ異なる画像の撮像位置を
視点とする少なくとも2個の第2のパノラマ画像それぞ
れの視点とを通る直線が前記第2のパノラマ画像それぞ
れの画像面と交差する各位置の特徴量を求める手段と、
各特徴点に関して、前記第1のパノラマ画像における特
徴量と前記第2のパノラマ画像それぞれにおける各特徴
量との差を求める手段と、各特徴点に関して求められた
特徴量の差が最小である前記第2のパノラマ画像それぞ
れの画像面上の位置に対応する基準直線上の距離を各特
徴点の前記第1のパノラマ画像の視点からの3次元位置
情報として求める手段と、取得された3次元位置情報を
前記受信した位置情報で示される位置を視点とするパノ
ラマ画像面に射影する手段とを有することと特徴とす
る。
【0020】また第8の発明は第6または第7の発明の
中央装置において更に、前記案内情報は、前記パノラマ
画像生成部が生成したパノラマ画像上に文字情報として
重畳表示される地図情報であることを特徴とする請求項
6または7に記載の中央装置。
中央装置において更に、前記案内情報は、前記パノラマ
画像生成部が生成したパノラマ画像上に文字情報として
重畳表示される地図情報であることを特徴とする請求項
6または7に記載の中央装置。
【0021】また第9の発明は第6または第7の発明の
中央装置において更に、前記案内情報は、前記パノラマ
画像生成部が生成したパノラマ画像に表示されている案
内対象物に予め対応付けられている文字情報、音声情
報、画像情報及び/又はURLであることを特徴とす
る。
中央装置において更に、前記案内情報は、前記パノラマ
画像生成部が生成したパノラマ画像に表示されている案
内対象物に予め対応付けられている文字情報、音声情
報、画像情報及び/又はURLであることを特徴とす
る。
【0022】また第10の発明は前述のようなパノラマ
画像による案内システムに使用される端末装置であっ
て、任意の位置を位置情報として外部へ送信し、案内情
報が付加されたパノラマ画像を外部から受信する通信部
と、該通信部が受信したパノラマ画像の一部又は全部
と、その範囲に付加されている案内のための案内情報と
を表示する表示部とを備えたことを特徴とする。
画像による案内システムに使用される端末装置であっ
て、任意の位置を位置情報として外部へ送信し、案内情
報が付加されたパノラマ画像を外部から受信する通信部
と、該通信部が受信したパノラマ画像の一部又は全部
と、その範囲に付加されている案内のための案内情報と
を表示する表示部とを備えたことを特徴とする。
【0023】また第11の発明は第10の発明の端末装
置において更に、自身の位置を検出する位置検出部を更
に備え、前記通信部は前記位置検出部が検出した位置を
位置情報として外部へ送信すべくなしてあることを特徴
とする。
置において更に、自身の位置を検出する位置検出部を更
に備え、前記通信部は前記位置検出部が検出した位置を
位置情報として外部へ送信すべくなしてあることを特徴
とする。
【0024】また第12の発明は第10または第11の
発明の端末装置において更に、前記案内情報は、受信し
たパノラマ画像上に文字情報として重畳表示される地図
情報であることを特徴とする。
発明の端末装置において更に、前記案内情報は、受信し
たパノラマ画像上に文字情報として重畳表示される地図
情報であることを特徴とする。
【0025】また第13の発明は第10または第11の
発明の端末装置において更に、前記案内情報は、受信し
たパノラマ画像に表示されている案内対象物に予め対応
付けられている文字情報、音声情報、画像情報及び/又
はURLであることを特徴とする。
発明の端末装置において更に、前記案内情報は、受信し
たパノラマ画像に表示されている案内対象物に予め対応
付けられている文字情報、音声情報、画像情報及び/又
はURLであることを特徴とする。
【0026】また第14の発明はコンピュータでパノラ
マ画像による案内システムを実現するためのコンピュー
タプログラムであって、予め撮像された複数のパノラマ
画像及び/又はパノラマ画像に変換し得る複数の組画像
と、各パノラマ画像及び/又は組画像の少なくとも撮像
位置に関する情報と、 画像の案内のための案内情報とを
記憶した記憶部と、外部との通信が可能な通信部とを備
えたコンピュータに、前記通信部に位置情報を受信する
手順と、前記通信部が受信した位置情報で示される位置
に最も近い位置で撮像されたパノラマ画像又は組画像と
それとは異なる位置で撮像された少なくとも2個のパノ
ラマ画像又は組画像を前記記憶部から読み出す手順と、
前記記憶部から読み出された画像から前記受信した位置
情報で示される位置を視点とするパノラマ画像を生成す
る手順と、生成されたパノラマ画像に前記記憶部に記憶
されている案内情報を付加する手順と、案内情報が付加
されたパノラマ画像を前記通信部から外部へ送信する手
順とを実行させることを特徴とする。
マ画像による案内システムを実現するためのコンピュー
タプログラムであって、予め撮像された複数のパノラマ
画像及び/又はパノラマ画像に変換し得る複数の組画像
と、各パノラマ画像及び/又は組画像の少なくとも撮像
位置に関する情報と、 画像の案内のための案内情報とを
記憶した記憶部と、外部との通信が可能な通信部とを備
えたコンピュータに、前記通信部に位置情報を受信する
手順と、前記通信部が受信した位置情報で示される位置
に最も近い位置で撮像されたパノラマ画像又は組画像と
それとは異なる位置で撮像された少なくとも2個のパノ
ラマ画像又は組画像を前記記憶部から読み出す手順と、
前記記憶部から読み出された画像から前記受信した位置
情報で示される位置を視点とするパノラマ画像を生成す
る手順と、生成されたパノラマ画像に前記記憶部に記憶
されている案内情報を付加する手順と、案内情報が付加
されたパノラマ画像を前記通信部から外部へ送信する手
順とを実行させることを特徴とする。
【0027】また第15の発明は第14の発明のコンピ
ュータプログラムにおいて、前記パノラマ画像を生成す
る手順は、前記通信部が受信した位置情報で示される位
置に最も近い画像の撮像位置を視点とする第1のパノラ
マ画像の画像面上の所定の特徴量を有する特徴点を抽出
する手順と、抽出された各特徴点の位置と前記第1のパ
ノラマ画像の視点とを通る基準直線を設定する手順と、
各基準直線上の各点と前記第1のパノラマ画像とはそれ
ぞれ異なる画像の撮像位置を視点とする少なくとも2個
の第2のパノラマ画像それぞれの視点とを通る直線が前
記第2のパノラマ画像それぞれの画像面と交差する各位
置の特徴量を求める手順と、各特徴点に関して、前記第
1のパノラマ画像における特徴量と前記第2のパノラマ
画像それぞれにおける各特徴量との差を求める手順と、
各特徴点に関して求められた特徴量の差が最小である前
記第2のパノラマ画像それぞれの画像面上の位置に対応
する基準直線上の距離を各特徴点の前記第1のパノラマ
画像の視点からの3次元位置情報として求める手順と、
求められた各特徴点の3次元位置情報に基づいて前記第
1のパノラマ画像の3次元位置情報を取得する手順と、
取得された3次元位置情報を前記端末装置が発信する位
置情報で示される位置を視点とするパノラマ画像面に射
影する手順とを更に含むことを特徴とする。
ュータプログラムにおいて、前記パノラマ画像を生成す
る手順は、前記通信部が受信した位置情報で示される位
置に最も近い画像の撮像位置を視点とする第1のパノラ
マ画像の画像面上の所定の特徴量を有する特徴点を抽出
する手順と、抽出された各特徴点の位置と前記第1のパ
ノラマ画像の視点とを通る基準直線を設定する手順と、
各基準直線上の各点と前記第1のパノラマ画像とはそれ
ぞれ異なる画像の撮像位置を視点とする少なくとも2個
の第2のパノラマ画像それぞれの視点とを通る直線が前
記第2のパノラマ画像それぞれの画像面と交差する各位
置の特徴量を求める手順と、各特徴点に関して、前記第
1のパノラマ画像における特徴量と前記第2のパノラマ
画像それぞれにおける各特徴量との差を求める手順と、
各特徴点に関して求められた特徴量の差が最小である前
記第2のパノラマ画像それぞれの画像面上の位置に対応
する基準直線上の距離を各特徴点の前記第1のパノラマ
画像の視点からの3次元位置情報として求める手順と、
求められた各特徴点の3次元位置情報に基づいて前記第
1のパノラマ画像の3次元位置情報を取得する手順と、
取得された3次元位置情報を前記端末装置が発信する位
置情報で示される位置を視点とするパノラマ画像面に射
影する手順とを更に含むことを特徴とする。
【0028】また第16の発明は、予め撮像された複数
のパノラマ画像及び/又はパノラマ画像に変換し得る複
数の組画像と、各パノラマ画像及び/又は組画像の少な
くとも撮像位置に関する情報と、 画像の案内のための案
内情報とを記憶した記憶部と、外部との通信が可能な通
信部とを備えたコンピュータに前記通信部が受信した位
置情報で示される位置を視点とするパノラマ画像を生成
させて外部へ送信させるコンピュータプログラムを記録
したコンピュータ読み取り可能な記録媒体であって、前
記通信部に位置情報を受信させる手順と、受信した位置
情報で示される位置に最も近い画像の撮像位置を視点と
する第1のパノラマ画像又は組画像とそれとはそれぞれ
異なる画像の撮像位置を視点とする少なくとも2個の第
2のパノラマ画像又は組画像を前記記憶部から読み出さ
せる手順と、前記第1のパノラマ画像の画像面上の所定
の特徴量を有する特徴点を複数抽出させる手順と、抽出
された各特徴点の位置と前記第1のパノラマ画像の視点
とを通る基準直線を設定する手順と、各基準直線上の各
点と前記第2のパノラマ画像それぞれの視点とを通る直
線が前記第2のパノラマ画像それぞれの画像面と交差す
る各位置の特徴量を求めさせる手順と、各特徴点に関し
て、前記第1のパノラマ画像において求められた特徴量
と前記第2のパノラマ画像それぞれにおいて求められた
各特徴量との差を求めさせる手順と、各特徴点に関して
求められた特徴量の差が最小である前記第2のパノラマ
画像それぞれの画像面上の位置に対応する基準直線上の
距離を各特徴点の前記第1のパノラマ画像の視点からの
3次元位置情報として求めさせる手順と、求められた各
特徴点の3次元位置情報に基づいて前記第1のパノラマ
画像の3次元位置情報を取得させる手順と、取得された
3次元位置情報を前記受信した位置情報で示される位置
を視点とするパノラマ画像面に射影させる手順と、生成
されたパノラマ画像に前記記憶部に記憶されている案内
情報を付加させる手順と、案内情報が付加されたパノラ
マ画像を前記通信部から外部へ送信させる手順とを含む
コンピュータプログラムを記録したことを特徴とする。
のパノラマ画像及び/又はパノラマ画像に変換し得る複
数の組画像と、各パノラマ画像及び/又は組画像の少な
くとも撮像位置に関する情報と、 画像の案内のための案
内情報とを記憶した記憶部と、外部との通信が可能な通
信部とを備えたコンピュータに前記通信部が受信した位
置情報で示される位置を視点とするパノラマ画像を生成
させて外部へ送信させるコンピュータプログラムを記録
したコンピュータ読み取り可能な記録媒体であって、前
記通信部に位置情報を受信させる手順と、受信した位置
情報で示される位置に最も近い画像の撮像位置を視点と
する第1のパノラマ画像又は組画像とそれとはそれぞれ
異なる画像の撮像位置を視点とする少なくとも2個の第
2のパノラマ画像又は組画像を前記記憶部から読み出さ
せる手順と、前記第1のパノラマ画像の画像面上の所定
の特徴量を有する特徴点を複数抽出させる手順と、抽出
された各特徴点の位置と前記第1のパノラマ画像の視点
とを通る基準直線を設定する手順と、各基準直線上の各
点と前記第2のパノラマ画像それぞれの視点とを通る直
線が前記第2のパノラマ画像それぞれの画像面と交差す
る各位置の特徴量を求めさせる手順と、各特徴点に関し
て、前記第1のパノラマ画像において求められた特徴量
と前記第2のパノラマ画像それぞれにおいて求められた
各特徴量との差を求めさせる手順と、各特徴点に関して
求められた特徴量の差が最小である前記第2のパノラマ
画像それぞれの画像面上の位置に対応する基準直線上の
距離を各特徴点の前記第1のパノラマ画像の視点からの
3次元位置情報として求めさせる手順と、求められた各
特徴点の3次元位置情報に基づいて前記第1のパノラマ
画像の3次元位置情報を取得させる手順と、取得された
3次元位置情報を前記受信した位置情報で示される位置
を視点とするパノラマ画像面に射影させる手順と、生成
されたパノラマ画像に前記記憶部に記憶されている案内
情報を付加させる手順と、案内情報が付加されたパノラ
マ画像を前記通信部から外部へ送信させる手順とを含む
コンピュータプログラムを記録したことを特徴とする。
【0029】第1の発明のパノラマ画像による案内シス
テムでは、端末装置から送信された位置情報を受信する
と、中央装置は、端末装置が発信する位置情報で示され
る位置に最も近い位置で撮像されたパノラマ画像及びこ
れとは異なる位置で撮像された少なくとも2個のパノラ
マ画像(又はパノラマ画像に変換しうる得る組画像)を
画像記憶部から読み出し、これらの少なくとも3個のパ
ノラマ画像から端末装置が発信する位置情報で示される
位置を視点とするパノラマ画像をパノラマ画像生成部に
生成させる。このようにして生成されたパノラマ画像
は、更に案内情報が付加されて通信部により端末装置へ
送信される。端末装置は、中央装置から受信した案内情
報が付加されたパノラマ画像を受信してその一部または
全部と、その範囲に付加されている案内情報とを表示部
に表示する。
テムでは、端末装置から送信された位置情報を受信する
と、中央装置は、端末装置が発信する位置情報で示され
る位置に最も近い位置で撮像されたパノラマ画像及びこ
れとは異なる位置で撮像された少なくとも2個のパノラ
マ画像(又はパノラマ画像に変換しうる得る組画像)を
画像記憶部から読み出し、これらの少なくとも3個のパ
ノラマ画像から端末装置が発信する位置情報で示される
位置を視点とするパノラマ画像をパノラマ画像生成部に
生成させる。このようにして生成されたパノラマ画像
は、更に案内情報が付加されて通信部により端末装置へ
送信される。端末装置は、中央装置から受信した案内情
報が付加されたパノラマ画像を受信してその一部または
全部と、その範囲に付加されている案内情報とを表示部
に表示する。
【0030】また第2の発明では、第1の発明のパノラ
マ画像による案内システムにおいて、端末装置が自身の
位置を検出する位置検出部を更に備えており、これによ
って検出されている位置が通信部により位置情報として
中央装置へ送信される。
マ画像による案内システムにおいて、端末装置が自身の
位置を検出する位置検出部を更に備えており、これによ
って検出されている位置が通信部により位置情報として
中央装置へ送信される。
【0031】また第3の発明では、第1または第2の発
明のパノラマ画像による案内システムにおいて更に、通
信部が受信した位置情報で示される位置に最も近い画像
の撮像位置を視点とする第1のパノラマ画像の画像面上
の所定の特徴量を有する特徴点を複数抽出し、抽出され
た各特徴点の位置と第1のパノラマ画像の視点とを通る
基準直線を設定し、各基準直線上の各点と第1のパノラ
マ画像とはそれぞれ異なる画像の撮像位置を視点とする
少なくとも2個の第2のパノラマ画像それぞれの視点と
を通る直線が第2のパノラマ画像それぞれの画像面と交
差する各位置の特徴量を求め、各特徴点に関して、第1
のパノラマ画像における特徴量と第2のパノラマ画像そ
れぞれにおける各特徴量との差を求め、各特徴点に関し
て求められた特徴量の差が最小である第2のパノラマ画
像それぞれの画像面上の位置に対応する基準直線上の距
離を各特徴点の第1のパノラマ画像の視点からの3次元
位置情報として求め、求められた各特徴点の3次元位置
情報に基づいて第1のパノラマ画像の3次元位置情報を
取得し、取得された3次元位置情報を端末装置が発信す
る位置情報で示される位置を視点とするパノラマ画像面
に射影することにより、通信部が受信した位置情報で示
される位置を視点とするパノラマ画像を生成する。
明のパノラマ画像による案内システムにおいて更に、通
信部が受信した位置情報で示される位置に最も近い画像
の撮像位置を視点とする第1のパノラマ画像の画像面上
の所定の特徴量を有する特徴点を複数抽出し、抽出され
た各特徴点の位置と第1のパノラマ画像の視点とを通る
基準直線を設定し、各基準直線上の各点と第1のパノラ
マ画像とはそれぞれ異なる画像の撮像位置を視点とする
少なくとも2個の第2のパノラマ画像それぞれの視点と
を通る直線が第2のパノラマ画像それぞれの画像面と交
差する各位置の特徴量を求め、各特徴点に関して、第1
のパノラマ画像における特徴量と第2のパノラマ画像そ
れぞれにおける各特徴量との差を求め、各特徴点に関し
て求められた特徴量の差が最小である第2のパノラマ画
像それぞれの画像面上の位置に対応する基準直線上の距
離を各特徴点の第1のパノラマ画像の視点からの3次元
位置情報として求め、求められた各特徴点の3次元位置
情報に基づいて第1のパノラマ画像の3次元位置情報を
取得し、取得された3次元位置情報を端末装置が発信す
る位置情報で示される位置を視点とするパノラマ画像面
に射影することにより、通信部が受信した位置情報で示
される位置を視点とするパノラマ画像を生成する。
【0032】また第4の発明では、第1乃至第3の発明
のパノラマ画像による案内システムにおいて更に、パノ
ラマ画像生成部が生成したパノラマ画像上に文字情報と
して重畳表示される地図情報として案内情報が表示され
る。
のパノラマ画像による案内システムにおいて更に、パノ
ラマ画像生成部が生成したパノラマ画像上に文字情報と
して重畳表示される地図情報として案内情報が表示され
る。
【0033】また第5の発明では、第1乃至第3の発明
のパノラマ画像による案内システムにおいて更に、パノ
ラマ画像生成部が生成したパノラマ画像に表示されてい
る案内対象物に文字情報、音声情報、画像情報及び/又
はURLとして案内情報が予め対応付けられている。
のパノラマ画像による案内システムにおいて更に、パノ
ラマ画像生成部が生成したパノラマ画像に表示されてい
る案内対象物に文字情報、音声情報、画像情報及び/又
はURLとして案内情報が予め対応付けられている。
【0034】第6の発明では、中央装置は、外部から位
置情報を受信すると、受信した位置情報で示される位置
に最も近い位置で撮像されたパノラマ画像及びこれとは
異なる位置で撮像された少なくとも3個のパノラマ画像
(又はパノラマ画像に変換しうる得る組画像)を画像記
憶部から読み出し、これらの少なくとも2個のパノラマ
画像から受信した位置情報で示される位置を視点とする
パノラマ画像をパノラマ画像生成部に生成させる。この
ようにして生成されたパノラマ画像は、更に案内情報が
付加されて通信部が外部へ送信する。
置情報を受信すると、受信した位置情報で示される位置
に最も近い位置で撮像されたパノラマ画像及びこれとは
異なる位置で撮像された少なくとも3個のパノラマ画像
(又はパノラマ画像に変換しうる得る組画像)を画像記
憶部から読み出し、これらの少なくとも2個のパノラマ
画像から受信した位置情報で示される位置を視点とする
パノラマ画像をパノラマ画像生成部に生成させる。この
ようにして生成されたパノラマ画像は、更に案内情報が
付加されて通信部が外部へ送信する。
【0035】また第7の発明では、第6の発明のパノラ
マ画像による案内システムの中央装において更に、パノ
ラマ画像生成部は、受信した位置情報で示される位置に
最も近い画像の撮像位置を視点とする第1のパノラマ画
像の画像面上の所定の特徴量を有する特徴点を複数抽出
し、抽出された各特徴点の位置と第1のパノラマ画像の
視点とを通る基準直線を設定し、各基準直線上の各点と
第1のパノラマ画像とはそれぞれ異なる画像の撮像位置
を視点とする少なくとも2個の第2のパノラマ画像それ
ぞれの視点とを通る直線が第2のパノラマ画像それぞれ
の画像面と交差する各位置の特徴量を求め、各特徴点に
関して、第1のパノラマ画像における特徴量と第2のパ
ノラマ画像それぞれにおける各特徴量との差を求め、各
特徴点に関して求められた特徴量の差が最小である第2
のパノラマ画像それぞれの画像面上の位置に対応する基
準直線上の距離を各特徴点の第1のパノラマ画像の視点
からの3次元位置情報として求め、取得された3次元位
置情報を受信した位置情報で示される位置を視点とする
パノラマ画像面に射影することにより、通信部が受信し
た位置情報で示される位置を視点とするパノラマ画像を
生成する。
マ画像による案内システムの中央装において更に、パノ
ラマ画像生成部は、受信した位置情報で示される位置に
最も近い画像の撮像位置を視点とする第1のパノラマ画
像の画像面上の所定の特徴量を有する特徴点を複数抽出
し、抽出された各特徴点の位置と第1のパノラマ画像の
視点とを通る基準直線を設定し、各基準直線上の各点と
第1のパノラマ画像とはそれぞれ異なる画像の撮像位置
を視点とする少なくとも2個の第2のパノラマ画像それ
ぞれの視点とを通る直線が第2のパノラマ画像それぞれ
の画像面と交差する各位置の特徴量を求め、各特徴点に
関して、第1のパノラマ画像における特徴量と第2のパ
ノラマ画像それぞれにおける各特徴量との差を求め、各
特徴点に関して求められた特徴量の差が最小である第2
のパノラマ画像それぞれの画像面上の位置に対応する基
準直線上の距離を各特徴点の第1のパノラマ画像の視点
からの3次元位置情報として求め、取得された3次元位
置情報を受信した位置情報で示される位置を視点とする
パノラマ画像面に射影することにより、通信部が受信し
た位置情報で示される位置を視点とするパノラマ画像を
生成する。
【0036】また第8の発明では、第6または第7の発
明のパノラマ画像による案内システムの中央装置におい
て更に、パノラマ画像生成部が生成したパノラマ画像上
に文字情報として重畳表示される地図情報として案内情
報が表示される。
明のパノラマ画像による案内システムの中央装置におい
て更に、パノラマ画像生成部が生成したパノラマ画像上
に文字情報として重畳表示される地図情報として案内情
報が表示される。
【0037】また第9の発明では、第6または第7の発
明のパノラマ画像による案内システムの中央装置におい
て更に、パノラマ画像生成部が生成したパノラマ画像に
表示されている案内対象物に文字情報、音声情報、画像
情報及び/又はURLとして案内情報が予め対応付けら
れている。
明のパノラマ画像による案内システムの中央装置におい
て更に、パノラマ画像生成部が生成したパノラマ画像に
表示されている案内対象物に文字情報、音声情報、画像
情報及び/又はURLとして案内情報が予め対応付けら
れている。
【0038】また第10の発明では、パノラマ画像によ
る案内システムの端末装置が、任意の位置を位置情報と
して外部へ送信し、案内情報が付加されたパノラマ画像
を外部から受信し、受信したパノラマ画像の一部又は全
部と、その範囲に付加されている案内情報とを表示す
る。
る案内システムの端末装置が、任意の位置を位置情報と
して外部へ送信し、案内情報が付加されたパノラマ画像
を外部から受信し、受信したパノラマ画像の一部又は全
部と、その範囲に付加されている案内情報とを表示す
る。
【0039】また第11の発明では、第10の発明のパ
ノラマ画像による案内システムの端末装置において更
に、自身の位置を検出し、この位置を位置情報として外
部へ送信する。
ノラマ画像による案内システムの端末装置において更
に、自身の位置を検出し、この位置を位置情報として外
部へ送信する。
【0040】また第12の発明では、第10または第1
1の発明のパノラマ画像による案内システムの端末装置
において更に、受信したパノラマ画像上に文字情報とし
て重畳表示される地図情報として案内情報が表示され
る。
1の発明のパノラマ画像による案内システムの端末装置
において更に、受信したパノラマ画像上に文字情報とし
て重畳表示される地図情報として案内情報が表示され
る。
【0041】また第13の発明では、第10または第1
1の発明のパノラマ画像による案内システムの端末装置
において更に、受信したパノラマ画像に表示されている
案内対象物に文字情報、音声情報、画像情報及び/又は
URLとして案内情報が予め対応付けられている。
1の発明のパノラマ画像による案内システムの端末装置
において更に、受信したパノラマ画像に表示されている
案内対象物に文字情報、音声情報、画像情報及び/又は
URLとして案内情報が予め対応付けられている。
【0042】また第14の発明では、コンピュータプロ
グラムによって、予め撮像された複数のパノラマ画像及
び/又はパノラマ画像に変換し得る複数の組画像と、各
パノラマ画像及び/又は組画像の少なくとも撮像位置に
関する情報と、 画像の案内のための案内情報とを記憶し
た記憶部と、外部との通信が可能な通信部とを備えたコ
ンピュータに、通信部に位置情報を受信する手順と、通
信部が受信した位置情報で示される位置に最も近い位置
で撮像されたパノラマ画像又は組画像とそれとは異なる
位置で撮像された少なくとも2個のパノラマ画像又は組
画像を記憶部から読み出す手順と、記憶部から読み出さ
れた画像から受信した位置情報で示される位置を視点と
するパノラマ画像を生成する手順と、生成されたパノラ
マ画像に記憶部に記憶されている案内情報を付加する手
順と、案内情報が付加されたパノラマ画像を通信部から
外部へ送信する手順とを実行させることにより、第6の
発明のパノラマ画像による案内システムの中央装置を実
現する。
グラムによって、予め撮像された複数のパノラマ画像及
び/又はパノラマ画像に変換し得る複数の組画像と、各
パノラマ画像及び/又は組画像の少なくとも撮像位置に
関する情報と、 画像の案内のための案内情報とを記憶し
た記憶部と、外部との通信が可能な通信部とを備えたコ
ンピュータに、通信部に位置情報を受信する手順と、通
信部が受信した位置情報で示される位置に最も近い位置
で撮像されたパノラマ画像又は組画像とそれとは異なる
位置で撮像された少なくとも2個のパノラマ画像又は組
画像を記憶部から読み出す手順と、記憶部から読み出さ
れた画像から受信した位置情報で示される位置を視点と
するパノラマ画像を生成する手順と、生成されたパノラ
マ画像に記憶部に記憶されている案内情報を付加する手
順と、案内情報が付加されたパノラマ画像を通信部から
外部へ送信する手順とを実行させることにより、第6の
発明のパノラマ画像による案内システムの中央装置を実
現する。
【0043】また第15の発明では、第14の発明のコ
ンピュータプログラムにおいて、パノラマ画像を生成す
る手順は、通信部が受信した位置情報で示される位置に
最も近い画像の撮像位置を視点とする第1のパノラマ画
像の画像面上の所定の特徴量を有する特徴点を抽出する
手順と、抽出された各特徴点の位置と第1のパノラマ画
像の視点とを通る基準直線を設定する手順と、各基準直
線上の各点と第1のパノラマ画像とはそれぞれ異なる画
像の撮像位置を視点とする少なくとも2個の第2のパノ
ラマ画像それぞれの視点とを通る直線が第2のパノラマ
画像それぞれの画像面と交差する各位置の特徴量を求め
る手順と、各特徴点に関して、第1のパノラマ画像にお
ける特徴量と第2のパノラマ画像それぞれにおける各特
徴量との差を求める手順と、各特徴点に関して求められ
た特徴量の差が最小である第2のパノラマ画像それぞれ
の画像面上の位置に対応する基準直線上の距離を各特徴
点の第1のパノラマ画像の視点からの3次元位置情報と
して求める手順と、求められた各特徴点の3次元位置情
報に基づいて第1のパノラマ画像の3次元位置情報を取
得する手順と、取得された3次元位置情報を端末装置が
発信する位置情報で示される位置を視点とするパノラマ
画像面に射影する手順とをコンピュータに実行させるこ
とにより、通信部が受信した位置情報で示される位置を
視点とするパノラマ画像面に射影してパノラマ画像を生
成させる。
ンピュータプログラムにおいて、パノラマ画像を生成す
る手順は、通信部が受信した位置情報で示される位置に
最も近い画像の撮像位置を視点とする第1のパノラマ画
像の画像面上の所定の特徴量を有する特徴点を抽出する
手順と、抽出された各特徴点の位置と第1のパノラマ画
像の視点とを通る基準直線を設定する手順と、各基準直
線上の各点と第1のパノラマ画像とはそれぞれ異なる画
像の撮像位置を視点とする少なくとも2個の第2のパノ
ラマ画像それぞれの視点とを通る直線が第2のパノラマ
画像それぞれの画像面と交差する各位置の特徴量を求め
る手順と、各特徴点に関して、第1のパノラマ画像にお
ける特徴量と第2のパノラマ画像それぞれにおける各特
徴量との差を求める手順と、各特徴点に関して求められ
た特徴量の差が最小である第2のパノラマ画像それぞれ
の画像面上の位置に対応する基準直線上の距離を各特徴
点の第1のパノラマ画像の視点からの3次元位置情報と
して求める手順と、求められた各特徴点の3次元位置情
報に基づいて第1のパノラマ画像の3次元位置情報を取
得する手順と、取得された3次元位置情報を端末装置が
発信する位置情報で示される位置を視点とするパノラマ
画像面に射影する手順とをコンピュータに実行させるこ
とにより、通信部が受信した位置情報で示される位置を
視点とするパノラマ画像面に射影してパノラマ画像を生
成させる。
【0044】また第16の発明では、コンピュータプロ
グラムを記録したコンピュータ読み取り可能な記録媒体
を、予め撮像された複数のパノラマ画像及び/又はパノ
ラマ画像に変換し得る複数の組画像と、各パノラマ画像
及び/又は組画像の少なくとも撮像位置に関する情報
と、 画像の案内のための案内情報とを記憶した記憶部
と、外部との通信が可能な通信部とを備えたコンピュー
タに読み取らせることによって、第6の発明のパノラマ
画像による案内システムの中央装置を実現する。
グラムを記録したコンピュータ読み取り可能な記録媒体
を、予め撮像された複数のパノラマ画像及び/又はパノ
ラマ画像に変換し得る複数の組画像と、各パノラマ画像
及び/又は組画像の少なくとも撮像位置に関する情報
と、 画像の案内のための案内情報とを記憶した記憶部
と、外部との通信が可能な通信部とを備えたコンピュー
タに読み取らせることによって、第6の発明のパノラマ
画像による案内システムの中央装置を実現する。
【0045】
【発明の実施の形態】以下、本発明をその実施の形態を
示す図面に基づいて詳述する。図1は本発明に係るパノ
ラマ画像による案内システムの全体の構成例を示すブロ
ック図である。
示す図面に基づいて詳述する。図1は本発明に係るパノ
ラマ画像による案内システムの全体の構成例を示すブロ
ック図である。
【0046】図1において、10はサーバを、20はユーザ
端末を、30は GPS用人工衛星をそれぞれ示している。
端末を、30は GPS用人工衛星をそれぞれ示している。
【0047】サーバ10は専用のサーバシステムは勿論の
こと、汎用コンピュータで構成することも可能であり、
本システムの運営主体が管理する。このサーバ10は機能
的には、ユーザ端末20と通信(たとえば PHSデータ通
信)を行なうための通信部11、全体を制御する制御部1
2、ユーザ端末20から要求された位置を視点(任意視
点)とするパノラマ画像を後述する方法により新規に生
成するパノラマ画像生成部13、このパノラマ画像生成部
13が任意視点のパノラマ画像を生成するために必要なパ
ノラマ画像(元パノラマ画像)またはパノラマ画像を作
成することが可能な同一地点で撮像された複数の画像か
らなる組画像のデータを予め蓄積している画像データベ
ース(DB)14、パノラマ画像生成部13が生成した任意視点
のパノラマ画像上に種々の情報(地図情報、案内情報)
を重畳表示したり、埋め込んだりするためのGIS(Geogra
phical Information System)部15等を含んでいる。
こと、汎用コンピュータで構成することも可能であり、
本システムの運営主体が管理する。このサーバ10は機能
的には、ユーザ端末20と通信(たとえば PHSデータ通
信)を行なうための通信部11、全体を制御する制御部1
2、ユーザ端末20から要求された位置を視点(任意視
点)とするパノラマ画像を後述する方法により新規に生
成するパノラマ画像生成部13、このパノラマ画像生成部
13が任意視点のパノラマ画像を生成するために必要なパ
ノラマ画像(元パノラマ画像)またはパノラマ画像を作
成することが可能な同一地点で撮像された複数の画像か
らなる組画像のデータを予め蓄積している画像データベ
ース(DB)14、パノラマ画像生成部13が生成した任意視点
のパノラマ画像上に種々の情報(地図情報、案内情報)
を重畳表示したり、埋め込んだりするためのGIS(Geogra
phical Information System)部15等を含んでいる。
【0048】画像DB14には、たとえば走行する自動車上
から一定距離間隔で撮像したパノラマ画像、または最低
限3枚の画像で同一地点の 360度方向を撮像した組画像
が蓄積されている。これらの画像にはそれぞれの撮像地
点を特定するたとえば経緯度等の情報、それぞれの撮像
姿勢(カメラの光軸の角度)を特定する情報、同一地点
で撮像した画像がパノラマ画像でない場合はその地点で
撮像された複数の画像を合成したパノラマ画像(元パノ
ラマ画像)、各パノラマ画像上の後述する手法で求めら
れたメッシュデータ等が予め蓄積されている。
から一定距離間隔で撮像したパノラマ画像、または最低
限3枚の画像で同一地点の 360度方向を撮像した組画像
が蓄積されている。これらの画像にはそれぞれの撮像地
点を特定するたとえば経緯度等の情報、それぞれの撮像
姿勢(カメラの光軸の角度)を特定する情報、同一地点
で撮像した画像がパノラマ画像でない場合はその地点で
撮像された複数の画像を合成したパノラマ画像(元パノ
ラマ画像)、各パノラマ画像上の後述する手法で求めら
れたメッシュデータ等が予め蓄積されている。
【0049】GIS部15には、地名、道路名、建物名等の
地図情報及び店名、各店に対応した広告画像、各店に対
応した URL等の案内情報が予め蓄積されている。但し、
以下の説明では上述の地図情報と案内情報とを合わせて
案内情報と言う。
地図情報及び店名、各店に対応した広告画像、各店に対
応した URL等の案内情報が予め蓄積されている。但し、
以下の説明では上述の地図情報と案内情報とを合わせて
案内情報と言う。
【0050】ユーザ端末20はサーバ10との通信が可能な
歩行者が携帯するモバイルコンピュータ、PDA 等、また
は自動車等に搭載されたナビゲーションシステムで構成
されている。このユーザ端末20は機能的には、サーバ10
と通信(たとえばPHS データ通信)が可能な通信部21、
全体を制御する制御部22、たとえば人工衛星30(実際は
複数存在する)からの信号を受信して現在位置(経緯
度)を検出する GPSを利用した位置検出部23、ユーザの
各種指示の入力を受け付けるための入力部24、制御部22
による表示制御に従って画像表示を行なう表示部25、音
声出力のためのスピーカ26等を含んでいる。
歩行者が携帯するモバイルコンピュータ、PDA 等、また
は自動車等に搭載されたナビゲーションシステムで構成
されている。このユーザ端末20は機能的には、サーバ10
と通信(たとえばPHS データ通信)が可能な通信部21、
全体を制御する制御部22、たとえば人工衛星30(実際は
複数存在する)からの信号を受信して現在位置(経緯
度)を検出する GPSを利用した位置検出部23、ユーザの
各種指示の入力を受け付けるための入力部24、制御部22
による表示制御に従って画像表示を行なう表示部25、音
声出力のためのスピーカ26等を含んでいる。
【0051】なお、サーバ10とユーザ端末20との間の通
信はPHS データ通信に限られるものではなく、他の通信
システムであってもよい。また、ユーザ端末20は位置検
出部23を備えているが、これは内蔵されていても、外付
けであってもよいし、ユーザ端末20の現在位置を検出可
能であれば GPS以外のシステム、たとえばPHS の位置検
出機能等を利用してもよい。ユーザ端末20の表示部25は
LCD, CRT, プラズマディスプレイ等、種々の表示装置の
利用が可能であり、いわゆるGUI(Graphical User Inter
face)が採用されている。
信はPHS データ通信に限られるものではなく、他の通信
システムであってもよい。また、ユーザ端末20は位置検
出部23を備えているが、これは内蔵されていても、外付
けであってもよいし、ユーザ端末20の現在位置を検出可
能であれば GPS以外のシステム、たとえばPHS の位置検
出機能等を利用してもよい。ユーザ端末20の表示部25は
LCD, CRT, プラズマディスプレイ等、種々の表示装置の
利用が可能であり、いわゆるGUI(Graphical User Inter
face)が採用されている。
【0052】以下、本発明のパノラマ画像による案内シ
ステムの動作について、まずサーバ10側の動作を図2及
び図3のフローチャートを参照して説明する。なお、前
述した如く、画像DB14及び GIS部15には必要な情報は予
め全て蓄積されているものとする。
ステムの動作について、まずサーバ10側の動作を図2及
び図3のフローチャートを参照して説明する。なお、前
述した如く、画像DB14及び GIS部15には必要な情報は予
め全て蓄積されているものとする。
【0053】サーバ10は通常はユーザ端末20からの画像
表示の要求を待機する状態にある(ステップS11)。ユー
ザ端末20の通信部21から画像表示の要求が発信された場
合、その信号をサーバ10の通信部11が受信するが、その
信号は基本的には画像表示を要求するコマンドと位置検
出部23が検出しているユーザ端末20の現在位置の情報
(経緯度)とで構成されている(ステップS12)。但し、
この際のユーザ端末20から送信される位置情報は位置検
出部23が検出している現在位置の情報に限定されるもの
ではなく、任意の位置、たとえば経緯度の数値、ユーザ
端末20の表示部25に表示されている平面地図上の任意の
位置、または特定のランドマーク(駅、建物等)の名称
をサーバ10で受信して経緯度に変換してもよい。
表示の要求を待機する状態にある(ステップS11)。ユー
ザ端末20の通信部21から画像表示の要求が発信された場
合、その信号をサーバ10の通信部11が受信するが、その
信号は基本的には画像表示を要求するコマンドと位置検
出部23が検出しているユーザ端末20の現在位置の情報
(経緯度)とで構成されている(ステップS12)。但し、
この際のユーザ端末20から送信される位置情報は位置検
出部23が検出している現在位置の情報に限定されるもの
ではなく、任意の位置、たとえば経緯度の数値、ユーザ
端末20の表示部25に表示されている平面地図上の任意の
位置、または特定のランドマーク(駅、建物等)の名称
をサーバ10で受信して経緯度に変換してもよい。
【0054】ユーザ端末20からの画像表示の要求がある
とサーバ10の制御部12は、通信部11が受信した位置情報
に最も近い地点で撮像された画像及びその両側の隣接地
点で撮像された2画像のデータ(元パノラマ画像または
パノラマ画像に変換可能な同一地点で撮像された複数の
画像からなる組画像)を画像DB14から読み出す(ステッ
プS13)。この際、3地点で撮像された画像のいずれか一
組でもパノラマ画像でない画像がある場合には(ステッ
プS14 でNO)、制御部12はその画像をパノラマ画像に変
換する(ステップS15)。
とサーバ10の制御部12は、通信部11が受信した位置情報
に最も近い地点で撮像された画像及びその両側の隣接地
点で撮像された2画像のデータ(元パノラマ画像または
パノラマ画像に変換可能な同一地点で撮像された複数の
画像からなる組画像)を画像DB14から読み出す(ステッ
プS13)。この際、3地点で撮像された画像のいずれか一
組でもパノラマ画像でない画像がある場合には(ステッ
プS14 でNO)、制御部12はその画像をパノラマ画像に変
換する(ステップS15)。
【0055】なおこのステップS15 における処理手法
は、円筒形の射影面(画像面)を考え、これにパノラマ
画像ではない複数の矩形の元の画像をそれぞれの画像が
撮像された際のカメラの姿勢に基づいて射影し、パノラ
マ画像になるように接合するという公知の比較的簡単な
処理である。このようにして一旦作成されたパノラマ画
像はその地点の元パノラマ画像として画像DB14に蓄積さ
れ、以降はこの元パノラマ画像が利用される。但し、画
像DB14に予め全ての地点で撮像した画像をパノラマ画像
に変換して蓄積しておいてもよいことはいうまでもな
い。
は、円筒形の射影面(画像面)を考え、これにパノラマ
画像ではない複数の矩形の元の画像をそれぞれの画像が
撮像された際のカメラの姿勢に基づいて射影し、パノラ
マ画像になるように接合するという公知の比較的簡単な
処理である。このようにして一旦作成されたパノラマ画
像はその地点の元パノラマ画像として画像DB14に蓄積さ
れ、以降はこの元パノラマ画像が利用される。但し、画
像DB14に予め全ての地点で撮像した画像をパノラマ画像
に変換して蓄積しておいてもよいことはいうまでもな
い。
【0056】次に、制御部12は以上のようにして得られ
た3地点の元パノラマ画像の内のユーザ端末20から受信
した位置情報に最も近い地点の元パノラマ画像をベース
パノラマ画像とし、他の2地点の元パノラマ画像を参照
パノラマ画像とする(ステップS16)。なお、ベースパノ
ラマ画像はユーザ端末20から受信した位置情報の地点を
視点(任意視点)とする新たなパノラマ画像(以下、新
パノラマ画像という)を生成するためのベースとなるパ
ノラマ画像であり、他の参照パノラマ画像はベースパノ
ラマ画像から新パノラマ画像を生成する際の3次元情報
を得るために参照されるパノラマ画像である。但し、後
述するように、ユーザ端末20からの画像表示の要求に応
えるためには原理的には最低限3組のパノラマ画像があ
ればよいが、それ以上の数のパノラマ画像を使用しても
よいことは言うまでもない。
た3地点の元パノラマ画像の内のユーザ端末20から受信
した位置情報に最も近い地点の元パノラマ画像をベース
パノラマ画像とし、他の2地点の元パノラマ画像を参照
パノラマ画像とする(ステップS16)。なお、ベースパノ
ラマ画像はユーザ端末20から受信した位置情報の地点を
視点(任意視点)とする新たなパノラマ画像(以下、新
パノラマ画像という)を生成するためのベースとなるパ
ノラマ画像であり、他の参照パノラマ画像はベースパノ
ラマ画像から新パノラマ画像を生成する際の3次元情報
を得るために参照されるパノラマ画像である。但し、後
述するように、ユーザ端末20からの画像表示の要求に応
えるためには原理的には最低限3組のパノラマ画像があ
ればよいが、それ以上の数のパノラマ画像を使用しても
よいことは言うまでもない。
【0057】以上のようにして制御部12によりベースパ
ノラマ画像と参照パノラマ画像とが選択されると、それ
らの画像データ及びそれぞれに付属する撮像時の位置
(視点)及びカメラの光軸方向(姿勢)等の情報とユー
ザ端末20から受信した位置情報とがパノラマ画像生成部
13に与えられる。
ノラマ画像と参照パノラマ画像とが選択されると、それ
らの画像データ及びそれぞれに付属する撮像時の位置
(視点)及びカメラの光軸方向(姿勢)等の情報とユー
ザ端末20から受信した位置情報とがパノラマ画像生成部
13に与えられる。
【0058】パノラマ画像生成部13では、上述のように
して制御部12から与えられた情報に従って新パノラマ画
像を生成するが、以下にその原理について説明する。
して制御部12から与えられた情報に従って新パノラマ画
像を生成するが、以下にその原理について説明する。
【0059】図4(a), (b), (c) は近接した3地点、換
言すれば3視点VP1,VP2,VP3においてそれぞれ撮像
されたパノラマ画像(元パノラマ画像)を示している。
なお、各パノラマ画像はそれぞれの右端と左端とが連続
した 360度全周のパノラマ画像である。そして、図4
(b) に示されている視点VP2において撮像されたパノラ
マ画像をベースパノラマ画像BPとし、他を参照パノラマ
画像RP1、RP2とする。なお、ベースパノラマ画像BP
は、新パノラマ画像NPの視点に最も近い位置を視点とす
る元パノラマ画像を選択することが望ましいが、必須で
はない。
言すれば3視点VP1,VP2,VP3においてそれぞれ撮像
されたパノラマ画像(元パノラマ画像)を示している。
なお、各パノラマ画像はそれぞれの右端と左端とが連続
した 360度全周のパノラマ画像である。そして、図4
(b) に示されている視点VP2において撮像されたパノラ
マ画像をベースパノラマ画像BPとし、他を参照パノラマ
画像RP1、RP2とする。なお、ベースパノラマ画像BP
は、新パノラマ画像NPの視点に最も近い位置を視点とす
る元パノラマ画像を選択することが望ましいが、必須で
はない。
【0060】まず、パノラマ画像生成部13はベースパノ
ラマ画像BPの画像面BI上の特徴点抽出を行なう(ステッ
プS17)。この特徴点の抽出は種々の手法を採ることが可
能であるが、この例では特徴量としての輝度が全方向に
おいて急激に変化している部分を特徴点として抽出する
公知の手法を利用している。図5は図4(b) に示されて
いるベースパノラマ画像BPの画像面BIに対して特徴点抽
出を行なった結果を示す模式図であり、白点が抽出され
た特徴点である。
ラマ画像BPの画像面BI上の特徴点抽出を行なう(ステッ
プS17)。この特徴点の抽出は種々の手法を採ることが可
能であるが、この例では特徴量としての輝度が全方向に
おいて急激に変化している部分を特徴点として抽出する
公知の手法を利用している。図5は図4(b) に示されて
いるベースパノラマ画像BPの画像面BIに対して特徴点抽
出を行なった結果を示す模式図であり、白点が抽出され
た特徴点である。
【0061】次に、パノラマ画像生成部13はベースパノ
ラマ画像BPの画像面BI上の各特徴点を対象としてドロネ
ーメッシュを作成する(ステップS18)。この結果、ベー
スパノラマ画像BPの画像面BI上の全特徴点を結ぶメッシ
ュが作成される。図6は図4(b) に示されているベース
パノラマ画像BPに対してドロネーメッシュを作成した結
果を示す模式図である。
ラマ画像BPの画像面BI上の各特徴点を対象としてドロネ
ーメッシュを作成する(ステップS18)。この結果、ベー
スパノラマ画像BPの画像面BI上の全特徴点を結ぶメッシ
ュが作成される。図6は図4(b) に示されているベース
パノラマ画像BPに対してドロネーメッシュを作成した結
果を示す模式図である。
【0062】なお、ドロネー(Delaunay)メッシュとは、
ドロネー3角形分割により得られるメッシュのことであ
る。ドロネー3角形分割も公知の手法であるが、端的に
は、2個の3角形の外接円が他の点を内部に含まない、
という条件を満足するように対象の点の全てを結んで3
角形を生成する手法である。この結果として得られる3
角形のメッシュがドロネーメッシュである。
ドロネー3角形分割により得られるメッシュのことであ
る。ドロネー3角形分割も公知の手法であるが、端的に
は、2個の3角形の外接円が他の点を内部に含まない、
という条件を満足するように対象の点の全てを結んで3
角形を生成する手法である。この結果として得られる3
角形のメッシュがドロネーメッシュである。
【0063】次に、パノラマ画像生成部13はベースパノ
ラマ画像BPの画像面BI上の各特徴点の3次元座標値を算
出する(ステップS19)。ここでは、マルチプルベースラ
インステレオの原理に従って、ベースパノラマ画像BI上
の各特徴点とそれぞれに対応する両参照パノラマ画像RP
1、RP2の画像面RI1、RI2上の特徴点との関係から3
次元座標が算出される。具体的には以下のようになる。
ラマ画像BPの画像面BI上の各特徴点の3次元座標値を算
出する(ステップS19)。ここでは、マルチプルベースラ
インステレオの原理に従って、ベースパノラマ画像BI上
の各特徴点とそれぞれに対応する両参照パノラマ画像RP
1、RP2の画像面RI1、RI2上の特徴点との関係から3
次元座標が算出される。具体的には以下のようになる。
【0064】図7はマルチプルベースラインステレオを
ベースパノラマ画像に適用した結果の一例を示す模式図
である。図7において、3個の円は 360度全周パノラマ
画像の画像面を上から見た状態(平面図)を示してい
る。BIはベースパノラマ画像BPの画像面を、RI1は第1
参照パノラマ画像RP1の画像面を、RI2は第2参照パノ
ラマ画像RP2の画像面をそれぞれ示している。なお、各
パノラマ画像BP, RP1,RP2の画像面は何れも円筒形状
である。また、各画像面の半径は、通常の平面画像にお
ける焦点距離に相当し、各パノラマ画像の縦サイズと半
径が通常の平面画像における画角に相当する。
ベースパノラマ画像に適用した結果の一例を示す模式図
である。図7において、3個の円は 360度全周パノラマ
画像の画像面を上から見た状態(平面図)を示してい
る。BIはベースパノラマ画像BPの画像面を、RI1は第1
参照パノラマ画像RP1の画像面を、RI2は第2参照パノ
ラマ画像RP2の画像面をそれぞれ示している。なお、各
パノラマ画像BP, RP1,RP2の画像面は何れも円筒形状
である。また、各画像面の半径は、通常の平面画像にお
ける焦点距離に相当し、各パノラマ画像の縦サイズと半
径が通常の平面画像における画角に相当する。
【0065】なお、図7に破線にて示されている平面形
状は、最終的に得られるパノラマ画像の画像面に撮像さ
れているシーンの3次元形状であり、ベースパノラマ画
像BPに対する距離画像、換言すれば可視領域となる。ま
た、ベースパノラマ画像BPの画像面BIを表わす円筒の中
心CB、即ちパノラマ画像の撮像時の撮像装置の視点とベ
ースパノラマ画像BPの画像面BI上の注目画素(ここでは
特徴点)とを通る直線を視線ベクトルVIと称する。
状は、最終的に得られるパノラマ画像の画像面に撮像さ
れているシーンの3次元形状であり、ベースパノラマ画
像BPに対する距離画像、換言すれば可視領域となる。ま
た、ベースパノラマ画像BPの画像面BIを表わす円筒の中
心CB、即ちパノラマ画像の撮像時の撮像装置の視点とベ
ースパノラマ画像BPの画像面BI上の注目画素(ここでは
特徴点)とを通る直線を視線ベクトルVIと称する。
【0066】この例では、画像DB14に蓄積されている各
パノラマ画像に関しては、それぞれが撮像された際の撮
像装置の位置及び姿勢は既知であり、従って各パノラマ
画像の3次元座標系に対する視線ベクトルの姿勢は注目
画素の画素アドレスから得ることが可能であるため、視
線ベクトルVIの算出は容易である。このとき、注目画素
に撮像されているシーンに存在する物体表面の3次元位
置はこの視線ベクトルVI上に存在するので、ベースパノ
ラマ画像BPの中心CBから物体表面までの距離が求まれば
その注目画素の3次元座標を計算することが出来る。
パノラマ画像に関しては、それぞれが撮像された際の撮
像装置の位置及び姿勢は既知であり、従って各パノラマ
画像の3次元座標系に対する視線ベクトルの姿勢は注目
画素の画素アドレスから得ることが可能であるため、視
線ベクトルVIの算出は容易である。このとき、注目画素
に撮像されているシーンに存在する物体表面の3次元位
置はこの視線ベクトルVI上に存在するので、ベースパノ
ラマ画像BPの中心CBから物体表面までの距離が求まれば
その注目画素の3次元座標を計算することが出来る。
【0067】具体的には、まずベースパノラマ画像BPの
画像面BI上の画素Iに注目し、この画素Iに撮像されて
いる物体表面の部分がベースパノラマ画像BPの中心CBか
ら距離D1, D2, D3の位置P1, P2, P3にそれぞれ存在する
と仮定する。
画像面BI上の画素Iに注目し、この画素Iに撮像されて
いる物体表面の部分がベースパノラマ画像BPの中心CBか
ら距離D1, D2, D3の位置P1, P2, P3にそれぞれ存在する
と仮定する。
【0068】距離D1の位置P1に物体が存在すると仮定し
た場合、図7に示されているように、ベースパノラマ画
像BPの画像面BI上の画素Iに撮像されたシーン中の同一
物体の表面の部分が両参照パノラマ画像RP1、RP2の画
像面RI1,RI2上の画素I11及びI21に撮像されている
はずである。しかし、実際には現実の位置P2まdの距離
D2よりも距離が大きすぎるため、両参照パノラマ画像RP
1、RP2の画像面RI1、RI2にはそれぞれ距離D1’及び
D1" の位置P1’及びP1" が撮像されていることになる。
従って、画素IとI11との輝度差、画素IとI21との輝
度差は大きくなる。同様に、画素IとI13との輝度差、
画素IとI23との輝度差も大きくなる。この際、2個の
参照パノラマ画像RP1、RP2の画像面RI1、RI2上の画
素I11、I21のいずれか一方が画素Iとほぼ同程度の輝
度を有する可能性はあっても、両方の画素I11、I21が
共に画素Iとほぼ同程度の輝度を有する確率は非常に小
さい(参照パノラマ画像の数を3個以上に増加させるこ
とにより、このような確率は更に小さくなる)。
た場合、図7に示されているように、ベースパノラマ画
像BPの画像面BI上の画素Iに撮像されたシーン中の同一
物体の表面の部分が両参照パノラマ画像RP1、RP2の画
像面RI1,RI2上の画素I11及びI21に撮像されている
はずである。しかし、実際には現実の位置P2まdの距離
D2よりも距離が大きすぎるため、両参照パノラマ画像RP
1、RP2の画像面RI1、RI2にはそれぞれ距離D1’及び
D1" の位置P1’及びP1" が撮像されていることになる。
従って、画素IとI11との輝度差、画素IとI21との輝
度差は大きくなる。同様に、画素IとI13との輝度差、
画素IとI23との輝度差も大きくなる。この際、2個の
参照パノラマ画像RP1、RP2の画像面RI1、RI2上の画
素I11、I21のいずれか一方が画素Iとほぼ同程度の輝
度を有する可能性はあっても、両方の画素I11、I21が
共に画素Iとほぼ同程度の輝度を有する確率は非常に小
さい(参照パノラマ画像の数を3個以上に増加させるこ
とにより、このような確率は更に小さくなる)。
【0069】ベースパノラマ画像BPの中心CBから位置P2
までの距離D2は実距離、即ち正しい距離であるため、画
素IとI12、画素IとI22はシーン中の同一物体の表面
の部分が撮像されている。従って、それらの輝度差は非
常に小さいはずである。このように、画素Iの視線ベク
トルVI方向に距離順にスキャンし、それぞれの参照パノ
ラマ画像RP1、RP2の画像面RI1、RI2上の対応する画
素との輝度差の最小値を求めることにより、ベースパノ
ラマ画像BPの中心CBから画素Iまでの正しい距離を求め
ることが可能である。
までの距離D2は実距離、即ち正しい距離であるため、画
素IとI12、画素IとI22はシーン中の同一物体の表面
の部分が撮像されている。従って、それらの輝度差は非
常に小さいはずである。このように、画素Iの視線ベク
トルVI方向に距離順にスキャンし、それぞれの参照パノ
ラマ画像RP1、RP2の画像面RI1、RI2上の対応する画
素との輝度差の最小値を求めることにより、ベースパノ
ラマ画像BPの中心CBから画素Iまでの正しい距離を求め
ることが可能である。
【0070】但し、上述の原理を1画素を対象として適
用した場合にはノイズ等の影響を受ける可能性が大きい
ため、現実的には10×10画素程度の領域を対象とし
て適用することが望ましい。
用した場合にはノイズ等の影響を受ける可能性が大きい
ため、現実的には10×10画素程度の領域を対象とし
て適用することが望ましい。
【0071】次に、各特徴点の3次元座標値を前述のよ
うにして取得したドロネーメッシュに適用してそれを3
次元化する(ステップS19)。図8はこのドロネーメッシ
ュの3次元化及び後述するステップS20 、S21 で行なわ
れる新パノラマ画像への3次元メッシュの射影を示す模
式図である。
うにして取得したドロネーメッシュに適用してそれを3
次元化する(ステップS19)。図8はこのドロネーメッシ
ュの3次元化及び後述するステップS20 、S21 で行なわ
れる新パノラマ画像への3次元メッシュの射影を示す模
式図である。
【0072】図8の左側部に示されているように、ベー
スパノラマ画像BPの画像面BIにおいて特徴点から作成さ
れたメッシュOMが図8の中央部に示されているように3
次元化されている。ここで、3次元化されたメッシュ3M
はベースパノラマ画像BPの中心CBに対するベースパノラ
マ画像BPの画像面BI上への射影になっている。従って、
この3次元化されたメッシュ3Mを新パノラマ画像NPの中
心CNに対する新パノラマ画像NPの画像面NI上への射影に
なるようにすれば、図8の右側部に示されているよう
に、新パノラマ画像NPの画像面NI上にベースパノラマ画
像BPの画像面BI上のメッシュが射影される (ステップS2
2)。
スパノラマ画像BPの画像面BIにおいて特徴点から作成さ
れたメッシュOMが図8の中央部に示されているように3
次元化されている。ここで、3次元化されたメッシュ3M
はベースパノラマ画像BPの中心CBに対するベースパノラ
マ画像BPの画像面BI上への射影になっている。従って、
この3次元化されたメッシュ3Mを新パノラマ画像NPの中
心CNに対する新パノラマ画像NPの画像面NI上への射影に
なるようにすれば、図8の右側部に示されているよう
に、新パノラマ画像NPの画像面NI上にベースパノラマ画
像BPの画像面BI上のメッシュが射影される (ステップS2
2)。
【0073】図9は図4(b) に示されているベースパノ
ラマ画像BPの画像面BIから作成されたドロネーメッシュ
を新パノラマ画像NPの画像面NIに射影した結果を示す模
式図である。この図9の中央部が両端部に比して上下幅
が若干小さくなっているが、これは新パノラマ画像NPの
中心(視点)CNがベースパノラマ画像BPの視点VP2から
移動した(具体的には、図9の上下幅が若干小さくなっ
ている中央部に対して遠ざかった)ことを意味してい
る。
ラマ画像BPの画像面BIから作成されたドロネーメッシュ
を新パノラマ画像NPの画像面NIに射影した結果を示す模
式図である。この図9の中央部が両端部に比して上下幅
が若干小さくなっているが、これは新パノラマ画像NPの
中心(視点)CNがベースパノラマ画像BPの視点VP2から
移動した(具体的には、図9の上下幅が若干小さくなっ
ている中央部に対して遠ざかった)ことを意味してい
る。
【0074】ところで、上述のようにして得られた新パ
ノラマ画像NPの画像面NI上のメッシュとベースパノラマ
画像BPの画像面BI上のメッシュとはそれぞれの形状が異
なっていることは言うまでもない。このような本来は同
一の画像の形状が異なる場合、換言すれば画像の形状を
変形する必要がある場合、一般的にアフィン変換処理が
利用される。この例では、2次元アフィン変換マトリク
ス(実際には同次座標であるため3×3)を計算する。
しかし、このようなアフィン変換マトリクスはメッシュ
の内の1つの三角ポリゴンに対してのみ有効であるた
め、新パノラマ画像NPの画像面NI上の画素がそれぞれい
ずれのポリゴンに属しているかを示すフラグ画像をまず
生成する。具体的なアルゴリズムとしてはまず、注目す
る三角ポリゴンの重心を求め、これを始点とする。そし
て、重心から画像の左右方向へ画素を移動し、それぞれ
がポリゴン線(メッシュの線)に到達するまでそのポリ
ゴンを特定するIDを付与する。画素の移動がポリゴン線
にまで到達した場合には、それまでの画素ラインの1画
素下(又は上)へ移動して同一の操作を反復する。この
際の開始画素のx座標は最初のラインの中点とする。
ノラマ画像NPの画像面NI上のメッシュとベースパノラマ
画像BPの画像面BI上のメッシュとはそれぞれの形状が異
なっていることは言うまでもない。このような本来は同
一の画像の形状が異なる場合、換言すれば画像の形状を
変形する必要がある場合、一般的にアフィン変換処理が
利用される。この例では、2次元アフィン変換マトリク
ス(実際には同次座標であるため3×3)を計算する。
しかし、このようなアフィン変換マトリクスはメッシュ
の内の1つの三角ポリゴンに対してのみ有効であるた
め、新パノラマ画像NPの画像面NI上の画素がそれぞれい
ずれのポリゴンに属しているかを示すフラグ画像をまず
生成する。具体的なアルゴリズムとしてはまず、注目す
る三角ポリゴンの重心を求め、これを始点とする。そし
て、重心から画像の左右方向へ画素を移動し、それぞれ
がポリゴン線(メッシュの線)に到達するまでそのポリ
ゴンを特定するIDを付与する。画素の移動がポリゴン線
にまで到達した場合には、それまでの画素ラインの1画
素下(又は上)へ移動して同一の操作を反復する。この
際の開始画素のx座標は最初のラインの中点とする。
【0075】以上のようにしてスキャンラインがポリゴ
ンの最下部(又は最上部)に達した後は、スキャンを開
始した重心位置から上方(又は下方)へ向けて同一の処
理を反復する。このようにして、1つのポリゴンに含ま
れる全画素にそれが含まれるポリゴンのIDを付与するこ
とにより、これら同一のIDが付与された全ての画素に対
して同一のアフィン変換マトリクスを適用することが可
能になる。
ンの最下部(又は最上部)に達した後は、スキャンを開
始した重心位置から上方(又は下方)へ向けて同一の処
理を反復する。このようにして、1つのポリゴンに含ま
れる全画素にそれが含まれるポリゴンのIDを付与するこ
とにより、これら同一のIDが付与された全ての画素に対
して同一のアフィン変換マトリクスを適用することが可
能になる。
【0076】このようにして、新パノラマ画像NPの画像
面NI上でのメッシュのベースパノラマ画像BPの画像面BI
上のメッシュに対する変形を参照して、ベースパノラマ
画像BPの画像面BI上の各メッシュを変形し、変形したベ
ースパノラマ画像BPの画像面BI上の各メッシュの画像を
新パノラマ画像NPの画像面NI上の対応するメッシュに貼
り付ける(ステップS23)。図10は図4(b) に示されてい
るベースパノラマ画像BPから新パノラマ画像NPを生成し
た結果を示す模式図である。この例では、新パノラマ画
像NPが良好に再現されていることが判る。
面NI上でのメッシュのベースパノラマ画像BPの画像面BI
上のメッシュに対する変形を参照して、ベースパノラマ
画像BPの画像面BI上の各メッシュを変形し、変形したベ
ースパノラマ画像BPの画像面BI上の各メッシュの画像を
新パノラマ画像NPの画像面NI上の対応するメッシュに貼
り付ける(ステップS23)。図10は図4(b) に示されてい
るベースパノラマ画像BPから新パノラマ画像NPを生成し
た結果を示す模式図である。この例では、新パノラマ画
像NPが良好に再現されていることが判る。
【0077】以上のような原理に従ってパノラマ画像生
成部13がユーザ端末20から受信した位置情報の位置を視
点とする任意視点パノラマ画像を生成すると、制御部12
は先にステップS20 で検索しておいた地図情報をパノラ
マ画像生成部13に与えて新パノラマ画像上に射影させる
(ステップS24)。この際、地図情報の3次元的な位置情
報を使用することにより、新パノラマ画像上のたとえば
ビルの屋上の看板に対応する文字情報、URL 等を配置す
ることが可能になる。
成部13がユーザ端末20から受信した位置情報の位置を視
点とする任意視点パノラマ画像を生成すると、制御部12
は先にステップS20 で検索しておいた地図情報をパノラ
マ画像生成部13に与えて新パノラマ画像上に射影させる
(ステップS24)。この際、地図情報の3次元的な位置情
報を使用することにより、新パノラマ画像上のたとえば
ビルの屋上の看板に対応する文字情報、URL 等を配置す
ることが可能になる。
【0078】ところで、上述のようにして生成された新
パノラマ画像NP上に種々の案内情報(地図情報等)を表
示するステップS24 の処理に際しては、平面地図とは異
なって実際に画像上に表示されている建築物等のオブジ
ェクトにのみ案内情報を表示する必要がある、換言すれ
ば視点から見て手前のビル等のオブジェクトに隠された
背後のオブジェクトには案内情報を表示しないようにす
る必要がある。そのためには実際にいずれのオブジェク
トがパノラマ画像上に表示されているかをオブジェクト
間のオクルージョン(隠蔽)を考慮して決定する必要が
有る。以下、そのようなパノラマ画像上での種々の情報
表示のための位置を決定する方法について説明する。
パノラマ画像NP上に種々の案内情報(地図情報等)を表
示するステップS24 の処理に際しては、平面地図とは異
なって実際に画像上に表示されている建築物等のオブジ
ェクトにのみ案内情報を表示する必要がある、換言すれ
ば視点から見て手前のビル等のオブジェクトに隠された
背後のオブジェクトには案内情報を表示しないようにす
る必要がある。そのためには実際にいずれのオブジェク
トがパノラマ画像上に表示されているかをオブジェクト
間のオクルージョン(隠蔽)を考慮して決定する必要が
有る。以下、そのようなパノラマ画像上での種々の情報
表示のための位置を決定する方法について説明する。
【0079】図11は地図情報のパノラマ画像への表示の
際の位置決定の原理を示す模式図である。まず、新パノ
ラマ画像NPの画像面NI上で特徴点の2次元射影を水平方
向にソートして順番を発生させる。同時に、各特徴点の
3次元座標値を2次元地図平面に射影する。新パノラマ
画像NPの画像面NI上で発生させた順番に2次元地図平面
上の特徴点の射影を連結すると多角形が生成される。こ
の多角形は近似的に新パノラマ画像NPの中心(視点)CN
から見通せる領域、即ち新パノラマ画像NPの可視領域VR
の境界線を表わす。
際の位置決定の原理を示す模式図である。まず、新パノ
ラマ画像NPの画像面NI上で特徴点の2次元射影を水平方
向にソートして順番を発生させる。同時に、各特徴点の
3次元座標値を2次元地図平面に射影する。新パノラマ
画像NPの画像面NI上で発生させた順番に2次元地図平面
上の特徴点の射影を連結すると多角形が生成される。こ
の多角形は近似的に新パノラマ画像NPの中心(視点)CN
から見通せる領域、即ち新パノラマ画像NPの可視領域VR
の境界線を表わす。
【0080】以上のようにして新パノラマ画像NPの可視
領域VRの境界線を表わす多角形が求まると、地図情報が
可視領域VRの内側に存在するか、外側に存在するかの判
定を行なう。この判定のアルゴリズムは、判定対象の地
図情報の平面地図上の位置と新パノラマ画像NPの可視領
域VR内の既知点とを通る直線が新パノラマ画像NPの可視
領域VRの境界線と交差する回数が偶数(交差しない場
合、即ち交差回数が0回の場合も含む)である場合は可
視領域VRの内側に、奇数である場合は外側にそれぞれ存
在すると判定することが可能である。
領域VRの境界線を表わす多角形が求まると、地図情報が
可視領域VRの内側に存在するか、外側に存在するかの判
定を行なう。この判定のアルゴリズムは、判定対象の地
図情報の平面地図上の位置と新パノラマ画像NPの可視領
域VR内の既知点とを通る直線が新パノラマ画像NPの可視
領域VRの境界線と交差する回数が偶数(交差しない場
合、即ち交差回数が0回の場合も含む)である場合は可
視領域VRの内側に、奇数である場合は外側にそれぞれ存
在すると判定することが可能である。
【0081】換言すれば、既知点として新パノラマ画像
NPの中心(視点)CNを採用し、図11に示されているよう
に、たとえば地図情報Aが平面地図上の位置IPAに存在
する場合、この位置IPAと新パノラマ画像NPの中心CNと
を直線で結ぶと可視領域VRの境界線との交差回数は
「0」回である。これにより、地図情報Aは新パノラマ
画像NPの可視領域VR内に存在すると判定することが可能
である。地図情報Bに関しても同様の判定結果が得られ
る。
NPの中心(視点)CNを採用し、図11に示されているよう
に、たとえば地図情報Aが平面地図上の位置IPAに存在
する場合、この位置IPAと新パノラマ画像NPの中心CNと
を直線で結ぶと可視領域VRの境界線との交差回数は
「0」回である。これにより、地図情報Aは新パノラマ
画像NPの可視領域VR内に存在すると判定することが可能
である。地図情報Bに関しても同様の判定結果が得られ
る。
【0082】従って、地図情報A及びBに関しては、そ
れぞれの平面地図上の位置IPA、IPBと新パノラマ画像
NPの中心CNとを結ぶ直線が新パノラマ画像NPの画像面NI
と交差する位置DPA、DPBに前述した地図情報の3次元
的な位置情報を加味して新パノラマ画像NP上の表示位置
を決定すればよいことになる。
れぞれの平面地図上の位置IPA、IPBと新パノラマ画像
NPの中心CNとを結ぶ直線が新パノラマ画像NPの画像面NI
と交差する位置DPA、DPBに前述した地図情報の3次元
的な位置情報を加味して新パノラマ画像NP上の表示位置
を決定すればよいことになる。
【0083】一方、地図情報Cに関しては、その2次元
平面地図上の位置IPCと新パノラマ画像NPの中心CNとを
直線で結ぶと可視領域VRの境界線との交差回数は「1」
回である。これにより、地図情報Cは新パノラマ画像NP
の可視領域VR外に存在すると判定することが可能であ
る。従って、地図情報Cに関しては新パノラマ画像NPの
画像面NI上への表示は行なわない。
平面地図上の位置IPCと新パノラマ画像NPの中心CNとを
直線で結ぶと可視領域VRの境界線との交差回数は「1」
回である。これにより、地図情報Cは新パノラマ画像NP
の可視領域VR外に存在すると判定することが可能であ
る。従って、地図情報Cに関しては新パノラマ画像NPの
画像面NI上への表示は行なわない。
【0084】最後に、サーバ10はパノラマ画像生成部13
が生成した新パノラマ画像を通信部11から送信する(ス
テップS25)。
が生成した新パノラマ画像を通信部11から送信する(ス
テップS25)。
【0085】次に、ユーザ端末20側の処理について説明
する。なお、ユーザ端末20は、サーバ10から送信される
画像を表示するためのプログラムをソフトウェアとして
予めインストールしてあるモバイルコンピュータ、また
はファームウェアとして予め組み込んである専用の端末
装置でもよいが、サーバ10からの送信に際して画像表示
のためのたとえばJAVA(登録商標)アプリケーショ
ン等のスクリプトファイルを画像のデータと共に送信
し、それをユーザ端末20側で受信して表示処理を行なう
ようなPDAでもよい。
する。なお、ユーザ端末20は、サーバ10から送信される
画像を表示するためのプログラムをソフトウェアとして
予めインストールしてあるモバイルコンピュータ、また
はファームウェアとして予め組み込んである専用の端末
装置でもよいが、サーバ10からの送信に際して画像表示
のためのたとえばJAVA(登録商標)アプリケーショ
ン等のスクリプトファイルを画像のデータと共に送信
し、それをユーザ端末20側で受信して表示処理を行なう
ようなPDAでもよい。
【0086】以下、ユーザ端末20側の処理を示すフロー
チャートである図12及びユーザ端末20の表示状態及び表
示すべきパノラマ画像を示す図13の模式図を参照して説
明する。
チャートである図12及びユーザ端末20の表示状態及び表
示すべきパノラマ画像を示す図13の模式図を参照して説
明する。
【0087】ユーザ端末20の制御部22は入力部24が操作
されることにより画像表示の要求があるまでは(ステッ
プS51 でNO)、他の処理を実行しているが(ステップS5
2)、画像表示の要求があると(ステップS51 でYES)、画
像表示を要求するコマンドと位置検出部23が検出してい
る位置情報とを通信部21からサーバ10へ送信する(ステ
ップS53)。但し前述した如く、この際のユーザ端末20か
ら送信される位置情報は位置検出部23が検出している現
在位置の情報に限定されるものではなく、任意の位置、
たとえばユーザ端末20の表示部25に表示されている地図
上の任意の位置、または特定のランドマーク(駅、建物
等)の位置でもよい。
されることにより画像表示の要求があるまでは(ステッ
プS51 でNO)、他の処理を実行しているが(ステップS5
2)、画像表示の要求があると(ステップS51 でYES)、画
像表示を要求するコマンドと位置検出部23が検出してい
る位置情報とを通信部21からサーバ10へ送信する(ステ
ップS53)。但し前述した如く、この際のユーザ端末20か
ら送信される位置情報は位置検出部23が検出している現
在位置の情報に限定されるものではなく、任意の位置、
たとえばユーザ端末20の表示部25に表示されている地図
上の任意の位置、または特定のランドマーク(駅、建物
等)の位置でもよい。
【0088】この後、ユーザ端末20の制御部22はサーバ
10からの送信を受信するまでは(ステップS54 でNO) 、
他の処理を実行しているが(ステップS55)、サーバ10か
らの送信を受信すると(ステップS54 でYES)、受信した
パノラマ画像の一部(部分パノラマ画像)を表示部25に
初期状態で表示する(ステップS56)。この初期状態の表
示は特定の方角、たとえば真北が表示部25の画面中央に
表示されるようにしてもよいし、たとえば予め契約して
ある特定のビル、店舗等が表示部25の画面中央に表示さ
れるようにすることも可能である。
10からの送信を受信するまでは(ステップS54 でNO) 、
他の処理を実行しているが(ステップS55)、サーバ10か
らの送信を受信すると(ステップS54 でYES)、受信した
パノラマ画像の一部(部分パノラマ画像)を表示部25に
初期状態で表示する(ステップS56)。この初期状態の表
示は特定の方角、たとえば真北が表示部25の画面中央に
表示されるようにしてもよいし、たとえば予め契約して
ある特定のビル、店舗等が表示部25の画面中央に表示さ
れるようにすることも可能である。
【0089】このような初期状態で画像が表示されてい
る場合に、入力部24の操作によりスクロールの指示が与
えられると(ステップS57 でYES)、制御部22はサーバ10
から受信しているパノラマ画像の他の部分が表示部25の
画面に表示されるように左右方向にスクロールさせる
(ステップS59)。なお、画面のスクロールの指示が与え
られない場合には制御部12は他の処理を実行する(ステ
ップS58)。
る場合に、入力部24の操作によりスクロールの指示が与
えられると(ステップS57 でYES)、制御部22はサーバ10
から受信しているパノラマ画像の他の部分が表示部25の
画面に表示されるように左右方向にスクロールさせる
(ステップS59)。なお、画面のスクロールの指示が与え
られない場合には制御部12は他の処理を実行する(ステ
ップS58)。
【0090】図13には上述のようにしてユーザ端末20の
表示部25にパノラマ画像の一部が表示された状態が示さ
れており、またサーバ10から受信したパノラマ画像の全
体の模式図も併せて示されている。
表示部25にパノラマ画像の一部が表示された状態が示さ
れており、またサーバ10から受信したパノラマ画像の全
体の模式図も併せて示されている。
【0091】この図13に示されている例では、表示部25
は縦長の画面であり、その上部(参照符号251 にて示さ
れている部分)にサーバ10から受信したパノラマ画像の
一部が表示されているが、前述のように入力部24の操作
によりパノラマ画像を左右方向へ任意の角度スクロール
させることが可能である。換言すれば、ユーザ端末20を
操作することによって、歩行者は現在位置での任意視線
方向の画像を表示させることが可能になる。また、表示
部25の下部(参照符号252 にて示されている部分)には
ユーザが所望する情報を入力部24を操作することにより
表示させることが可能である。
は縦長の画面であり、その上部(参照符号251 にて示さ
れている部分)にサーバ10から受信したパノラマ画像の
一部が表示されているが、前述のように入力部24の操作
によりパノラマ画像を左右方向へ任意の角度スクロール
させることが可能である。換言すれば、ユーザ端末20を
操作することによって、歩行者は現在位置での任意視線
方向の画像を表示させることが可能になる。また、表示
部25の下部(参照符号252 にて示されている部分)には
ユーザが所望する情報を入力部24を操作することにより
表示させることが可能である。
【0092】以下、図13の表示例について具体的に説明
する。いま、ユーザ端末20を保持した歩行者が「×○交
差点」の「ABビル」前に位置しており、入力部24の操
作によって歩行者がパノラマ画像の表示を指示すると、
位置検出部23がユーザ端末20の現在位置、換言すればユ
ーザ端末20を保持している歩行者の現在位置を検出して
サーバ10へ送信する。サーバ10は受信した位置情報に従
って前述のようにして新パノラマ画像NPを生成して送信
し、これをユーザ端末20の通信部21で受信する。
する。いま、ユーザ端末20を保持した歩行者が「×○交
差点」の「ABビル」前に位置しており、入力部24の操
作によって歩行者がパノラマ画像の表示を指示すると、
位置検出部23がユーザ端末20の現在位置、換言すればユ
ーザ端末20を保持している歩行者の現在位置を検出して
サーバ10へ送信する。サーバ10は受信した位置情報に従
って前述のようにして新パノラマ画像NPを生成して送信
し、これをユーザ端末20の通信部21で受信する。
【0093】ユーザ端末20が受信した新パノラマ画像NP
には図13に示されているように種々の案内情報、たとえ
ば交差点名「×○交差点」、ビル名「ABビル」、「C
Dビル」、公園名「○○公園」、道路の行く先「○×方
面」、「××方面」、方角「東西南北」等がサーバ10の
GIS部15から読み出されて重畳表示されている。
には図13に示されているように種々の案内情報、たとえ
ば交差点名「×○交差点」、ビル名「ABビル」、「C
Dビル」、公園名「○○公園」、道路の行く先「○×方
面」、「××方面」、方角「東西南北」等がサーバ10の
GIS部15から読み出されて重畳表示されている。
【0094】ここで、ユーザ端末20を使用している歩行
者が表示部25の画面上に表示されている画像(部分パノ
ラマ画像)251 の特定の部分、たとえば「ABビル」と
表示されている部分をクリックする等により指定すると
(ステップS60 でYES)、制御部22はその特定の部分に予
め対応付けられている処理、たとえば表示部25の下側部
252 に「ABビル」の詳細な説明、具体的には「1F:
コンビニ XYZ」等の情報を表示する(ステップS6
1)。この際、「ABビル」と表示されている部分に URL
を埋め込んでおいてそのホームページにリンクするよう
にしてもよいし、また表示部25の下側部252 に表示され
る詳細な説明の部分にURLを埋め込んでおいてそのホ
ームページにリンクするようにしてもよい。更に、上述
のような詳細な説明を表示部25の画面に表示するのでは
なく、スピーカ26から音声案内するようにしてもよい。
者が表示部25の画面上に表示されている画像(部分パノ
ラマ画像)251 の特定の部分、たとえば「ABビル」と
表示されている部分をクリックする等により指定すると
(ステップS60 でYES)、制御部22はその特定の部分に予
め対応付けられている処理、たとえば表示部25の下側部
252 に「ABビル」の詳細な説明、具体的には「1F:
コンビニ XYZ」等の情報を表示する(ステップS6
1)。この際、「ABビル」と表示されている部分に URL
を埋め込んでおいてそのホームページにリンクするよう
にしてもよいし、また表示部25の下側部252 に表示され
る詳細な説明の部分にURLを埋め込んでおいてそのホ
ームページにリンクするようにしてもよい。更に、上述
のような詳細な説明を表示部25の画面に表示するのでは
なく、スピーカ26から音声案内するようにしてもよい。
【0095】なお、このような処理は、サーバ10の GIS
部15に予めデータを蓄積しておき、画像DB14が作成した
パノラマ画像中に予め埋め込んでおいてもよいが、その
場合にはパノラマ画像のデータ量が多くなるので、ユー
ザ端末20側で要求がある都度、サーバ10が GIS部15から
読み出してユーザ端末20へ送信するようにしてもよい。
部15に予めデータを蓄積しておき、画像DB14が作成した
パノラマ画像中に予め埋め込んでおいてもよいが、その
場合にはパノラマ画像のデータ量が多くなるので、ユー
ザ端末20側で要求がある都度、サーバ10が GIS部15から
読み出してユーザ端末20へ送信するようにしてもよい。
【0096】ユーザ端末20の入力部24の操作によって終
了の指示が与えられるまで(ステップS62 でYES)、以上
のような操作が可能である。
了の指示が与えられるまで(ステップS62 でYES)、以上
のような操作が可能である。
【0097】次に、上述のような本発明のパノラマ画像
による案内システムのサーバ10を汎用コンピュータで実
現するためのコンピュータプログラム及びそれを記録し
た記録媒体について説明する。
による案内システムのサーバ10を汎用コンピュータで実
現するためのコンピュータプログラム及びそれを記録し
た記録媒体について説明する。
【0098】図14は本発明のパノラマ画像による案内シ
ステムのサーバ10として機能する汎用コンピューの構成
を示す模式図であり、制御部12及びパノラマ画像生成部
13として機能する CPU31、 ROM32、 RAM33、画像DB14及
び GIS部15として機能するハードディスクドライブ(HD)
34、ディスプレイ35及びコンピュータプログラムの記録
媒体としてのCD-ROM38の読み取り手段としてのCDドライ
ブ(CD-D)36、通信部11として機能するモデム37等を備え
た一般的な汎用コンピュータである。
ステムのサーバ10として機能する汎用コンピューの構成
を示す模式図であり、制御部12及びパノラマ画像生成部
13として機能する CPU31、 ROM32、 RAM33、画像DB14及
び GIS部15として機能するハードディスクドライブ(HD)
34、ディスプレイ35及びコンピュータプログラムの記録
媒体としてのCD-ROM38の読み取り手段としてのCDドライ
ブ(CD-D)36、通信部11として機能するモデム37等を備え
た一般的な汎用コンピュータである。
【0099】なお、この例では記録媒体としてCD- ROM3
8 が使用されており、またその読み取り手段としてCDド
ライブ(CD-D)36が備えられているが、記録媒体はCD-ROM
に限定されるものではなく、また記録媒体の読み取り手
段もCD-ROMドライブに限定されるものではない。即ち、
記録媒体(たとえばフレキシブルディスク、磁気テー
プ、種々のCD及びDVD 、半導体メモリ、リムーバブルタ
イプのHD等)の読み取り手段は記録媒体に応じた適宜の
装置を利用すればよい。
8 が使用されており、またその読み取り手段としてCDド
ライブ(CD-D)36が備えられているが、記録媒体はCD-ROM
に限定されるものではなく、また記録媒体の読み取り手
段もCD-ROMドライブに限定されるものではない。即ち、
記録媒体(たとえばフレキシブルディスク、磁気テー
プ、種々のCD及びDVD 、半導体メモリ、リムーバブルタ
イプのHD等)の読み取り手段は記録媒体に応じた適宜の
装置を利用すればよい。
【0100】また、HD34には元パノラマ画像のデータ及
び GIS部15の情報(Geographical Information)が記憶さ
れており、画像DB14及び GIS部15として機能するが、こ
れも他の記録媒体、記憶媒体に記録、記憶させておいて
もよいことは言うまでもない。更に、モデム37はアナロ
グ電話回線(PSTN) で外部の無線通信装置と接続して通
信部11として機能するが、ターミナルアダプタまたはダ
イヤルアップルータでデジタル電話回線(ISDNまたは専
用回線)を介して無線通信装置と接続してもよいし、専
用の無線通信装置を直接接続してもよい。
び GIS部15の情報(Geographical Information)が記憶さ
れており、画像DB14及び GIS部15として機能するが、こ
れも他の記録媒体、記憶媒体に記録、記憶させておいて
もよいことは言うまでもない。更に、モデム37はアナロ
グ電話回線(PSTN) で外部の無線通信装置と接続して通
信部11として機能するが、ターミナルアダプタまたはダ
イヤルアップルータでデジタル電話回線(ISDNまたは専
用回線)を介して無線通信装置と接続してもよいし、専
用の無線通信装置を直接接続してもよい。
【0101】図15はCD-ROM38に記録されているコンピュ
ータプログラムのプログラムコードの内容を示す模式図
である。CD-ROM38には、通信部11に位置情報を受信させ
るプログラムコードPC11と、通信部11が受信した位置情
報で示される位置に最も近い位置で撮像された第1のパ
ノラマ画像及びこれとは異なる位置で撮像された少なく
とも2個の第2のパノラマ画像を画像DB14から読み出す
プログラムコードPC12と、第1のパノラマ画像の画像面
上の所定条件を満たす特徴量 (輝度)を有する特徴点を
抽出するプログラムコードPC13と、抽出された各特徴点
の位置と第1のパノラマ画像の視点とを通る基準直線を
設定するプログラムコードPC14と、各基準直線上の各点
と第2のパノラマ画像それぞれの視点とを通る直線が第
2のパノラマ画像それぞれの画像面と交差する各位置の
特徴量を求めるプログラムコードPC15と、各特徴点に関
して、第1のパノラマ画像において求められた特徴量と
第2のパノラマ画像それぞれにおいて求められた各特徴
量との差を求めるプログラムコードPC16と、各特徴点に
関して求められた特徴量の差が最小である第2のパノラ
マ画像それぞれの画像面上の位置に対応する基準直線上
の距離を各特徴点の第1のパノラマ画像の視点からの3
次元位置情報として求めるプログラムコードPC17と、求
められた各特徴点の3次元位置情報に基づいて第1のパ
ノラマ画像の3次元形状を取得するプログラムコードPC
18と、取得された3次元形状を通信部11が受信した位置
情報で示される位置を視点とするパノラマ画像面に射影
してパノラマ画像を生成するプログラムコードPC19と、
生成されたパノラマ画像に GIS部15に記憶されている案
内情報を付加するプログラムコードPC20と、案内情報が
付加されたパノラマ画像を通信部11から外部へ送信する
プログラムコードPC21とを少なくとも含むコンピュータ
プログラムが記録されている。
ータプログラムのプログラムコードの内容を示す模式図
である。CD-ROM38には、通信部11に位置情報を受信させ
るプログラムコードPC11と、通信部11が受信した位置情
報で示される位置に最も近い位置で撮像された第1のパ
ノラマ画像及びこれとは異なる位置で撮像された少なく
とも2個の第2のパノラマ画像を画像DB14から読み出す
プログラムコードPC12と、第1のパノラマ画像の画像面
上の所定条件を満たす特徴量 (輝度)を有する特徴点を
抽出するプログラムコードPC13と、抽出された各特徴点
の位置と第1のパノラマ画像の視点とを通る基準直線を
設定するプログラムコードPC14と、各基準直線上の各点
と第2のパノラマ画像それぞれの視点とを通る直線が第
2のパノラマ画像それぞれの画像面と交差する各位置の
特徴量を求めるプログラムコードPC15と、各特徴点に関
して、第1のパノラマ画像において求められた特徴量と
第2のパノラマ画像それぞれにおいて求められた各特徴
量との差を求めるプログラムコードPC16と、各特徴点に
関して求められた特徴量の差が最小である第2のパノラ
マ画像それぞれの画像面上の位置に対応する基準直線上
の距離を各特徴点の第1のパノラマ画像の視点からの3
次元位置情報として求めるプログラムコードPC17と、求
められた各特徴点の3次元位置情報に基づいて第1のパ
ノラマ画像の3次元形状を取得するプログラムコードPC
18と、取得された3次元形状を通信部11が受信した位置
情報で示される位置を視点とするパノラマ画像面に射影
してパノラマ画像を生成するプログラムコードPC19と、
生成されたパノラマ画像に GIS部15に記憶されている案
内情報を付加するプログラムコードPC20と、案内情報が
付加されたパノラマ画像を通信部11から外部へ送信する
プログラムコードPC21とを少なくとも含むコンピュータ
プログラムが記録されている。
【0102】なお、このようなCD-ROM38に記録されてい
るコンピュータプログラムの各プログラムコードはCD-D
36により読み取られてHD34に格納される。そして、必要
に応じて各プログラムコードがHD34から読み出されて R
AM33に一時記憶され、 CPU31により読み込まれて命令と
して実行される。 CPU31はその他にHD34に記憶されてい
る元パノラマ画像のデータをも読み込み、ユーザ端末20
から送信されて通信部11が受信した位置情報に従って新
たなパノラマ画像を生成し、通信部11からユーザ端末20
へ送信する。
るコンピュータプログラムの各プログラムコードはCD-D
36により読み取られてHD34に格納される。そして、必要
に応じて各プログラムコードがHD34から読み出されて R
AM33に一時記憶され、 CPU31により読み込まれて命令と
して実行される。 CPU31はその他にHD34に記憶されてい
る元パノラマ画像のデータをも読み込み、ユーザ端末20
から送信されて通信部11が受信した位置情報に従って新
たなパノラマ画像を生成し、通信部11からユーザ端末20
へ送信する。
【0103】
【発明の効果】以上に詳述したように、第1の発明のパ
ノラマ画像による案内システムによれば、端末装置から
送信された位置情報を受信すると、中央装置は、端末装
置が発信する位置情報で示される位置を視点とするパノ
ラマ画像をパノラマ画像生成部に生成させ、更に案内情
報を付加して端末装置へ送信する。従って、端末装置で
は任意の位置を視点とするパノラマ画像を中央装置から
受信して表示することが可能になり、しかもそのパノラ
マ画像には案内情報が付加されているので、通常の平面
地図に比して非常に視認性の高い案内図を提供すること
が可能になる。
ノラマ画像による案内システムによれば、端末装置から
送信された位置情報を受信すると、中央装置は、端末装
置が発信する位置情報で示される位置を視点とするパノ
ラマ画像をパノラマ画像生成部に生成させ、更に案内情
報を付加して端末装置へ送信する。従って、端末装置で
は任意の位置を視点とするパノラマ画像を中央装置から
受信して表示することが可能になり、しかもそのパノラ
マ画像には案内情報が付加されているので、通常の平面
地図に比して非常に視認性の高い案内図を提供すること
が可能になる。
【0104】また第2の発明によれば、第1の発明のパ
ノラマ画像による案内システムにおいて更に、端末装置
の位置が位置情報として中央装置へ送信されるため、端
末装置のその時点の存在位置を視点としたパノラマ画像
が端末装置に表示される。
ノラマ画像による案内システムにおいて更に、端末装置
の位置が位置情報として中央装置へ送信されるため、端
末装置のその時点の存在位置を視点としたパノラマ画像
が端末装置に表示される。
【0105】また第3の発明によれば、第1または第2
の発明のパノラマ画像による案内システムにおいて更
に、計算量が非常に少なくなるので、実質的に実時間で
パノラマ画像の生成が可能になる。
の発明のパノラマ画像による案内システムにおいて更
に、計算量が非常に少なくなるので、実質的に実時間で
パノラマ画像の生成が可能になる。
【0106】また第4の発明によれば、第1乃至第3の
発明のパノラマ画像による案内システムにおいて更に、
通常の地図と同様の地図情報を端末装置に表示されてい
るパノラマ画像上に文字情報として重畳表示できる。
発明のパノラマ画像による案内システムにおいて更に、
通常の地図と同様の地図情報を端末装置に表示されてい
るパノラマ画像上に文字情報として重畳表示できる。
【0107】また第5の発明によれば、第1乃至第3の
発明のパノラマ画像による案内システムにおいて更に、
案内情報として予め対応付けられている種々の情報、た
とえば文字情報、音声情報、画像情報を端末装置に表示
されているパノラマ画像上に表示し、または音声で報知
することができる。更に、URLが対応付けられている
場合はホームページを端末装置に表示されているパノラ
マ画像上に表示できる。
発明のパノラマ画像による案内システムにおいて更に、
案内情報として予め対応付けられている種々の情報、た
とえば文字情報、音声情報、画像情報を端末装置に表示
されているパノラマ画像上に表示し、または音声で報知
することができる。更に、URLが対応付けられている
場合はホームページを端末装置に表示されているパノラ
マ画像上に表示できる。
【0108】第6の発明によれば、中央装置は、外部か
ら位置情報を受信すると、受信した位置情報で示される
位置を視点とするパノラマ画像をパノラマ画像生成部に
生成させ、更に案内情報を付加して外部へ送信する。従
って、中央装置の外部の端末装置では任意の位置を視点
とするパノラマ画像を中央装置から受信して表示するこ
とが可能になり、しかもそのパノラマ画像には案内情報
が付加されているので、通常の平面地図に比して非常に
視認性の高い案内図を提供することが可能になる。
ら位置情報を受信すると、受信した位置情報で示される
位置を視点とするパノラマ画像をパノラマ画像生成部に
生成させ、更に案内情報を付加して外部へ送信する。従
って、中央装置の外部の端末装置では任意の位置を視点
とするパノラマ画像を中央装置から受信して表示するこ
とが可能になり、しかもそのパノラマ画像には案内情報
が付加されているので、通常の平面地図に比して非常に
視認性の高い案内図を提供することが可能になる。
【0109】また第7の発明は第6の発明のパノラマ画
像による案内システムの中央装置において更に、計算量
が非常に少なくなるので、実質的に実時間でパノラマ画
像の生成が可能になる。
像による案内システムの中央装置において更に、計算量
が非常に少なくなるので、実質的に実時間でパノラマ画
像の生成が可能になる。
【0110】また第8の発明によれば、第6または第7
の発明のパノラマ画像による案内システムの中央装置に
おいて更に、通常の地図と同様の地図情報を端末装置に
表示されているパノラマ画像上に文字情報として重畳表
示できる。
の発明のパノラマ画像による案内システムの中央装置に
おいて更に、通常の地図と同様の地図情報を端末装置に
表示されているパノラマ画像上に文字情報として重畳表
示できる。
【0111】また第9の発明によれば、第6または第7
の発明のパノラマ画像による案内システムの中央装置に
おいて更に、案内情報として予め対応付けられている種
々の情報、たとえば文字情報、音声情報、画像情報を端
末装置に表示されているパノラマ画像上に表示し、また
は音声で報知することができる。更に、URLが対応付
けられている場合はホームページを端末装置に表示され
ているパノラマ画像上に表示できる。
の発明のパノラマ画像による案内システムの中央装置に
おいて更に、案内情報として予め対応付けられている種
々の情報、たとえば文字情報、音声情報、画像情報を端
末装置に表示されているパノラマ画像上に表示し、また
は音声で報知することができる。更に、URLが対応付
けられている場合はホームページを端末装置に表示され
ているパノラマ画像上に表示できる。
【0112】また第10の発明によれば、端末装置では
任意の位置を視点とするパノラマ画像を中央装置から受
信して表示することが可能になり、しかもそのパノラマ
画像には案内情報が付加されているので、通常の平面地
図に比して非常に視認性の高い案内図を提供することが
可能になる。
任意の位置を視点とするパノラマ画像を中央装置から受
信して表示することが可能になり、しかもそのパノラマ
画像には案内情報が付加されているので、通常の平面地
図に比して非常に視認性の高い案内図を提供することが
可能になる。
【0113】また第11の発明によれば、第10の発明
のパノラマ画像による案内システムの端末装置において
更に、端末装置の位置が位置情報として送信されるた
め、それを中央装置が受信してパノラマ画像を送信した
場合には、端末装置のその時点の存在位置を視点とした
パノラマ画像が端末装置に表示される。
のパノラマ画像による案内システムの端末装置において
更に、端末装置の位置が位置情報として送信されるた
め、それを中央装置が受信してパノラマ画像を送信した
場合には、端末装置のその時点の存在位置を視点とした
パノラマ画像が端末装置に表示される。
【0114】また第12の発明によれば、第10または
第11の発明のパノラマ画像による案内システムの端末
装置において更に、通常の地図と同様の地図情報を端末
装置に表示されているパノラマ画像上に文字情報として
重畳表示できる。
第11の発明のパノラマ画像による案内システムの端末
装置において更に、通常の地図と同様の地図情報を端末
装置に表示されているパノラマ画像上に文字情報として
重畳表示できる。
【0115】また第13の発明によれば、第10または
第11の発明のパノラマ画像による案内システムの端末
装置において更に、案内情報として予め対応付けられて
いる種々の情報、たとえば文字情報、音声情報、画像情
報を端末装置に表示されているパノラマ画像上に表示
し、または音声で報知することができる。更に、URL
が対応付けられている場合はホームページを端末装置に
表示されているパノラマ画像上に表示できる。
第11の発明のパノラマ画像による案内システムの端末
装置において更に、案内情報として予め対応付けられて
いる種々の情報、たとえば文字情報、音声情報、画像情
報を端末装置に表示されているパノラマ画像上に表示
し、または音声で報知することができる。更に、URL
が対応付けられている場合はホームページを端末装置に
表示されているパノラマ画像上に表示できる。
【0116】また第14、15の発明によれば、コンピ
ュータプログラムを、予め撮像された複数のパノラマ画
像及び/又はパノラマ画像に変換し得る複数の組画像
と、各パノラマ画像及び/又は組画像の少なくとも撮像
位置に関する情報と、 画像の案内のための案内情報とを
記憶した記憶部と、外部との通信が可能な通信部とを備
えたコンピュータに読み取らせておくことにより、第6
の発明の中央装置を実現することが可能になる。
ュータプログラムを、予め撮像された複数のパノラマ画
像及び/又はパノラマ画像に変換し得る複数の組画像
と、各パノラマ画像及び/又は組画像の少なくとも撮像
位置に関する情報と、 画像の案内のための案内情報とを
記憶した記憶部と、外部との通信が可能な通信部とを備
えたコンピュータに読み取らせておくことにより、第6
の発明の中央装置を実現することが可能になる。
【0117】また第16の発明によれば、コンピュータ
プログラムを記録したコンピュータ読み取り可能な記録
媒体を、予め撮像された複数のパノラマ画像及び/又は
パノラマ画像に変換し得る複数の組画像と、各パノラマ
画像及び/又は組画像の少なくとも撮像位置に関する情
報と、 画像の案内のための案内情報とを記憶した記憶部
と、外部との通信が可能な通信部とを備えたコンピュー
タに読み取らせることによって、第6の発明のパノラマ
画像による案内システムの中央装置を実現する事が可能
になる。
プログラムを記録したコンピュータ読み取り可能な記録
媒体を、予め撮像された複数のパノラマ画像及び/又は
パノラマ画像に変換し得る複数の組画像と、各パノラマ
画像及び/又は組画像の少なくとも撮像位置に関する情
報と、 画像の案内のための案内情報とを記憶した記憶部
と、外部との通信が可能な通信部とを備えたコンピュー
タに読み取らせることによって、第6の発明のパノラマ
画像による案内システムの中央装置を実現する事が可能
になる。
【図1】本発明に係るパノラマ画像による案内システム
の全体の構成例を示すブロック図である。
の全体の構成例を示すブロック図である。
【図2】本発明のパノラマ画像による案内システムのサ
ーバ側の動作を説明するためのフローチャートである。
ーバ側の動作を説明するためのフローチャートである。
【図3】本発明のパノラマ画像による案内システムのサ
ーバ側の動作を説明するためのフローチャートである。
ーバ側の動作を説明するためのフローチャートである。
【図4】近接した3地点においてそれぞれ撮像された3
枚の元パノラマ画像の例を示す模式図である。
枚の元パノラマ画像の例を示す模式図である。
【図5】図4(b) に示されているベースパノラマ画像に
対して特徴点抽出を行なった結果を示す模式図である。
対して特徴点抽出を行なった結果を示す模式図である。
【図6】図4(b) に示されているベースパノラマ画像BP
に対してドロネーメッシュを作成した結果を示す模式図
である。
に対してドロネーメッシュを作成した結果を示す模式図
である。
【図7】マルチプルベースラインステレオをベースパノ
ラマ画像に適用した結果の一例を示す模式図である。
ラマ画像に適用した結果の一例を示す模式図である。
【図8】ドロネーメッシュの3次元化及び新パノラマ画
像へのメッシュの射影を示す模式図である。
像へのメッシュの射影を示す模式図である。
【図9】図4(b) に示されているベースパノラマ画像の
画像面から作成されたドロネーメッシュを新パノラマ画
像の画像面に射影した結果を示す模式図である。
画像面から作成されたドロネーメッシュを新パノラマ画
像の画像面に射影した結果を示す模式図である。
【図10】図4(b) に示されているベースパノラマ画像
から新パノラマ画像を生成した結果を示す模式図であ
る。
から新パノラマ画像を生成した結果を示す模式図であ
る。
【図11】地図情報のパノラマ画像への表示の際の位置
決定の原理を示す模式図である。
決定の原理を示す模式図である。
【図12】本発明のパノラマ画像による案内システムの
ユーザ端末側の動作を説明するためのフローチャートで
ある。
ユーザ端末側の動作を説明するためのフローチャートで
ある。
【図13】ユーザ端末の表示状態及び表示すべきパノラ
マ画像を示す模式図である。
マ画像を示す模式図である。
【図14】本発明のパノラマ画像による案内システムの
サーバとして機能する汎用コンピューの構成を示す模式
図である。
サーバとして機能する汎用コンピューの構成を示す模式
図である。
【図15】CD-ROMに記録されているコンピュータプログ
ラムのプログラムコードの内容を示す模式図である。
ラムのプログラムコードの内容を示す模式図である。
10 サーバ 11 通信部 12 制御部 13 パノラマ画像生成部 14 画像データベース(DB) 15 GIS部 20 ユーザ端末 21 通信部 22 制御部 23 位置検出部 24 入力部 25 表示部 BP ベースパノラマ画像 BI ベースパノラマ画像の画像面 NP 新パノラマ画像(任意視点) NI 新パノラマ画像の画像面 RP1,RP2 参照パノラマ画像 RI1,RI2 参照パノラマ画像の画像面 I 特徴点 VI 視線ベクトル VP1,VP2,VP3 視点 17 CD-ROM PC11〜PC22 プログラムコード
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.7 識別記号 FI テーマコート゛(参考) G08G 1/005 G08G 1/005 5H180 G09B 29/00 G09B 29/00 Z 29/10 29/10 A H04N 7/173 610 H04N 7/173 610Z 640 640A (72)発明者 乾 昌弘 大阪府大阪市西区千代崎3丁目南2番37号 株式会社オージス総研内 (72)発明者 中川 恭子 大阪府大阪市西区千代崎3丁目南2番37号 株式会社オージス総研内 Fターム(参考) 2C032 HB05 HB22 HB25 HC08 HC23 HC25 HC31 HD13 2F029 AA07 AB07 AC02 AC18 5B075 ND06 NK06 PQ02 PQ69 UU13 5B080 AA13 BA02 BA07 FA05 FA08 5C064 BA01 BA07 BB07 BC07 BC16 BC18 BC20 BC23 BC27 BD02 BD03 BD07 BD08 5H180 AA21 BB05 BB13 FF05 FF22 FF25 FF27 FF33
Claims (16)
- 【請求項1】 中央装置と、位置情報を発信する端末装
置とを含み、 前記中央装置は、 前記端末装置が発信する位置情報を受信する通信部と、 予め撮像された複数のパノラマ画像及び/又はパノラマ
画像に変換し得る複数の組画像と、各パノラマ画像及び
/又は組画像の少なくとも撮像位置に関する情報とを記
憶した画像記憶部と、 前記通信部が前記端末装置から受信した位置情報で示さ
れる位置に最も近い位置で撮像されたパノラマ画像又は
組画像とそれとは異なる位置で撮像された少なくとも2
個のパノラマ画像又は組画像を前記画像記憶部から読み
出す画像読み出し部と、 該画像読み出し部により読み出された画像から前記通信
部が受信した位置情報で示される位置を視点とするパノ
ラマ画像を生成するパノラマ画像生成部と、 該パノラマ画像生成部が生成したパノラマ画像に案内の
ための案内情報を付加する情報付加手段とを備え、 前記通信部は案内情報が付加されたパノラマ画像を前記
端末装置へ送信すべくなしてあり、 前記端末装置は、 位置情報を前記中央装置へ送信し、案内情報が付加され
たパノラマ画像を前記中央装置から受信する通信部と、 該通信部が受信したパノラマ画像の一部又は全部と、そ
の範囲に付加されている案内情報とを表示する表示部と
を備えたことを特徴とするパノラマ画像による案内シス
テム。 - 【請求項2】 前記端末装置は、自身の位置を検出する
位置検出部を更に備え、前記通信部は前記位置検出部が
検出した位置を前記位置情報として前記中央装置へ送信
すべくなしてあることを特徴とする請求項1に記載のパ
ノラマ画像による案内システム。 - 【請求項3】 前記パノラマ画像生成部は、 前記通信部が受信した位置情報で示される位置に最も近
い画像の撮像位置を視点とする第1のパノラマ画像の画
像面上の所定の特徴量を有する特徴点を複数抽出する手
段と、 抽出された各特徴点の位置と前記第1のパノラマ画像の
視点とを通る基準直線を設定する手段と、 各基準直線上の各点と前記第1のパノラマ画像とはそれ
ぞれ異なる画像の撮像位置を視点とする少なくとも2個
の第2のパノラマ画像それぞれの視点とを通る直線が前
記第2のパノラマ画像それぞれの画像面と交差する各位
置の特徴量を求める手段と、 各特徴点に関して、前記第1のパノラマ画像における特
徴量と前記第2のパノラマ画像それぞれにおける各特徴
量との差を求める手段と、 各特徴点に関して求められた特徴量の差が最小である前
記第2のパノラマ画像それぞれの画像面上の位置に対応
する基準直線上の距離を各特徴点の前記第1のパノラマ
画像の視点からの3次元位置情報として求める手段と、 求められた各特徴点の3次元位置情報に基づいて前記第
1のパノラマ画像の3次元位置情報を取得する手段と、 取得された3次元位置情報を前記端末装置が発信する位
置情報で示される位置を視点とするパノラマ画像面に射
影する手段とを有することと特徴とする請求項1または
2に記載のパノラマ画像による案内システム。 - 【請求項4】 前記案内情報は、前記パノラマ画像生成
部が生成したパノラマ画像上に文字情報として重畳表示
される地図情報であることを特徴とする請求項1乃至3
のいずれかに記載のパノラマ画像による案内システム。 - 【請求項5】 前記案内情報は、前記パノラマ画像生成
部が生成したパノラマ画像に表示されている案内対象物
に予め対応付けられている文字情報、音声情報、画像情
報及び/又はURLであることを特徴とする請求項1乃
至3のいずれかに記載のパノラマ画像による案内システ
ム。 - 【請求項6】 予め撮像された複数のパノラマ画像及び
/又はパノラマ画像に変換し得る複数の組画像と、各パ
ノラマ画像及び/又は組画像の少なくとも撮像位置に関
する情報とを記憶した画像記憶部と、 外部から位置情報を受信する通信部と、 該通信部が受信した位置情報で示される位置に最も近い
位置で撮像されたパノラマ画像又は組画像とそれとは異
なる位置で撮像された少なくとも2個のパノラマ画像又
は組画像を前記画像記憶部から読み出す画像読み出し部
と、 該画像読み出し部により読み出された画像から前記通信
部が受信した位置情報で示される位置を視点とするパノ
ラマ画像を生成するパノラマ画像生成部と、 該パノラマ画像生成部が生成したパノラマ画像に案内の
ための案内情報を付加する情報付加手段とを備え、 前記通信部は案内情報が付加されたパノラマ画像を前記
端末装置へ送信すべくなしてあることを特徴とする中央
装置。 - 【請求項7】 前記パノラマ画像生成部は、 前記受信した位置情報で示される位置に最も近い画像の
撮像位置を視点とする第1のパノラマ画像の画像面上の
所定の特徴量を有する特徴点を複数抽出する手段と、 抽出された各特徴点の位置と前記第1のパノラマ画像の
視点とを通る基準直線を設定する手段と、 各基準直線上の各点と前記第1のパノラマ画像とはそれ
ぞれ異なる画像の撮像位置を視点とする少なくとも2個
の第2のパノラマ画像それぞれの視点とを通る直線が前
記第2のパノラマ画像それぞれの画像面と交差する各位
置の特徴量を求める手段と、 各特徴点に関して、前記第1のパノラマ画像における特
徴量と前記第2のパノラマ画像それぞれにおける各特徴
量との差を求める手段と、 各特徴点に関して求められた特徴量の差が最小である前
記第2のパノラマ画像それぞれの画像面上の位置に対応
する基準直線上の距離を各特徴点の前記第1のパノラマ
画像の視点からの3次元位置情報として求める手段と、 取得された3次元位置情報を前記受信した位置情報で示
される位置を視点とするパノラマ画像面に射影する手段
とを有することと特徴とする請求項6に記載の中央装
置。 - 【請求項8】 前記案内情報は、前記パノラマ画像生成
部が生成したパノラマ画像上に文字情報として重畳表示
される地図情報であることを特徴とする請求項6または
7に記載の中央装置。 - 【請求項9】 前記案内情報は、前記パノラマ画像生成
部が生成したパノラマ画像に表示されている案内対象物
に予め対応付けられている文字情報、音声情報、画像情
報及び/又はURLであることを特徴とする請求項6ま
たは7に記載の中央装置。 - 【請求項10】 任意の位置を位置情報として外部へ送
信し、案内情報が付加されたパノラマ画像を外部から受
信する通信部と、 該通信部が受信したパノラマ画像の一部又は全部と、そ
の範囲に付加されている案内のための案内情報とを表示
する表示部とを備えたことを特徴とする端末装置。 - 【請求項11】 自身の位置を検出する位置検出部を更
に備え、前記通信部は前記位置検出部が検出した位置を
位置情報として外部へ送信すべくなしてあることを特徴
とする請求項10に記載の端末装置。 - 【請求項12】 前記案内情報は、受信したパノラマ画
像上に文字情報として重畳表示される地図情報であるこ
とを特徴とする請求項10または11に記載の端末装
置。 - 【請求項13】 前記案内情報は、受信したパノラマ画
像に表示されている案内対象物に予め対応付けられてい
る文字情報、音声情報、画像情報及び/又はURLであ
ることを特徴とする請求項10または11に記載の端末
装置。 - 【請求項14】 予め撮像された複数のパノラマ画像及
び/又はパノラマ画像に変換し得る複数の組画像と、各
パノラマ画像及び/又は組画像の少なくとも撮像位置に
関する情報と、 画像の案内のための案内情報とを記憶し
た記憶部と、外部との通信が可能な通信部とを備えたコ
ンピュータに、 前記通信部に位置情報を受信する手順と、 前記通信部が受信した位置情報で示される位置に最も近
い位置で撮像されたパノラマ画像又は組画像とそれとは
異なる位置で撮像された少なくとも2個のパノラマ画像
又は組画像を前記記憶部から読み出す手順と、 前記記憶部から読み出された画像から前記受信した位置
情報で示される位置を視点とするパノラマ画像を生成す
る手順と、 生成されたパノラマ画像に前記記憶部に記憶されている
案内情報を付加する手順と、 案内情報が付加されたパノラマ画像を前記通信部から外
部へ送信する手順とを実行させることを特徴とするコン
ピュータプログラム。 - 【請求項15】 前記パノラマ画像を生成する手順は、 前記通信部が受信した位置情報で示される位置に最も近
い画像の撮像位置を視点とする第1のパノラマ画像の画
像面上の所定の特徴量を有する特徴点を抽出する手順
と、 抽出された各特徴点の位置と前記第1のパノラマ画像の
視点とを通る基準直線を設定する手順と、 各基準直線上の各点と前記第1のパノラマ画像とはそれ
ぞれ異なる画像の撮像位置を視点とする少なくとも2個
の第2のパノラマ画像それぞれの視点とを通る直線が前
記第2のパノラマ画像それぞれの画像面と交差する各位
置の特徴量を求める手順と、 各特徴点に関して、前記第1のパノラマ画像における特
徴量と前記第2のパノラマ画像それぞれにおける各特徴
量との差を求める手順と、 各特徴点に関して求められた特徴量の差が最小である前
記第2のパノラマ画像それぞれの画像面上の位置に対応
する基準直線上の距離を各特徴点の前記第1のパノラマ
画像の視点からの3次元位置情報として求める手順と、 求められた各特徴点の3次元位置情報に基づいて前記第
1のパノラマ画像の3次元位置情報を取得する手順と、 取得された3次元位置情報を前記端末装置が発信する位
置情報で示される位置を視点とするパノラマ画像面に射
影する手順とを更に含むことを特徴とする請求項14に
記載のコンピュータプログラム。 - 【請求項16】 予め撮像された複数のパノラマ画像及
び/又はパノラマ画像に変換し得る複数の組画像と、各
パノラマ画像及び/又は組画像の少なくとも撮像位置に
関する情報と、 画像の案内のための案内情報とを記憶し
た記憶部と、外部との通信が可能な通信部とを備えたコ
ンピュータに前記通信部が受信した位置情報で示される
位置を視点とするパノラマ画像を生成させて外部へ送信
させるコンピュータプログラムを記録したコンピュータ
読み取り可能な記録媒体であって、 前記通信部に位置情報を受信させる手順と、 受信した位置情報で示される位置に最も近い画像の撮像
位置を視点とする第1のパノラマ画像又は組画像とそれ
とはそれぞれ異なる画像の撮像位置を視点とする少なく
とも2個の第2のパノラマ画像又は組画像を前記記憶部
から読み出させる手順と、 前記第1のパノラマ画像の画像面上の所定の特徴量を有
する特徴点を複数抽出させる手順と、 抽出された各特徴点の位置と前記第1のパノラマ画像の
視点とを通る基準直線を設定する手順と、 各基準直線上の各点と前記第2のパノラマ画像それぞれ
の視点とを通る直線が前記第2のパノラマ画像それぞれ
の画像面と交差する各位置の特徴量を求めさせる手順
と、 各特徴点に関して、前記第1のパノラマ画像において求
められた特徴量と前記第2のパノラマ画像それぞれにお
いて求められた各特徴量との差を求めさせる手順と、 各特徴点に関して求められた特徴量の差が最小である前
記第2のパノラマ画像それぞれの画像面上の位置に対応
する基準直線上の距離を各特徴点の前記第1のパノラマ
画像の視点からの3次元位置情報として求めさせる手順
と、 求められた各特徴点の3次元位置情報に基づいて前記第
1のパノラマ画像の3次元位置情報を取得させる手順
と、 取得された3次元位置情報を前記受信した位置情報で示
される位置を視点とするパノラマ画像面に射影させる手
順と、 生成されたパノラマ画像に前記記憶部に記憶されている
案内情報を付加させる手順と、 案内情報が付加されたパノラマ画像を前記通信部から外
部へ送信させる手順とを含むコンピュータプログラムを
記録したことを特徴とする記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001005819A JP2002213984A (ja) | 2001-01-12 | 2001-01-12 | パノラマ画像による案内システム、中央装置及び端末装置、並びにコンピュータプログラム及び記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001005819A JP2002213984A (ja) | 2001-01-12 | 2001-01-12 | パノラマ画像による案内システム、中央装置及び端末装置、並びにコンピュータプログラム及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2002213984A true JP2002213984A (ja) | 2002-07-31 |
Family
ID=18873811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001005819A Pending JP2002213984A (ja) | 2001-01-12 | 2001-01-12 | パノラマ画像による案内システム、中央装置及び端末装置、並びにコンピュータプログラム及び記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2002213984A (ja) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004242244A (ja) * | 2003-02-10 | 2004-08-26 | Sony Corp | 通信ネットワークシステム、携帯端末装置、パノラマ画像の合成方法およびコンピュータプログラム |
JP2005025116A (ja) * | 2003-07-03 | 2005-01-27 | Sony Corp | 情報提示装置及び情報提示方法、情報提示システム、並びにコンピュータ・プログラム |
JP2005227912A (ja) * | 2004-02-10 | 2005-08-25 | Alpine Electronics Inc | ナビゲーション情報の供給方法、ナビゲーション装置及びナビゲーション情報の提供システム |
JP2006084208A (ja) * | 2004-09-14 | 2006-03-30 | Alpine Electronics Inc | ナビゲーション装置及び進行方向案内方法 |
JP2008516482A (ja) * | 2004-10-05 | 2008-05-15 | アイエスイーイー メディア インク. | 携帯電話の対話型画像生成 |
JP2011215412A (ja) * | 2010-03-31 | 2011-10-27 | Zenrin Datacom Co Ltd | 地図画像処理装置、地図画像処理方法及び地図画像処理プログラム |
JP2013061178A (ja) * | 2011-09-12 | 2013-04-04 | Aisin Aw Co Ltd | 画像表示制御システム、画像表示制御方法および画像表示制御プログラム |
JP2013534656A (ja) * | 2010-06-02 | 2013-09-05 | マイクロソフト コーポレーション | 適応的で革新的なモバイルデバイスのストリートビュー |
JP5295416B1 (ja) * | 2012-08-01 | 2013-09-18 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2013250470A (ja) * | 2012-06-01 | 2013-12-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
JP2014002277A (ja) * | 2012-06-19 | 2014-01-09 | Zenrin Co Ltd | 地図表示装置、地図表示方法および地図表示用プログラム |
JP2014506344A (ja) * | 2010-11-16 | 2014-03-13 | マイクロソフト コーポレーション | ストリートビューの画像に文脈情報で注釈を付ける技法 |
JP2014132325A (ja) * | 2012-12-04 | 2014-07-17 | Nintendo Co Ltd | 情報処理システム、情報処理装置、プログラムおよび表示方法 |
JP2014228363A (ja) * | 2013-05-21 | 2014-12-08 | 株式会社ゼンリンデータコム | 情報処理装置、情報処理方法およびプログラム |
JP2017194857A (ja) * | 2016-04-21 | 2017-10-26 | 大日本印刷株式会社 | 自由視点映像表示装置 |
CN108282635A (zh) * | 2018-02-11 | 2018-07-13 | 中国联合网络通信集团有限公司 | 全景图像生成方法及***、车联网大数据服务平台 |
JP2019067416A (ja) * | 2012-12-04 | 2019-04-25 | 任天堂株式会社 | 情報処理システム及び表示方法 |
JP2020170526A (ja) * | 2014-12-08 | 2020-10-15 | 株式会社リコー | 画像管理システム、及び画像管理方法 |
JP2021121808A (ja) * | 2020-02-20 | 2021-08-26 | パイオニア株式会社 | 表示制御装置 |
CN115499594A (zh) * | 2022-09-30 | 2022-12-20 | 如你所视(北京)科技有限公司 | 全景图像生成方法及计算机可读存储介质 |
-
2001
- 2001-01-12 JP JP2001005819A patent/JP2002213984A/ja active Pending
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004242244A (ja) * | 2003-02-10 | 2004-08-26 | Sony Corp | 通信ネットワークシステム、携帯端末装置、パノラマ画像の合成方法およびコンピュータプログラム |
JP4710217B2 (ja) * | 2003-07-03 | 2011-06-29 | ソニー株式会社 | 情報提示装置及び情報提示方法、情報提示システム、並びにコンピュータ・プログラム |
JP2005025116A (ja) * | 2003-07-03 | 2005-01-27 | Sony Corp | 情報提示装置及び情報提示方法、情報提示システム、並びにコンピュータ・プログラム |
JP2005227912A (ja) * | 2004-02-10 | 2005-08-25 | Alpine Electronics Inc | ナビゲーション情報の供給方法、ナビゲーション装置及びナビゲーション情報の提供システム |
JP2006084208A (ja) * | 2004-09-14 | 2006-03-30 | Alpine Electronics Inc | ナビゲーション装置及び進行方向案内方法 |
JP4562471B2 (ja) * | 2004-09-14 | 2010-10-13 | アルパイン株式会社 | ナビゲーション装置及び進行方向案内方法 |
JP4934045B2 (ja) * | 2004-10-05 | 2012-05-16 | バータンヴァ ドリオ データ,エル.エル.シー. | 携帯電話の対話型画像生成 |
JP2008516482A (ja) * | 2004-10-05 | 2008-05-15 | アイエスイーイー メディア インク. | 携帯電話の対話型画像生成 |
JP2011215412A (ja) * | 2010-03-31 | 2011-10-27 | Zenrin Datacom Co Ltd | 地図画像処理装置、地図画像処理方法及び地図画像処理プログラム |
JP2013534656A (ja) * | 2010-06-02 | 2013-09-05 | マイクロソフト コーポレーション | 適応的で革新的なモバイルデバイスのストリートビュー |
KR101903802B1 (ko) * | 2010-11-16 | 2018-10-02 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 맥락 정보를 사용하여 스트리트 뷰 이미지에 주석을 다는 기술 |
JP2014506344A (ja) * | 2010-11-16 | 2014-03-13 | マイクロソフト コーポレーション | ストリートビューの画像に文脈情報で注釈を付ける技法 |
US9342998B2 (en) | 2010-11-16 | 2016-05-17 | Microsoft Technology Licensing, Llc | Techniques to annotate street view images with contextual information |
US8988425B2 (en) | 2011-09-12 | 2015-03-24 | Aisin Aw Co., Ltd. | Image display control system, image display control method, and image display control program |
JP2013061178A (ja) * | 2011-09-12 | 2013-04-04 | Aisin Aw Co Ltd | 画像表示制御システム、画像表示制御方法および画像表示制御プログラム |
CN103076018A (zh) * | 2011-09-12 | 2013-05-01 | 爱信艾达株式会社 | 图像显示控制***、图像显示控制方法和图像显示控制程序 |
JP2013250470A (ja) * | 2012-06-01 | 2013-12-12 | Nintendo Co Ltd | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 |
JP2014002277A (ja) * | 2012-06-19 | 2014-01-09 | Zenrin Co Ltd | 地図表示装置、地図表示方法および地図表示用プログラム |
JP5295416B1 (ja) * | 2012-08-01 | 2013-09-18 | ヤフー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP2014132325A (ja) * | 2012-12-04 | 2014-07-17 | Nintendo Co Ltd | 情報処理システム、情報処理装置、プログラムおよび表示方法 |
JP2019067416A (ja) * | 2012-12-04 | 2019-04-25 | 任天堂株式会社 | 情報処理システム及び表示方法 |
JP2014228363A (ja) * | 2013-05-21 | 2014-12-08 | 株式会社ゼンリンデータコム | 情報処理装置、情報処理方法およびプログラム |
JP2020170526A (ja) * | 2014-12-08 | 2020-10-15 | 株式会社リコー | 画像管理システム、及び画像管理方法 |
JP2017194857A (ja) * | 2016-04-21 | 2017-10-26 | 大日本印刷株式会社 | 自由視点映像表示装置 |
CN108282635A (zh) * | 2018-02-11 | 2018-07-13 | 中国联合网络通信集团有限公司 | 全景图像生成方法及***、车联网大数据服务平台 |
CN108282635B (zh) * | 2018-02-11 | 2020-11-10 | 中国联合网络通信集团有限公司 | 全景图像生成方法及***、车联网大数据服务平台 |
JP2021121808A (ja) * | 2020-02-20 | 2021-08-26 | パイオニア株式会社 | 表示制御装置 |
CN115499594A (zh) * | 2022-09-30 | 2022-12-20 | 如你所视(北京)科技有限公司 | 全景图像生成方法及计算机可读存储介质 |
CN115499594B (zh) * | 2022-09-30 | 2023-06-30 | 如你所视(北京)科技有限公司 | 全景图像生成方法及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2002213984A (ja) | パノラマ画像による案内システム、中央装置及び端末装置、並びにコンピュータプログラム及び記録媒体 | |
US9858717B2 (en) | System and method for producing multi-angle views of an object-of-interest from images in an image dataset | |
US8086071B2 (en) | System and method for revealing occluded objects in an image dataset | |
US8893026B2 (en) | System and method for creating and broadcasting interactive panoramic walk-through applications | |
US7626596B2 (en) | Image reproducing method and apparatus for displaying annotations on a real image in virtual space | |
JP4284644B2 (ja) | 3次元モデル構築システム及び3次元モデル構築プログラム | |
US6762789B1 (en) | Omnidirectional video output method and apparatus | |
EP0867690A1 (en) | Device and system for labeling sight images | |
JP2003216982A (ja) | 情報提供装置及び情報提供方法、記憶媒体、並びにコンピュータ・プログラム | |
JP3225882B2 (ja) | 景観ラベリングシステム | |
JP2012518849A (ja) | 街路レベルの画像間の移行を示すシステム及び方法 | |
JP2003132068A (ja) | ナビゲーションシステム及びナビゲーション端末 | |
CA2625105A1 (en) | Method for generating an enhanced map | |
JPH11122638A (ja) | 画像処理装置および画像処理方法ならびに画像処理プログラムが記録されたコンピュータ読み取り可能な情報記録媒体 | |
JP2006091390A (ja) | 情報表示システム及び情報表示方法及び情報表示方法をコンピュータに実行させるためのプログラム及び情報表示端末装置 | |
JP2011215412A (ja) | 地図画像処理装置、地図画像処理方法及び地図画像処理プログラム | |
EP3827222B1 (en) | Method and device for navigating two or more users to a meeting location | |
JP6110780B2 (ja) | 付加情報表示システム | |
JP3156646B2 (ja) | 検索型景観ラベリング装置およびシステム | |
JP2009162697A (ja) | 画像処理装置、画像処理方法、画像処理プログラム及びその記録媒体 | |
JP3156645B2 (ja) | 情報発信型景観ラベリング装置およびシステム | |
JPH1157209A (ja) | 景観ラベル利用型ラリーゲームシステム | |
KR20090132317A (ko) | 동영상 기반 부가정보 제공 방법 및 시스템 | |
JP2001005994A (ja) | 画像処理装置および画像処理方法 | |
JP3114862B2 (ja) | 相互利用型景観ラベリングシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060414 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060418 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060822 |