JP2002269592A - 画像処理装置及び方法 - Google Patents

Abstract

(57)【要約】 【課題】ＩＢＲ技術を用いてウォークスルー可能な仮想
空間を構築するにおいて、仮想空間再生のためのパノラ
マ画像を効率的に生成、保持可能とする。 【解決手段】それぞれ異なる方向を撮影する複数の撮像
装置を移動させながら撮影して得られた画像データに基
づいて、複数のフレームデータが生成、保持される。そ
して、保持された複数のフレームデータより、連続する
フレームデータからなるフレームデータ群であって、同
じ位置で撮影されたものと判定されたフレームデータか
らなるフレームデータ群を抽出する（Ｓ１０１〜Ｓ１１
０）。そして、抽出されたフレームデータについて、同
じ位置で一つのフレームデータが存在するようにフレー
ムデータを削除する（Ｓ１０６、Ｓ１１１）。こうし
て、地図上の複数位置に対応したフレームデータを格納
するにあたって、間引かれたフレームデータが地図上の
位置に対応づけて格納される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、実空間の撮影によ
って得られた画像データをもとに仮想空間を表現する画
像処理装置及びその方法に関する。

【０００２】

【従来の技術】移動体に搭載された撮影装置によって現
実空間を撮影し、撮影された実写画像データをもとに、
撮影した現実空間を計算機を用いて仮想空間として表現
する試みが提案されている（例えば遠藤、片山、田村、
廣瀬、渡辺、谷川：“移動車輌搭載カメラを用いた都市
空間の電脳映像化について”（信学ソサイエティ、PA-3
-4、pp.276-277、1997年）、または廣瀬、渡辺、谷川、
遠藤、片山、田村：“移動車輌搭載カメラを用いた電脳
映像都市空間の構築(2)−実写画像を用いた広域仮想空
間の生成−”（日本バーチャルリアリティ学会第2回大
会論文集、pp.67-70、1997年）などを参照）。

【０００３】移動体に搭載された撮影装置によって撮影
された実写画像データをもとに、撮影した現実空間を仮
想空間として表現する手法としては、実写画像データを
もとに現実空間の幾何形状モデルを再現し、従来のＣＧ
技術で表現する手法が挙げられるが、モデルの正確性や
精密度、写実性などの点で限界がある。一方、モデルを
用いた再現を行わずに、実写画像を用いて仮想空間を表
現するImage-Based Rendering（ＩＢＲ）技術が近年注
目を集めている。ＩＢＲ技術は、複数の実写画像をもと
に、任意の視点から見た画像を生成する技術である。Ｉ
ＢＲ技術は実写画像に基づいているために、写実的な仮
想空間の表現が可能である。

【０００４】このようなＩＢＲ技術を用いてウォークス
ルー可能な仮想空間を構築するためには、体験者の仮想
空間内の位置に応じた画像の生成・呈示を行う必要があ
る。そのため、この種のシステムにおいては、実写画像
データの各フレームと仮想空間内の位置とを対応付けて
保存しておき、体験者の仮想空間における位置と視点方
向に基づいて対応するフレームを取得し、これを再生す
る。

【０００５】現実空間内の位置データを得る手法として
は、カー・ナビゲーション・システムなどにも用いられ
ているＧＰＳ（Global Positioning System）に代表さ
れる人工衛星を用いた測位システムを利用するのが一般
的である。ＧＰＳなどから得られる位置データと、実写
画像データを対応付ける手法としては、タイムコードを
用いて対応付ける手法が提案されている（特開平11-168
754）。この手法では、位置データに含まれる時刻デー
タと、実写画像データの各フレームに付加したタイムコ
ードとを対応付けることで、実写画像データの各フレー
ムと位置データとの対応付けを行う。

【０００６】このような仮想空間内のウォークスルーに
おいては、体験者が各視点位置で所望の方向をみること
ができるようにする。このため、各視点位置の画像を、
再生時の画角よりも広い範囲をカバーするパノラマ画像
で保存しておき、体験者の仮想空間における視点位置と
視線方向とに基づいてパノラマ画像から再生すべき部分
画像を切り出し、これを表示することが考えられる。

【０００７】

【発明が解決しようとする課題】しかしながら、移動体
として車輌を用いて、これに搭載された撮影装置によっ
て都市空間の撮影を行った場合、信号の状況や交通の混
雑状況等により、物理的に同じ地点の画像データが複数
フレームにわたって撮影されてしまう。このため、収集
された実写画像データは同一箇所のパノラマ画像を多く
含むことになる。これはいうまでもなくデータの重複の
原因となり、例えばウォークスルー再生のためのパノラ
マ画像のデータベースを構築する際に無駄なパノラマ画
像を蓄積することとなる。当然、ハードディスク等の記
憶媒体資源の無駄な消費にもつながる。

【０００８】本発明は上記の課題に鑑みてなされたもの
であり、ＩＢＲ技術を用いてウォークスルー可能な仮想
空間を構築するにおいて、仮想空間再生のためのパノラ
マ画像を効率的に生成、保持可能とすることを目的とす
る。

【０００９】

【課題を解決するための手段】上記の目的を達成するた
めの本発明による画像再生装置は以下の構成を備える。
すなわち、複数の位置を移動しながら入力された画像デ
ータから得られる複数のフレームデータを保持する保持
手段と、前記保持手段に保持された複数のフレームデー
タより、実質的に同じ位置で撮影されたものと判定され
たフレームデータを抽出する抽出手段と、前記抽出手段
で抽出された重複するフレームデータを削除する削除手
段と、前記削除手段の実行後に残ったフレームデータ
を、地図上の位置に対応づけて格納する格納手段とを備
える。

【００１０】また、上記の目的を達成するための本発明
による画像再生方法は以下の工程を備える。すなわち、
複数の撮像装置によって得られた画像データから得られ
る複数のフレームデータを保持した保持手段より、実質
的に同じ位置で撮影されたものと判定されたフレームデ
ータを抽出する抽出工程と、前記抽出工程で抽出された
重複するフレームデータを削除する削除工程と、前記削
除工程の実行後に残ったフレームデータを、地図上の位
置に対応づけて格納する格納工程とを備える。

【００１１】

【発明の実施の形態】以下、添付図面を参照しながら、
本発明の好適な実施形態を説明する。

【００１２】＜第１の実施形態＞まず、本実施形態によ
る仮想空間のウォークスルーシステムについて説明す
る。本実施形態では、例えば自動車などの移動体に搭載
された複数の撮影装置によって撮影して得られた実写画
像データからパノラマ画像データを生成し、このパノラ
マ画像データを現実空間の位置としての地図データと対
応付けて保持する。そして、体験者の仮想空間における
視点位置と視線方向に応じて、保持されているパノラマ
画像データから表示画像を生成することにより、仮想空
間内のウォークスルーを実現する。

【００１３】図１は本実施形態によるウォークスルーシ
ステムの機能構成を説明するブロック図である。本ウォ
ークスルーシステムは、画像データ収集システム９０と
画像再生装置１とを含んで構成される。画像再生装置１
は、画像データ保存部１０、地図データ保存部２０、画
像・地図対応付け部３０、操作部４０、対応付けデータ
保存部５０、画像再生制御部６０、表示部７０を有す
る。

【００１４】画像データ保存部１０は、後で詳述する画
像データ収集システム９０によって得られた実写画像デ
ータとしてのフレームデータを格納する。地図データ保
存部２０は、地図のイメージ情報と該地図イメージ上の
各位置を経度と緯度に関連した座標で表すための座標情
報を含む地図データを格納する。地図データ保存部２０
には、少なくとも画像データ収集システム９０によって
撮影され、画像データ保存部１０に保存されたフレーム
データの現実空間位置に対応した範囲の地図データが保
存されている。なお、地図データは、不図示のハードデ
ィスク、ＲＡＭまたは他の外部記憶装置に保存される。

【００１５】画像・地図対応付け部３０は、画像データ
保存部１０に保存されているフレームデータから各視点
位置のパノラマ画像データを生成し、これを地図データ
保存部２０に保存されている地図データと対応付ける。
こうして対応付けされたパノラマ画像データと地図デー
タは、対応付けデータとして対応付けデータ保存部５０
に保存される。なお、画像・地図対応付け部３０では、
同一時刻において複数の撮影装置から得られたフレーム
データからパノラマ画像を生成し、その時刻におけるＧ
ＰＳ情報から対応する地図データ（地図上の位置デー
タ）を特定し、これらを対応付け、対応付けデータ保存
部５０に保存する。後述するように、ＧＰＳ情報と複数
の撮影装置から得られたフレームデータの各々にはタイ
ムコードが付加され、このタイムコードにより同一時刻
のフレーム、ＧＰＳ情報が取得される。

【００１６】操作部４０は、マウス、キーボード、ジョ
イスティック等を備える。なお、上述の画像・地図対応
付け部３０において、操作部４０からの操作入力に従っ
て、画像データ保存部１０に保存されたフレームと地図
データ保存部２０に保存された地図データとの対応付け
を編集可能としてもよい。

【００１７】画像再生制御部６０は、操作部４０からの
操作入力に従って体験者の視点位置（地図上の位置）、
視線方向を決定し、対応付けデータ保存部５０で保存さ
れたデータから必要な画像データを読み出し、表示部７
０で表示を行うための画像データを生成する。

【００１８】図２は、画像データ保存部１０に保存され
るフレームデータを収集するための画像データ収集シス
テム９０の構成例を示す図である。図２に示されるよう
に、この画像データ収集システム９０は、撮影部９１、
記録部９２、Ａ／Ｄ変換部９３の３つの部分に分けられ
る。以下、各部について、図３〜図５を参照して詳細に
説明する。

【００１９】図３は、撮影部９１の構成を詳細に示すブ
ロック図である。本実施形態では、撮影部９１は車輌な
どの移動体に搭載して用いられる。撮影部９１は、ｎ台
（ｎ≧１）のビデオカメラ（９１−１〜ｎ）と同期信号
発生部９４から成る。ビデオカメラ９１−１〜ｎにはそ
れぞれ同期信号発生部９４からの外部同期信号を入力す
ることが可能であり、本実施形態では、同期信号発生部
９４より出力される外部同期信号を用いてビデオカメラ
９１−１〜ｎのｎ台の撮影タイミングを一致させてい
る。

【００２０】図４は、記録部９２の構成を詳細に示すブ
ロック図である。記録部９２はタイムコード発生部９５
と、ビデオカメラ９１−１〜ｎに対応する録画部（本例
ではビデオカセットレコーダＶＣＲ）９２−１〜ｎとを
備える。撮影部９１のｎ台のビデオカメラ９１−１〜ｎ
からの画像出力は、それぞれ録画部９２−１〜ｎの入力
となる。また、タイムコード発生部９５は、撮影時刻を
表すタイムコードを各ＶＣＲ９２−１〜ｎに供給する。
ＶＣＲ９２−１〜ｎは、対応するビデオカメラからの画
像入力とタイムコード発生部９５からのタイムコードを
取り込み、タイムコードつきのビデオデータとして記録
する。

【００２１】以上のようにしてＶＣＲ９２−１〜ｎのそ
れぞれに収集された画像情報は、Ａ／Ｄ変換部９３によ
ってディジタルの画像データに変換され、画像データ保
存部１０に保存される。図５は、Ａ／Ｄ変換部９３の構
成を詳細に示すブロック図である。Ａ／Ｄ変換部９３
は、パーソナルコンピュータ（以下ＰＣ）９６と、ＶＣ
Ｒ９２−１〜ｎの各々に対応するビデオ・キャプチャ・
ボード（以下、キャプチャ・ボード）９３−１〜ｎを有
する。キャプチャ・ボードは必ずしもビデオカメラの台
数分必要ではなく、ＰＣに搭載できる数のキャプチャ・
ボードを共有してもよい。Ａ／Ｄ変換部９３は、各ＶＣ
Ｒから供給されるアナログ画像データをディジタル画像
データ（例えばＡＶＩフォーマット）に変換し、ＰＣ９
６に接続された、ハードディスク等を含んで構成される
画像データ保存部１０またはその他の記憶媒体に保存す
る。

【００２２】更に、本システムにおいては、タイムコー
ド発生部９５からタイムコードが発生するタイミングで
ＧＰＳ９７より位置データを取得し、取得した位置デー
タをその時点のタイムコードと対応付けて保持する。

【００２３】図６は画像データ保存部１０におけるビデ
オデータと位置データ（ＧＰＳ測定結果データ）の格納
状態例を示す図である。図６に示すように、画像データ
保存部１０には、タイムコードが付加されたフレームと
タイムコードが付加された位置データとが格納されるこ
とになる。よって、このタイムコードを介して、フレー
ムと位置データが対応付けられる。なお、図６では１つ
のビデオカメラからのビデオデータしか示していない
が、ビデオデータは上述したようにビデオカメラの台数
分（ｎ台分）が存在する。

【００２４】なお、ＧＰＳにおける３次元位置の算出は
公知であり、ここでは詳細な説明を省略する。以上のよ
うにして、ｎ台のビデオカメラによって画像を撮影しな
がら、ＧＰＳによって逐次得られる緯度、経度データＰ
（θ，φ）をタイムコード発生部７２からのタイムコー
ドに対応付けて格納していく。従って、このタイムコー
ドを介して、ビデオデータの各フレームと、ＧＰＳから
得られた緯度，経度データを対応付けることができる。

【００２５】なお、画像データがキャプチャ・ボード９
３−１〜ｎを通じてＰＣ９６内に取り込まれる際には、
記録されているタイムコードを用いてキャプチャ開始部
分、終了部分を決定し、ｎ台のＶＣＲおよびキャプチャ
・ボードを介して取得されるディジタル画像データがす
べて同時刻に撮影された、同じ長さのキャプチャデータ
で構成されるようにする。

【００２６】次に、画像再生装置１について説明する。
図７は、本実施形態による画像再生装置１のハード構成
を示すブロック図である。図７に示したハード構成は通
常のパーソナルコンピュータの構成と同等である。図７
において、ディスク１０５は画像データ保存部１０を構
成するものであり、図２〜図６に関連して説明した画像
データ収集システム９０によって得られたフレームデー
タと位置データが記憶されている。なお、ディスク１０
５は上述の画像データ保存部１０のみならず、図１に示
した地図データ保存部２０、対応付けデータ保存部５０
をも構成するものである。

【００２７】ＣＰＵ１０１は、ディスク１０５またはＲ
ＯＭ１０６、または外部記憶装置（不図示）に保存され
ているプログラムを実行することにより、画像データと
地図データとを対応付けて格納する画像・地図対応付け
部３０として、また、対応付けデータ保存部５０に保存
された画像データをもとに画像再生を行う画像再生制御
部６０として機能する。

【００２８】ＣＰＵ１０１が表示コントローラ１０２に
対して各種の表示指示を行うことにより、表示コントロ
ーラ１０２およびフレームバッファ１０３によって表示
器１０４に所望の表示がなされる。なお、図では表示コ
ントローラ１０２としてＣＲＴＣ、表示器１０４として
ＣＲＴを示したが、表示器としては陰極線管に限らず、
液晶表示器等を用いてもよいことはもちろんである。な
お、ＣＲＴＣ１０２、フレームバッファ１０３及びＣＲ
Ｔ１０４は、上述の表示部７０を構成する。マウス１０
８、キーボード１０９及びジョイスティック１１０は、
当該画像保持・再生装置１へのユーザの操作入力を行う
ためのものであリ、上述の操作部４０を構成する。

【００２９】次に、以上の構成を備えた本実施形態のウ
ォークスルーシステムにおける、画像再生装置１の動作
の概要について説明する。図８は本実施形態のウォーク
スルーシステムにおける、画像再生装置１の処理内容を
説明する図である。

【００３０】画像データ保存部１０には、上述した画像
データ収集システム９０によって、ｎ台のビデオカメラ
９１−１〜ｎによって得られたビデオデータに基づくタ
イムコード付のフレームデータと、ＧＰＳ９７によって
得られた位置データに基づくタイムコード付の位置デー
タが格納されている。

【００３１】画像・地図対応付け部３０は、同一のタイ
ムコードのフレームデータを接合してパノラマ画像を生
成するとともに、地図データ保存部２０に保持されてい
る地図データを参照して当該タイムコードに対応する位
置データを地図上の位置に変換する。そして、得られた
パノラマ画像と、地図上の位置とを対応付けた対応付け
データ２１０を生成し、対応付けデータ保存部５０に格
納する。

【００３２】なお、対応付けデータ格納部５０におい
て、本実施形態では次のデータ格納形態をとる。すなわ
ち、交差点や曲がり角を区分点とし、区分点と区分点で
挟まれた線分を道として、各区分点、道にＩＤを割り当
て、このＩＤを対応するフレームに付加する。１つの道
に対応するフレーム群には、先頭から順に番号が振られ
る。

【００３３】図９はこの様子を説明する図である。図９
において、例えばＩＤがＣ１である区分点とＣ２である
区分点に挟まれた線分にＲ１というＩＤが付与されてい
る。これらＩＤや地図との対応は、地図データ保存部２
０に保存されている。

【００３４】ＧＰＳデータ等に基づいて区分点Ｃ１とＣ
２に対応するフレームが特定されると、それらフレーム
に挟まれたフレーム群が道Ｒ１に対応することとなる。
図では、このフレーム群にｎ個のフレームが存在する。
そして、区分点Ｃ１とＣ２に対応するフレームにはそれ
ぞれＣ１、Ｃ２のＩＤが付与され、フレーム群の各フレ
ームには、順番にＲ１−１〜Ｒ１−ｎが付与される。

【００３５】なお、区分点とフレームとの対応付けは、
ＧＰＳデータに従って自動的に行われるものとしたが、
ユーザがビデオを再生しながら、フレームと対応する地
図上の交差点を指定することによって対応付けすること
も可能である。この場合、区分点に挟まれたフレーム群
の各フレームの位置は、例えば、当該区分点を結ぶ線分
上に等間隔に割り当てる（上記例では、Ｃ１とＣ２を結
ぶ線分をｎ＋１等分して、各分割位置に順番にｎ個のフ
レームを割り当てる）ようにすれば、ＧＰＳを用いずに
システムを構成することが可能である。

【００３６】以上のようにして格納された対応付けデー
タを用いてウォークスルー再生が行われる。操作部４０
よりジョイスティック１１０等を用いたウォークスルー
操作が行われると、これに従って、体験者の地図上の視
点位置（地図上の道における位置）と視線方向が生成さ
れる。画像再生制御部６０は、この生成された視点位置
と視線方向、及び表示部７０に表示される画角に基づい
て、表示部７０に表示すべき画像を対応付けデータ２１
０から取得し、これを表示部７０に表示させる。例え
ば、地図上のａ地点において１５度の方向を向いている
場合は、ａ地点に対応するパノラマ画像中の１５度の方
向に対応する部分画像が抽出されることになる。そし
て、体験者の位置が地図上を移動するのに従って順次決
定される視点位置及び視線方向について、画像再生制御
部６０が上記のようにして表示画像の取得と、表示部７
０への表示を行うことにより、ウォークスルーが実現さ
れることになる。

【００３７】以上のシステムにおいて、画像データ収集
システム９０は、複数のカメラを有する撮影部９１を車
輌などの移動体に搭載して撮影を行うことにより、画像
データの収集を行う。従って、一般道を走行しながら撮
影を行うことになり、低速で移動しながら撮影を行うこ
とはまず不可能である。特に、信号による停止、交通渋
滞による低速移動により、撮影内容が重複した不要なフ
レームが含まれた画像データが収集されてしまう。本実
施形態では、このような無駄なフレームを排除して、効
率的にパノラマデータを生成、保持可能とする。

【００３８】本実施形態の画像・地図対応付け部３０
は、まず、画像データ保存部１０に保存されたフレーム
のうち、撮影位置が重複した不要なフレームを間引く間
引き処理を行う。そして、間引きされた後に残ったフレ
ームを用いてパノラマ画像を生成し、対応付けデータ保
存部５０に保存する。以下、第１実施形態による間引き
処理について説明する。

【００３９】間引き処理では、画像データ収集システム
９０によって収集され、画像データ保存部１０に保存さ
れている画像データのうちの、一つのビデオカメラから
得られたフレームについてその隣接するフレームが同一
位置の画像であるか調べ、同一であった場合に、隣接す
る同一位置の画像を表すフレームを削除する。

【００４０】図１０は第１実施形態による間引き処理を
説明するフローチャートである。まずステップＳ１０１
において、チェック対象の位置データ（以下、ＧＰＳデ
ータという）を指すｉを、初期値「１」に設定する。次
にステップＳ１０２において、ｉ番目のＧＰＳデータＰ
ｉを画像データ保存部１０より取得する（すなわち、Ｐ
ｉは、ｉ番目のタイムコードに対応するフレームｉに対
応するＧＰＳデータである）。また、ステップＳ１０３
において、このＧＰＳデータＰｉとの対比の対象となる
ＧＰＳデータを指すｊを「ｉ＋１」、すなわちフレーム
ｉの隣のフレームｊに対応するＧＰＳデータに設定す
る。

【００４１】ステップＳ１０４で、フレームｊと対応す
るＧＰＳデータ（すなわちｊ番目のＧＰＳデータ）Ｐｊ
を画像データ保存部１０より取得し、ステップＳ１０５
でＰｉとＰｊを比較する。そして、両者が等しい（Ｐｉ
＝Ｐｊ）場合は、ステップＳ１０６へ進み、フレームｊ
を削除するべく、ｊ番目のタイムコード或いはｊ番目の
ＧＰＳデータにマーキングする。そして、ステップＳ１
０７で、更にその隣のフレームの位置を調べるべくｊを
１つ加算し、ステップＳ１０８でｊがｎ以下であればス
テップＳ１０４へ戻る。以上の処理により、フレームｉ
から連続するフレーム群であって、フレームｉと同じ位
置で撮影されたフレームからなるフレーム群を削除する
べくマークが付されることになる。例えば、同じ位置で
撮影されたフレームが５つ（Ｉ１〜Ｉ５とする）連続し
ている場合、これら５つのフレームのＧＰＳデータは等
しくなり、Ｉ２〜Ｉ５を削除するべく、たとえば、対応
するＧＰＳデータ或いはタイムコードに削除マークが付
されることになる。なお、ステップＳ１０８でｊがｎ
（処理対象のフレーム数）より大きくなった場合は、全
フレームについて調査を終えたことになるので、処理を
ステップＳ１１１へ進める。

【００４２】一方、ステップＳ１０５において、Ｐｉと
Ｐｊが等しくない場合は、ステップＳ１０９へ進み、ｉ
の値をｊに代入する。そして、ステップＳ１１０でｉ＝
ｎでなければステップＳ１０２へ戻る。こうして、ｎ個
全てのフレームの中に、同一位置で撮影された連続する
フレームからなるフレーム群が存在するか調べ、存在し
た場合には、重複するフレームを排除するべくマーキン
グを施すことができる。

【００４３】次に、ステップＳ１１１において、マーキ
ングの施されたＧＰＳデータ（或いはタイムコード）に
対応する全てのフレームを削除する。こうして、全ての
カメラから得られたフレーム系列について、同一位置の
画像データの重複を排除できる。

【００４４】こうして重複するフレームが削除された
後、画像・地図対応付け部３０は、残されたフレームを
用いてパノラマ画像を生成し、これを地図上の位置を示
すデータと対応付けて、対応付けデータ保存部５０に保
存する。

【００４５】なお、上記処理において、同一位置のもの
か否かの判断を、位置データが一致するか否かで行った
（ステップＳ１０５）が、ＧＰＳによる計測誤差等を考
慮して、厳密に一致しなくても、両者の差（距離）があ
る範囲にある場合に同一とみなすようにしてもよい。こ
の場合、ステップＳ１０５において、 ｆ（Ｐｉ，Ｐｊ）＜α を満足するか否かを判断すればよい。ここで、ｆ（）
は、緯度と経度で表わされるＧＰＳデータを距離値に換
算する関数である。なお、その演算方法自体は当業者に
は自明であるので、説明を省略する。このようにすれ
ば、位置αの範囲にある連続したフレーム群を、その先
頭の１つのフレームで代表させることができる。

【００４６】以上のように、第１の実施形態によれば、
フレームに対応づけられたＧＰＳデータに基づいて、同
一位置で撮影されたとみなされる、連続するフレーム群
について、１つのフレーム（先頭のフレーム）を残して
他のデータを削除するようにしたので、パノラマ画像の
生成において無駄な処理を防止できる。

【００４７】＜第２の実施形態＞上記第１実施形態で
は、専らＧＰＳデータに従って同一位置の撮影データで
あるか否かを判断して間引きを行った。第２実施形態で
は、速度データを用いて同一位置の撮影データか否かを
判断する。

【００４８】なお、第２の実施形態では、図５に示した
画像データ収集システム９０のＡ／Ｄ変換部９３におい
て、ＧＰＳ９７の代わりに速度計が接続され、その計測
値がタイムコード発生部９５によるタイムコードの発生
と同期して記録される。

【００４９】図１１は第２実施形態による間引き処理を
説明するフローチャートである。まずステップＳ２０１
において、チェック対象の速度データを指すｉを、初期
値「１」に設定する。次にステップＳ２０２において、
ｉ番目の速度データ（すなわち、ｉ番目のタイムコード
に対応する速度データ）Ｖｉを画像データ保存部１０よ
り取得する。また、ステップＳ２０３において、この速
度データＶｉとの対比の対象となる速度データを指すｊ
を「ｉ＋１」、すなわち隣のフレームに対応する速度デ
ータＶｊに設定する。

【００５０】ステップＳ２０４で、フレームｊと対応付
けられた速度データＶｊを画像データ保存部１０より取
得し、ステップＳ２０５でＶｉもＶｊもともに０である
かどうかをチェックする。そして、両者がともに０（Ｖ
ｉ＝Ｖｊ＝０）の場合は、ステップＳ２０６へ進み、フ
レームｊを削除するべく速度データＶｊ或いはｊ番目の
タイムコードにマーキングする。そして、ステップＳ２
０７で、更に隣のフレームにおける速度データを調べる
べくｊを１つ加算し、ステップＳ２０８でｊがｎ以下で
あればステップＳ２０４へ戻る。

【００５１】速度データが０の連続するフレームでは、
何等かの原因でカメラの移動が停止しているので、同じ
位置のフレームが重複して存在することになる。従っ
て、上記処理により、最初のフレームだけを残して、他
のフレームを削除することで、重複を排除する。例え
ば、速度データが０のフレームが５つ（Ｉ１〜Ｉ５とす
る）連続している場合には、Ｉ２〜Ｉ５に削除マークが
付されることになる。なお、ステップＳ２０８でｊがｎ
（処理対象のフレーム数）より大きくなった場合は、全
フレームについて調査を終えたことになるので、処理を
ステップＳ２１１へ進める。

【００５２】一方、ステップＳ２０５において、Ｖｉ＝
Ｖｊ＝０とならない場合は、ステップＳ２０９へ進み、
ｉの値をｊに代入する。そして、ステップＳ２１０でｉ
＝ｎでなければステップＳ２０２へ戻る。こうして、ｎ
個全てのフレームについて、同一位置で撮影された連続
するフレームを検出し、重複するフレームを削除するた
のマーキングを施すことができる。

【００５３】次に、ステップＳ２１１において、マーキ
ングの施された速度データ或いはタイムコードに対応す
る全てのフレームを削除する。こうして、全てのカメラ
から得られたフレーム系列について、同一位置の画像デ
ータの重複を排除できる。

【００５４】以上のように、第２の実施形態によれば、
車輌等の移動体に速度計を設けて計測された移動速度を
用いて、重複する画像データを検出し、削除することが
可能となる。

【００５５】なお、第１の実施形態で説明したＧＰＳデ
ータを用いた構成と併用してもよい。ＧＰＳは地形等に
よってデータ取得が不能となる場合があるので、ＧＰＳ
データが得られなかった部分で速度データを用いた間引
き処理を実行するように構成することも可能である。

【００５６】また、ＧＰＳデータは誤差を含む可能性が
あるので、重複するフレームの検出精度をより向上する
ために、速度データと併用してフレームを削除するよう
にしてもよい。この場合、たとえば、ＧＰＳデータと速
度データの両方から同一位置であると判定されたフレー
ムを削除対象とすればよい。

【００５７】＜第３実施形態＞なお、第２実施形態では
速度センサを用いたが、カメラを搭載する車輌に距離計
を装着し、当該車輌の走行距離をタイムコードに同期し
て記録するようにし、その計測データが同じであるフレ
ーム群を同一箇所のフレームの集まりとして検出し、当
該フレーム群について重複するフレームを削除するよう
にしてもよい。

【００５８】この場合、フレームｉの距離計測値をＰ
ｉ、フレームｊの距離計測値をＰｊとすれば、第１の実
施形態と同様の処理手順で重複するフレームを検出し、
削除することができる。

【００５９】また、距離計を用いた場合は、第１の実施
形態と同様に、ステップＳ１０５において、 ｜Ｐｉ−Ｐｊ｜＜α を満足するか否かを判断するようにすることで、厳密に
一致しなくても、両者の差がある範囲にある場合に同一
とみなすようにしてもよい。なお、第３実施形態では距
離計測値をＰｉ、Ｐｊとして用いるので、上記式では単
純に計測値の差分をとればよい。

【００６０】＜第４実施形態＞第４実施形態では、ＧＰ
Ｓデータも速度データも用いず、隣接する画像の内容か
ら重複するフレームを検出し、これを削除する。

【００６１】図１２は第４実施形態による間引き処理を
説明するフローチャートである。ただし、以下の処理
は、画像データ収集部９０が所有する複数のカメラのう
ちの一つから得られたフレーム系列について行われる。
まずステップＳ３０１において、チェック対象のフレー
ムを指すｉを、初期値「１」に設定する。次にステップ
Ｓ３０２において、このフレームｉとの対比の対象とな
るフレームを指すｊを「ｉ＋１」、すなわち隣の画像に
設定する。

【００６２】ステップＳ３０３で、フレームｉとフレー
ムｊの両画像間の最小二乗誤差Ｅを計算し、ステップＳ
３０４でこの誤差Ｅが所定の閾値よりも小さいかどうか
を判定する。そして、誤差Ｅの値が閾値よりも小さい場
合は、フレームｉ及びｊは同一位置の画像であると判断
され、ステップＳ３０５でフレームｊを当該画像系列か
ら削除するべくマーキングする。そして、ステップＳ３
０６で、次のフレームを調べるべくｊを１つ加算し、ス
テップＳ３０７でｊがｎ以下であればステップＳ３０４
へ戻る。

【００６３】一方、ステップＳ３０４において、誤差Ｅ
が閾値以上であった場合は、フレームｉ及びｊによって
表わされる画像は同一ではない（同一位置の画像ではな
い）と判定され、ステップＳ３０８へ進み、ｉの値をｊ
に代入する。そして、ステップＳ３０９でｉ＝ｎでなけ
ればステップＳ３０２へ戻る。こうして、ｎ個全てのフ
レームについて、同一位置で撮影された連続するフレー
ムを検出し、重複するフレームを削除するたのマーキン
グを施すことができる。

【００６４】次に、ステップＳ３１０において、マーキ
ングの施されたフレームを削除する。そして、ステップ
Ｓ３１１において、他のカメラから得られたフレーム系
列についても、ステップＳ３１０で削除されたフレーム
と同じフレーム番号（或いはタイムコード）のフレーム
を削除する。

【００６５】なお、第４実施形態において用いるフレー
ムは図３に示されるｎ台のカメラのうちの一つから得ら
れた画像を用いるが、そのカメラは車輌に搭載された際
に、進行方向に対しておよそ９０°の角度を向いたもの
であることが好ましい。移動の有無が画面に現れやすい
からである。

【００６６】また、上記実施形態では一つのカメラから
のフレームを用いたが、複数のフレーム系列について上
記処理を行うようにしてもよい。例えば、進行方向に対
して左右方向を向いた２つのカメラから得られる２つの
フレーム系列のそれぞれについて図１０に示した処理を
行い、両系列間で対応するフレームの両方に削除のマー
キングが施されている場合に、対応するフレーム番号の
フレームを削除する。こうすることにより、例えば進行
方向の一方の側の景色の変化が車輌移動中でも乏しい場
合（例えば海であった場合）でも、正しく削除対象であ
るか否かを判定できる。

【００６７】＜第５実施形態＞第４実施形態では同一画
像であるかどうかの判定（ステップＳ３０３、Ｓ３０
４）において、最小二乗誤差を用いた。しかしながら、
２つの画像が同一か否かの判断は、このような手法に限
られるものではない。第５実施形態では、２つの画像が
同一の位置から撮影されたものであるか否かを判断する
手順の一例として、画像中の対応点から両画像の相対位
置を求めることにより行う場合を説明する。

【００６８】図１３は第５実施形態による間引き処理を
説明するフローチャートである。ただし、以下の処理
は、画像データ収集部９０が所有する複数のカメラのう
ちの一つから得られたフレーム系列について行われる。
まずステップＳ４０１において、チェック対象のフレー
ムを指すｉを、初期値「１」に設定する。次にステップ
Ｓ４０２において、このフレームｉとの対比の対象とな
るフレームを指すｊを「ｉ＋１」、すなわち隣の画像に
設定する。

【００６９】ステップＳ４０３で、フレームｉとフレー
ムｊの両画像中の対応点を抽出し、抽出した対応点から
両画像の相対的な位置関係を求める。なお、画像からの
対応点の抽出と、対応点に基づく位置の算出は当業者に
は周知であるので説明を省略する。

【００７０】ステップＳ４０４では、ステップＳ４０３
で求めた相対位置から両画像間の相対距離を求め、該相
対距離が所定の閾値よりも小さいかどうかを判定する。
そして、相対距離が閾値よりも小さい場合は、フレーム
ｉ及びｊは同一位置の画像であると判断され、ステップ
Ｓ４０５でフレームｊを当該画像系列から削除するべく
マーキングする。そして、ステップＳ４０６で、次のフ
レームを調べるべくｊを１つ加算し、ステップＳ４０７
でｊがｎ以下であればステップＳ４０４へ戻る。

【００７１】一方、ステップＳ４０４において、相対距
離が閾値以上であった場合は、フレームｉ及びｊによっ
て表わされる画像は同一ではない（同一位置の画像では
ない）と判定され、ステップＳ４０８へ進み、ｉの値を
ｊに代入する。そして、ステップＳ４０９でｉ＝ｎでな
ければステップＳ４０２へ戻る。こうして、ｎ個全ての
フレームについて、同一位置で撮影された連続するフレ
ームを検出し、重複するフレームを削除するたのマーキ
ングを施すことができる。

【００７２】次に、ステップＳ４１０において、マーキ
ングの施されたフレームを削除する。そして、ステップ
Ｓ４１１において、他のカメラから得られたフレーム系
列についても、ステップＳ４１０で削除されたフレーム
と同じフレーム番号或いはタイムコードのフレームを削
除する。

【００７３】＜第６実施形態＞上記第１〜第５実施形態
では、移動体としての車輌が停止中に撮影された同一位
置のフレームを検出して、これを削除することにより同
一フレームを除去して、資源の有効活用と処理の効率化
を図った。

【００７４】第６実施形態では更に、フレームを、実空
間における所望の間隔でフレームを取得し、対応付けデ
ータ保存部５０に格納可能とする。この効果は、第１実
施形態及び第３実施形態における、ステップＳ１０５の
処理で、ｆ（Ｐｉ，Ｐｊ）＜α、或いは ｜Ｐｉ−Ｐｊ｜＜α を用いて削除すべきフレームか否かを判定するようにし
てもよい旨を述べたが、このαをユーザが所望に設定出
来るように構成することで得られる。

【００７５】このように構成することで、フレームの間
隔をほぼαの等間隔とすることができ、画像データ収集
時における移動体のスピードに関わらす、対応付けデー
タ保存部５０に格納されるパノラマ画像の間隔をほぼ一
定（α）にすることができる。この結果、ウォークスル
ー再生に好適なパノラマ画像のデータベースが得られ
る。

【００７６】なお、αの指定方法の一例としては、所望
のフレーム間隔を「５０ｃｍ」、「１ｍ」といったよう
に実空間の距離を与えるようにすればよい。

【００７７】＜第７実施形態＞第１の実施形態におい
て、ＧＰＳデータを持たない場合にも、地図上の区分点
と道によってフレームデータを割り当てることが出来る
旨説明した。更に、ＧＰＳデータを持たない場合でも、
第２〜第５実施形態で説明したように、画像データ収集
中における移動体の停止によるビデオデータの重複を排
除できる。しかしながら、このような処理を行っても、
移動体の加減速によってフレームの疎密が残り、必要以
上に密な部分には無駄なフレームが存在することにな
る。

【００７８】第６実施形態では、画像データ収集システ
ム９０によって撮影を行った位置の情報（ＧＰＳデー
タ、距離計による計測値）を用いて、このような無駄な
フレームを排除し、フレームの等間隔化を行ったが、Ｇ
ＰＳ、距離計を持たないシステムであった場合には適用
できない。第７実施形態では、ＧＰＳ、距離計を持たな
い場合に、フレームのサンプリング間隔の不均一さを吸
収する。ただし、図９で説明したような地図との対応付
けがなされているものとする。

【００７９】図１４は第７実施形態によるフレームの間
引き処理を説明するフローチャートである。なお、この
処理に先立って、第２実施形態、第４及び第５実施形態
で説明した手法により、重複したフレームの除去を行っ
ておくことが望ましい。

【００８０】まず、ステップＳ５０１において、所望の
サンプリングレートＳ（枚／pixel）を設定する。サン
プリングレートＳは、地図画像上の１ピクセルあたりの
フレーム数であり、例えば１０ピクセル毎に１枚のフレ
ームとしたいのであれば、その逆数である０．１がサン
プリングレートＳとして設定される。

【００８１】次に、ステップＳ５０２に進み、所望の道
を指定することで、間引きを行うべきフレーム群を指定
する。道の指定は、地図画像を表示してポインティング
デバイスで指示してもよいし、道ＩＤをキーボード等か
ら入力するようにしてもよい。道が指定されたら、ステ
ップＳ５０３へ進み、指定された道の両端の区分点の地
図画像上の座標を得て、これらから当該２区分点間の距
離Ｄ（pixel）を求める。ステップＳ５０４では、指定
された道に割り当てられているフレーム群のフレーム数
を求め、これをＦとする。例えば、図９の例ではｎ枚の
フレームが存在し、Ｆ＝ｎとなる。

【００８２】指定された道の長さ（距離Ｄ）と設定され
たサンプリングレートＳにより、当該指定された道に存
在すべきフレームの数がＤＳと表わされる。ステップＳ
５０６〜Ｓ５０９の処理では、指定された道に対応する
フレーム群のフレーム数（Ｆ枚）をＤ×Ｓ枚とするため
に、削除すべき画像が選択される。なお、本処理では、
Ｆ＞Ｄ×Ｓであることを前提とするので、ステップＳ５
０６以降の処理を実行する前に、Ｆ＞Ｄ×Ｓであるかど
うかを判定し、否であれば本処理を終了する。

【００８３】以下、ステップＳ５０６以降の処理につい
て説明する。ステップＳ５０６では、カウンタとして用
いる変数ｆを初期値１に設定する。次に、ステップＳ５
０７において、（ｆ−１）×（（Ｆ−１）／（Ｄ×Ｓ−
１））番目のフレームを採用するフレームとしてチェッ
クする。なお、（ｆ−１）×（（Ｆ−１）／（Ｄ×Ｓ−
１））の値は、演算結果を整数化したものを用いる。ス
テップＳ５０８では、ｆに１を加算して、ステップＳ５
０７とＳ５０８の処理をｆ＝Ｄ×Ｓ＋１（目標枚数）と
なるまで繰り返す（ステップＳ５０９）。

【００８４】以上の処理により、Ｄ×Ｓ枚のチェックさ
れたフレームが得られるので、ステップＳ５１０におい
て、チェックされていないフレームを削除することによ
り、指定された道に対応するＦ枚のフレームをＤ×Ｓ枚
のフレームへと間引く。他の道についても処理を行う場
合は、ステップＳ５１１ステップＳ５０１へ戻り、上記
の処理を繰り返す。これ以上の編集を行わない場合は、
ステップＳ５１１より本処理を終了する。

【００８５】以上のように、第７実施形態によれば、単
位距離あたり（ピクセルあたり）のパノラマ枚数を設定
して、フレームを間引くので、画像データ収集時のサン
プル間隔の不均一を吸収できる。また、道に割り当てら
れたフレーム群について、その順番に従って間引きを行
うので、ＧＰＳデータ等が無くても、適切に間引きを行
うことができる。

【００８６】なお、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体（または記録媒体）を、システムあるい
は装置に供給し、そのシステムあるいは装置のコンピュ
ータ（またはCPUやMPU）が記憶媒体に格納されたプログ
ラムコードを読み出し実行することによっても、達成さ
れることは言うまでもない。この場合、記憶媒体から読
み出されたプログラムコード自体が前述した実施形態の
機能を実現することになり、そのプログラムコードを記
憶した記憶媒体は本発明を構成することになる。また、
コンピュータが読み出したプログラムコードを実行する
ことにより、前述した実施形態の機能が実現されるだけ
でなく、そのプログラムコードの指示に基づき、コンピ
ュータ上で稼働しているオペレーティングシステム(OS)
などが実際の処理の一部または全部を行い、その処理に
よって前述した実施形態の機能が実現される場合も含ま
れることは言うまでもない。

【００８７】さらに、記憶媒体から読み出されたプログ
ラムコードが、コンピュータに挿入された機能拡張カー
ドやコンピュータに接続された機能拡張ユニットに備わ
るメモリに書込まれた後、そのプログラムコードの指示
に基づき、その機能拡張カードや機能拡張ユニットに備
わるCPUなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【００８８】

【発明の効果】以上説明したように、本発明によれば、
ＩＢＲ技術を用いてウォークスルー可能な仮想空間を構
築するにおいて、仮想空間再生のためのパノラマ画像等
を効率的に生成、保持可能となる。

【図面の簡単な説明】

【図１】本実施形態によるウォークスルーシステムの機
能構成を説明するブロック図である。

【図２】画像データ保存部１０に保存されるフレームデ
ータを収集するための画像データ収集システム９０の構
成例を示す図である。

【図３】撮影部９１の構成を詳細に示すブロック図であ
る。

【図４】記録部９２の構成を詳細に示すブロック図であ
る。

【図５】Ａ／Ｄ変換部９３の構成を詳細に示すブロック
図である。

【図６】画像データ保存部１０におけるビデオデータと
位置データ（ＧＰＳ測定結果データ）の格納状態例を示
す図である。

【図７】本実施形態による画像再生装置１のハード構成
を示すブロック図である。

【図８】本実施形態のウォークスルーシステムにおけ
る、画像再生装置１の処理内容を説明する図である。

【図９】フレームデータを地図上の区分点と道と対応付
ける様子を説明する図である。

【図１０】第１実施形態による間引き処理を説明するフ
ローチャートである。

【図１１】第２実施形態による間引き処理を説明するフ
ローチャートである。

【図１２】第４実施形態による間引き処理を説明するフ
ローチャートである。

【図１３】第５実施形態による間引き処理を説明するフ
ローチャートである。

【図１４】第７実施形態によるフレームの間引き処理を
説明するフローチャートである。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2C032 HB03 HB05 HB22 HC08 HC13 HC23 HD03 5B050 BA01 BA09 BA10 DA07 EA03 EA05 EA07 EA24 GA08

Claims (24)

【特許請求の範囲】
1. 【請求項１】 複数の位置を移動しながら入力された画
   像データから得られる複数のフレームデータを保持する
   保持手段と、 前記保持手段に保持された複数のフレームデータより、
   実質的に同じ位置で撮影されたものと判定されたフレー
   ムデータを抽出する抽出手段と、 前記抽出手段で抽出された重複するフレームデータを削
   除する削除手段と、 前記削除手段の実行後に残ったフレームデータを、地図
   上の位置に対応づけて格納する格納手段とを備えること
   を特徴とする画像処理装置。
2. 【請求項２】 前記保持手段は、前記複数のフレームデ
   ータのそれぞれに撮影時の位置を示す位置データが対応
   付けて保持されており、 前記抽出手段は、位置データが一致するフレームデータ
   を抽出することを特徴とする請求項１に記載の画像処理
   装置。
3. 【請求項３】 前記位置データはＧＰＳによって得られ
   たものであることを特徴とする請求項２に記載の画像処
   理装置。
4. 【請求項４】 前記画像データは異なる方向を撮影する
   複数の撮像装置を移動させながら撮影したものであっ
   て、 前記位置データは、前記複数の撮像装置を搭載して移動
   する移動体の移動距離を計測する距離計より得られたも
   のであることを特徴とする請求項２に記載の画像処理装
   置。
5. 【請求項５】 前記保持手段は、前記複数のフレームデ
   ータのそれぞれに撮影時に得られた速度データが対応付
   けて保持されており、 前記抽出手段は、前記速度データが停止を示スフレーム
   データからなるフレームデータ群を抽出することを特徴
   とする請求項１に記載の画像処理装置。
6. 【請求項６】 ２つのフレームデータの比較によって、
   それらが同一位置のものか否かを判定する判定手段を更
   に備え、 前記抽出手段は、前記判定手段によって同一位置のもの
   と判定されたフレームデータを抽出することを特徴とす
   る請求項１に記載の画像処理装置。
7. 【請求項７】 前記判定手段は、２つのフレームデータ
   間の最小二乗誤差を算出し、算出された最小二乗誤差が
   所定値以下であった場合に当該２つのフレームデータを
   同一位置のものと判定することを特徴とする請求項６に
   記載の画像処理装置。
8. 【請求項８】 前記判定手段は、２つのフレームデータ
   の対応点に基づいて、該２つのフレームデータ間の相対
   距離を算出し、該相対距離が所定値以下であった場合に
   当該２つのフレームデータを同一位置のものと判定する
   ことを特徴とすることを特徴とする請求項６に記載の画
   像処理装置。
9. 【請求項９】 前記画像データはそれぞれ異なる方向を
   撮影する複数の撮像装置を移動させながら撮影したもの
   であって、 前記判定手段において採用されるフレームデータは、前
   記複数の撮像装置のうち、移動方向に対して横向きの撮
   像装置から得られたものであることを特徴とする請求項
   ６乃至８のいずれかに記載の画像処理装置。
10. 【請求項１０】 フレームデータのサンプリング間隔を
    設定する設定手段を更に備え、 前記抽出手段は、位置データによって得られる距離が、
    前記設定手段で設定されたサンプリング間隔に相当する
    距離よりも小さいフレームデータを抽出することを特徴
    とする請求項２に記載の画像処理装置。
11. 【請求項１１】 フレームデータのサンプリング間隔を
    設定する設定手段と、 地図上の２点間の線上に沿って撮影されたフレームデー
    タ群を取得する取得手段と、 前記２点間の距離と前記サンプリング間隔に基づいて、
    該２点間の線分上に存在すべきフレームデータ数を算出
    する算出手段と、 前記算出手段で算出されたフレームデータ数となるよう
    に、前記取得手段で取得した複数のフレームデータに対
    して間引きを実行する間引き手段とを更に備えることを
    特徴とする請求項１に記載の画像処理装置。
12. 【請求項１２】 複数の撮像装置によって得られた画像
    データから得られる複数のフレームデータを保持した保
    持手段より、実質的に同じ位置で撮影されたものと判定
    されたフレームデータを抽出する抽出工程と、 前記抽出工程で抽出された重複するフレームデータを削
    除する削除工程と、 前記削除工程の実行後に残ったフレームデータを、地図
    上の位置に対応づけて格納する格納工程とを備えること
    を特徴とする画像処理方法。
13. 【請求項１３】 前記保持手段には、前記複数のフレー
    ムデータのそれぞれに撮影時の位置を示す位置データが
    対応付けて保持されており、 前記抽出工程は、位置データが一致するフレームデータ
    を抽出することを特徴とする請求項１２に記載の画像処
    理方法。
14. 【請求項１４】 前記位置データはＧＰＳによって得ら
    れたものであることを特徴とする請求項１２に記載の画
    像処理方法。
15. 【請求項１５】 前記画像データはそれぞれ異なる方向
    を撮影する複数の撮像装置を移動させながら撮影したも
    のであって、 前記位置データは、前記複数の撮像装置を搭載して移動
    する移動体の移動距離を計測する距離計より得られたも
    のであることを特徴とする請求項１３に記載の画像処理
    方法。
16. 【請求項１６】 前記保持手段には、前記複数のフレー
    ムデータのそれぞれに撮影時に得られた速度データが対
    応付けて保持されており、 前記抽出工程は、前記速度データが停止を示すフレーム
    データを抽出することを特徴とする請求項１２に記載の
    画像処理方法。
17. 【請求項１７】 ２つのフレームデータの比較によっ
    て、それらが同一位置のものか否かを判定する判定工程
    を更に備え、 前記抽出工程は、前記判定工程によって同一位置のもの
    と判定されたフレームデータを抽出することを特徴とす
    る請求項１２に記載の画像処理方法。
18. 【請求項１８】 前記判定工程は、２つのフレームデー
    タ間の最小二乗誤差を算出し、算出された最小二乗誤差
    が所定値以下であった場合に当該２つのフレームデータ
    を同一位置のものと判定することを特徴とする請求項１
    ７に記載の画像処理方法。
19. 【請求項１９】 前記判定工程は、２つのフレームデー
    タの対応点に基づいて、該２つのフレームデータ間の相
    対距離を算出し、該相対距離が所定値以下であった場合
    に当該２つのフレームデータを同一位置のものと判定す
    ることを特徴とすることを特徴とする請求項１７に記載
    の画像処理方法。
20. 【請求項２０】 前記画像データはそれぞれ異なる方向
    を撮影する複数の撮像装置を移動させながら撮影したも
    のであって、 前記判定工程において採用されるフレームデータは、前
    記複数の撮像装置のうち、移動方向に対して横向きの撮
    像装置から得られたものであることを特徴とする請求項
    １７乃至１９のいずれかに記載の画像処理方法。
21. 【請求項２１】 フレームデータのサンプリング間隔を
    設定する設定工程を更に備え、 前記抽出工程は、位置データによって得られる距離が、
    前記設定工程で設定されたサンプリング間隔に相当する
    距離よりも小さいフレームデータを抽出することを特徴
    とする請求項１３に記載の画像処理方法。
22. 【請求項２２】 フレームデータのサンプリング間隔を
    設定する設定工程と、 地図上の２点間の線上に沿って撮影されたフレームデー
    タ群を取得する取得工程と、 前記２点間の距離と前記サンプリング間隔に基づいて、
    該２点間の線分上に存在すべきフレームデータ数を算出
    する算出工程と、 前記算出工程で算出されたフレームデータ数となるよう
    に、前記取得工程で取得したフレームデータ群に対して
    間引きを実行する間引き工程とを更に備えることを特徴
    とする請求項１２に記載の画像処理方法。
23. 【請求項２３】 請求項１２乃至２２のいずれかに記載
    の画像処理方法をコンピュータによって実現するための
    制御プログラムを格納することを特徴とする記憶媒体。
24. 【請求項２４】 請求項１２乃至２２のいずれかに記載
    の画像処理方法をコンピュータによって実現するための
    制御プログラム。