JPH08159762A

JPH08159762A - ３次元データ抽出方法及び装置並びにステレオ画像形成装置

Info

Publication number: JPH08159762A
Application number: JP6298224A
Authority: JP
Inventors: Toru Inoue; 井上　　徹
Original assignee: Aero Asahi Corp
Current assignee: Aero Asahi Corp
Priority date: 1994-12-01
Filing date: 1994-12-01
Publication date: 1996-06-21
Anticipated expiration: 2019-07-14
Also published as: JP3541855B2

Abstract

(57)【要約】【目的】ビデオ映像からＤＥＭデータを作成する。【構成】対象地域を上空からビデオ撮影する（Ｓ
１）。このとき、カメラの位置をディファレンシャルＧ
ＰＳにより測定する。カメラは防振装置に載置され、そ
のジャイロ出力及び磁方位センサの出力により、カメラ
の傾きを精密に測定する。ビデオ映像の中で６０％重複
するフィールドのマッチングにより外部標定要素を正確
に決定する（Ｓ２）。各フィールドの先頭ライン、中央
ライン及び最終ラインを抽出し、別個に合成して、前方
視画像、直下視画像及び後方視画像となる連続モザイク
画像を作成する（Ｓ３）。連続モザイク画像から縦視差
を除去する（Ｓ４）。前方視画像と後方視画像（又は直
下視画像）とから視差差を算出し（Ｓ５）、視差差から
高さを算出する（Ｓ６）。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、３次元データ抽出方法
及び装置並びにステレオ画像形成装置に関し、より具体
的には、ビデオ映像から３次元データを抽出する方法及
び装置、並びにビデオ映像からステレオ画像を形成する
ステレオ画像形成装置に関する。

【０００２】

【従来の技術】３次元地形図を作成するには、従来、航
空写真による航空測量技術が利用されている。しかし、
航空測量技術は、現地上空をヘリコプタ又は軽飛行機を
飛ばしながら地上をステレオ撮影し、それで得たステレ
オ写真を解析処理するものであり、ステレオ写真を得る
だけでも多大な費用と時間がかかる上に、その解析にも
非常な手間と費用がかかる。低高度で撮影した空中写真
を使ってステレオ・マッチングにより３次元計測する場
合、オクルージョンの影響によりマッチング・エラーが
発生する。これは、ステレオ画像を形成する２つの画像
が別の視線方向から見られたものであり、観察方向の相
違に起因する画像の相違が、完全なマッチングを不可能
にするからである。従来例は、地上の複数の標定点を使
うことで、このような影響を除去しようとしているが、
これでは自動化は不可能である。

【０００３】

【発明が解決しようとする課題】これに対して、ビデオ
映像を利用して地形図を作成する技術は、自動化しやす
い。しかし、従来の技術では、写真３次元データを抽出
するのに、航空写真測量と同様に、画像内に数点の対空
標識（明確な３次元座標が分かっている標識）が必要と
され、必要な数の対空標識が確保されても、誤差がメー
トル単位で精度が悪く、実用に耐えない。

【０００４】道路、河川及び鉄道等の管理、その新規路
線計画、並びに都市等の開発状況調査には、３次元地形
図が有益であり、３次元地形データを迅速、安価且つ簡
単に入手できるシステムが望まれている。３次元地形デ
ータが得られれば、鳥瞰図も容易に作成（ディスプレイ
表示又はプリンタ出力）でき、各種のシミュレーション
を行なうことができる。また、ビデオ映像処理により３
次元データを得ることができれば、変化部分のみを抽出
するのも容易になるので、都市等の開発状況調査も容易
になる。

【０００５】本発明は、３次元データを自動抽出する３
次元データ抽出方法及び装置を提示することを目的とす
る。

【０００６】本発明はまた、ビデオ映像から３次元デー
タを抽出する３次元データ抽出方法及び装置を提示する
ことを目的とする。

【０００７】本発明はまた、ビデオ映像からステレオ画
像（ステレオ・マッチングに適した２つの画像）を形成
するステレオ画像形成装置を提示することを目的とす
る。

【０００８】

【課題を解決するための手段】本発明では、ビデオ映像
の所定ラインの画像データを抽出して、視差の異なる連
続モザイク画像を形成する。それらの連続モザイク画像
から縦視差を除去した後、ステレオ・マッチングにより
視差差を算出する。得られた視差差から高さを算出す
る。

【０００９】好ましくは、撮影映像の連続する画面か
ら、所定割合で重複する少なくとも３以上の画面を抽出
し、その重複部分で各画面をマッチングし、外部標定要
素を確定する。そして、この標定計算で決定された外部
標定要素に従い、連続モザイク画像の各ラインに外部標
定要素を内挿し、連続モザイク画像の各ラインを、当該
ラインの外部標定要素に従い所定高度への投影画像に変
換する。

【００１０】

【作用】上記の各処理は、コンピュータ上で自動化可能
であり、従って、ビデオ撮影による映像から、ステレオ
・マッチングに必要なステレオ画像を得て、高さを算出
する全行程を、コンピュータ上で自動実行できるように
なり、迅速に所望地域等の３次元データを得ることがで
きる。

【００１１】ビデオ映像なので、外部標定要素を確定す
るのに必要な画像情報を豊富に得ることができ、外部標
定要素の精度が高まる。これにより、最終的に得られる
高さデータも精度の良いものになる。また、ステレオ画
像のマッチング演算でも、当該ステレオ画像の中間的な
画像を一時的に作って対応点を連鎖的に検索することに
より、ステレオ写真の場合に比べ、ステレオ画像間の対
応点をより精度良く確定できるようになり、オクルージ
ョンの問題を完全に解決できる。

【００１２】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００１３】図１は、本発明の一実施例の空中計測シス
テムの概略構成ブロック図、図２は、地上計測システム
の概略構成ブロック図、図３は、地上解析システムの概
略構成ブロック図を示す。

【００１４】図１に示す空中計測システムを説明する。
図１に示す空中計測システムは、本実施例ではヘリコプ
ターに搭載される。本実施例では、高品位カメラ１０を
高精度防振安定装置（防振装置）１２に搭載し、その高
品位映像信号出力を高品位ビデオ・テープ・レコーダ１
４によりビデオ・テープに記録する。なお、カメラ１０
は、一般に下向きであって、直下の映像が走査線に垂直
な方向に移動するように設置される。カメラ１０の出力
映像信号は、高品位モニタ１６にも印加されている。こ
れにより、カメラ１０の被写体及び撮影状況を視覚的に
確認できる。

【００１５】高精度防振安定装置１２は、機体からの振
動がカメラ１０に影響しないようにする。これにより、
ブレの無い映像を収録できるようになる。即ち、高精度
防振安定装置１２は、ジャイロとジンバル・サーボを組
み合わせることにより、カメラの１０光軸が機体に発生
するロール軸、ピッチ軸及びヨー軸回りの角度の動揺に
対して慣性空間の一定方向に常に向くような空間安定化
機能を持つ。

【００１６】１８は、測定データを収集・記録すると共
に、３軸制御装置２０を介して防振安定装置１２を制御
し、カメラ制御装置２２を介してカメラ１０を制御し、
ＶＴＲ制御装置２４を介してＶＴＲ１４を制御するパー
ソナル・コンピュータである。３軸制御装置２０によ
り、防振安定装置１２の目標方位を任意に設定でき、カ
メラ制御装置２２によりカメラ１０のフォーカス、ズー
ム、絞り値及び色バランス等を制御し、ＶＴＲ制御装置
２４により、ＶＴＲ１４の録画開始、録画終了及びポー
ズを制御し、また、カメラ１０の出力映像信号と一緒に
記録されるタイムコードを取得して、コンピュータ１８
に転送する。このタイムコードは、ＶＴＲ１４に記録さ
れる映像情報と、その他の測定データを地上解析システ
ムで解析する際に同期をとるのに利用される。

【００１７】対地高度センサ２６は、対地高度を検出
し、磁方位センサ２８は磁方位を検出する。高精度防振
安定装置１２によっても、ジャイロ・ドリフトによりゆ
っくりとした方向移動があるので、磁方位センサ２８に
より、カメラ１０の向きを補正する必要がある。センサ
２６，２８の出力は、ディジタル・データとして、コン
ピュータ１８に印加される。コンピュータ１８には他
に、防振安定装置１２からカメラ１０の３軸方向を示す
３軸ジャイロ・データ（ロール角、ピッチ角及びヨー
角）が入力し、カメラ１０からズーム値を示すズーム・
データが入力する。

【００１８】３０はＧＰＳ（全地球測位システム）の受
信アンテナ、３２はＧＰＳアンテナ３０の受信信号から
現在地座標（緯度、経度及び高度）を参集するＧＰＳ受
信装置である。ＧＰＳ受信装置３２から出力されるＧＰ
Ｓ測位データは、記録するためにコンピュータ１８に印
加され、また、ナビゲーションのためにナビゲーション
・システム３４にも印加される。ナビゲーション・シス
テム３４は、予めフロッピー３６に記録しておいたナビ
ゲーション・データ（測線データ）に従い、設定した測
線に対する現在位置をモニタ３８の画面に３次元的グラ
フィック表示する。これにより、地上に目標物の無い地
域や分かりにくい地域（例えば、山間地又は海域等）で
所望の測線に沿った撮影が可能になる。

【００１９】なお、ＧＰＳの測定精度を向上する方法と
して、座標が既知の基準点でもＧＰＳで測定し、その測
定誤差でＧＰＳ測位データを補正するディファレンシャ
ルＧＰＳ（Ｄ−ＧＰＳ）方式が知られている。本実施例
では、このディファレンシャルＧＰＳ方式を採用し、座
標が既知の基準局の座標を同時にＧＰＳで測定し、その
測定誤差データをＧＰＳ補正データとして無線通信によ
りヘリコプターに送信する。通信装置４０は、基準局か
らのＧＰＳ補正データを受信し、コンピュータ１８に転
送する。

【００２０】コンピュータ１８は、入力する飛行データ
（対地高度データ、磁方位データ、ズーム・データ、３
軸ジャイロ・データ）とＧＰＳ補正データ、ＶＴＲ制御
装置２４からのタイムコードと共に、フロッピー４２に
記録する。コンピュータ１８はまた、各入力データを必
要によりモニタ４４に表示することができ、オペレータ
はキーボード４６からコンピュータ１８に種々の指示を
入力できる。

【００２１】通信装置４０による基準局との通信が不良
になった場合に備えて、本実施例では、図２に示すよう
に、基準局でも、計測したＧＰＳ補正データを独自にフ
ロッピーに保存する。即ち、ＧＰＳ受信装置５０は、Ｇ
ＰＳアンテナ５２の出力からＧＰＳアンテナ５２の現在
地を算出し、ＧＰＳ測位データをコンピュータ５４に出
力する。ＧＰＳアンテナ５２の正確な座標（基準位置デ
ータ）は予め測定されており、そのデータがコンピュー
タ５４に入力又は設定されている。コンピュータ５４
は、ＧＰＳ受信装置５０からのＧＰＳ測位データと基準
位置データとの誤差を算出し、ＧＰＳ補正データとして
フロッピー５６に記録する。勿論、測定時刻の情報も同
時に記録する。ＧＰＳ測位データ及びその誤差（即ち、
ＧＰＳ補正データ）は、必要により、モニタ５８の画面
に表示される。オペレータはキーボード６０により種々
の指令をコンピュータ５４に入力できる。コンピュータ
５４はまた、通信装置６２を介してＧＰＳ補正データ
を、図１に示す空中計測システム（のコンピュータ１
８）に送信する。

【００２２】図１に示す空中計測システム（及び、必要
により図２に示す地上計測システム）により計測された
各データは、図３に示す地上解析システムにより解析さ
れ、３次元データが算出される。即ち、高品位ＶＴＲ７
０は、図１に示す空中計測システムで録画されたビデオ
・テープを再生し、映像映像信号をフレーム・バッファ
７４に、再生されたタイムコードをエンジニアリング・
ワークステーション７６に印加する。フレーム・バッフ
ァ７４に一時記憶された映像データはモニタ７８に印加
され、映像表示される。再生されたタイムコードもモニ
タ７８に同時に表示されることがあるのは、いうまもで
もない。

【００２３】パーソナル・コンピュータ８０は、図１に
示す空中計測システムで同時に収集された飛行データ及
びＧＰＳ補正データ（通信不良の場合には、図２に示す
地上計測システムで計測されたＧＰＳ補正データ）を読
み出し、ＧＰＳ測位データをＧＰＳ補正データで補正す
と共に、３軸ジャイロ・データを磁方位データで補正
し、その他の計測データ及び一緒に記録されていたタイ
ムコードと共にワークステーション７６に転送する。ワ
ークステーション７６は、コンピュータ８０から供給さ
れるタイムコードに従いＶＴＲ７０を制御し、同じタイ
ムコードの映像をＶＴＲ７０に再生させる。これによ
り、ワークステーション７６は、撮影時の条件及び撮影
位置と、そのときの撮影映像とを対応付けることがで
き、以下に詳細に説明する演算により、３次元データを
生成する。

【００２４】図４は、本実施例における計測から３次元
データ抽出までのフローを示す。先ず、図１に示す各装
置を航空機に搭載し、対象地域上空を可能な限り一定高
度及び一定速度で飛行しながら対象地域を撮影し、飛行
情報を収録する（Ｓ１）。このとき、撮影対象は、基本
的に、カメラ１０の走査線の垂直方向に移動していく。
カメラ１０により撮影された映像は、ＶＴＲ１４により
ビデオテープに録画される。同時に、カメラ１０の正確
な位置（緯度、経度、高さ）と向きの情報が、ＶＴＲ１
４からのタイムコードと共にフロッピー４２に記録され
る。タイムコードは、地上での解析時に、カメラの位置
及び向きと、再生映像との同期をとるのに使用される。

【００２５】カメラ１０の位置は、基本的にはＧＰＳ受
信機３２から出力されるＧＰＳ測位データから分かり、
精度向上のために、基準局からのＧＰＳ補正データによ
りディファレンシャル処理される。ディファレンシャル
処理は、航空機上でもよいが、ＧＰＳ補正データの通信
不良などを考慮すると、ＧＰＳ受信機３２の出力（ＧＰ
Ｓ測位データ）とＧＰＳ補正データとを別々にフロッピ
ー４２に記録しておき、地上での解析時にディファレン
シャル処理するのが好ましい。ＧＰＳ補正データの通信
不良があったときには、図２に示す地上計測システムで
記録保存したＧＰＳ補正データでＧＰＳ測位データをデ
ィファレンシャル処理する。

【００２６】カメラ１０の向きに関しては、防振安定装
置１２のジャイロ・センサの出力を磁方位センサ２８の
出力で補正した値をフロッピー４２に記録する。具体的
には、３軸の傾き（ピッチ、ロール及びヨー）をフロッ
ピーに記録する。勿論、簡略のため、または、防振安定
装置１２の性能が良好な場合や、簡略化してもよい場合
には、カメラ１０の傾きが一定であるとしてもよい。

【００２７】ちなみに、撮影高度を１，０００フィート
とし、２００万画素ＣＣＤイメージ・センサを使用する
ハイビジョン・カメラの場合で、焦点距離が８．５ｍｍ
のとき、撮影範囲は３３９ｍ、分解能は１７．７ｃｍで
あり、焦点距離が１０２．０ｍｍのとき、撮影範囲は２
８ｍ、分解能は１．５ｃｍである。

【００２８】収録された情報（映像と飛行情報）は、図
３に示す地上解析システムで再生され、解析される。先
に説明したように、ワークステーション７６は、コンピ
ュータ８０からの撮影時の情報（カメラの位置と方位、
並びにタイムコード）に従い、ＶＴＲ７０を制御し、同
じタイムコードの映像を再生させる。再生された映像信
号は、ディジタル化されて、フレーム・バッファ７４に
格納される。このようにして、ワークステーション７６
は、映像データと、撮影時のカメラ位置及び傾きのデー
タを得ることができ、標定計算（Ｓ２）、連続モザイク
画像作成（Ｓ３）、縦視差除去（Ｓ４）、視差差算出
（Ｓ５）及びＤＥＭ作成の各処理を経て、ＤＥＭデータ
を出力する。

【００２９】標定計算（Ｓ２）を説明する。写真測量で
は、２枚のステレオ画像から３次元計測を行なう場合、
各画像の正確な標定要素が必要になる。標定要素には、
撮影時のカメラの位置及び３軸の傾きからなる外部標定
要素と、カメラ主点位置ズレ量、レンズ歪係数及びフィ
ルム平面度などからなる内部標定要素とがある。内部標
定要素は、カメラ毎に個体差がありうるものも、予め測
定しておくことができる。

【００３０】外部標定要素は、次のような一般的な写真
測量の手法で求めることができる。即ち、ビデオ撮影時
に同時に収録した飛行情報、具体的にはカメラ１０の位
置と傾きから、重複率が６０％（又はほぼ６０％）にな
るようなシーン（本実施例では、フィールド画）を、撮
影映像から抽出する。例えば、図５に示す例では、シー
ン＃１に対してシーン＃２は６０％重複し、シーン＃３
はシーン＃２に対して６０％重複する。シーン＃３はシ
ーン＃１に対しても２０％重複する。抽出したシーンの
フィールド番号は、後述の縦視差除去処理における外部
標定要素の内挿処理で必要となるので、抽出された各シ
ーンの外部標定要素と対にして、図示しない補助記憶装
置（例えば、ハードディスク装置）に記憶する。

【００３１】しかし、飛行情報に従って抽出した３シー
ンの重複部分は、センサ誤差及び地形の高さによる影響
が含まれているので、ピッタリ合うことは稀である。そ
こで、実際には、次のようにして重複部分を確定する。
即ち、図６に示すように、各シーンの重複部分に複数の
マッチング領域を設定し、残差逐次検定法又は相互相関
係数法などのマッチング手法により、各シーンの各マッ
チング領域内で共通ポイントを計算する。この計算は勿
論、自動化可能であり、この共通ポイントをパス・ポイ
ントと呼ぶ。

【００３２】立体画像を構成する２つの画像からなる対
をモデルと呼び、その重複部分のパス・ポイントの座標
値から相対的な位置及び傾きの関係を求めるのを相互標
定と呼び、複数のモデルをモデル相互の共通したパス・
ポイントをもとに統一したコース座標系に変換すべく結
合するのを接続標定と呼ぶ。相互標定と接続標定の関係
を図７に示す。

【００３３】一連の撮影映像で上述の相互標定と接続標
定を繰り返し行なうことにより、各モデルを統一したコ
ース座標系に変換できる。ビデオ撮影時に収録した飛行
情報（外部標定要素）は、その測定系に依存する測定誤
差又は変動を含むが、このような標定計算（相互標定と
接続標定）により、外部標定要素の値を高精度に確定で
きる。

【００３４】以上により、標定計算（Ｓ２）を終了し、
次に、連続モザイク画像を作成する（Ｓ３）。カメラの
撮像面（ＣＣＤ面）と地上撮影範囲の関係は、図８のよ
うになる。ビデオ映像は、周知の通り、１秒間に３０フ
レームからなり、１フレームは奇フィールドと偶フィー
ルドの２つのフィールドからなる。奇フィールドと偶フ
ィールドは、走査線が重複しないようにずらして配列さ
れ、１／６０秒毎に交互に表示される。

【００３５】即ち、カメラ１０により撮影したビデオ映
像は、１／６０秒毎に撮影位置を変えたシーン（フィー
ルド）からなり、本実施例では、図９に示すように、各
フィールドから、その先頭ライン、中心ライン及び最終
ラインの各ライン・データを抽出する。各フィールドの
先頭ラインのデータから形成した画像を前方視画像、各
フィールドの中心ラインのデータから形成した画像を直
下視画像、各フィールドの最終ラインのデータから形成
した画像を後方視画像とそれぞれ呼ぶ。撮影時の移動速
度が一定で、且つカメラの傾きも一定であれば、これ
ら、前方視画像、直下視画像及び後方視画像を使って立
体視することができる。なお、高さを強調する、即ち分
解能を上げるには、短い焦点距離のレンズを使えばよ
い。

【００３６】但し、航空機によるビデオ撮影では、飛行
速度の変化、飛行コースのズレ、飛行高度の変化、及び
３軸（ピッチ、ロール及びヨー）の変化といった変動要
因があり、これらの影響で生じる縦視差を除去する必要
がある（Ｓ４）。

【００３７】縦視差除去処理（Ｓ４）では先ず、標定計
算（Ｓ２）で得られた重複率６０％の各画像の外部標定
要素をもとに、連続モザイク画像（前方視画像、直下視
画像及び後方視画像）の各ライン・データに対応する外
部標定要素の値を内挿する。例えば、図１０に示すよう
に、３つの撮影地点Ｐ，Ｑ，Ｒでの外部標定要素、即ち
カメラの位置と傾きが、それぞれ、（Ｘp，Ｙp，Ｚp，
ωp，φp，κp）、（Ｘq，Ｙq，Ｚq，ωq，φq，κq）
及び（Ｘr，Ｙr，Ｚr，ωr，φr，κr）であるとしたと
き、連続モザイク画像上で、各撮影地点Ｐ，Ｑ，Ｒでの
直下視画像に相当するラインにこれらの外部標定要素の
値を割り当て、それ以外のラインには、内挿値を割り当
てる。このようにして、連続モザイク画像の各ライン
に、図１１に示すように、外部標定要素（Ｘ_i，Ｙ_i，Ｚ
_i，ω_i，φ_i，κ_i）を割り当てる。

【００３８】本実施例では、写真測量の演算ソフトウエ
アを流用するので、ビデオ映像の座標系を、図１２に示
すように、通常の写真測量の単写真の座標系に変換す
る。即

【００３９】ち、

【数１】に示すように、画像座標系（ｕ，ｖ）を写真座
標系（ｘ，ｙ）に変換する。

【００４０】

【数１】ｘ＝（ｕ−ｕ₀）×ｘ_C ｙ＝（ｖ−ｖ₀）×ｙ_C 但し、ｕ₀及びｖ₀は、ビデオ画像の中心画像座標値、ｘ
_C及びｙ_Cは、１画素あたりのｘ，ｙ方向のＣＣＤ結像面
での長さである。

【００４１】そして、写真座標系を地上座標系に変換す
る。写真座標系（ｘ，ｙ）と地上座標系（Ｘ，Ｙ，Ｚ）
との間には、図１３に示す幾何学的関係があり、その変
換式は、下式で表わされる。

【００４２】

【数２】

【００４３】ここで、ｆは、画面距離、（Ｘｏ，Ｙｏ，
Ｚｏ）は、写真の投影中心Ｏの地上座

【００４４】標である。

【数２】は、共線条件式と呼ばれる。９個の係数ａ₁₁〜
ａ₃₃は、カメラの撮影軸の傾き（ω，φ，κ）より、数
３により求められる。ω，φ，κはそれぞれＸ軸、Ｙ軸
及びＺ軸のまわりの回転角を示し、それぞれの軸の正方
向に向かって右まわりを正とする。

【００４５】

【数３】

【００４６】従って、

【００４７】

【数４】

【００４８】

【数２】の逆変換式は、次のようになる。即ち、

【００４９】

【数５】

【００５０】

【数２】及び

【数５】における未知変量は、写真の投影中心の地上座
標（Ｘｏ，Ｙｏ，Ｚｏ）及び撮影軸の傾き（ω，φ，
κ）の６つである。この６つの未知変量が外部標定要素
であり、先に求めたライン毎の外部標定要素により、ラ
イン毎に、写真座標系を地上座標系に変換できる。

【００５１】このように地上座標系に変換された連続モ
ザイク画像に

【数５】を適用し、図１４に示すように、縦視差を除去
した画像を作成する（Ｓ４）。即ち、先にライン毎に決
定した外部標定要素を用いて、係数ａ₁₁〜ａ₃₃を求め、
連続モザイク画

【００５２】像の前方視画像、直下視画像及び後方視画
像に

【数５】を適用して、標高０ｍに投映した画像を作成す
る。この時、作成する画像の１画素の大きさは、撮影高
度、カメラ焦点距離及びビデオ画像１画素のＣＣＤ長等
から計算して、最適な値に設定する。

【００５３】出力画像の１画素の大きさを最適な値に設
定しても、ビデオ撮影時の飛行速度や撮影方向の変化で
画素ヌケの箇所が発生する場合がある。これは、フィル
タ処理により周囲の画素から内挿又は補間する。内挿手
法には、内挿したい点に最も近い観測点の値をそのまま
流用する最近隣内挿法、内挿したい点の周囲の４つの観
測点の値の平均値を求める値とする共一次内挿法、及
び、内挿したい点の周囲の１６個の観測点の値を三次畳
み込み処理する三次畳み込み内挿法などがある。

【００５４】最近隣内挿法は、最大１／２画素の位置誤
差を生じるが、オリジナルな画像データを壊さない利点
があり、また、アルゴリズムが簡単である。共一次内挿
法は、オリジナルのデータが壊される欠点があるが、平
均化によりスムージングの効果がでる利点がある。三次
畳み込み内挿法は、オリジナルのデータが壊される欠点
があるが、画像の平滑化と鮮鋭化を同時に実現できると
いう利点がある。目的に応じて、また最終結果を見て、
全体又は部分的に何れの内挿法を適用するかを選択すれ
ばよい。

【００５５】縦視差を除去した画像から視差差を算出す
る（Ｓ５）。視差差の算出には、自動ステレオ・マッチ
ング手法を使用する。本実施例では、図１５に示すよう
に、縦視差除去画像の撮影方向が水平走査線に直交する
方向になるように縦視差除去画像を再配列した上で、ス
テレオ・マッチングのための画像、即ち、マッチング画
像を作成する。これにより、以下の処理を高速化できる
だけでなく、処理に必要なメモリ容量を節減できる。

【００５６】以上の処理により得られたマッチング画像
の前方視画像上に、高さを算出する目的のテンプレート
画像（例えば、Ｎ×Ｎ画素）を設定し、このテンプレー
ト画像に近似する画像を、他のマッチング画像、即ち後
方視画像又は直下視画像上の所定の探索範囲内で探索す
る。本実施例では、予め縦視差を除去しているので、探
索範囲は、水平走査線に直交する方向のみで良い。マッ
チングしたら、その位置の差、即ち視差差を算出する。

【００５７】ビデオ映像のフィールドの隣接するライン
のデータから形成したモザイク画像は、非常に良く近似
するが、抽出するラインが離れる程、得られたモザイク
画像は、視線方向がそれだけ異なることになり、最適に
マッチングしたときでも、マッチング・エラーが大きく
なる。そこで、本実施例では、前方視画像と後方視画像
とでステレオ・マッチングする場合でも、中間的なライ
ンからモザイク画像を形成（勿論、縦視差も除去す
る。）し、逐次的に対応点を探索するようにした。これ
により、オクルージョンによる影響を排除でき、高い精
度で対応点を検出できるようになる。

【００５８】図１７に示すような四角錐台状の物体を例
に、説明する。図１８は、この物体をビデオ撮影したと
きの、撮影画面内の抽出ラインと、各ラインを合成して
得られるモザイク画像（縦視差除去済み）との対応を示
す。図１８（１）は、先頭ライン及び最終ラインを抽出
する場合、同（２）はより内側のラインを抽出した場
合、同（３）は更に内側のラインを抽出した場合、同
（４）はほぼ中央の隣接するラインを抽出した場合であ
る。このように、本実施例では、本来の前方視画像Ｆ１
と後方視画像Ｒ１のほかに、中間的な前方視画像Ｆ２，
Ｆ３，Ｆ４及び後方視画像Ｒ２，Ｒ３，Ｒ４がある。中
間的な前方視画Ｆ４及び後方視画像Ｒ４の代わりに直下
視画像を採用してもよい。

【００５９】いうまでもないが、中間的な画像Ｆ２，Ｆ
３，Ｆ４，Ｒ２，Ｒ３，Ｒ４は、必要に応じて、より少
なく又はより多く設定してもよい。試行的なマッチング
演算の結果により、適当な数を設定してもよい。

【００６０】前方視画像Ｆ１の点Ａに対応する点を後方
視画像Ｒ１から探索する場合、まず、中間的な前方視線
画像Ｆ２上で点Ａの対応点を探索する。画像Ｆ１と画像
Ｆ２は少し視線がずれているだけなので、自動ステレオ
・マッチングによっても、高い精度で対応点を探索でき
る。画像Ｆ２で探索した対応点を含むテンプレートが像
を設定し、画像Ｆ３上で対応点を探索する。そして、逐
次、画像Ｆ４、画像Ｒ４、画像Ｒ３、画像Ｒ２、画像Ｒ
１とステレオ・マッチング演算する。このようにして、
画像Ｆ１上の点Ａの対応点を画像Ｒ１上で高い精度で探
知できる。画像Ｆ１と画像Ｒ１を直接、ステレオ・マッ
チングした場合には、オクルージョンの影響により物体
によっては大きな誤差を避けられないが、本実施例で
は、このように逐次探索することで、オクルージョンの
影響を完全の除去できる。

【００６１】ここでは、中間的な画像を予め作成すると
したが、視差差算出のためのマッチング演算を実行しな
がら、マッチグ・エラーが許容値以下になるまで２分探
索法により逐次的に中間的な画像を形成して対応点を探
索するようにしてもよい。例えば、後方視画像でのマッ
チング処理で許容値以上のマッチング・エラーがある場
合に、中間的なラインから抽出したモザイク画像を形成
し（勿論、縦視差も除去する。）、そのモザイク画像上
でマッチング演算する。ここで一定精度以上で対応点が
見つかれば、その発見された対応点を目安に、後方視画
像上でマッチング処理により対応点を探索する。中間的
なモザイク画像でも許容値以上のマッチング・エラーが
ある場合には、更に中間的なラインから抽出したモザイ
ク画像を形成し、そのモザイク画像上でマッチング演算
する。このような繰り返し処理により、最終的に、前方
視画像と後方視画像との間で対応点を検出する。おのよ
うにすることで、オクルージョンの影響を完全に排除し
て、高精度で対応点を検出できる。

【００６２】何れにしても、中間的な画像は、マッチン
グ演算に必要な部分のみを形成すれば良い。そうすれ
ば、マッチング演算の時間を短縮でき、中間的な画像デ
ータを格納するメモリ容量も少なくて済む。

【００６３】次に、ＤＥＭ（ＤｉｇｉｔａｌＥｌｅｖ
ａｔｉｏｎＭｏｄｅｌ）を作成するために、下記式に
従い視差差から高さを計算できる。即ち、

【００６４】

【数６】ｈ＝ｄ×Ｈ／Ｂ但し、ｈは求める高さ（ｍ）、ｄは視差差（ｍ）、Ｂは
ベース長（ｍ）、Ｈは撮影高度（ｍ）である。図１９
は、視差差と高さの関係を示す。

【００６５】カメラ１０のＣＣＤ撮像素子の結像面の長
さをｃ１（ｍｍ）、１画素あたりのＣＣＤ結像面での長
さをｄｃ（ｍｍ）、焦点距離をｆ（ｍｍ）とした場合、
前方視画像と後方視画像による視差差から高さを求める
ときには、

【００６６】

【数７】ｈ＝ｄ×ｆ／（ｃ１−ｄｃ）であり、前方視画像又は後方視画像と直下視画像による
視差差から高さを求めるときには、

【００６７】

【数８】ｈ＝ｄ×２×ｆ／（ｃ１−ｄｃ）となる。

【００６８】高さの精度は、Ｂ／Ｈ比で決まるが、撮影
時にカメラ１０の焦点距離を変えることにより自由に設
定できる。

【００６９】高さデータが得られたら、メジアン・フィ
ルタ等により、特に周囲のデータより凹凸のあるデータ
を検出し、周囲のデータで修整する。

【００７０】以上の処理により、撮影対象内の所望地域
について高さデータを算出でき、３次元データを得るこ
とができる。

【００７１】本実施例では、対空標識の設置及びその位
置計測のための測量作業が不要になるので、任意の地域
で迅速に調査できる。また、人が立ち入ることの出来な
い危険地域（土砂崩れ、土石流及び火山噴火地帯等）に
ついても、３次元地形図を作成できる。また、標定計算
が自動化されているので、解析処理を手早く進めること
が出来る。高さの精度は、カメラ１０の焦点距離を変え
ることで自由に設定できる。

【００７２】本発明は、３次元地形図の作成に留まら
ず、防災情報の収集システム、鉄道や道路などの路線計
画、及び、海・河岸の侵食調査などにも利用できる。

【００７３】標定計算（Ｓ２）及び視差差算出（Ｓ５）
で利用したマッチング手法を簡単に説明する。先に説明
したように、従来、使用されているマッチング手法に
は、残差逐次検定法と相互相関係数法がある。

【００７４】先ず、残差逐次検定法を説明する。図２０
に示すようにＮ×Ｎ画素のテンプレート画像を、それよ
り大きいＭ×Ｍ画素の入力画像内の探索範囲（Ｍ−Ｎ＋
１）

【００７５】²上で動かし、

【数９】の残差が最小になった位置で、重ね合わせが達
成されたと看做す。

【００７６】

【数９】

【００７７】ただし、（ａ，ｂ）は、入力画像内におけ
るテンプレート画像の左上位置を示し、Ｉ_(a,b)（ｍ，
ｎ）は入力画像の部分画像、Ｔ（ｍ，ｎ）はテンプレー
ト画像、Ｒ（ａ，ｂ）は、入力画像の部分画像とテンプ
レート画像との残差である。

【００７８】重ね合わせがずれていると、各画素につい
て順次加算していくときに残差が急激に増大する。そこ
で、加算の途中で残差があるしきい値を超えたら、重ね
合わせが良くないものと判断して、加算を打ち切り、次
の（ａ，ｂ）に移行する。これが、残差逐次検定法（ｓ
ｅｑｕｅｎｔｉａ１ｓｉｍｉｌａｒｉｔｙｄｅｔｅ
ｃｔｉｏｎａｌｇｏｒｉｔｈｍであり、以降ＳＳＤＡ
法と略す。）である。ＳＳＤＡ法は、Ｂａｒｎｅａらに
よって提案されたが、しきい値をいかに与えるかが問題
であった。この点に関して尾上らは、いかに述べるしき
い値自動決定法を提案している。

【００７９】尾上らの提案するしきい値自動決定法は、
取り敢えずのしきい値として過去の残差の最小値を採用
する。なお、最初は、しきい値無しで最後まで加算さ
せ、その結果の残差を最初のしきい値とする。以降、最
後まで、しきい値を超えることなく加算されるごとにそ
の残差を新しいしきい値とする。この方法では、常に真
の最小値に達することが保証されている。

【００８０】ＳＳＤＡ法は、加算だけからなり、しかも
多くの場合に途中で打ち切られるので、計算時間を大幅
に短縮できる。尾上らは、雲の移動追跡に応用して、相
互相関係数による方法と比べて精度が同等、処理時間が
１桁以上短縮というきわめて良好な結果を得ている。

【００８１】相互相関係数法を説明する。相互相関係数
法では、

【数１０】が最大になる入力画像内におけるテンプレー
ト画像の左上位置（ａ，ｂ）を求める。

【００８２】

【数１０】

【００８３】この方法では、ＳＳＤＡ法のような計算の
打ち切りが無いので、計算時間をあまり短縮できない。
しかし、写真測量の分野では、ステレオ航空写真のディ
ジタル画像から格子点の標高を計測し、等高線を描画す
る場合に、左右の画像で対応する点を探索する手法とし
て相互相関係数法が、手軽なのでよく使われている。

【００８４】本実施例によれば、従来良く利用された航
空写真に代わって、高解像度ビデオカメラで収録した映
像からに３次元地形図等を作成できるので、非常に幅広
い用途に利用可能である。例えば、道路、河川及び鉄道
等の各種の管理に利用でき、また、画像処理で変化部分
のみを抽出すれば都市等の開発状況調査に利用できる。
また、３次元鳥瞰図を作成し、新規路線計画の完成状況
をシミュレーションするのにも利用できる。

【００８５】ヘリコプターから地上を撮影する例で説明
したが、本発明は、ヘリコプター以外に、その他の飛行
機、監視衛星及び地上を走行する自動車から撮影する場
合にも適用できるこというまでもない。

【００８６】また、上記実施例では、フィールド画像の
最先ラインから前方視画像を形成し、最後のラインから
後方視画像を形成したが、それぞれ、２番目以降のライ
ン、最後のラインの１又は２以上前のラインであっても
よいことは勿論である。

【００８７】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、移動しながらのビデオ撮影により
基礎データを収集でき、その画像処理により高さデータ
を得ることができる。撮影後の解析処理はその全て又は
そのほとんどを自動化できるので、迅速に所望の３次元
データを得ることができるようになる。また、従来より
も安価に３次元データを得ることが出来る。

【図面の簡単な説明】

【図１】本発明の一実施例の空中計測システムの概略
構成ブロック図である。

【図２】本実施例の地上計測システムの概略構成ブロ
ック図である。

【図３】本実施例の地上解析システムの概略構成ブロ
ック図である。

【図４】本実施例における計測から３次元データ抽出
までのフロー・チャートである。

【図５】標定計算のための６０％重複シーンの説明図
である。

【図６】相互標定とパス・ポイントの説明図である。

【図７】相互標定と接続標定の説明図である。

【図８】カメラの撮像面と地上撮影範囲との関係図で
ある。

【図９】連続モザイク画像作成の概念図である。

【図１０】連続モザイク画像と外部標定要素との関係
図である。

【図１１】外部標定要素の内挿を説明する図である。

【図１２】撮像面の画像座標系と写真座標系を説明す
る図である。

【図１３】写真座標系と地上座標系の関係図である。

【図１４】縦視差除去の前後の画像例である。

【図１５】視差差算出のためのマッチング画像の説明
図である。

【図１６】視差差算出のためのステレオ・マッチング
の説明図である。

【図１７】測定対象とした四角錐台状の物体モデルで
ある。

【図１８】図１７に示す物体をビデオ撮影したとき
の、撮影画面内の抽出ラインと、各ラインを合成して得
られるモザイク画像（縦視差除去済み）との対応を示す
図である。

【図１９】視差差と高さの関係の説明図である。

【図２０】入力画像とテンプレート画像のマッチング
の基本図である。

【符号の説明】

１０：高品位カメラ１２：高精度防振安定装置（防振装置）１４：高品位ビデオ・テープ・レコーダ１６：高品位モニタ１８：パーソナル・コンピュータ２０：３軸制御装置２２：カメラ制御装置２４：ＶＴＲ制御装置２６：対地高度センサ２８：磁方位センサ３０：ＧＰＳアンテナ３２：ＧＰＳ受信装置３４：ナビゲーション・システム３６：フロッピー３８：モニタ４０：通信装置４２：フロッピー４４：モニタ４６：キーボード５０：ＧＰＳ受信装置５２：ＧＰＳアンテナ５４：コンピュータ５６：フロッピー５８：モニタ６０：キーボード６２：通信装置７０：高品位ＶＴＲ７４：フレーム・バッファ７６：エンジニアリング・ワークステーション７８：モニタ８０：パーソナル・コンピュータＦ１：前方視画像Ｆ２，Ｆ３，Ｆ４：中間的な前方視画像Ｒ１：後方視画像Ｒ２，Ｒ３，Ｒ４：中間的な後方視画像

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所Ｇ０６Ｔ 17/00 7/00

Claims

【特許請求の範囲】

【請求項１】３次元データの抽出対象を移動しながら
撮影し、その映像信号を記録すると共に、撮影するカメ
ラの位置及び傾きを含む撮影情報を記録する基礎情報収
集ステップと、当該基礎情報収集ステップで収集した映
像及び撮影情報から当該抽出対象の３次元データを生成
する３次元データ生成ステップとからなる３次元データ
抽出方法であって、当該３次元データ生成ステップが、撮影映像の連続する画面の中の所定画面における所定ラ
インの画像データを抽出して、前方視画像、直下視画像
及び後方視画像の少なくとも２つの連続モザイク画像を
生成する連続モザイク画像生成ステップと、当該連続モザイク画像生成ステップで生成された連続モ
ザイク画像から縦視差を除去する縦視差除去ステップ
と、当該縦視差除去ステップで縦視差を除去した連続モザイ
ク画像における所定位置に対する視差差を算出する視差
差算出ステップと、当該視差差算出ステップで算出された視差差から当該所
定位置の高さを算出する高さ算出ステップとからなるこ
とを特徴とする３次元データ抽出方法。
【請求項２】更に、撮影映像の連続する画面から、相
互標定及び接続標定により外部標定要素を確定する標定
計算ステップを具備する請求項１に記載の３次元データ
抽出方法。
【請求項３】上記標定計算ステップが、撮影映像の連
続する画面から、所定割合重複する２画面を抽出し、相
互標定する相互標定ステップと、当該相互標定ステップ
により相互標定されたモデルを接続する接続標定ステッ
プとを具備する請求項２に記載の３次元データ抽出方
法。
【請求項４】上記所定割合が、６０％である請求項３
に記載の３次元データ抽出方法。
【請求項５】上記縦視差除去ステップが、上記標定計
算ステップで決定された外部標定要素に従い、上記連続
モザイク画像生成ステップで生成された連続モザイク画
像の各ラインに外部標定要素を内挿する外部標定要素内
挿ステップと、上記連続モザイク画像生成ステップで生
成された連続モザイク画像の各ラインを、当該ラインの
外部標定要素に従い所定高度への投影画像に変換する投
影ステップとからなる請求項２乃至４の何れか１項に記
載の３次元データ抽出方法。
【請求項６】上記視差差算出ステップは、上記連続モ
ザイク画像の間の１以上の中間的な画像を形成する中間
画像形成ステップと、当該１以上の中間的な画像を経
て、上記連続モザイク画像における対応点を検出する対
応点検出ステップと、当該対応点検出ステップの検出結
果に従い当該対応点の視差差を算出する演算ステップと
を具備する請求項１乃至５の何れか１項に記載の３次元
データ抽出方法。
【請求項７】上記中間画像形成ステップは、撮影映像
の連続する画面の中の所定画面における中間的なライン
の画像データを抽出し、上記中間的な画像を形成する請
求項６に記載の３次元データ抽出方法。
【請求項８】上記カメラの位置を検出する手段とし
て、ＧＰＳ受信手段を具備する請求項１乃至７の何れか
１項に記載の３次元データ抽出方法。
【請求項９】更に、ＧＰＳ受信手段の出力をディファ
レンシャル補正する補正手段を具備する請求項８に記載
の３次元データ抽出方法。
【請求項１０】上記カメラが防振手段により防振され
ている請求項１乃至９の何れか１項に記載の３次元デー
タ抽出方法。
【請求項１１】３次元データの抽出対象を撮影するビ
デオ・カメラと、当該ビデオ・カメラの位置を測定する
測位手段と、当該ビデオ・カメラによる撮影映像及び当
該測位手段の測定値を記録する記録手段と、当該ビデオ
・カメラ及び当該測位システムを搬送する搬送手段と、
当該記録手段に記録される映像情報及び位置情報を再生
する再生手段と、撮影映像の連続する画面の中の所定画
面における所定ラインの画像データを抽出して、前方視
画像、直下視画像及び後方視画像の少なくとも２つの連
続モザイク画像を生成する連続モザイク画像生成手段
と、当該連続モザイク画像生成手段で生成された連続モ
ザイク画像の縦視差を除去する縦視差除去手段と、当該
縦視差除去手段で縦視差を除去した連続モザイク画像に
おいて視差差を算出する視差差算出手段と、当該視差差
算出手段で算出された視差差から当該所定位置の高さを
算出する高さ算出手段とからなることを特徴とする３次
元データ抽出装置。
【請求項１２】更に、撮影映像の連続する画面から、
相互標定及び接続標定により外部標定要素を確定する標
定計算手段を具備する請求項１１に記載の３次元データ
抽出装置。
【請求項１３】上記標定計算手段が、撮影映像の連続
する画面から、所定割合重複する２画面を抽出し、相互
標定する相互標定ステップと、当該相互標定ステップに
より相互標定されたモデルを接続する接続標定ステップ
とを具備する請求項１２に記載の３次元データ抽出装
置。
【請求項１４】上記所定割合が、６０％である請求項
１３に記載の３次元データ抽出装置。
【請求項１５】上記縦視差除去手段が、上記標定計算
手段で決定された外部標定要素に従い、上記連続モザイ
ク画像生成手段で生成された連続モザイク画像の各ライ
ンに外部標定要素を内挿する外部標定要素内挿手段と、
上記連続モザイク画像生成手段で生成された連続モザイ
ク画像の各ラインを、当該ラインの外部標定要素に従い
所定高度への投影画像に変換する投影手段とからなる請
求項１２乃至１４の何れか１項に記載の３次元データ抽
出装置。
【請求項１６】上記視差差算出手段は、上記連続モザ
イク画像の間の１以上の中間的な画像を形成する中間画
像形成手段と、当該１以上の中間的な画像を経て、上記
連続モザイク画像における対応点を検出する対応点検出
手段と、当該対応点検出手段の検出結果に従い当該対応
点の視差差を算出する演算手段とを具備する請求項１１
乃至１５の何れか１項に記載の３次元データ抽出装置。
【請求項１７】上記中間画像形成手段は、撮影映像の
連続する画面の中の所定画面における中間的なラインの
画像データを抽出し、上記中間的な画像を形成する請求
項１６に記載の３次元データ抽出装置。
【請求項１８】上記測位手段が、ＧＰＳ受信手段であ
る請求項１１乃至１７の何れか１項に記載の３次元デー
タ抽出装置。
【請求項１９】更に、ＧＰＳ受信手段の出力をディフ
ァレンシャル補正する補正手段を具備する請求項１８に
記載の３次元データ抽出装置。
【請求項２０】上記カメラが、防振手段を介して上記
搬送手段に載置される請求項１１乃至１９の何れか１項
に記載の３次元データ抽出装置。
【請求項２１】上記搬送手段が飛行体である請求項１
１乃至２０の何れか１項に記載の３次元データ抽出装
置。
【請求項２２】更に、上記カメラの方位を検出する方
位検出手段を具備し、当該方位検出手段の出力も上記記
録手段に記録される請求項１１乃至２１の何れか１項に
記載の３次元データ抽出装置。
【請求項２３】上記搬送手段の移動方向が上記カメラ
の走査線方向に垂直な方向であるように上記カメラが設
置される請求項１１乃至２２の何れか１項に記載の３次
元データ抽出装置。
【請求項２４】ビデオ撮影した映像の、画面上の２以
上の異なる所定ライン位置のライン画像データを抽出す
る抽出手段と、同じライン位置のライン画像データを合
成する合成手段とからなることを特徴とするステレオ画
像形成装置。
【請求項２５】更に、上記合成手段で合成した画像の
縦視差を、元になるライン画像データ毎の外部標定要素
により除去する縦視差除去手段を具備する請求項２４に
記載のステレオ画像形成装置。