JP2003316259A - 撮影映像処理方法及び撮影映像処理システム - Google Patents

Abstract

(57)【要約】 【課題】 空中から撮影された映像を、地上に送信し、
地上で地上の状況を把握する作業において、撮影された
映像を地図上で正確に位置を判別することが困難であっ
た。 【解決手段】 空中の機体に搭載された撮影装置から地
表面を撮影し、その地表面に存在する状況を識別するこ
とを目的とする撮影映像処理方法であって、空中におけ
る撮影位置を３次元的に特定し、撮影された地表面の撮
影範囲を計算して求め、その撮影範囲に合わせて撮影映
像を変形した後、これを地理情報システムの地図上に重
ね合わせて表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えばヘリコプ
タに搭載された撮影装置から送信された映像を、地理情
報システムの地図上に重ね合わせて表示することによ
り、震災などの地上の状況の判別を容易に、かつ精度良
く行えるようにしたことを特徴とする撮影映像処理方法
及び撮影映像処理システムに関するものである。

【０００２】

【従来の技術】従来技術の構成の説明 図１４は、特許第２６９５３９３号公報に示された従来
装置の原理的な構成を示す図である。空中を飛行するヘ
リコプタ１などの機体には、テレビカメラなどの撮影装
置２が搭載され、目標物３を撮影する。目標物３は、三
次元的な起伏がある地表面４上に存在し、地表面４を水
平面に投影する二次元平面５上には存在しない。本例で
は、ヘリコプタ１の現在位置を測定し、目標物位置の方
向に延ばす直線Ｌと、地表面４との交点として、目標物
３の位置を特定する。地表面４が二次元平面５から高度
Ｈだけ異なる高さに存在するので、目標物３までの直線
を二次元平面５まで延長した交点の位置が、目標物３を
二次元平面５に投影した位置よりもＥだけ異なる位置と
判断してしまう。この従来技術では、地表面４上で目標
物３の位置を正確に特定することができる。

【０００３】図１６は、図１５に示す空撮映像６から災
害発生地点を見いだす過程を示す。図１６（１）に示す
災害発生地点２０に対応する画面を、図１６（２）に示
すように拡大して表示すれば、被害状況を詳細に知るこ
とができる。空撮映像６を撮影している機体搭載カメラ
の方位角ＰＡＮ、上下角ＴＩＬＴおよびヘリコプタ１の
高度情報を含む三次元的な位置情報をもとに、災害発生
地点２０が特定される。

【０００４】図１７は、特定された災害発生地点２０
を、二次元的な地図に合わせて画像表示している状態を
示す。災害発生地点２０の周囲には、画像表示を行って
いるカメラの視野２１に対応する領域が表示され、カメ
ラの方向２２も矢印で表示される。災害発生地点２０
は、種々の要因で、ある程度の誤差を伴うけれども、カ
メラの視野２１およびカメラの方向２２を考慮して空撮
映像６を見れば、災害発生地点２０をより正確に特定す
ることができる。

【０００５】図１８は、図１４のヘリコプタ１に搭載さ
れる位置特定に関連する機器の概略的な構成を示す。撮
影装置２としては、カメラ３０およびジンバル・ユニッ
ト３１を含む。カメラ３０としては、ＴＶカメラ３０ａ
および赤外線カメラ３０ｂを有し、昼夜を問わず空撮映
像を得ることができる。カメラ３０は、２軸または３軸
安定化ジャイロを内蔵するジンバル・ユニット３１に取
付けられ、図１４のヘリコプタ１の外部を撮影する。

【０００６】撮影装置２によって撮影された映像信号
と、ジンバル・ユニット３１の向きとは、データ変換や
システム電源配分も行うビデオ処理およびジンバル制御
ユニット３２によって処理あるいは制御される。処理さ
れたビデオ画像や音声情報は、ＶＴＲ３３によって磁気
テープに収録され、モニタ３４によって画像表示され
る。カメラ３０の焦点調整や、ジンバル・ユニット３１
の方向制御は、撮影制御ユニット３５から操作される。

【０００７】従来技術の動作の説明 次に動作について説明する。図１４のヘリコプタ１の現
在位置は、ＧＰＳアンテナ３６を介してＧＰＳ受信機３
７に受信されるＧＰＳ衛星からの電波に基づいて測定さ
れる。４つのＧＰＳ衛星からの電波を受信すれば、ヘリ
コプタ１の現在位置を三次元的に求めることができる。
地表面についての高度情報を含む地勢データは、三次元
地理データ記憶装置３８内に記憶されている。そのよう
なデータの一例としては、国土地理院発行の三次元地勢
データがある。位置検出装置３９は、三次元地理データ
記憶装置３８の記憶内容を読出して、地図画像の発生を
行う。また、ＧＰＳ受信機３７からの出力に基づいて、
自機位置の出力を行う。さらに、ヘリコプタ１の機首が
向いている方向の出力や、撮影している日付や時間等の
出力、さらに目標の表示や、その補正を行う。

【０００８】データ処理ユニット４０は、位置検出装置
３９からの出力に応答して、目標物の位置計算を行い、
図１７に示すような二次元表示を行うための画像データ
処理を行う。カメラ３０の操作者と、ヘリコプタ１のパ
イロットとの連絡などは、機内交話系統４１を介して行
われる。データ処理ユニット４０によって処理された画
像データは、分配ユニット４２を介して送信ユニット４
３に送られ、送信アンテナ４４から電波として送信され
る。送信アンテナ４４は、自動追尾ユニット４５によっ
て制御され、図１５に示す現地本部指揮車７あるいは災
害対策本部１０の方向に向けられる。自動追尾ユニット
４５は、必ずしも必要とは限らないけれども、自動追尾
ユニット４５を装着すれば、送信アンテナ４４から送信
する電力が小さくても、遠方に効率よく伝送することが
できる。分配ユニット４２では、送信項目を選択し、送
信制御を行い、信号の分配などを行う。送信ユニット４
３では、分配ユニット４２で選択された各項目の画像や
音声やデータを送信する。送信する画像をモニタ３４で
見ることもできる。

【０００９】図１９は、図１８に示すヘリコプタ１の機
器から送信される画像などの電波信号を災害対策本部１
０で受信する構成を示す。操作卓１４としては、データ
処理ユニット５０および地図画像発生ユニット５１など
が含まれる。データ処理ユニット５０では、受信された
画像データの処理とデータ変換などを行う。地図画像発
生ユニット５１では、二次元地図画像の発生や、三次元
地図画像の発生や、日付および時間等の出力を行う。

【００１０】自動追尾空中線装置１１内には、自動追尾
アンテナ５５、アンテナ制御ユニット５６および受信ユ
ニット５７などが含まれる。自動追尾アンテナ５５とし
ては、高利得の指向性の大きなアンテナが使用され、ア
ンテナ制御ユニット５６によって指向性の向きがヘリコ
プタ１の方向となるように制御される。自動追尾アンテ
ナ５５が受信した電波は、受信ユニット５７によって受
信され、画像データなどを含む各項目の受信データが、
データ処理ユニット５０に入力される。

【００１１】データ処理ユニット５０は、ヘリコプタ１
から受信される画像データなどの処理結果を、大型プロ
ジェクタ１３内に設けられる防災用のモニタ６０に画像
表示し、ＶＴＲ６１に記録する。モニタ６０には、図１
７に示すような二次元地図画像が表示され、ＶＴＲ６１
にはその二次元地図画像が収録される。図１７に示すよ
うな二次元地図画像が表示されるのは、災害発生時の防
災用であり、平時の運航管理用には、モニタ６２によっ
て三次元地図画像が表示される。三次元地図画像は、ヘ
リコプタ１の周囲に山岳などの障害物を三次元的に表示
し、運航の注意を促す。三次元地図画像は、図１８の位
置検出装置３９からの自機位置の出力に基づいて地図画
像発生ユニット５１で発生され、ＶＴＲ６３でも収録さ
れる。

【００１２】図１８のカメラ３０が撮影した画像データ
は、制御装置１２に設けられるモニタ６５に表示され、
ＶＴＲ６６に収録される。図１８に示すカメラ３０は、
可視光用のＴＶカメラ３０ａと、赤外線用の赤外線カメ
ラ３０ｂを備えるので、これを適宜切換えることによっ
て、昼夜を問わずに映像を得ることができる。一般的
に、昼間はＴＶカメラ３０ａを使用し、夜間は赤外線カ
メラ３０ｂを使用する。火災が発生しているときには、
夜間でもＴＶカメラ３０ａを使用することもできる。ま
た、昼間でも、霧や煙のためにＴＶカメラ３０ａでは良
好な映像が得られないときには、赤外線カメラ３０ｂを
使用する。

【００１３】

【発明が解決しようとする課題】従来技術の課題の説明 従来の位置特定方法及び装置は以上のように構成されて
いるので、撮影された映像のみで目標の地点を特定化
し、その映像で目標地点を指示することで、目標地点を
特定化を行っていた。しかし、使用する映像情報と実際
の地点とのズレを確認することが出来ず、その誤差を確
認することが出来ないために、精度の高い目標地点の判
別が困難であるという問題があった。また、1枚の映像
からでは、１枚の映像で撮影出来ない広範囲の情報を取
得することが出来ず、複数枚の映像に広がる広範囲な目
標地域の判読が困難であるという問題点があった。

【００１４】本発明の目的の説明 この発明は上記のような課題を解決するためになされた
ものであり、撮影映像を地理情報システムの地図上に重
ね合わせて表示することによって、映像情報と地図との
整合性を確認することが容易となり、目標地点の判別が
容易にできる撮影映像処理方法及び撮像映像処理システ
ムを提供するものである。

【００１５】

【課題を解決するための手段】この発明に係る撮影映像
処理方法は、空中の機体に搭載された撮影装置により撮
影された地表面の撮影映像を画像処理して表示する撮影
映像処理方法であって、空中における撮影位置を３次元
的に特定し、撮影された地表面の撮影範囲を計算して求
め、その撮影範囲に合わせて撮影映像を変形した後、こ
れを地理情報システムの地図上に重ね合わせて表示する
ようにしたものである。

【００１６】また、空中の機体に搭載された撮影装置に
より撮影された地表面の撮影映像を画像処理して表示す
る撮影映像処理方法であって、空中における撮影位置を
３次元的に特定し、連続して撮影された複数枚の地表面
の各撮影範囲を計算して求め、その各撮影範囲にあわせ
て各撮影映像を変形した後、これら複数枚の撮影映像を
地理情報システムの地図上に重ね合わせて表示するよう
にしたものである。

【００１７】また、上記撮影映像処理方法において、重
ね合わせる複数の撮影映像は、互いに一部を重複させて
接合するようにしたものである。

【００１８】また、上記撮影映像処理方法において、重
複させて接合する撮影映像は、その重複部における重複
状態が最も多くなるように撮影映像を移動補正した後、
接合するようにしたものである。

【００１９】また、上記撮影映像処理方法において、重
ね合わせる複数の撮影映像は、連続して撮影した映像を
所定の周期でサンプリングして得るようにしたものであ
る。

【００２０】また、上記撮影映像処理方法において、サ
ンプリング周期を変更できるようにしたものである。

【００２１】また、上記撮影映像処理方法において、撮
影された地表面の撮影範囲を、上記撮影装置の上記機体
に対する傾きと回転角度に基づいて計算して求めるよう
にしたものである。

【００２２】また、上記撮影映像処理方法において、撮
影された地表面の撮影範囲を、上記機体の地表面に対す
る傾きとロール角度に基づいて計算して求めるようにし
たものである。

【００２３】また、上記撮影映像処理方法において、撮
影された地表面の撮影範囲を、上記撮影装置の上記機体
に対する傾きと回転角度及び上記機体の地表面に対する
傾きとロール角度とに基づいて計算して求めるようにし
たものである。

【００２４】また、上記撮影映像処理方法において、地
表面の撮影範囲を計算して求めた後、上記撮影範囲の地
表面の高度を、予め作成されている地表面の起伏につい
ての高度情報を含む３次元地勢データを利用して取得
し、撮影地点の高度を、機体の絶対高度から地表面の高
度を減算した相対高度として計算し、その撮影範囲に合
わせて、撮影映像を変形して地理情報システムの地図上
に重ね合わせて表示するようにしたものである。

【００２５】また、この発明に係る撮影映像処理方法
は、空中の機体に搭載された撮影装置により地表面を撮
影し、その地表面に存在する状況を識別することを目的
とする撮影映像処理方法であって、空中における撮影位
置を３次元的に特定し、撮影した映像に、上記機***置
情報、カメラ情報、機体情報を同期させて送信し、受信
側では撮影された地表面の撮影範囲を計算して求め、そ
の撮影範囲に合わせて撮影映像を変形した後、地理情報
システムの地図上に重ね合わせて表示するようにしたも
のである。

【００２６】また、上記撮影映像処理方法において、地
図上に重ね合わせた撮影映像を、撮影範囲枠のみ残して
消すことができるようにしたものである。

【００２７】また、上記撮影映像処理方法において、表
示される映像の向きを、撮影装置の向きに関わらず一定
の方向に表示できるようにしたものである。

【００２８】また、この発明に係る撮影映像処理システ
ムは、画面に地図を表示する地理情報システムと、空中
から撮影装置が撮影した地表の撮影映像及び撮影装置の
撮影位置を３次元的に特定するための情報を入力する入
力部と、上記情報に基づき、撮影装置が撮影した撮影映
像に対応する地図上の撮影範囲を求める撮影範囲計算部
と、地図上の撮影範囲に撮影映像を重ね合わせて表示す
る表示部とを備えたものである。

【００２９】

【発明の実施の形態】実施の形態１．まず、この発明の
概略を説明する。この発明は、空中から地上を撮影した
撮影映像を、地理情報システム（GIS = Geographic Inf
ormation System 地図をコンピュータ画面上に表示する
システム）の地図上に重ね合わせて表示することによっ
て、映像情報と地図との整合性の確認を容易にし、目標
地点の判別を容易にするものである。ただし、空中から
カメラで地上を撮影した場合、その映像はカメラの向き
に関わらず常に一定の矩形形状にしか写らないため、撮
影した映像を地理情報システムで得た地図上にそのまま
重ね合わせる（貼り付ける）ことは困難である。そこで
本発明では、映像を撮影時のカメラ情報と機体の姿勢情
報を用いた計算により、地上に対するカメラの姿勢等に
基づいて、矩形から台形あるいは菱形に近い形など、複
雑に変わる撮影される地表面の撮影範囲（＝撮影画枠）
を計算により求め、その画枠に合わせて映像を変形して
地図上に貼り付け、表示するものである。

【００３０】以下この発明の実施の形態１に係る撮影映
像処理方法及び撮影映像処理システムについて図面を参
照して説明する。図１はこの発明の方法を実施するシス
テムの各機能をブロックで説明した機能説明図、図２は
地図処理を説明した機能説明図である。この発明の方法
は、撮影装置（＝カメラ）等を搭載したヘリコプタ等の
飛行体（＝機体）からなる機上系１００と、機上系１０
０からの信号を受信して処理する地上に設置された地上
系２００とにより実現する。

【００３１】機上系１００は、主に、空中から地表を撮
影する撮影装置、撮影装置の撮影位置を３次元的に特定
するための情報を取得する情報収集部としての機***置
検出部１０８や機体姿勢検出部１０７、上記撮影装置で
撮影された撮影映像と上記情報収集部で取得された情報
とを送信する送信部を有する機上装置からなる。

【００３２】即ち、機上系１００において、機体１０１
には、空中から地上を撮影する撮影装置であるカメラ１
０２が搭載されている。機体１０１はアンテナによるＧ
ＰＳ信号受信１０３により現在の位置情報を得て、機体
位置検出を行う機***置検出部１０８、及びジャイロを
備え、さらに、機体１０１の姿勢すなわち仰角（＝ピッ
チ）とロール角を検出する機体姿勢検出を行う機体姿勢
検出部１０７を備えている。

【００３３】撮影装置であるカメラ１０２は、地上を撮
影１０５し、その映像信号を出力すると共に、カメラの
絞り、ズームなどのカメラ情報も併せて出力する。カメ
ラ１０２はジンバルに取り付けられ、このジンバルはカ
メラの回転角、傾き（＝チルト）を検出するカメラ姿勢
検出部１０６を有しておりその値を出力する。

【００３４】上記機***置検出部１０８からの出力信
号、機体姿勢検出部１０７からの出力信号、カメラ撮影
１０５の映像信号、カメラ情報信号、カメラ姿勢検出部
１０６からの出力信号は多重変調部１０９で変調手段に
より多重変調され、信号変換部１１０でデジタル信号に
信号変換１１０され、追尾１１１機能を有するアンテナ
から地上系２００へ向けて送信１０４される。

【００３５】地上系２００は、主に、空中から撮影装置
が撮影した地表の撮影映像及び上記撮影装置の撮影位置
を３次元的に特定するための情報を入力する入力部、入
力した情報に対し信号処理を行う信号処理部、画面に地
図を表示する地理情報システム、信号処理部で処理され
た情報を含めて映像処理し表示部に表示する地図処理部
とから構成される。

【００３６】即ち、機上系１００からの信号を追尾２０
２機能を有するアンテナで受信２０１し、信号変換部２
０３で信号変換し、多重復調部２０４を経て映像信号と
その他機***置、機体姿勢、カメラ姿勢、カメラ情報等
の情報信号を取り出す。取り出されたこれらの信号を信
号処理部２０５で信号処理し、映像信号は動画データ
（ＭＰＥＧ）２０７、静止画データ（ＪＰＥＧ）として
次のステップの地図処理部２０６での地図処理に用いら
れる。その他、地理情報システムの２次元地図データ２
０９、地勢データ２１０を含めた情報信号も地図処理部
２０６での地図処理に用いられる。

【００３７】図２はこの実施の形態の撮影映像処理シス
テムの地図処理部の概略を示す図である。地図処理部２
０６は、図２に示すように、映像信号である動画データ
２０７、静止画データ２０８と、機***置、機体姿勢、
カメラ姿勢の情報信号、及び地理情報システムの２次元
地図データ２０９、３次元地勢データ２１０により処理
を行うもので、主に、撮影装置の撮影位置を３次元的に
特定するための情報に基づいて、撮影装置が撮影した撮
影映像の撮影範囲に対応する地理情報システムの地図上
の撮影範囲を求める撮影範囲計算部（画枠計算部２１
２）、撮影範囲計算部で求められた撮影範囲に合わせて
上記撮影映像を変形する映像変形部２１３、上記地図上
の上記撮影範囲に上記変形された撮影映像を重ね合わせ
て表示する表示部（重ね合わせ部２１４等）から構成さ
れる。

【００３８】地図処理部２０６では、まず、画枠計算部
２１２で、空中における撮影位置を３次元的に特定し、
カメラと機体の地表面に対する姿勢に基づいて、撮影し
た地表面の撮影範囲（＝撮影画枠）を計算により求める
画枠計算を行う。この画枠に合わせて映像変形部２１３
で映像変形を行う。この映像変形は、映像が地図に一致
する台形あるいは菱形に近い形等になるように映像を変
形するものである。次に、重ね合わせ部２１４で、変形
した映像を地理情報システムの地図上に重ね合わせ（貼
り合わせ）、その後、これをＣＲＴなどでモニタ表示２
１１する。

【００３９】図３は地理情報システムの地図３０１上
に、撮影画枠３０３を地図に合わせて、撮影映像３０２
を重ね合わせた写真である。３０４は機体の飛行経路、
３０５は機***置（カメラ位置）である。上述の変形処
理を含む地図処理２０６を行うことにより、図３に示す
ように、映像と地図とが完全に一致し、映像情報と地図
との整合性を確認することが容易となり、目標地点の判
別が容易にできる。

【００４０】また、図３のように、カメラで撮影した画
枠の映像を地図上に重ねて表示することができる他に、
撮影映像３０２を消して画枠３０３だけを表示すること
も容易にできる。ここで撮影映像３０２は二次元の地図
上に重ね合わされている。従って、例えは災害発生の場
所（例えば火災を起しているビル）等を撮影映像３０２
で視認し撮影映像３０２上でその位置をチェック（クリ
ック）し、その後、撮影映像３０２を消して画枠３０３
のみの表示として撮影映像３０２の下の二次元の地図を
表示させれば撮影映像上でチェックした位置が地図上の
どこに相当するのかを迅速に認識することができる。さ
らに、カメラの向きに関わらず、モニタの表示映像を一
定の方向に表示するようにしておけば、目標地点の判別
がさらに容易となる。

【００４１】実施の形態２．本実施形態では、機体１０
１の現在位置を測定し、地理情報システムの地図上に機
上から撮影した地上の撮影画枠を計算し、その撮影画枠
に合わせて、撮影した映像を変形して貼り合わせ、撮影
映像と地図との照合を行う際に、連続した撮影した撮影
映像を、複数枚連続して所定の周期でサンプリングし、
連続する複数枚の映像を地理情報システムの地図上に貼
り合わせて表示を行い、その地図上に貼り合わされた映
像から目標の地点を特定化しようとするものである。

【００４２】図４はこの方法によるモニタ表示画面を示
すもので、３０１は地図、３０４は機体の飛行経路、３
０５は機***置（カメラ位置）である。飛行経路３０４
に沿ってカメラから撮影した映像を所定のタイミングで
サンプリングして各画枠を求め、撮影映像を画枠に合う
ように変形処理し、地図３０１上に貼り付ける。３０２
ａ乃至３０２ｆは貼り付けた映像、３０３ａ乃至３０３
ｆはその画枠である。

【００４３】撮影画枠の計算及び各画枠への映像の変形
は、実施の形態1で説明したように撮影時のカメラ情報
と機体の姿勢情報を用いた計算により行なう。各画像の
サンプル周期は、機体の速度に応じて変えてもよい。通
常、機体の速度が速いときはサンプリング周期を短く、
機体速度が遅いときはサンプリング周期を長くする。

【００４４】本実施の形態では、地図と複数枚の連続映
像による広範囲の地表面の状況を確認しながら、地上の
状況を識別することが可能となり、目標地点の判別を一
層効果的に行うことができる。

【００４５】実施の形態３．本実施の形態では、機体１
０１の現在位置と機体に対するカメラ１０２の回転角と
傾き（カメラの姿勢）を測定し、このカメラの姿勢に基
づいて地理情報システムの地図上に機上から撮影した地
上の撮影画枠を計算し、その撮影画枠に合わせて撮影し
た映像を変形して貼り合わせ、撮影映像と地図との照合
を行う。

【００４６】本実施の形態によれば、撮影装置であるカ
メラの姿勢に基づいて撮影画枠を計算することによっ
て、撮影映像と地図との位置関係を確認しながら、より
精度の高い地上の状況を識別することが可能となる。

【００４７】いま、機体１０１とカメラ１０２の関係
を、図５のように、カメラ１０２がジンバル１１２に収
容され、機体１０１は水平飛行を行うと仮定すると、同
図（ｂ）（ｃ）に示すように、カメラ１０２の傾きは機
体１０１の中心軸からの傾き（＝チルト）、カメラ１０
２の回転角度は機体１０１の進行方向からの回転角度と
して出力される。すなわち、（ｂ）の状態では、カメラ
１０２が真下を向いているので傾きは０度、（ｃ）の状
態ではカメラ１０２の傾きθが垂直面からの傾きとなる
ことを示している。

【００４８】カメラの撮影画枠の計算方法は、コンピュ
ータグラフィックスの基礎として、３Ｄ座標内の矩形
（画枠）の回転移動と投象処理で得ることが出来る。基
本は、カメラの撮影画枠をカメラ情報と機体情報とによ
って変換処理を行い、地上へ投影した場合の図枠を計算
することで、目的の画枠を得ることが出来る。３Ｄ座標
内の各座標の計算方法は、以下の行列計算方法を使用し
て得る。

【００４９】１）基準状態での撮影画枠の計算 まず、図６（ａ）に示すように、画枠４点の位置を機体
の位置を原点として、相対座標として計算する。撮影画
枠を、カメラの焦点距離と画角と高度によって、基準位
置に計算、４点の座標を得る。

【００５０】２）カメラのチルト（ｚ軸）にて、４点の
回転後の位置を計算 図６（ｂ）に示すように、カメラのチルト角度θから、
ｚ軸方向に撮影画枠を回転する。回転後の座標を次の数
式１で変換して求める。

【００５１】

【数１】

【００５２】３）カメラの方位角（ｙ軸）にて、４点の
回転後の位置を計算 図６（ｃ）に示すように、カメラの方位角θから、ｙ軸
方向に撮影画枠を回転する。回転後の座標を次の数式２
で変換して求める。

【００５３】

【数２】

【００５４】４）回転処理後の画枠を、原点（機***
置）から地表面（y軸高度地点）に投影した図枠を計算 図６（ｄ）に示すように、撮影画枠を地表面（ｙ軸高
度）に投象することで、投象平面（撮影画枠）を得る。
投影後の座標を次の数式３で変換して求める。

【００５５】

【数３】

【００５６】次の数式４で、一般同次座標系[Ｘ，Ｙ，
Ｚ，Ｗ]を得る。ただし、ｄは海抜高度である。

【００５７】

【数４】

【００５８】次に、Ｗ’(＝ｙ/d)で割って３Ｄに戻すと
次の数式５となる。

【００５９】

【数５】

【００６０】実施の形態４．本実施の形態では、機体１
０１の現在位置と、機体１０１の仰角とロール角を測定
し、この仰角とロール角により、地理情報システムの地
図上に機上から撮影した地上の撮影画枠を計算し、その
撮影画枠に合わせて、撮影した映像を変形して貼り合わ
せ、撮影映像と地図との照合を行う。本実施の形態によ
れば、機体１０１の地上に対する位置情報から撮影画枠
を計算することによって、撮影映像と地図との位置関係
を確認しながら、より精度の高い地上の状況を識別する
ことが可能となる。

【００６１】いま、機体とカメラの関係を図７のよう
に、カメラ１０２が機体１０１に固定（つまりジンバル
を使わない）されていると仮定すると、同図（ｂ）に示
すように、機体１０１自身が地上から水平に飛行してい
る場合は、カメラ１０２が真下を向いているので、カメ
ラ０１２の傾きは０度となる。同図（ｃ）のように、機
体１０１が傾いている場合はこれがカメラ１０２の姿勢
となるので、機体１０１の仰角（ピッチ）、ロール角に
基づいてカメラの撮影画枠の計算を行う。

【００６２】１）基準状態での撮影画枠の計算 図８（ａ）に示すように、画枠４点の位置を機体の位置
を原点として、相対座標として計算する。撮影画枠を、
カメラの焦点距離と画角と高度によって、基準位置に計
算、４点の座標を得る。

【００６３】２）機体のロール（ｘ軸）にて、4点の回
転後の位置を計算 図８（ｂ）に示すように、次式により機体のロール角度
θから、ｘ軸方向に撮影画枠を回転する。回転後の座標
を次の数式６で変換して求める。

【００６４】

【数６】

【００６５】３）機体のピッチ（ｚ軸）にて、4点の回
転後の位置を計算 図８（ｃ）に示すように、機体のピッチ角度θから、ｚ
軸方向に撮影画枠を回転する。回転後の座標を次の数式
７で変換して求める。

【００６６】

【数７】

【００６７】４）回転処理後の画枠を、原点（機***
置）から地表面（y軸高度地点）に投影した図枠を計算 図８（ｄ）に示すように、撮像画枠を地表面（ｙ軸高
度）に投象することで、投象平面（撮影画枠）を得る。
投象後の座標を次の数式８で変換して求める。

【００６８】

【数８】

【００６９】次の数式９により一般同次座標系[Ｘ，
Ｙ，Ｚ，Ｗ]を得る。

【００７０】

【数９】

【００７１】次に、Ｗ’(＝ｙ/d)で割って３Ｄに戻すと
次の数式１０となる。

【００７２】

【数１０】

【００７３】実施の形態５．本実施の形態では、機体１
０１の現在位置と、機体に対するカメラ１０２の回転角
度と傾き、それに機体１０１の仰角とロール角を測定
し、これらにより、地理情報システムの地図上に、機上
から撮影した地上の撮影画枠を計算し、その撮影画枠に
合わせて、撮影した映像を変形して貼り合わせ、撮影映
像と地図との照合を行う。本実施の形態によれば、カメ
ラの姿勢情報、機体の姿勢情報から撮影画枠を計算する
ことによって、撮影映像と地図との位置関係を確認しな
がら、より精度の高い地上の状況を識別することが可能
となる。

【００７４】いま、機体１０１とカメラ１０２の関係を
図９のように、カメラ１０２がジンバル１１２に収容さ
れ、また機体１０１は自由な姿勢で飛行を行うとする
と、同図（ｂ）に示すように、ジンバル１１２からカメ
ラ１０２の傾きとカメラの回転角度が出力される。ま
た、ジャイロから機体１０１自身の地上に対する仰角と
ロール角が出力される。

【００７５】カメラの撮影画枠の計算方法は、コンピュ
ータグラフィックスの基礎として、３Ｄ座標内の矩形
（画枠）の回転移動と投象処理で得ることが出来る。基
本は、カメラの撮影画枠をカメラ情報と機体情報とによ
って変換処理を行い、地上へ投影した場合の図枠を計算
することで、目的の画枠を得ることが出来る。３Ｄ座標
内の各座標の計算方法は、以下の行列計算方法を使用し
て得る。

【００７６】１）基準状態での撮影画枠の計算 図１０（ａ）に示すように、画枠４点の位置を機体の位
置を原点として、相対座標として計算する。撮影画枠
を、カメラの焦点距離と画角と高度によって、基準位置
に計算、４点の座標を得る。

【００７７】２）カメラのチルト（ｚ軸）にて、4点の
回転後の位置を計算 図１０（ｂ）に示すように、カメラのチルト角度θか
ら、ｚ軸方向に撮影画像を回転する変換をする。回転後
の座標を次の数式１１で変換して求める。

【００７８】

【数１１】

【００７９】３）カメラの方位角（ｙ軸）にて、４点の
回転後の位置を計算 図１０（ｃ）に示すように、カメラの方位角度θからｙ
軸方向に撮影画枠を回転する変換をする。回転後の座標
を次の数式１２で変換して求める。

【００８０】

【数１２】

【００８１】４）機体のロール（ｘ軸）にて、４点の回
転後の位置を計算 図１０（ｄ）に示すように、機体のロール角度θから、
ｘ軸方向に撮影画枠を回転する変換をする。回転後の座
標を次の数式１３で変換して求める。

【００８２】

【数１３】

【００８３】５）機体のピッチ（ｚ軸）にて、４点の回
転後（回転角θ）の位置を計算 図１０（ｅ）に示すように、機体のピッチ角度θから、
ｚ軸方向に撮影画枠を回転する変換をする。回転後の座
標を次の数式１４で変換して求める。

【００８４】

【数１４】

【００８５】６）回転処理後の画枠を、原点（機***
置）から地表面（y軸高度地点）に投影した図枠を計算 図１０（ｆ）に示すように、撮像画枠を地表面（ｙ軸高
度）に投象することで、投象平面（撮像画枠）を得る。
投象後の座標を次の数式１５で変換して求める。

【００８６】

【数１５】

【００８７】７）次の数式１６により、一般同次座標系
[Ｘ，Ｙ，Ｚ，Ｗ]を得る。

【００８８】

【数１６】

【００８９】８）次に、Ｗ’(＝ｙ/d)で割って３Ｄに戻
すと次の数式１７となる。

【００９０】

【数１７】

【００９１】実施の形態６．本実施の形態では、機体１
０１の現在位置と、機体に対するカメラ１０２の回転角
度と傾き、それに機体１０１の仰角とロール角を測定
し、地理情報システムの地図上に機上から撮影した地上
の撮影画枠を計算する。その撮影画枠の４点の計算処理
において、地勢高度データを利用し、機体１０１の飛行
位置を補正して撮影画枠を計算する。その撮影画枠に合
わせて撮影した映像を変形して地理情報システムの地図
上に貼り合わせ、撮影映像と地図との照合を行う。

【００９２】本実施の形態によれば、機体の位置、高
度、機体姿勢情報とカメラの姿勢情報を使用し、地表面
の高度地勢情報によって補正を行い、撮影画枠を計算す
ることによって、撮影映像と地図との位置関係を確認し
ながら、より精度の高い地上の状況を識別することが可
能となる。

【００９３】図１１に示すように、前述の実施の形態５
における回転後の地表面への撮影画枠の計算処理におい
て、機体の高度を、ＧＰＳ装置から得られる海抜高度に
対して、地表面の地勢高度情報を利用して撮影地点の地
表面高度（相対高度ｄ＝海抜高度―地表面高度）を使用
し、撮影画枠の４点の計算を実施する。

【００９４】１）回転処理後の画枠を、原点（機***
置）から地表面（y軸高度地点）に投影した図枠を計算 撮影画枠を地表面（ｙ軸高度）に投象することで、投象
平面を得る。投象後の座標を次の数式１８で変換して求
める。

【００９５】

【数１８】

【００９６】次の数式１９により、一般同次座標系
[Ｘ，Ｙ，Ｚ，Ｗ]を得る。

【００９７】

【数１９】

【００９８】次に、Ｗ‘(＝ｙ/d)で割って３Ｄに戻すと
次の数式２０となる。

【００９９】

【数２０】

【０１００】ここで使用する相対高度ｄを、ＧＰＳ装置
から得られる地平線からの絶対高度から目標地点の地勢
高度を減算して求め、カメラからの相対高度を利用する
ことで、精度の高い撮影画枠の位置を計算する。

【０１０１】実施の形態７．本実施の形態では、機体１
０１の現在位置を測定し、地理情報システムの地図上
に、機上から撮影した地上の撮影画枠を計算し、その撮
影画枠に合わせて撮影した映像を変形して貼り合わせ、
撮影映像と地図との照合を行う際に、地図上に張り合わ
せる撮影映像を連続して複数枚、連続的に地理情報シス
テムの地図上に張り合わせ表示を行い、その地図上に張
り合わされた映像から目標の地点を特定化する。

【０１０２】複数枚の撮影映像を地理情報システムの地
図上に張り合わせを行う処理において、計算された撮影
画枠に従って配置を行い、各撮影映像の重複部分の接合
状態を確認し、映像の重なり具合がもっとも多くなるよ
うに映像を移動して位置補正を行い、その補正値を使用
して地理情報システムの地図上に撮影映像を撮影画枠に
合わせて変形し、貼り合わせ処理を行う。

【０１０３】その手順を図１２に示す。機体１０１の移
動に従って撮影した例えば２枚の撮影映像１（Ａ）と撮
影映像２（Ｂ）を重ね、重複部分を検出し、映像の重な
り具合が最も多くなるように、ＡとＢを相対的に移動
し、接合時の位置補正値を得て、位置補正を行い接合す
る。位置補正は、図２の映像接合・補正２１５で行う。

【０１０４】本実施の形態によれば、複数枚の連続映像
がより精度の高い接合となり、より広範囲の地表面の状
況を確認しながら、地上の状況を識別することが可能と
なる。

【０１０５】実施の形態８．本実施の形態では、機体１
０１の現在位置と、機体に対するカメラ１０２の取り付
け角度と傾き、それに機体１の仰角とロール角を測定
し、地理情報システムの地図上に、機上から撮影した地
上の撮影画枠を計算し、その撮影画枠に合わせて撮影し
た映像を変形して貼り合わせ、撮影映像と地図との照合
を行う。

【０１０６】この処理を行う場合、機上系１００から送
信される諸情報が完全に同期して、地上系２００に受信
されることが重要となり、それを実現するために飛行位
置検出装置の処理時間、カメラのジンバルによる姿勢検
出の処理時間、映像送信の処理時間等の処理時間を調整
し、撮影映像に同期して送信する必要がある。それを実
現するために、図１に、バッファを設け、これに機上の
カメラの映像信号を一時的に記憶１１３し、ＧＰＳ等に
よる機***置検出の計算処理時間の遅延と同期させて、
地上系２００に送信する。

【０１０７】この関係を図１３により説明する。機体１
０１がＧＰＳ信号を受信して、機***置を検出するまで
にはＴの時間を要し、この間に機体１０１はＰ１の位置
からＰ２の位置まで移動している。このため、機体の位
置検出が完了した時点では、カメラ１０２が撮影してい
る領域はＰ１の位置で撮影した領域から距離Ｒだけ隔た
った領域となり、誤差が生じる。

【０１０８】これを修正する手順を示すタイムチャート
が図１３（ｂ）である。機***置検出のためのＧＰＳ観
測地点ｔ１からＧＰＳ計算時間Ｔの期間、映像信号をバ
ッファで一時保存し、ｔ２において一時保存した映像信
号と機***置、機体姿勢、カメラ情報等を合わせて送信
する。

【０１０９】本実施の形態によれば、撮影装置の取付情
報から撮影画枠を計算することによって、撮影映像と地
図との位置関係を確認しながら、より精度の高い地上の
状況を識別することが可能となる。

【０１１０】また、上記各実施の形態では、画枠を計算
した後、その画枠に合わせて撮影映像を変形させ、その
変形させた映像を地図に重ね合わせて貼り合わせるよう
にしているが、単に撮影装置が撮影した撮影映像に対応
する地図上の撮影範囲を求め、地図上のその範囲に撮影
映像を重ね合わせて表示するようにしてもよい。

【０１１１】また、上記各実施の形態では、機上系から
送信される情報に基づいて地上系にて地図処理を行うよ
うにしているが、これは特に限定するものではなく、機
上系にディスプレイ等の表示装置を備え、機上系にて地
図処理を行うようにし、それを機上系の表示装置に表示
させたり、処理した情報を地上系に送信し、地上系にて
表示を行うようにしてもよい。

【０１１２】

【発明の効果】以上のようにこの発明によれば、映像情
報と地図との整合性を確認することが容易となり、目標
地点の判別が容易にできる。

【０１１３】また、地図と複数枚の連続映像による広範
囲の位置関係を確認しながら、地上の状況を識別するこ
とが可能となる。

【０１１４】また、撮影装置であるカメラの地面に対す
る姿勢から撮影画枠を計算することによって、撮影映像
と地図との位置関係を確認しながら、より精度の高い地
上の状況を識別することが可能となる。

【０１１５】また、図形処理において、画枠のみを残し
て地図上に重ねて表示したり、カメラの向きに関わらず
映像を一定の方向に表示するような映像処理が容易で、
地上の状況の識別を一層迅速にできる。

【図面の簡単な説明】

【図１】 この発明の実施の形態１に係る撮影映像処理
方法を実施するシステムの機能説明図である。

【図２】 実施の形態１における地図処理システムの機
能説明図である。

【図３】 実施の形態１による表示画面を示す写真であ
る。

【図４】 この発明の実施の形態２に係る撮影映像処理
方法により得られた表示画面を示す写真である。

【図５】 この発明の実施の形態３を説明する図であ
る。

【図６】 実施の形態３における地図処理を説明する図
である。

【図７】 この発明の実施の形態４を説明する図であ
る。

【図８】 実施の形態４における地図処理を説明する図
である。

【図９】 この発明の実施の形態５を説明する図であ
る。

【図１０】 実施の形態５における地図処理を説明する
図である。

【図１１】 この発明の実施の形態６に係る撮影映像処
理方法の地図処理を説明する図である。

【図１２】 この発明の実施の形態７に係る撮影映像処
理方法の地図処理を説明する図である。

【図１３】 この発明の実施の形態８に係る撮影映像処
理方法を説明する図である。

【図１４】 従来装置の基本的構成を示す図である。

【図１５】 従来の災害撮影システムの構成を示す図で
ある。

【図１６】 従来の空撮映像及びその部分拡大図であ
る。

【図１７】 従来の災害発生地点後の二次元表示図であ
る。

【図１８】 従来の機上系電気的構成を示すブロック図
である。

【図１９】 従来の災害対策本部内の機器の電気的構成
を示すブロック図である。

【符号の説明】

１００ 機上系、 １０１ 機体、
１０２ カメラ、 １０３ ＧＰＳ
信号受信、１０４ 送信、 １０
５ 撮影、１０６ カメラ姿勢検出、 １０
７ 機体姿勢検出、１０８ 機***置検出、
１０９ 多重変調、１１０ 信号変換、
１１１ 追尾、１１２ ジンバル、２００ 地
上系、 ２０１ 受信、２０２ 追
尾、 ２０３ 信号変換、２０４
多重復調、 ２０５ 信号処理、２
０６ 地図処理、 ２０７ 動画デー
タ、２０８ 静止画データ、 ２０９ ２
次元地図データ、２１０ 地勢データ、
２１１ モニタ表示、２１２ 画枠計算、
２１３ 映像変形、２１４ 重ね合わせ、３０
１ 地図、 ３０２ 撮影映像、
３０３ 撮影画枠、 ３０４ 飛行軌
跡、３０５ 機***置。

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2C032 HA02 HB22 HB25 HC08 HC23 HC24 HC26 HC38 5B050 BA02 BA17 EA12 EA13 EA19 5B057 AA13 AA14 CA08 CA12 CA16 CB08 CB12 CB16 CD09 CD11 CE08

Claims (24)

【特許請求の範囲】
1. 【請求項１】 空中の機体に搭載された撮影装置により
   撮影された地表面の撮影映像を画像処理して表示する撮
   影映像処理方法であって、 空中における撮影位置を３次元的に特定し、撮影された
   地表面の撮影範囲を計算して求め、その撮影範囲に合わ
   せて撮影映像を変形した後、これを地理情報システムの
   地図上に重ね合わせて表示するようにしたことを特徴と
   する撮影映像処理方法。
2. 【請求項２】 空中の機体に搭載された撮影装置により
   撮影された地表面の撮影映像を画像処理して表示する撮
   影映像処理方法であって、 空中における撮影位置を３次元的に特定し、連続して撮
   影された複数枚の地表面の各撮影範囲を計算して求め、
   その各撮影範囲にあわせて各撮影映像を変形した後、こ
   れら複数枚の撮影映像を地理情報システムの地図上に重
   ね合わせて表示するようにしたことを特徴とする撮影映
   像処理方法。
3. 【請求項３】 重ね合わせる複数の撮影映像は、互いに
   一部を重複させて接合するようにした請求項２に記載の
   撮影映像処理方法。
4. 【請求項４】 重複させて接合する撮影映像は、その重
   複部における重複状態が最も多くなるように撮影映像を
   移動補正した後、接合するようにした請求項３に記載の
   撮影映像処理方法。
5. 【請求項５】 重ね合わせる複数の撮影映像は、連続し
   て撮影した映像を所定の周期でサンプリングして得るよ
   うにした請求項２に記載の撮影映像処理方法。
6. 【請求項６】 サンプリング周期を変更できるようにし
   た請求項５に記載の撮影映像処理方法。
7. 【請求項７】 撮影された地表面の撮影範囲を、上記撮
   影装置の上記機体に対する傾きと回転角度に基づいて計
   算して求めるようにした請求項１または請求項２に記載
   の撮影映像処理方法。
8. 【請求項８】 撮影された地表面の撮影範囲を、上記機
   体の地表面に対する傾きとロール角度に基づいて計算し
   て求めるようにした請求項１または請求項２に記載の撮
   影映像処理方法。
9. 【請求項９】 撮影された地表面の撮影範囲を、上記撮
   影装置の上記機体に対する傾きと回転角度及び上記機体
   の地表面に対する傾きとロール角度とに基づいて計算し
   て求めるようにした請求項１または請求項２に記載の撮
   影映像処理方法。
10. 【請求項１０】 地表面の撮影範囲を計算して求めた
    後、上記撮影範囲の地表面の高度を、予め作成されてい
    る地表面の起伏についての高度情報を含む３次元地勢デ
    ータを利用して取得し、撮影地点の高度を、機体の絶対
    高度から地表面の高度を減算した相対高度として計算
    し、その撮影範囲に合わせて、撮影映像を変形して地理
    情報システムの地図上に重ね合わせて表示する請求項１
    乃至請求項９のいずれか一項に記載の撮影映像処理方
    法。
11. 【請求項１１】 空中の機体に搭載された撮影装置によ
    り地表面を撮影し、その地表面に存在する状況を識別す
    ることを目的とする撮影映像処理方法であって、 空中における撮影位置を３次元的に特定し、撮影した映
    像に、上記機***置情報、カメラ情報、機体情報を同期
    させて送信し、 受信側では撮影された地表面の撮影範囲を計算して求
    め、その撮影範囲に合わせて撮影映像を変形した後、地
    理情報システムの地図上に重ね合わせて表示するように
    したことを特徴とする撮影映像処理方法。
12. 【請求項１２】 地図上に重ね合わせた撮影映像を、撮
    影範囲枠のみ残して消すことができるようにした請求項
    １乃至請求項１１のいずれか一項に記載の撮影映像処理
    方法。
13. 【請求項１３】 表示される映像の向きを、撮影装置の
    向きに関わらず一定の方向に表示できるようにした請求
    項１乃至請求項１２のいずれか一項に記載の撮影映像処
    理方法。
14. 【請求項１４】 画面に地図を表示する地理情報システ
    ムと、空中から撮影装置が撮影した地表の撮影映像及び
    上記撮影装置の撮影位置を３次元的に特定するための情
    報を入力する入力部と、上記情報に基づき、上記撮影装
    置が撮影した撮影映像に対応する上記地図上の撮影範囲
    を求める撮影範囲計算部と、上記地図上の上記撮影範囲
    に上記撮影映像を重ね合わせて表示する表示部とを備え
    た撮影映像処理システム。
15. 【請求項１５】 撮影映像を変形する映像変形部を備
    え、上記撮影範囲計算部は、上記撮影映像の撮影範囲に
    対応する上記地図上の撮影範囲を計算し、 上記映像変形部は、上記撮影範囲計算部で求められた撮
    影範囲に合わせて上記撮影映像を変形し、 上記表示部は、上記地図上の上記撮影範囲に上記変形さ
    れた撮影映像を重ね合わせて表示することを特徴とする
    請求項１４に記載の撮影映像処理システム。
16. 【請求項１６】 上記撮影映像は上記撮影装置が連続し
    て撮影した複数の撮影映像であり、上記情報は上記各撮
    影映像の各撮影時における上記撮影装置の撮影位置を各
    々特定するための情報であって、 上記表示部は、上記地図上における上記各撮影映像の撮
    像範囲に上記各撮影映像を重ね合わせて表示することを
    特徴とする請求項１４又は１５に記載の撮影映像処理シ
    ステム。
17. 【請求項１７】 表示部は、複数の撮影映像が互いに重
    複する部位を有するよう上記複数の撮影映像を重ね合わ
    せて表示することを特徴とする請求項１６に記載の撮影
    映像処理システム。
18. 【請求項１８】 重ね合わせる複数の撮影映像は、連続
    して撮影した映像を所定の周期でサンプリングして得ら
    れたものである請求項１６に記載の撮影映像処理システ
    ム。
19. 【請求項１９】 上記入力部は、上記撮影装置が撮影し
    た地表面の高度情報もあわせて入力し、 上記撮影範囲計算部は、上記高度情報も含めて上記撮影
    範囲を計算することを特徴とする請求項１４〜１６のい
    ずれか１項に記載の撮影映像処理システム。
20. 【請求項２０】 空中から地表を撮影する撮影装置、上
    記撮影装置の撮影位置を３次元的に特定するための情報
    を取得する情報収集部、上記撮影装置で撮影された撮影
    映像と上記情報収集部で取得された情報とを送信する送
    信部、を有してなる機上装置を備え、 上記入力部は上記機上装置の上記送信部から送信される
    上記撮影映像及び上記情報を入力することを特徴とする
    請求項１４〜１６のいずれか１項に記載の撮影映像処理
    システム。
21. 【請求項２１】 上記表示部は、撮影範囲枠を残して、
    上記地図上に重ね合わせた映像画像を削除することを特
    徴とする請求項１４〜１６のいずれか１項に記載の撮影
    映像処理システム。
22. 【請求項２２】 上記表示部は、表示される映像の向き
    を、撮影装置の向きに関わらず一定の方向に表示するこ
    とを特徴とする請求項１４〜１６のいずれか１項に記載
    の撮影映像処理システム。
23. 【請求項２３】 空中から撮影装置が撮影した地表の撮
    影映像及び上記撮影装置の撮影位置を３次元的に特定す
    るための情報を入力する入力部と、上記情報に基づき、
    上記撮影装置が撮影した撮影映像に対応する地理情報シ
    ステムの地図上の撮影範囲を求める撮影範囲計算部と、
    上記地図上の上記撮影範囲に上記撮影映像を重ね合わせ
    て表示する表示部又は上記撮影範囲に関する情報を出力
    する出力部とを備えた撮影映像処理システム。
24. 【請求項２４】 撮影映像を変形する映像変形部を備
    え、 上記撮影範囲計算部は、上記撮影映像の撮影範囲に対応
    する上記地図上の撮影範囲を計算し、 上記映像変形部は、上記撮影範囲計算部で求められた撮
    影範囲に合わせて上記撮影映像を変形し、 上記表示部又は上記出力部は、上記変形された撮影映像
    を表示又は出力することを特徴とする請求項２３に記載
    の撮影映像処理システム。