JP2006027448A

JP2006027448A - 無人飛行体を利用した空撮方法及びその装置

Info

Publication number: JP2006027448A
Application number: JP2004209714A
Authority: JP
Inventors: Hiroyuki Sumiya; 博之住谷; Yoji Shimo; 洋二志茂; Keitaro Matsuzaka; 敬太郎松坂
Original assignee: Chugoku Electric Power Co Inc; Hirobo Ltd
Current assignee: Chugoku Electric Power Co Inc; Hirobo Ltd
Priority date: 2004-07-16
Filing date: 2004-07-16
Publication date: 2006-02-02

Abstract

【課題】カメラを装備した無人飛行体を利用して空撮するにあたり、オペレータによるカメラの方向操作を不要とし、自動で撮影対象物にカメラを正確に向けて高精細な映像データを確実且つ効率的に取得し、記録できるようにする。
【解決手段】無人飛行体にカメラとカメラから出力される映像データを記録する手段を装備して空撮を行うにあたり、飛行中に機体と撮影対象物との距離を測定し、その結果からカメラのズーム倍率を決定して撮影対象物を撮影し、また、撮影は撮影対象物の方向に向けたカメラを上下又は左右に所定の角度で向きを飛行中に変位させながら撮影対象物の映像データを取り込んで行う。
【選択図】図１

Description

本発明は、遠隔制御（Ｒ／Ｃ）、或いは自律制御（Ａ／Ｃ）により飛行するヘリコプターや飛行機、飛行船などの無人飛行体を利用して空中撮影する方法及びその装置に関する。

無人飛行体を利用した空撮は、本物の飛行機やヘリコプターを使用した場合よりもコストダウンが図れ、また、低空で狭い場所でも安全に撮影することができるとともに、撮影目標に接近して撮影できるので質の高い写真やビデオ映像を得ることができ、構造物の保全状況の確認や高所の点検、高所からの地上観測など多方面で実施されている。
無人飛行体としてＲ／Ｃヘリを使用して空撮を行うシステムとして、例えば図８に示されるように、Ｒ／Ｃヘリ８１にカメラ８２とカメラの姿勢制御機構８３とカメラの撮影映像を送信する通信手段８４とを設け、地上側に撮影映像を受信する手段と記憶手段を備えた空撮映像処理システム８５とカメラの姿勢を遠隔制御する装置８６とを設け、Ｒ／Ｃヘリ８１から送信される空撮映像を撮影条件情報に関連付けをして空撮映像処理システム８５の記憶手段に記憶させることにより、撮影された映像の利用の便宜を図った構成のものが知られている（例えば特許文献１参照）。

特開２００３−１１０９８１号公報

Ｒ／Ｃヘリを遠隔制御する前記従来のシステムでは、機体を操縦する者とカメラの向きを遠隔操作する者の少なくとも二人のオペレータが必要であった。また、Ｒ／Ｃヘリを遠隔制御する必要があることから、飛行範囲は操縦者が機体を目視できる範囲に限られ、目視できない地形や遠方の場所では空撮することができなかった。
また、現状のＲ／Ｃヘリの空撮は、高所から地上の特定のエリアを鳥瞰的に撮影し、或いは特定の家屋や建物を上空から撮影するなどの用途に利用されているに過ぎない。

ところで、例えば高架橋などの高所の構造物表面の点検は、点検のための足場を組み、その足場に作業者が立って或いは構造物上部から作業者を吊るすなどして点検箇所を直接目視して行っており、また、鉄塔に架設された送電線の表面やそのスリーブ部などの点検は、作業者が送電線を伝いながら、或いは地上から又はヘリコプターに乗った作業者が双眼鏡を使って送電線の表面を直接目視するなどして行っている。また、土砂崩れなどの自然災害現場の点検は、風圧を受けないように災害現場から十分に離れて飛行するヘリコプターから同乗者が双眼鏡を使って行っている。
このような高所構造物表面の点検や災害現場の点検に空撮機能を備えた無人ヘリを利用し、点検箇所に無人ヘリを十分に接近させるとともにカメラのズーム倍率を大きくして点検箇所を撮影し、作業者が点検箇所を間近で目視するのと何ら変わらない映像を得ることができれば、点検に要するコストを大幅に削減することが可能となる。
しかし、遠隔制御では、送電線のように点検箇所が数百ｍに亘る場合にプロポの出力定格上、操縦者が無人ヘリとともに移動しない限りヘリの制御ができず、また、無人ヘリを点検箇所に沿って且つ接近させて正確に飛行させること自体が難しいこと、無人ヘリに搭載したカメラを点検箇所に正確に向けつつフレーム一杯に被写体の映像を捉えるような制御が困難なことなどの問題により、Ｒ／Ｃヘリを用いた高所構造物などの点検技術は確立されていないのが実状である。

一方、近時、無人ヘリが所定の位置から自動で離陸し、決められた飛行ルートを決められた速度で飛行して離陸地点まで自動で戻り着陸するように機体を制御する自律制御技術の開発が進められ、実用化されつつある。前述の点検に、遠隔制御式に代えて自律制御式のＡ／Ｃヘリを利用すれば、遠隔制御が不能な遠方の構造物や目視できない地形の場所に無人ヘリを飛行させて点検箇所を撮影することが可能である。
しかし、実用化されている無人ヘリの自律制御機能は、離陸前に予め設定入力された飛行コースに沿って機体を飛行させるものに過ぎず、無人ヘリを使用して空撮を行う場合に、飛行中に機体に搭載したカメラが撮影目標を見失ったとしても、見失った地点に機体を戻すように飛行ルートを変更することはできない。無人ヘリが設定されたコースに沿って所定の速度で飛行しているときに、風の影響を受けて機体が任意の方向に傾いたり機首の向きが断続的に変わったりして、カメラの向きが撮影目標から外れてしまうこともある。従って、Ａ／Ｃヘリで空撮を行う場合でも、機体に搭載したカメラを点検箇所に正確に向けつつフレーム一杯に被写体の映像を安定して捉えるようにカメラを制御する技術は不可欠である。

本発明は従来技術の有するこのような問題点に鑑み、カメラを装備した無人飛行体を利用して空撮するにあたり、オペレータによるカメラの方向操作を不要とし、自動で撮影対象物にカメラを正確に向けて高精細な映像データを確実且つ効率的に取得し、記録できるようにすることを課題とする。

Ａ／Ｃヘリを自律制御する場合に、予め自律制御装置に飛行通過点や飛行到達点を含む飛行ルートが入力されるが、この飛行ルートは、緯度、経度、高度、方位などのデータにより特定される多数の飛行ポイントにより設定される。Ａ／Ｃヘリは、前記データを検出する手段、具体的には緯度及び経度を検出するＧＰＳ信号受信手段、高度検出手段、方位検出手段などを機体に備え、これら手段で飛行位置を逐次検出し、目標とする飛行ポイントと実際の飛行ポイントとの位置の差を駆動機構に反映させることで、飛行ルートに沿うように機体を制御するようになっている。

前記検出手段のうち、緯度と経度の検出は、ＧＰＳ衛星との通信の関係上、数十センチの誤差はどうしても含まれてしまう。従って、例えば撮影対象が、太さが５センチにも満たない送電線であった場合、仮に、予め設定入力された飛行条件及び撮影条件のデータに基づき所定の飛行地点でカメラを所定の方向に向ける制御が正確になされたとしても、実際の送電線の位置とカメラの向きとが前記誤差分ずれていたために送電線の映像が捉えられなかったり、或いは機体と実際の送電線との距離が大きいためにカメラのズーム倍率が不足して高解像の映像が得られなかったりする事態が生じてしまう。

そこで本発明では、無人飛行体にカメラとカメラから出力される映像データを記録する手段を装備して空撮を行う方法において、飛行中に機体と撮影対象物との距離を測定し、その結果からカメラのズーム倍率を決定して撮影対象物を撮影するようにした。
これによれば、撮影を開始する飛行ポイントにヘリが到達したときに、機体と撮影対象物との正確な距離を測定し、飛行している機体と撮影対象物との位置関係を正確に割り出すことにより、撮影対象物の映像を確実にカメラで捉え且つ適正な大きさに拡大した映像データを得ることができ、これにより、前記各検出手段に含まれる飛行位置の検出誤差や飛行ルートとして入力された位置データの誤差を補正し、高精細な映像データの記録が可能となる。

前記空撮方法において、飛行中に風の影響を受けて機体が振れ或いは機首の向きが変わるなどしたときにも撮影対象物を確実に撮影できるように、飛行中、撮影対象物の方向に向けたカメラを上下又は左右に所定の角度で向きを変位させながら撮影対象物の映像データを取り込むようにすることが好ましい。

前記空撮方法は、好適には、予め設定された所定のルートで無人飛行体を飛行せしめる自律制御装置と、ＧＰＳ信号から飛行中の位置を特定する飛行位置特定手段と、機体と撮影対象物との距離を測定する測距手段と、カメラのアングル、ズーム倍率、撮影開始及び終了などを制御するカメラ制御手段と、撮影の開始位置、カメラのアングル、撮影開始位置から撮影対象物までの距離、カメラのズーム倍率、撮影終了位置などの撮影条件情報を記録した手段と、撮影開始位置で測距手段を制御して機体と撮影対象物との距離を測定する実距離測定手段と、測定された撮影対象物までの実距離と撮影条件情報に記録された撮影対象物までの距離との差からカメラフレーム内で被写体が所定の大きさとなるようにカメラのズーム倍率を算出し、算出したズーム倍率に前記撮影条件を更新する手段と、前記撮影条件情報に基づき前記各手段を制御する撮影処理制御手段とを機体に備えた空撮装置により実施することができる。

前記空撮装置は、撮影対象物の映像データを記録する手段と、当該記録された映像データと撮影中にカメラから出力される映像データとを照合して映像データ中に撮影対象物が含まれているか否かを判定する手段とを備え、撮影対象物が含まれる映像データのみを記録手段に記録するように構成することができる。

本願発明の無人飛行体を利用した空撮方法及び空撮装置によれば、無人飛行体に搭載したカメラで撮影対象物の映像を正確に且つカメラフレーム内で十分な大きさに拡大して捉え、高精細な映像データとして記録することができる。従って、高所構造物表面の点検や災害現場の点検に有効且つ効果的に利用することができ、従来の手法による点検に要するコストを大幅に削減する。

本発明の好適な一実施形態を図面を参照して説明する。
図示した形態は、無人飛行体として自律制御機能（Ａ／Ｃ）を具備したヘリコプターを利用して、高架送電線の保全のために空撮を行うシステムの実施例であり、図中、符号１はカメラを搭載したＡ／Ｃヘリ、２は地上局、Ｗは撮影対象である電線である。

後述するようにＡ／Ｃヘリ１には記録手段が装備されており、予め地上局２において同局に設置されたコンピュータ２１から飛行計画情報が、コンピュータ２２から撮影条件情報がそれぞれ記録手段に入力され、Ａ／Ｃヘリ１が出発点である地上局２から自動で離陸し、飛行計画情報に基づき設定された飛行ルートを設定された速度で飛行するとともに、飛行中に撮影条件情報に基づき撮影対象物である電線Ｗの映像を自動で記録し、再び出発点まで戻って着陸するように構成されている。

Ａ／Ｃヘリ１は、小型エンジンでロータを回転させて飛行する構造のものであり、その機体には、設定された飛行ルートを自律飛行するための自律制御装置３と、飛行しながら電線Ｗを自動で追尾撮影するための撮影装置４が搭載してある。

図２に示されるように、自律制御装置３は、飛行計画情報が入力される記録手段３１、ロータ駆動手段３２ａと接続した自律制御手段３２、ＧＰＳ信号受信手段３３、測距センサ３４、ルート誘導カメラ３５、高度センサ３６、方位センサ３７、通信手段３８及びこれら各部を制御する制御手段３９を備え、記録手段３１に記録された飛行計画情報に基づいて自律制御手段３２によりロータの駆動を制御し、Ａ／Ｃヘリ１を所定の飛行ルートに沿って安定して自律飛行させることができるように構成してある。

詳しくは、飛行計画情報は、出発地を離陸してから所定の範囲を飛行し再び出発地に戻って着陸するまでの飛行ルートやその間の飛行速度、飛行高度、旋回場所などの飛行条件を設定したデータや、設定した条件で飛行するようにロータを制御する処理プログラム、プログラムを実行させるためのパラメータなどであり、前記地上局２のコンピュータ２１において設定入力され、飛行前に通信手段３８を介して自律制御装置３に接続したコンピュータ２１から同装置に転送されて記録手段３１に記録される。なお、先述の通り、飛行ルートは、緯度、経度、高度、方位などのデータにより特定される多数の飛行ポイントを設定しこれらデータを入力して構成される。

ＧＰＳ信号受信手段３３は、飛行中の機体の位置を特定する手段であり、ＧＰＳ衛星のＧＰＳ信号を受信して、飛行位置の緯度と経度のデータを現在位置情報として出力するものである。

測距センサ３４は、Ａ／Ｃヘリ１の機体前部に取り付けられており、機体から地上構造物までの距離を検出してＡ／Ｃヘリ１との距離を一定に保持して接触事故の発生を阻止するとともに、後述する撮影装置４の撮影対象である電線Ｗから機体までの距離を測定するためのものである。測距センサとしては、例えばステレオビジョンカメラを用いたものや、レーザによる距離測定手段などを利用することができる。

ルート誘導カメラ３５は、Ａ／Ｃヘリ１の機体前部に取り付けられており、機体前方を撮影し、その映像信号を飛行中の機体前方情報として出力するものである。
また、高度センサ３６は飛行中の機体の高度、方位センサ３７は機体の進行方位をそれぞれ検出し、信号出力するものである。

通信手段３８は、Ａ／Ｃヘリ１が接地しているときは有線又は無線で、飛行中は無線により、地上局２のコンピュータ２１、２２との間で自律飛行制御に用いる各種データの送受信を行えるようになっており、また、ルート誘導カメラ３５で撮影した映像信号をＡ／Ｃヘリ１から地上局２へと送信し、地上局２に設置されたモニタに表示出力することができるようになっている。

自律制御手段３２は、ピッチ、ラダー及びヨーの各軸廻りの機体の変動を検出し、変動を吸収するようにロータを駆動して飛行姿勢を安定させるジャイロ装置を内蔵し、前記飛行計画情報に基づいて制御手段３９より出力されるデータから自律飛行に要するロータの回転数、回転面の角度などを算出し、ロータ駆動手段３２ａに駆動信号を出力して、Ａ／Ｃヘリ１を安定的に自律飛行させるようになっている。また、ＧＰＳ信号受信手段３３より得られる飛行中の位置情報と測距センサ３４より得られる地上構造物との距離情報、高度センサ３６から得られる高度情報、及び方位センサ３７から得られる方位情報の各情報が自律制御手段３２に入力され、前記飛行計画情報で設定された飛行ルートに沿って飛行するようにロータ駆動手段３２ａに駆動信号を出力し、機体を制御するようになっている。自律制御装置３によって制御されるＡ／Ｃヘリ１は、地上構造物に接触することなく設定された飛行ルートに沿って、また、所定の位置で旋回し或いはホバリングしながら飛行するようになっている。また、飛行計画情報に飛行目標となる地上構造物の映像データが含まれる場合、ルート誘導カメラ３５から得られる映像信号から、飛行目標である地上構造物を自動で探査し、当該飛行目標に向けてＡ／Ｃヘリ１を飛行させることができるようになっている。

図３に示されるように、撮影装置４は、撮影条件情報が記録される記録手段４１、カメラ４２、カメラ４２の出力信号を変換する入力インターフェイス４３、カメラ４２のズーム倍率と撮影開始及び終了などの作動を制御するカメラ作動制御手段４４、カメラ４２を所定の方向に向けて機体に支持するアングル制御手段４５、通信手段４６及びこれら各部を制御する制御手段４７を備え、記録手段４１に記録された撮影条件情報に基づいて、アングル制御手段４５でカメラ４２の方向を変えながら撮影対象である電線Ｗを撮影し、Ａ／Ｃヘリ１が飛行中に、電線Ｗの連続した映像データを記録手段４１に記録することができるように構成してある。また、制御手段４７には、自律制御装置３のＧＰＳ信号受信手段３３、測距センサ３４、高度センサ３６及び方位センサ３７の各検出手段から各々出力される、飛行位置、距離、高度及び方位の各情報が入力され、これら情報に基づいてデータ処理と各部の制御がなされるようになっている。

詳しくは、撮影条件情報は、撮影対象である電線Ｗの位置を特定する情報、すなわち電線Ｗが架設されている地点の緯度と経度、高度、電線の大きさ、撮影時の機体との距離などに関するデータと、撮影する際のカメラのズーム倍率、カメラの向き、撮影開始地点及び終了地点などのカメラの作動条件に関するデータと、当該作動条件に沿って撮影がされるようにカメラを操作するプログラムと、カメラから取り込んだ映像データを処理するプログラムと、プログラムの実行に必要な各種パラメータなどにより構成されている。撮影条件情報は、前記地上局２のコンピュータ２２において設定入力され、飛行前に通信手段４６を介して撮影装置４に接続したコンピュータ２２から同装置に転送されて記録手段４１に記録される。記録手段４１に記録された処理プログラムを制御手段４７で実行することにより、後述する実距離測定手段４１０、ズーム倍率算出手段４１１、ズーム倍率更新手段４１２、対象物特定手段４１３、方向制御手段４１４、対象物判定手段４１５、基準方向更新手段４１６、映像切取手段４１７、誤動作回避手段４１８及びシステム遮断手段４１９の各データ処理手段が構成される。

カメラ４２は、ディジタルスチールカメラからなり、アングル制御手段４５によりＡ／Ｃヘリ１の機体前部に支持されている。カメラ４２から出力される映像信号は、入力インターフェイス４３に入力されてレベル調整がされた後、制御手段４７に映像データとして出力される。スチールカメラに代えてデジタルビデオカメラを利用してもよい。

カメラ作動制御手段４４は、カメラ４２に一体に取り付けられ、制御手段４７から制御信号を受けて、カメラ４２のズーム倍率を変換し、また、カメラ４２のシャッターのオン・オフを制御するものである。

アングル制御手段４５は、Ａ／Ｃヘリ１の機体前方底部に設置されており、カメラ４２を支持する部分は鉛直軸廻りに回転するモータと垂直軸廻りに回転するモータとを組み合わせて両軸の廻りで回転し得るように形成されており、支持したカメラ４２を適宜な方向に且つ適宜な速度で回転させて所望の方向に向けることができるように構成してある。また、アングル制御手段４５は、Ａ／Ｃヘリ１が接地しているときにカメラ４２を機体前方に向けて水平に支持した状態を初期位置とし、カメラ４２の向きを変えたときに、前記初期位置からの鉛直、垂直両軸廻りの変位角度を検出し、信号出力するようになっている。なお、アングル制御手段４５は、地上局２に設置される後述の制御装置２３により遠隔制御可能となっている。

通信手段４６は、Ａ／Ｃヘリ１が接地しているときは有線又は無線で、飛行中は無線により、地上局２のコンピュータ２２との間で画像処理に用いる各種データの送受信を行えるようになっている。通信手段４６は、また、地上局２に設置される制御装置２３とモニタ２４との間でデータの送受信が可能となっており（図４参照）、制御装置２３から制御信号を受信してアングル制御手段４４を遠隔制御し、カメラ４２で撮影した映像信号を送信してモニタ２４に表示出力することができるようになっている。

実距離測定手段４１０は、Ａ／Ｃヘリ１が撮影開始地点に到達したときに、制御手段４７で前述の測距センサ３４を制御して、撮影対象である電線Ｗと機体との距離を測定する手段である。電線Ｗまでの距離の測定は、地上局２の制御装置２３でアングル制御手段４５を遠隔制御しながらＡ／Ｃヘリ１のカメラ４２で撮影される映像をモニタ２４に表示出力させ、カメラ４２が電線Ｗの映像を捉えたならば、制御装置２３から測距信号を送信し、測距センサ３５を作動させて行うようになっている。測定された実距離は記録手段４１に記録される。

ズーム倍率算出手段４１１は、測定された電線Ｗまでの実距離と、前記撮影条件情報に設定された電線Ｗまでの距離との差から、カメラ４２のフレーム内に電線Ｗの拡大映像を捕捉することのできる最適なズーム倍率を算出する手段である。例えば、前記飛行計画情報の飛行ルート通りにＡ／Ｃヘリ１が飛行して撮影開始地点に到達し、予め入力された撮影条件情報には当該地点から電線Ｗまでの距離がＸｍであるためズーム倍率を２倍に設定していた場合に、電線Ｗまでの実距離を測定したところ、ＧＰＳ受信信号の誤差などのために、（Ｘｍ＋２ｍ）のずれがあったときは、設定された値よりも離れた距離から撮影することとなるため、ズーム倍率を拡大、例えば２．５倍にする算出処理がなされる。算出の基準は、例えば太さ３ｃｍ程度の電線Ｗの撮像が、カメラ４２のフレームの上下幅内に略１／４の表示面積を占める大きさとなるようにする、というように設定することができる。撮影開始地点が、予め設定入力された撮影地点よりも電線Ｗに近いときは、ズーム倍率は縮小した値が算出される。

ズーム倍率更新手段４１２は、前記記録手段４１に記録された撮影条件情報内のズーム倍率データを、前記算出されたズーム倍率に置き換え、更新する手段であり、以降、撮影は更新されたズーム倍率で行われる。

対象物特定手段４１３は、カメラ４２から出力される映像信号から撮影対象である電線Ｗを特定し、その映像信号を映像データとして記録する処理を行うものである。電線Ｗの特定は、実距離の測定に伴って、地上局２の制御装置２３でアングル制御手段４５を遠隔制御しながらカメラ４２が電線Ｗの映像を捉えて制御装置２３から測距信号が送信された時に、カメラ４２から出力される電線Ｗの映像信号を記録手段４１に映像データとして記録するようになっている。
本形態では、電線Ｗを撮影対象としており、図１に示したような電線Ｗがモニタ２４の中心を通ってモニタ内を水平に横切る映像が捉えられた時の映像を対象物として特定している。なお、例えば同一の対象物を撮影する２回目以降の空撮では、最初の空撮で特定した対象物の映像データを記録手段４１に記録しておき、この映像データを追尾撮影の基準として、カメラ４２の映像信号から撮影対象物を特定する処理を省いてもよい。

方向制御手段４１４は、アングル制御手段４５に制御信号を出力してカメラ４２の向きを変位させる処理を行うものである。具体的には、対象物特定手段４１３により対象物が特定され、その映像データが記録された時のカメラの向きの情報、すなわち前述した初期位置からのカメラ４２の変位角度データをアングル制御手段４５から取り込んで記録し、この変位角度データを基準として所定の範囲に亘ってカメラの向きが変位するようにアングル制御手段４５に制御信号を出力するようになっている。
本形態では、電線Ｗの映像データを記録するため、電線Ｗの架設方向と平行にＡ／Ｃヘリ１を飛行させ、カメラ４２を鉛直縦方向に沿って上下に向きが変わるように制御信号を出力するようになっている。カメラ４２を変位させる範囲は、例えばカメラ４２の撮像領域の中心を通って撮像領域を横切る電線Ｗを撮影対象物として特定した場合に、電線Ｗの上下両側に１ｍづつカメラ４２の撮影領域の中心がずれ、電線Ｗを中心に縦に計２ｍの範囲でカメラ４２が撮影角度を変えながら撮影するように設定することができる。カメラ４２を変位させる方向とその範囲の設定は、飛行前に地上局２のコンピュータ２２から入力される撮影条件情報に含められる。なお、飛行中に地上局２の制御装置２３から制御データを受信して、カメラ４２の撮影範囲や方向を設定してもよい。

対象物判定手段４１５は、方向を変えながら撮影を続けるカメラ４２の出力信号を映像データとして取り込み、このデータ中に前記対象物特定手段４１３により特定された対象物が含まれているか否かを判定する処理を行うものである。判定処理は、例えば取り込んだ映像信号を適宜なしきい値で二値化画像データに変換し、その濃淡の差から対象物が含まれていることを特定したり、画像データに含まれる対象物の特徴的な形状とその座標の比較から対象物の画像であることを特定したりするなど、適宜な処理手法により行うことができる。対象物である電線Ｗの映像が含まれていると判定したときは、映像切取手段４１６により、取り込んだ撮影信号が映像データとして記録手段４１に記録される。

基準方向更新手段４１６は、対象物判定手段４１５により、画像データに対象物が含まれていると判定された場合に、その映像信号が取り込まれた時のカメラの向きの情報をアングル制御手段４５から取り込み、方向制御手段４１４の変位角度データを、取り込んだ情報に更新する処理を行うものである。以降、方向制御手段４１４は、基準方向更新手段４１６によって更新された変位角度データを基準としてカメラ４２の方向を制御する。

映像切取手段４１７は、カメラ４２の撮影領域である１フレームの映像信号の内、撮影対象物を含む映像データのみを切り出し、記録手段４１に記録する処理を行うものである。具体的には、対象物判定手段４１２で撮影対象物である電線Ｗが含まれていると判定された映像データの中から、カメラ４２の撮影領域を横切る電線Ｗの映像を特定し、１フレームの画像データの中で、電線Ｗの映像データが含まれない上下縁部のデータは切除し、電線Ｗの映像が含まれるために横長となる画像データに加工して記録手段４１に記録するようになっている。
記録される画像データ中には、ＧＰＳ信号受信手段３３、測距センサ３４、高度センサ３７から出力される、緯度及び経度からなる飛行位置情報、距離情報、高度情報の各情報も取り込まれ、撮影した飛行位置の履歴が画像データと一体に記録されるようになっている。

誤動作回避手段４１８は、Ａ／Ｃヘリ１を飛行させながら電線Ｗをカメラ４２で撮影している間、カメラ４２から出力される映像信号に電線Ｗを特定する映像がなく、つまり追尾撮影に失敗した場合に、有効なデータ収集ができなくなることから、撮影装置４による画像処理を中止し、カメラ４２が初期位置に戻るようにアングル制御手段４５を制御するものである。方向制御手段４１４からアングル制御手段４５に制御信号が出力されているのに関わらず、アングル制御手段４５が作動しない場合にも画像処理を中止し、誤動作回避手段４１８はカメラ４２が初期位置に戻るように制御信号を出力する。さらに、飛行中のノイズや信号系統の接点不良などにより通信手段３８、４６の動作が停止した場合にも、撮影装置４による画像処理を中止し、カメラ４２を初期位置に移動させるようになっている。

システム遮断手段４１９は、Ａ／Ｃヘリ１が飛行中又は接地状態で、何らかの原因でＡ／Ｃヘリ１の主電源が落ちたときに、撮影装置４の記録手段４１と制御手段４７のデータ処理部が損害を受けないように、前記主電源のスイッチ部に設けた検出手段（図示せず）からの電源断検知信号をトリガとして撮影装置４の動作を停止するものである。

次に、このような自律制御装置３と撮影装置４を搭載したＡ／Ｃヘリ１で、撮影対象である電線Ｗの映像を追尾しながら記録する処理工程を説明する。

図４は、高架電線Ｗの映像を記録するＡ／Ｃヘリ１の飛行ルートを示している。出発地点である地上局２を離陸したＡ／Ｃヘリ１は、鉄塔Ａ上方の（ａ）ポイントまで飛行し、このポントで一旦ホバリングし、待機状態となる。

ここで、Ａ／Ｃヘリ１と電線Ｗの距離の測定と基準の映像の取り込みが行われる。すなわち、地上局２の制御装置２３で撮影装置４のアングル制御手段４５を遠隔操作してカメラ４２の撮影方向を操作し、撮影装置４から送信される映像信号（図中矢符イ）により、カメラ４２が電線Ｗの映像を捉えたことがモニタ２４で確認されたならば、制御装置２３から撮影装置４に測距信号を出力する（矢符ロ）。

撮影装置４が測距信号を受信したならば、撮影装置４は機体から電線Ｗまでの距離の測定、適正なズーム倍率の算出、ズーム倍率の更新、及び基準となる電線Ｗの映像の取り込み処理を行ない、同時に同装置から自律制御装置３に撮影飛行開始信号を送信する。これを受けて自律制御装置３は、前記（ａ）ポイントから鉄塔Ｂ上方の（ｂ）ポイントまで電線Ｗに沿って平行に飛行し、この間、撮影装置４は電線Ｗがカメラ４２の撮影領域の中心に位置するように電線Ｗを追尾しながら、電線Ｗの画像データを連続的に記録する。

ＧＰＳ信号受信手段３３、測距センサ３４、高度センサ３６から出力される飛行位置情報により、Ａ／Ｃヘリ１が（ｂ）ポイントに到達したことが自律制御装置３において確認されたならば、Ａ／Ｃヘリ１は（ｂ）ポイントで一旦ホバリングする飛行に切り換わり、同時に自律制御装置３から撮影装置４に画像処理停止信号を出力し、撮影装置４は画像データの記録処理を中止し、カメラ４２を初期位置に戻す。（ｂ）ポイント近辺にＡ／Ｃヘリ１が到達した時に、撮影装置４の追尾撮影が停止するように設定しておいてもよい。

その後、Ａ／Ｃヘリ１は、（ｂ）ポイントから出発地点である地上局２まで自律飛行し、地上局２に自動で着陸する。以上のＡ／Ｃヘリ１の飛行動作は、地上局２においてコンピュータ２１から自律制御装置３の記録手段３１に入力される飛行計画情報に基づき、自動で行われる。

（ａ）ポイントから（ｂ）ポイントまでの電線Ｗの映像データの取り込みと記録は、撮影装置４により、以下のようにして行われる。

前述の通り、（ａ）ポイントにおいてＡ／Ｃヘリ１がホバリングしている状態で、地上局２の制御装置２３を遠隔操作してカメラ４２を電線Ｗを撮像する向きに設定し、撮影領域の中心に電線Ｗの映像が位置することがモニタ２４で確認されたところで制御装置２３から撮影装置４に測距信号が出力される。同信号を受けた撮影装置４は、実距離測定手段４１０で電線Ｗまでの実距離を測定し、ズーム倍率算出手段４１１により測定した距離に基づいて適正なズーム倍率を算出し、ズーム倍率更新手段４１２により算出したズーム倍率に撮影条件情報を更新する。これと同時に、対象物特定手段４１３により、カメラ４２から出力される映像信号を映像データとして記録手段４１に記録し、同時に方向制御手段４１４はアングル制御手段４５からカメラの向きの情報を取り込む。

そして、（ａ）ポイントから（ｂ）ポイントまでＡ／Ｃヘリ１が飛行する間、方向制御手段４１４によりアングル制御手段４５を制御し、カメラ４２を鉛直縦方向に沿って上下に首振りさせながら、電線Ｗを追尾しながらその映像データを取り込むように動作する。この方向制御手段４１４による首振り制御は、図５に示されるように、カメラ４２の撮影領域Ｆ内で電線Ｗが領域Ｆの中心に位置するカメラ４２の向き（図ではＦc）を基準として、電線Ｗの上下所定範囲、例えば上下に１ｍ程度の間隔だけカメラ４２が首を振るようにして行われる。先に述べた通り、対象物判定手段４１５により、対象物である電線Ｗの映像データが取り込まれるときに、首振りの基準となるカメラの向きの情報が更新されるので、方向制御手段４１４による首振り制御は、常に電線Ｗを中心としてその周囲に向けて行われ、これにより撮影中に機体がぶれてカメラ４２の撮影方向がずれても、再び基準の向きで映像データを取り込み、電線Ｗに追尾した画像データが得られるようになっている。

対象物特定手段４１３により撮影対象である基準の電線Wの映像データと基準のカメラ向き情報とを記録した後、方向制御手段４１４で向きを変えながら撮影をするカメラ４２の映像出力信号中に、電線Wが含まれているか否かを対象物判定手段４１５により判定する。

判定は、例えば図６に示されるような映像データの処理手順により行うことができる。すなわち、先ず、図中、Ｓ１で入力インターフェイス４３を介して制御手段４７に入力されるカメラ４２の映像信号を補正する。

次いでＳ２でカメラの個体差や撮影時の天候差による画像の品質を吸収するためのフィルター処理がなされ、Ｓ３で垂直方向のエッジ検出処理がなされ、カメラ４２を横切る向きで撮影された電線Ｗの輪郭が強調される。

Ｓ４でエッジ検出処理がされた映像データをハフ変換し、Ｓ５で撮影領域中に水平方向に横切る直線があるか否かを判定する。横切る直線がなければ次の映像データが取り込んで処理し、横切る直線があれば電線Ｗの映像データであると判断し、Ｓ６でその直線の映像データの有る画素のＹ座標を検出する。

一方、電線Ｗの映像の有無を判定している間、Ｓ１で補正がされた映像信号はＳ７で遅延処理がなされ、この遅延処理がされた映像データを、Ｓ８で前記検出したＹ座標に基づき、電線Ｗの映像のみの切り出し処理が行われ、Ｓ９で切り出された電線Ｗの横長のデータ列を記録手段４１に記録する。

図７は、カメラ４２を電線Ｗの廻りで上方から下方に首振りしてＦ１〜Ｆ１２の映像データを取り込む場合に、前記手順によって処理される電線Ｗの映像データを記録する様子を示している。
図示されるように、カメラ４２を首振りして撮影すると、Ｆ４〜Ｆ９で電線Ｗの映像が撮影される。この内、前記処理のＳ５によって、Ｆ６とＦ７の映像データ中に、撮影領域を横切る電線Ｗの映像が含まれていると判断される。このように、１回の首振り操作で複数のフレームの映像データに電線Ｗの映像が含まれる場合、撮影領域の中心に電線Ｗが位置するＦ６の映像データを記録手段４１に記録するデータとして選択する。そして、Ｆ６の映像データ中、図中に斜線で示された、電線Ｗの映像を含まない上下縁部のデータが切り落とされ、電線Ｗの映像データのみを含む横長のデータ列が記録手段４１に記録されることとなる。なお、記録手段４１に記録される映像データには、ＧＰＳ信号受信手段３３などから出力される、Ａ／Ｃヘリ１の飛行位置の緯度、経度、高度などのデータが組み込まれる。

対象物特定手段４１３によって電線Ｗを含む映像データを判定して記録するのと同時に、基準方向更新手段４１６により、方向制御手段４１４のカメラの向きの情報が更新され、以降、飛行を続けるＡ／Ｃヘリ１が、（ｂ）ポイントに到達するまで、随時更新される変位角度データを基準としてカメラ４２の向きを電線Ｗに追尾するように変えながら、映像データの判定、記録を繰り返し、電線Ｗの映像データを記録する。

Ａ／Ｃヘリ１が出発地点である地上局２に帰還したならば、撮影装置４の通信手段４６を介して記録手段４１に記録された映像データを地上局２のコンピュータ２２に送信し、コンピュータ２２においてさらなる映像データの解析処理が行われる。撮影装置４の記録手段４１を着脱自在に設け、記録手段４１を直接コンピュータ２２に接続して、映像データを処理するようにしてもよい。また、記録手段４１にメモリカードなどの可搬性のあるデータ記録媒体を設け、映像データをデータ記録媒体に記録しておき、Ａ／Ｃヘリ１が着陸した後、データ記録媒体のみを取り外し、記録データをコンピュータ２２に読み取らせるようにしてもよい。

なお、図示した形態では、自律制御機能を有するＡ／Ｃヘリに撮影装置を搭載した実施例を示したが、本発明は、同様な撮影装置を遠隔制御により飛行するＲ／Ｃヘリに搭載し、空撮する場合にも適用されるものである。
自律制御装置と撮影装置は別体に設けたが、一体に構成することもできる。撮影対象に応じて、カメラを左右方向、或いは任意の方向に首振りさせ、撮影の向きを連続的又は断続的に変えながら映像データを取り込むことは適宜行われる。
また、撮影装置を構成する処理手段の構成、機能は例示であり、他の適宜な構成、機能のものでも、他の処理手段と組み合わせたものでもよい。

本発明の空撮装置で空撮するシステムの構成例を示した図である。自律制御装置の構成の一例を示した図である。本発明の撮影装置の構成の一例を示した図である。図１のシステムで高架電線の映像を記録するＡ／Ｃヘリの飛行ルートを示した図である。図４のルートで飛行中に電線の映像データを記録するためにカメラを操作する様子を示した図である。電線の映像データを記録するための判定処理手順を示した図である。カメラを電線の廻りで首振りして映像データを記録する様子を示した図である。従来の空撮装置の一例の構成を示した図である。

符号の説明

１Ａ／Ｃヘリ、２地上局、２１、２２コンピュータ、２３制御装置、２４モニタ、３自律制御装置、４撮影装置、４２カメラ、Ｗ電線、Ｆ撮影領域

Claims

無人飛行体にカメラとカメラから出力される映像データを記録する手段を装備して空撮を行う方法において、
飛行中に機体と撮影対象物との距離を測定し、その結果からカメラのズーム倍率を決定して撮影対象物を撮影することを特徴とする無人飛行体を利用した空撮方法。
飛行中、撮影対象物の方向に向けたカメラを上下又は左右に所定の角度で向きを変位させながら撮影対象物の映像データを取り込むことを特徴とする請求項１に記載の無人飛行体を利用した空撮方法。
請求項１又は２に記載の方法を実施するための空撮装置であって、
予め設定された所定のルートで無人飛行体を飛行せしめる自律飛行制御装置と、ＧＰＳ信号から飛行中の位置を特定する飛行位置特定手段と、機体と撮影対象物との距離を測定する測距手段と、カメラのアングル、ズーム倍率、撮影開始及び終了などを制御するカメラ制御手段と、撮影の開始位置、カメラのアングル、撮影開始位置から撮影対象物までの距離、カメラのズーム倍率、撮影終了位置などの撮影条件情報を記録した手段と、撮影開始位置で測距手段を制御して機体と撮影対象物との距離を測定する実距離測定手段と、測定された撮影対象物までの実距離と撮影条件情報に記録された撮影対象物までの距離との差からカメラフレーム内で被写体が所定の大きさとなるようにカメラのズーム倍率を算出し、算出したズーム倍率に前記撮影条件を更新する手段と、前記撮影条件情報に基づき前記各手段を制御する撮影処理制御手段とを機体に備えたことを特徴とする無人飛行体を利用した空撮装置。
撮影対象物の映像データを記録する手段と、当該記録された映像データと撮影中にカメラから出力される映像データとを照合して映像データ中に撮影対象物が含まれているか否かを判定する手段とを備え、撮影対象物が含まれる映像データのみを記録手段に記録するように構成された請求項３に記載の無人飛行体を利用した空撮装置。