JP2017015704A - ドローンに搭載されて土地をマッピングするように適合されたカメラユニット、およびカメラユニットによる画像撮像管理方法 - Google Patents

ドローンに搭載されて土地をマッピングするように適合されたカメラユニット、およびカメラユニットによる画像撮像管理方法 Download PDF

Info

Publication number
JP2017015704A
JP2017015704A JP2016127373A JP2016127373A JP2017015704A JP 2017015704 A JP2017015704 A JP 2017015704A JP 2016127373 A JP2016127373 A JP 2016127373A JP 2016127373 A JP2016127373 A JP 2016127373A JP 2017015704 A JP2017015704 A JP 2017015704A
Authority
JP
Japan
Prior art keywords
camera
land
image
camera unit
drone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016127373A
Other languages
English (en)
Inventor
オン スロン エン
Hong Sron Eng
オン スロン エン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Parrot Drones SAS
Original Assignee
Parrot Drones SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Parrot Drones SAS filed Critical Parrot Drones SAS
Publication of JP2017015704A publication Critical patent/JP2017015704A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C7/00Tracing profiles
    • G01C7/02Tracing profiles of land surfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04Interpretation of pictures
    • G01C11/06Interpretation of pictures by comparison of two or more pictures of the same area
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05Geographic models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/698Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/32UAVs specially adapted for particular uses or applications for imaging, photography or videography for cartography or topography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Alarm Systems (AREA)

Abstract

【課題】ドローンにより上空を飛行される土地の一部分の連続的な画像を撮像するように適合されたカメラを含むカメラユニットを提供する。【解決手段】ドローン10に搭載されて土地16をマッピングするように適合されたカメラユニット14であって、カメラユニット14は、撮像された画像を記憶する手段と、カメラを通して見える上空を飛行される土地部分についての情報を、少なくとも直前に撮像された画像についての少なくとも1つの情報と比較して、上空を飛行される土地部分の、少なくとも直前に撮像された画像との重複率を決定する手段と、上空を飛行される土地部分の重複率があらかじめ定められた重複率以下である場合に直ちに、画像の撮像を実行するコマンドをカメラに送信する手段とを含む。【選択図】図1

Description

本発明は、土地をマッピングするドローンに関するが、さらに詳細には、ドローンに搭載されるように適合されたカメラユニットに関する。
フランスのパリに本社を置くParrot社製のAR.Drone2.0またはBebop Drone、あるいはスイスのSenseFly社製のeBeeは、ドローンの代表例である。これらは、一連のセンサ(加速度計、3軸ジャイロメータ、高度計)、および少なくとも1つのカメラを備える。このカメラは、例えば、上空を飛行される土地の画像を撮像する垂直視カメラである。これらのドローンは、モータ、またはドローンの高度および速度を操縦するように差動的に制御されるように適合されたそれぞれ対応するモータによって駆動されるいくつかのロータを備える。
本発明は、さらに詳細には、土地、特に農耕地をマッピングするための、ドローンに搭載されるように適合されたカメラユニットに関する。
これらのカメラユニットは、例えば、光合成の状態についての情報を取得するために農作物の反射率、すなわち葉によって反射される光の量を測定するために、マルチスペクトル光センサを備える。
土地をマッピングするために、これらのドローンは、その土地を突っ切って飛行し、連続した画像撮像を実行する。
画像の撮像が実行されたら、これらの画像を処理して、飛行した領域の2Dまたは3Dのマップを作成し、特に、観測した農作物の特徴を取得する。
これらのドローンは、マッピング対象の土地の上空を飛行中に、制御デバイスによって、またはドローンが自律飛行する軌道をロードすることによって、制御される。
土地のマッピングは、ドローンに備え付けられたカメラを連続的にトリガすることによって実行される。
こうした連続的な撮像を実行するために、ドローンとカメラとの間に特定の通信を確立して、ドローンが、カメラをトリガする連続したタイミングと、画像の撮像を実行する連続的なタイミングとを決定するようにすることは既知である。
この解決策には、ドローンの製造業者によって課されるカメラとドローンとの間の通信のプロトコルに依存しなければならない、という欠点がある。現時点では、通信規格は規定されていないので、カメラは、それぞれのドローン製造業者ごとに個別に開発されている。
別の既知の解決策は、ドローンの飛行中に、一定の時間間隔で、特に「X」秒ごとに、上空を飛行される土地の画像の撮像を実行することである。上空を飛行される土地の完全なマップを作成するようにするためには、大量の画像を撮像しなければならない。
特に、米国特許第2013/135440号から、あらかじめ定められた時間間隔で画像を撮像するカメラなどの画像撮像デバイスが既知である。
この解決策には、したがって、相当量の画像を記憶して処理する必要があるという欠点がある。さらに、このマッピングのために必要とされる以上の画像が生成され、このことも、大きな記憶容量が必要となり、上空を飛行される領域のマップを構築するための処理動作が重くなるという欠点につながる。
本発明の目的は、実行される画像取得回数を最小限に抑えながらマッピング対象の土地の十分なマッピングを許容する解決策を提案することによって、これらの欠点を解消することである。
この目的のために、本発明は、ドローンに搭載されて土地をマッピングするカメラユニットであって、ドローンにより上空を飛行される土地の一部分の連続的な画像を撮像するように適合されたカメラを含むカメラユニットを提案する。
特徴的には、このカメラユニットは、撮像された画像を記憶する手段と、前記カメラを通して見える上空を飛行される土地部分についての情報を、少なくとも直前に撮像された画像についての少なくとも1つの情報と比較して、上空を飛行される土地部分の、少なくとも前記直前に撮像された画像との重複率を決定する手段と、上空を飛行される土地部分の重複率があらかじめ定められた重複率以下である場合に直ちに、画像の撮像を実行するようにカメラにコマンドを送信する手段と、を含むようになっている。
特定の実施形態によれば、カメラは、下向きの垂直視カメラである。
特定の実施形態では、比較手段は、土地部分についての少なくとも1つの撮像状況情報との比較を行う。
特に、カメラユニットは、上空を飛行される土地部分についての少なくとも1つの撮像状況情報を生成する手段を含み、記憶手段は、前記撮像された画像と関連付けられた状況情報を記憶するように適合され、比較手段は、状況情報を生成する手段によって生成される上空を飛行される土地部分についての少なくとも1つの状況情報を、少なくとも直前に撮像された画像についての少なくとも1つの記憶された状況情報と比較して、上空を飛行される土地部分の、少なくとも直前に撮像された画像との重複率を決定するように適合される。
一実施形態によれば、比較手段は、ジオロケーション情報、および/またはカメラユニットの変位速度、および/またはカメラの画角、および/またはカメラの向き、および/またはカメラと地面との間の距離との比較を行う。
特定の実施形態によれば、カメラユニットは、前記カメラユニットの高度を推定するデバイスと、ドローンの離陸前に、前記高度推定デバイスによって決定されたカメラと地面との間の初期距離を記憶する手段と、をさらに含み、カメラと上空を飛行される土地部分の地面との間の距離は、土地部分の上空の飛行中に、初期距離と前記カメラユニットの高度推定デバイスによって決定される距離との間の差によって決定される。
特定の実施形態によれば、カメラユニットは、1つの画像からその次の画像までの撮像された土地部分の変位の速度の解析から導出される水平速度信号を生成するように適合された、カメラの画像を解析するデバイスをさらに含み、カメラと地面との間の距離は、さらに前記水平速度信号によっても決まる。
特定の実施形態によれば、コマンドを送信する手段は、重複率が85%以下であり、優先的には50%以下である場合に直ちに、カメラへのコマンドの送信を行う。
本発明は、上述の実施形態のいずれか1つによるカメラユニットを含む、土地をマッピングするドローンも提案する。
別の態様によれば、本発明は、ドローンに搭載されて土地をマッピングするように適合されたカメラユニットによる画像撮像管理方法であって、カメラユニットが、ドローンにより上空を飛行される土地の一部分の連続的な画像を撮像するように適合されたカメラを含む、方法を提案する。
特徴的には、この方法は、前記カメラを通して見える上空を飛行される土地部分についての情報を、少なくとも直前に撮像された画像についての少なくとも1つの情報と比較して、上空を飛行される土地部分の、少なくとも前記直前に撮像された画像との重複率を決定するステップと、上空を飛行される土地部分の重複率があらかじめ定められた重複率以下である場合に直ちに、画像の撮像を実行するコマンドをカメラに送信するステップとを含む。
特定の実施形態によれば、前記情報は、土地部分についての少なくとも1つの撮像状況情報に対応する。
別の実施形態によれば、この方法は、上空を飛行される土地部分についての少なくとも1つの撮像状況情報を生成するステップをさらに含み、比較ステップは、上空を飛行される土地部分についての前記少なくとも1つの状況情報を、少なくとも直前に撮像された画像についての少なくとも1つの記憶された状況情報と比較して、上空を飛行される土地部分の、少なくとも前記直前に撮像された画像との重複率を決定する。
この方法は、撮像された画像と、上空を飛行される土地部分についての少なくとも1つの状況情報を生成するステップ中に生成されるその状況情報とを記憶するステップをさらに含むので有利である。
一実施形態によれば、状況情報は、ジオロケーション情報、および/またはカメラユニットの変位速度、および/またはカメラの画角、および/またはカメラの向き、および/またはカメラと地面との間の距離を含む。
この実施形態によれば、この方法は、ドローンの離陸前に、前記カメラユニットの高度を推定することによって、カメラと地面との間の初期距離を記憶するステップと、ドローンの飛行中に、カメラと上空を飛行される土地部分の地面との間の距離を、初期距離と前記カメラユニットの高度の推定距離との間の差によって決定する少なくとも1つのステップとをさらに含む。
代替の実施形態によれば、この方法は、カメラの画像を解析して、1つの画像からその次の画像までの撮像された土地部分の変位の解析から導出される水平速度信号を生成するステップと、カメラと地面との間の距離を前記水平速度信号に応じて決定するステップとをさらに含む。
この方法の特定の実施形態によれば、あらかじめ定められた重複率は、85%以下であり、優先的には50%以下である。
以下、添付の図面を参照して、本発明の例示的な実施形態について説明する。
図1は、ドローン、およびマッピング対象の土地を示す図である。 図2は、本発明によるドローンが土地をマッピングするために飛行しなければならない軌道の例と、撮像された連続的な画像および次に撮像される画像の例を示す図である。 図3は、例えばドローンに搭載された、本発明によるカメラユニットの構造を示す図である。 図4は、高低差の大きな土地の上の経路を示す図である。 図5aは、撮像された画像N−1を示す図である。 図5bは、撮像された画像Nを示す図である。 図5cは、画像N−1とNを重ね合わせた画像を示す図である。 図6は、画像の状況を決定することを許容する様々なパラメータを示す図である。 図7は、本発明によるカメラユニットによる画像撮像管理方法を示す図である。
以下、本発明の例示的な実施形態について説明する。
図1において、参照符10は、ドローンの全体を示している。図1に示す例によれば、これは、スイスのSenseFly社製のeBeeモデルなどのセイルウィングである。このドローンは、モータ12を含む。
別の例示的な実施形態によれば、ドローンは、フランスのパリに本社を置くParrot社製のBebop Droneモデルなどのクアドリコプタである。このドローンは、一体型ナビゲーションおよび姿勢制御システムによって独立して操縦されるモータを有する4つの同一平面ロータを含む。
ドローン10は、ドローンがその上空を飛行するマッピング対象の土地16の画像のセットを取得することを許容する搭載カメラユニット14を備える。
本発明によれば、カメラユニット14は自律型であり、具体的には、ドローンから独立して動作するようになされている。換言すれば、カメラユニットは、ドローンに一体化されたセンサからの情報を使用しない。このようにして、ドローンとカメラユニットとの間に通信手段は設けられないことになり、その結果、このカメラユニットは、いかなるドローンにも設置されるようになる。
そのために、ドローン10は、カメラユニット14を受けるための空洞部を含む。
本発明によれば、カメラユニット14は、ドローンにより上空を飛行される土地16の一部分の連続的な画像を撮像するように適合された、例えば、1920×1080ピクセルの解像度のCMOS技術による12Mpixel以上(20または40Mpixel)の解像度を有する高精細度広角カメラなどのカメラ18を含む。これらの画像は、例えば、スペクトルの全ての色のRGB画像(赤、緑、青)である。
搭載カメラユニット14のカメラから見ることができる上空を飛行される土地の一部を、「土地部分」と呼ぶ。
特定の実施形態によれば、カメラユニット14は、下向きの垂直視カメラである。
カメラユニット14は、さらに、地面に対するドローンの速度を評価するために使用することもできる。
例示的な実施形態によれば、カメラユニット14を搭載するように適合されたドローンは、ドローンの角速度と、固定地上参照系UVWの水平面に対するドローンの傾きを記述する姿勢角すなわちオイラー角(ピッチφ、ロールθ、およびヨーψ)とを特定の精度で測定する慣性センサ44(加速度計およびジャイロメータ)を備える。これは、水平速度の2つの成分すなわち長手方向成分と横方向成分が、それぞれ2本の軸すなわちピッチ軸およびロール軸の方向の傾きと密接に関係しているという理解によるものである。
特定の実施形態によれば、カメラユニット14も、上記で説明した慣性センサを少なくとも1つ備える。
特定の実施形態によれば、ドローン10は、例えばiPhoneタイプ(登録商標)などのスマートフォン、またはiPadタイプ(登録商標)などのタブレットのような、加速度計が一体化されたタッチスクリーン型マルチメディア電話またはタブレットなどの遠隔制御装置によって操縦される。これは、標準的な装置であり、ドローン10の操縦を制御するための特定のアプリケーションソフトウェアをロードすることを除けば改変されていないものである。この実施形態によれば、ユーザは、この遠隔制御装置によって、ドローン10の変位を実時間で制御する。
別の実施形態によれば、ユーザは、遠隔制御デバイスによって辿る経路を定義し、次いで、ドローンがこの経路を辿るように、この経路情報をドローンに送信する。
遠隔制御装置は、Wi−Fi(IEEE802.11)またはBluetooth(登録商標)のローカルネットワークタイプのワイヤレスリンクを介した双方向データ交換によってドローン10と通信する。
本発明によれば、マッピング対象の土地、特に農耕地の、可用性の高い極めて高品質な2Dまたは3Dマップを作成することができるようにするには、ドローンに搭載されたカメラユニットが撮像した連続的な画像は、それぞれの画像の間に、有意な重複領域がなければならない。換言すれば、土地のそれぞれの点が、複数の画像に含まれていなければならない。
図2は、ドローンが経路20を辿りながらその上を飛行するマッピング対象の土地16を示す図である。カメラユニット14によって撮像される連続した画像22も示してある。各画像は、有意な重複率で直前の画像と重複している。この重複率は、最低でも50%でなければならず、最低でも85%であることが好ましい。
重複率は、例えば、少なくとも2つの画像に共通するピクセルの数である。
図2中の点線内には、カメラユニット14によって次に撮像される画像24が示してあり、この画像は、ドローンの変位方向の直前の画像と別の撮像された画像との有意な重複率を有している。
そのために、図3に示すように、ドローン10は、本発明によるカメラユニット14を含む。
さらに、ドローンは、決定された経路に従う飛行コマンド40を受信する手段と、前記経路に従う飛行を制御する手段42とを含むことができる。
本発明によるカメラユニット14は、撮像された画像を記憶する手段32と、カメラ18を通して見ることができる上空を飛行される土地部分についての情報を少なくとも直前に撮像された画像についての少なくとも1つの情報と比較して、上空を飛行される土地部分の少なくとも前記直前に撮像された画像との重複率を決定する手段34と、上空を飛行される土地部分の重複率があらかじめ定められた重複率以下である場合に直ちに、画像の撮像を実行するようにカメラ18にコマンドを送信する手段36とをさらに含む。
したがって、本発明によれば、カメラユニット14は、上空を飛行される土地部分、例えばカメラユニット14のカメラ18によって取得される土地部分のビューに関する情報を、直前に撮像された画像、例えば直前に記憶された画像についての少なくとも1つの情報と比較する。
この比較により、少なくとも直前に撮像された画像と、カメラから見える上空を飛行される土地部分との間の重複領域のサイズを決定することができ、したがって、重複率を規定することができる。
上空を飛行される土地の一部分に関する情報は、例えば、その土地部分の低解像度画像または高解像度画像、あるいはその土地部分に関するその他の任意の情報である。
特に、この情報は、土地部分に関する少なくとも1つの撮像状況情報に対応することもある。
特定の実施形態によれば、カメラユニット14は、図3に示すように、土地部分についての少なくとも1つの撮像状況情報を生成する手段30をさらに含む。
さらに厳密には、一実施形態によれば、記憶手段32は、前記撮像された画像に関連する状況情報を記憶するように適合され、比較手段34は、状況情報を生成する手段30によって生成される上空を飛行される土地部分についての少なくとも1つの状況情報を、少なくとも直前に撮像された画像についての少なくとも1つの記憶した状況情報と比較して、上空を飛行される土地部分の、少なくとも直前に撮像された画像との重複率を決定するように適合される。
この情報によれば、画像の撮像回数を最小限に抑えながら土地のマップを高品質に構築することを許容するためには、あらかじめ定められた重複率は、最低でも85%であり、優先的には最低でも55%である。
少なくとも2つの連続した画像の間のこのような重複率は、マッピング対象の土地の同一点を撮像した複数の画像を有することを許容する。
撮像された各画像は、少なくとも1つの撮像状況情報と共に記憶手段32に記憶される。
カメラユニットの状況情報を生成する手段30は、例えば、
カメラユニット14に一体化されたジオロケーションシステムまたはGPSデバイスによって取得されるジオロケーション情報、および/または
カメラユニット14の変位速度、および/または
カメラの画角、および/または
カメラの向き、および/または
カメラと地面との間の距離h
などの状況情報を生成するように適合される。
状況情報を生成する手段30は、例えば、図3に示すように、カメラユニット14に一体化された1つまたは複数のセンサ46から発出される情報から状況情報を生成する。
別の実施形態によれば、状況情報を生成するこれらの手段30は、撮像された画像を介して決定された情報から、状況情報を生成する。
マッピングを行う間に使用され、記憶される状況情報は、マッピング対象の土地の構成に依存する可能性がある。
例えばマッピング対象の土地が比較的平坦である、すなわち高低差が小さい場合には、ジオロケーション情報を、1つの状況情報として使用することができる。
この例では、カメラユニット14の比較手段34は、撮像され記憶された少なくとも直前の画像のジオロケーション情報を、カメラユニット14に一体化されたジオロケーションシステムが生成するジオロケーション情報と比較する。この比較から、前記手段34は、直前に撮像された画像とカメラから見た土地部分との間の重複率を規定する。比較手段によって決定された上空を飛行される土地部分の重複率が、あらかじめ定められた重複率以下である場合には、コマンドを送信する手段36は、画像を撮像するようにカメラにコマンドを送信する。
この撮像された画像は、前記手段30によって生成されたその状況情報と共に記憶手段32に記憶される。
このような土地構成の状況情報は、カメラと地面との間の距離hに対応することもある。
別の例によれば、土地に高低差がある、特に大きな高低差があるときには、これらの画像についての状況情報は、撮像され記憶された少なくとも直前の画像と新たな上空を飛行される土地部分との間の現実の重複率を決定することができるように、複数のデータを含まなければならない。
図4は、高低差の大きな土地16を示す図である。上記で示したように、このような状況では、特に、現実の重複率があらかじめ定められた重複率以下であった場合に直ちに、次に撮像する画像を決定することができるように、画像の撮像中に複数の状況情報を記憶しなければならない。
このような状況では、状況情報は、特に、カメラユニット14の変位速度、カメラ14の画角、カメラ14の向き、およびカメラと地面との間の距離hを含まなければならない。
カメラ14の向きは、例えば、カメラユニット14に搭載されたジャイロメータ、加速度計、または磁力計といったセンサ46のうちの少なくとも1つから発出される情報から決定される。
カメラと地面との間の距離hは、実施される様々な方法によって決定することができ、ここで、使用する方法は、特に、マッピング対象の土地の構成に応じて決定することができる。
マッピング対象の土地が比較的平坦である、すなわちその土地の高低差が無視できるときには、カメラと地面との間の距離hを計算する方法は、ドローンの離陸前に実行される、初期距離とも呼ばれるこの距離hを決定する事前ステップを含む。
カメラと地面との間の初期距離hは、カメラユニット14の記憶手段に記憶される。この距離は、図3に示すように、カメラユニットに搭載されたカメラユニット14の高度を推定するデバイス38によって決定される。
デバイス38は、例えば、特にParrot社名義のEP2644240号に記載されているように、気圧センサおよび超音波センサの測定値に基づく高度推定システムを含む。
この方法は、次いで、カメラユニット14の高度推定デバイス38によって、記憶した初期距離と、現在のカメラ/地面距離とも呼ばれる、カメラと上空を飛行される土地部分の地面との間の決定した距離との間の差を取ることによって、カメラと上空を飛行される土地部分の地面との間の距離を決定するステップを含む。
ただし、マッピング対象の土地の起伏が有意であるときには、カメラと地面との間の距離を決定する第2の方法の方が好ましい。
この第2の方法は、カメラの画像を解析して、撮像された土地部分の1つの画像から次の画像までの間の変位の速度の解析から導出される水平速度信号を生成するステップを含む。この変位速度は、例えば、ピクセル単位で決定される。
この目的のために、カメラユニット14は、撮像された土地部分の1つの画像から次の画像までの間の変位の解析から導出される水平速度信号を生成するように適合された、カメラの画像を解析するデバイスをさらに含む。
図5aおよび図5bは、2つの連続した画像N−1およびNを示す図であり、図5cは、画像N−1とNを重ね合わせた画像を示す図である。
これら2つの画像から、図5cに矢印50で示すピクセルVpix分のカメラユニットの変位の速度を決定することができる。
図6は、カメラと地面との間の距離を決定するために使用される様々なパラメータを示す図である。
カメラと地面との間の距離hは、この場合、以下のように決定される。
ここで、wは、垂直カメラから見える土地部分の幅であり、FOVは、画角
であり、ここで、Wpixは、垂直視カメラのピクセル数である。あるいは、次のようになる。
したがって、カメラと地面との間の距離hは、次の数式によって決定されるものと推定される。
次に、本発明による、ドローン10に搭載されて土地16をマッピングするように適合されたカメラユニットによる画像撮像管理方法を、図7に示す。カメラユニット14は、ドローンにより上空を飛行される土地の一部分の連続した画像を撮像するように適合されたカメラ18を含む。
この土地16をマッピングするためのカメラユニット14による画像撮像管理方法は、具体的には、
カメラ18を通して見える上空を飛行される土地部分についての情報を、少なくとも直前に撮像された画像についての少なくとも1つの情報と比較して、上空を飛行される土地部分の、少なくとも前記直前に撮像された画像との重複率を決定するステップ72と、
上空を飛行される土地の重複率があらかじめ定められた重複率以下である場合に直ちに、画像の撮像を実行するようにカメラにコマンドを送信するステップ76と
を含む。
したがって、本発明によれば、この方法は、上空を飛行される土地部分に関する情報、例えばその土地部分のビューと、直前に撮像された画像、例えば直前に記憶された画像についての少なくとも1つの情報との比較を実行する。
上記で示したように、上空を飛行される土地部分に関する情報は、例えば、その土地部分の低解像度画像または高解像度画像、あるいはその土地部分に関するその他の任意の情報である。
特に、この情報は、土地部分についての少なくとも1つの撮像状況情報に対応することもある。
前記の方法の特定の実施形態によれば、この方法は、上空を飛行される土地部分についての少なくとも1つの状況情報を生成するステップ70を含む。このステップは、その土地の上空の飛行中のカメラユニット14の状況、例えば、カメラユニットのジオロケーション、および/またはカメラユニットの変位速度、および/またはカメラの画角、および/またはカメラの向き、および/またはカメラと地面との間の距離を識別することを許容する。
ステップ70の後には、特に少なくとも直前に撮像された画像を記憶する手段32によって、上空を飛行される土地部分についての少なくとも1つの状況情報を少なくとも1つの記憶された状況情報と比較して、上空を飛行される土地部分の、少なくとも直前に撮像された画像との重複率を決定するステップ72が続く。
このステップは、ドローン10により上空を飛行される土地部分の画像を、直前に撮像された画像と、またはその他の撮像された画像とも、間接的に比較することを許容する。その後、このステップでは、上空を飛行される土地部分の、少なくとも直前に撮像された画像との重複率を決定する。
重複率を決定した後で、この方法は、上空を飛行される土地部分の重複率をあらかじめ定められた重複率と比較するステップ74に進む。
実際には、1つまたは複数の撮像され記憶された画像から、次に撮像されるべき画像を決定するためには、変位後のカメラユニットの新たな位置決めが、1つまたは複数の依然として撮像され記憶されている画像とのあらかじめ定められた重複率を有しながら、マッピング対象の土地の新たな部分を発見することを許容するかどうか、が判定されなければならない。
ステップ74で、上空を飛行される土地部分の重複率があらかじめ定められた重複率より高い場合には、この方法は、ステップ70に進み、上空を飛行される新たな土地部分についての少なくとも1つの状況情報を生成する。
これに対して、すなわち上空を飛行される土地部分の重複率があらかじめ定められた重複率以下である場合には、ステップ74は、画像の撮像を実行するようにカメラにコマンドを送信するステップ76に続く。
ステップ76の後には、撮像された画像と、上空を飛行される土地部分についての少なくとも1つの状況情報のうちのステップ70で生成されたその画像の状況情報とを記憶するステップ78が続く。
次いで、ステップ78の後には、上述のステップ70が続き、次に撮像される画像の決定に進む。
上記の様々なステップは、マッピング対象の土地全体の画像の撮像が行われるまで実行される。

Claims (16)

  1. ドローン(10)に搭載されて土地(16)をマッピングするように適合されたカメラユニット(14)であり、前記ドローンにより上空を飛行される前記土地の一部分の連続的な画像を撮像するように適合されたカメラ(18)を備えたカメラユニット(14)であって、
    撮像された画像を記憶する手段(32)と、
    前記カメラを通して見える上空を飛行される土地部分についての情報を、少なくとも直前に撮像された画像についての少なくとも1つの情報と比較して、前記上空を飛行される土地部分の、少なくとも前記直前に撮像された画像との重複率を決定する手段(34)と、
    前記上空を飛行される土地部分の重複率があらかじめ定められた重複率以下である場合に直ちに、画像の撮像を実行するように前記カメラにコマンドを送信する手段(36)と、
    を備えたことを特徴とするカメラユニット(14)。
  2. 前記比較手段は、土地部分についての少なくとも1つの撮像状況情報との比較を行う
    ことを特徴とする請求項1に記載のカメラユニット。
  3. 上空を飛行される土地部分についての少なくとも1つの撮像状況情報を生成する手段(30)を備え、
    前記記憶手段(32)は、前記撮像された画像と関連付けられた状況情報を記憶するように適合され、
    前記比較手段(34)は、状況情報を生成する前記手段によって生成される前記上空を飛行される土地部分についての少なくとも1つの状況情報を、少なくとも直前に撮像された画像についての少なくとも1つの記憶された状況情報と比較して、前記上空を飛行される土地部分の、少なくとも前記直前に撮像された画像との重複率を決定するように適合される
    ことを特徴とする請求項2に記載のカメラユニット。
  4. 前記比較手段は、ジオロケーション情報、および/または前記カメラユニットの変位速度、および/または前記カメラの画角、および/または前記カメラの向き、および/または前記カメラと地面との間の距離との比較を行う
    ことを特徴とする請求項2または3に記載のカメラユニット。
  5. 前記カメラユニットの高度を推定するデバイス(38)と、
    前記ドローンの離陸前に、前記高度推定デバイスによって決定された前記カメラと前記地面との間の初期距離を記憶する手段と、
    をさらに備え、
    前記土地部分の上空の飛行中に、前記カメラと前記上空を飛行される土地部分の地面との間の距離が、前記初期距離と前記カメラユニットの前記高度推定デバイスによって決定される距離との間の差によって決定される
    ことを特徴とする請求項4に記載のカメラユニット。
  6. 1つの画像からその次の画像までの撮像された土地部分の変位の速度の解析から導出される水平速度信号を生成するように適合された、前記カメラの画像を解析するデバイスをさらに備え、
    前記カメラと前記地面との間の距離は、さらに前記水平速度信号によっても決まる
    ことを特徴とする請求項5に記載のカメラユニット。
  7. 前記コマンドを送信する手段は、前記重複率が85%以下であり、優先的には50%以下である場合に直ちに、前記カメラへのコマンドの送信を行う
    ことを特徴とする請求項1〜6のいずれか一項に記載のカメラユニット。
  8. 請求項1〜7のいずれか一項に記載のカメラユニットを備えた、土地(16)をマッピングするドローン(10)。
  9. ドローン(10)に搭載されて土地(16)をマッピングするように適合されたカメラユニットによる画像撮像管理方法であり、前記カメラユニットが、前記ドローンにより上空を飛行される前記土地の一部分の連続的な画像を撮像するように適合されたカメラ(18)を有する、方法であって、
    前記カメラを通して見える上空を飛行される土地部分についての情報を、少なくとも直前に撮像された画像についての少なくとも1つの情報と比較して、前記上空を飛行される土地部分の、少なくとも前記直前に撮像された画像との重複率を決定するステップ(72)と、
    前記上空を飛行される土地部分の重複率があらかじめ定められた重複率以下である場合に直ちに、画像の撮像を実行するように前記カメラにコマンドを送信するステップ(76)と、
    を備えたことを特徴とする方法。
  10. 前記情報は、土地部分についての少なくとも1つの撮像状況情報に対応することを特徴とする、請求項9に記載の方法。
  11. 上空を飛行される土地部分についての少なくとも1つの撮像状況情報を生成するステップ(70)をさらに備え、
    前記比較ステップ(72)は、前記上空を飛行される土地部分についての少なくとも1つの状況情報を、少なくとも直前に撮像された画像についての少なくとも1つの記憶された状況情報と比較して、前記上空を飛行される土地部分の、少なくとも前記直前に撮像された画像との重複率を決定する
    ことを特徴とする請求項10に記載の方法。
  12. 前記撮像された画像と、前記上空を飛行される土地部分についての少なくとも1つの状況情報を生成する前記ステップ(70)中に生成される前記撮像された画像の状況情報とを記憶するステップ(78)
    をさらに備えたことを特徴とする請求項10または11に記載の方法。
  13. 前記状況情報は、ジオロケーション情報、および/または前記カメラユニットの変位速度、および/または前記カメラの画角、および/または前記カメラの向き、および/または前記カメラと地面との間の距離を含む
    ことを特徴とする請求項10〜12のいずれか一項に記載の方法。
  14. 前記ドローンの離陸前に、前記カメラユニットの高度を推定することによって、前記カメラと前記地面との間の初期距離を決定するステップと、
    前記ドローンの飛行中に、前記カメラと前記上空を飛行される土地部分の前記地面との間の距離を、前記初期距離と前記カメラユニットの高度の推定距離との間の差によって決定する少なくとも1つのステップと、
    をさらに備えたことを特徴とする請求項13に記載の方法。
  15. 前記カメラの画像を解析して、1つの画像からその次の画像までの撮像された土地部分の変位の解析から導出される水平速度信号を生成するステップと、
    前記カメラと前記地面との間の前記距離を前記水平速度信号に応じて決定するステップと、
    をさらに備えたことを特徴とする請求項13に記載の方法。
  16. 前記あらかじめ定められた重複率は、85%以下であり、優先的には50%以下であることを特徴とする、請求項9〜15のいずれか一項に記載の方法。
JP2016127373A 2015-06-30 2016-06-28 ドローンに搭載されて土地をマッピングするように適合されたカメラユニット、およびカメラユニットによる画像撮像管理方法 Pending JP2017015704A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1556143A FR3038482B1 (fr) 2015-06-30 2015-06-30 Bloc camera apte a etre embarque dans un drone pour cartographier un terrain et procede de gestion de capture d'images par un bloc camera
FR1556143 2015-06-30

Publications (1)

Publication Number Publication Date
JP2017015704A true JP2017015704A (ja) 2017-01-19

Family

ID=54937175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016127373A Pending JP2017015704A (ja) 2015-06-30 2016-06-28 ドローンに搭載されて土地をマッピングするように適合されたカメラユニット、およびカメラユニットによる画像撮像管理方法

Country Status (5)

Country Link
US (1) US20170006263A1 (ja)
EP (1) EP3112803A1 (ja)
JP (1) JP2017015704A (ja)
CN (1) CN106403892A (ja)
FR (1) FR3038482B1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018101376A1 (de) 2017-01-31 2018-08-02 Shimano Inc. Fahrradantriebskraftübertragungsmechanismus
JP2018152737A (ja) * 2017-03-13 2018-09-27 ヤンマー株式会社 無人飛行撮影装置
JP2019019592A (ja) * 2017-07-19 2019-02-07 株式会社熊谷組 施工状況取得方法
JP2019036804A (ja) * 2017-08-10 2019-03-07 本田技研工業株式会社 天井地図作成方法、天井地図作成装置及び天井地図作成プログラム
KR20200058079A (ko) * 2018-11-19 2020-05-27 네이버시스템(주) 3차원 모델링 및 정사영상을 생성하기 위한 항공 촬영 장치 및 방법
US12010426B2 (en) 2018-06-26 2024-06-11 Sony Corporation Control device and method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3052556B1 (fr) * 2016-06-13 2018-07-06 Parrot Drones Ensemble d'imagerie pour drone et systeme comprenant un tel ensemble monte sur un drone volant
WO2018034033A1 (ja) * 2016-08-16 2018-02-22 本郷飛行機株式会社 通信制御装置
US11061155B2 (en) 2017-06-08 2021-07-13 Total Sa Method of dropping a plurality of probes intended to partially penetrate into a ground using a vegetation detection, and related system
US10557936B2 (en) 2017-06-30 2020-02-11 Gopro, Inc. Target value detection for unmanned aerial vehicles
US10922817B2 (en) 2018-09-28 2021-02-16 Intel Corporation Perception device for obstacle detection and tracking and a perception method for obstacle detection and tracking
CN109556578A (zh) * 2018-12-06 2019-04-02 成都天睿特科技有限公司 一种无人机旋扫式测量拍摄方法
CN112729244A (zh) * 2019-10-29 2021-04-30 南京迈界遥感技术有限公司 基于无人机搭载倾斜相机航摄图像重叠率检测***及方法
CN114476065B (zh) * 2022-03-28 2022-11-22 黄河水利职业技术学院 一种测绘工程测量用无人机遥感装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835137A (en) * 1995-06-21 1998-11-10 Eastman Kodak Company Method and system for compensating for motion during imaging
US5798786A (en) * 1996-05-07 1998-08-25 Recon/Optical, Inc. Electro-optical imaging detector array for a moving vehicle which includes two axis image motion compensation and transfers pixels in row directions and column directions
DE19822249A1 (de) * 1998-05-18 1999-11-25 Honeywell Ag Verfahren zur Bildabtastung
US20030048357A1 (en) * 2001-08-29 2003-03-13 Geovantage, Inc. Digital imaging system for airborne applications
US20040257441A1 (en) * 2001-08-29 2004-12-23 Geovantage, Inc. Digital imaging system for airborne applications
JP2007304407A (ja) * 2006-05-12 2007-11-22 Alpine Electronics Inc 車載カメラ用自動露出装置および車載カメラ用自動露出方法
JP4470926B2 (ja) * 2006-08-08 2010-06-02 国際航業株式会社 空中写真画像データセットとその作成方法および表示方法
JP4970296B2 (ja) * 2008-01-21 2012-07-04 株式会社パスコ オルソフォト画像の生成方法、および撮影装置
US8497905B2 (en) * 2008-04-11 2013-07-30 nearmap australia pty ltd. Systems and methods of capturing large area images in detail including cascaded cameras and/or calibration features
CA2710269C (en) * 2009-08-11 2012-05-22 Certusview Technologies, Llc Locating equipment communicatively coupled to or equipped with a mobile/portable device
US9208612B2 (en) * 2010-02-12 2015-12-08 The University Of North Carolina At Chapel Hill Systems and methods that generate height map models for efficient three dimensional reconstruction from depth information
JP5775354B2 (ja) * 2011-04-28 2015-09-09 株式会社トプコン 離着陸ターゲット装置及び自動離着陸システム
EP2527787B1 (en) * 2011-05-23 2019-09-11 Kabushiki Kaisha TOPCON Aerial photograph image pickup method and aerial photograph image pickup apparatus
JP5882693B2 (ja) * 2011-11-24 2016-03-09 株式会社トプコン 航空写真撮像方法及び航空写真撮像装置
FR2988618B1 (fr) 2012-03-30 2014-05-09 Parrot Estimateur d'altitude pour drone a voilure tournante a rotors multiples
JP6122591B2 (ja) * 2012-08-24 2017-04-26 株式会社トプコン 写真測量用カメラ及び航空写真装置
JP6055274B2 (ja) * 2012-10-31 2016-12-27 株式会社トプコン 航空写真測定方法及び航空写真測定システム
US9065985B2 (en) * 2013-03-15 2015-06-23 Tolo, Inc. Diagonal collection of oblique imagery
US9643722B1 (en) * 2014-02-28 2017-05-09 Lucas J. Myslinski Drone device security system
US9052571B1 (en) * 2014-06-20 2015-06-09 nearmap australia pty ltd. Wide-area aerial camera systems
US9046759B1 (en) * 2014-06-20 2015-06-02 nearmap australia pty ltd. Compact multi-resolution aerial camera system
US9635276B2 (en) * 2015-06-10 2017-04-25 Microsoft Technology Licensing, Llc Determination of exposure time for an image frame
FR3041135B1 (fr) * 2015-09-10 2017-09-29 Parrot Drone avec camera a visee frontale avec segmentation de l'image du ciel pour le controle de l'autoexposition
FR3041134B1 (fr) * 2015-09-10 2017-09-29 Parrot Drone avec camera a visee frontale dont les parametres de controle, notamment l'autoexposition, sont rendus independant de l'attitude.
FR3041136A1 (fr) * 2015-09-14 2017-03-17 Parrot Procede de determination d'une duree d'exposition d'une camera embarque sur un drone, et drone associe.
US10152828B2 (en) * 2015-09-30 2018-12-11 Umap AV Corp. Generating scene reconstructions from images

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018101376A1 (de) 2017-01-31 2018-08-02 Shimano Inc. Fahrradantriebskraftübertragungsmechanismus
JP2018152737A (ja) * 2017-03-13 2018-09-27 ヤンマー株式会社 無人飛行撮影装置
JP2019019592A (ja) * 2017-07-19 2019-02-07 株式会社熊谷組 施工状況取得方法
JP2019036804A (ja) * 2017-08-10 2019-03-07 本田技研工業株式会社 天井地図作成方法、天井地図作成装置及び天井地図作成プログラム
US12010426B2 (en) 2018-06-26 2024-06-11 Sony Corporation Control device and method
KR20200058079A (ko) * 2018-11-19 2020-05-27 네이버시스템(주) 3차원 모델링 및 정사영상을 생성하기 위한 항공 촬영 장치 및 방법
KR102117641B1 (ko) * 2018-11-19 2020-06-02 네이버시스템(주) 3차원 모델링 및 정사영상을 생성하기 위한 항공 촬영 장치 및 방법

Also Published As

Publication number Publication date
EP3112803A1 (fr) 2017-01-04
FR3038482B1 (fr) 2017-08-11
CN106403892A (zh) 2017-02-15
FR3038482A1 (fr) 2017-01-06
US20170006263A1 (en) 2017-01-05

Similar Documents

Publication Publication Date Title
JP2017015704A (ja) ドローンに搭載されて土地をマッピングするように適合されたカメラユニット、およびカメラユニットによる画像撮像管理方法
US11899472B2 (en) Aerial vehicle video and telemetric data synchronization
US9641810B2 (en) Method for acquiring images from arbitrary perspectives with UAVs equipped with fixed imagers
US9007461B2 (en) Aerial photograph image pickup method and aerial photograph image pickup apparatus
JP5947634B2 (ja) 航空写真撮像方法及び航空写真撮像システム
WO2020215188A1 (zh) 飞行航线的生成方法、控制装置及无人机***
JP5748561B2 (ja) 航空写真撮像方法及び航空写真撮像装置
WO2018210078A1 (zh) 无人机的距离测量方法以及无人机
WO2019227441A1 (zh) 可移动平台的拍摄控制方法和设备
US20180022472A1 (en) Autonomous system for taking moving images from a drone, with target tracking and improved target location
US20180024557A1 (en) Autonomous system for taking moving images, comprising a drone and a ground station, and associated method
US20170146995A1 (en) System and method of controlling autonomous vehicles
WO2022016534A1 (zh) 无人机的飞行控制方法和无人机
JPWO2018198634A1 (ja) 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
JP2018513377A (ja) 地表面の画像を処理するためのシステムおよび方法
WO2021016907A1 (zh) 确定环绕航线的方法、航拍方法、终端、无人飞行器及***
CN204287973U (zh) 飞行相机
JPWO2018073878A1 (ja) 3次元形状推定方法、3次元形状推定システム、飛行体、プログラム、及び記録媒体
JP6482856B2 (ja) 監視システム
US10412372B2 (en) Dynamic baseline depth imaging using multiple drones
CN110009595A (zh) 一种图像数据处理方法、装置、图像处理芯片及飞行器
CN112882645B (zh) 航道规划方法、控制端、飞行器及航道规划***
WO2019100214A1 (zh) 输出影像生成方法、设备及无人机
WO2021130980A1 (ja) 飛行体の飛行経路表示方法及び情報処理装置
WO2021035746A1 (zh) 图像处理方法、装置和可移动平台