JP7028247B2 - 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム - Google Patents

飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム Download PDF

Info

Publication number
JP7028247B2
JP7028247B2 JP2019537542A JP2019537542A JP7028247B2 JP 7028247 B2 JP7028247 B2 JP 7028247B2 JP 2019537542 A JP2019537542 A JP 2019537542A JP 2019537542 A JP2019537542 A JP 2019537542A JP 7028247 B2 JP7028247 B2 JP 7028247B2
Authority
JP
Japan
Prior art keywords
image
flight
altitude information
flying object
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019537542A
Other languages
English (en)
Other versions
JPWO2019038927A1 (ja
Inventor
哲夫 井下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019038927A1 publication Critical patent/JPWO2019038927A1/ja
Application granted granted Critical
Publication of JP7028247B2 publication Critical patent/JP7028247B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/04Control of altitude or depth
    • G05D1/06Rate of change of altitude or depth
    • G05D1/0607Rate of change of altitude or depth specially adapted for aircraft
    • G05D1/0653Rate of change of altitude or depth specially adapted for aircraft during a phase of take-off or landing
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラムに関する。
上記技術分野において、特許文献1には、操縦士の技術および手間を省略するため、着陸時に、地上に載置されたターゲットマークに対して飛行体を自動誘導制御する技術が開示されている。
特開2012-71645号公報
しかしながら、上記文献に記載の技術では、飛行高度によっては、ターゲットマークを正確に視認できず飛行体が所望の飛行状態を実現できない場合があった。
本発明の目的は、上述の課題を解決する技術を提供することにある。
上記目的を達成するため、本発明に係る飛行体は、
飛行体の周囲を撮像するための撮像手段と、
前記飛行体の飛行高度情報を取得する高度取得手段と、
前記撮像手段により撮影された画像を前記飛行高度情報と対応付けて記録する記録手段と、
前記飛行体をホバリングさせる場合に、前記飛行高度情報に基づいて前記記録手段に記録された画像から選択された画像と飛行中に撮像された画像とを利用して、前記飛行体を空中で静止させる静止制御手段と、
前記飛行体の飛行高度情報を取得する高度取得手段と、
を備え、
前記記録手段は、異なる撮影高度に対応する複数の画像を前記飛行高度情報と対応付けて記録し、
前記静止制御手段は、前記飛行高度情報に応じて、利用すべき画像を前記記録手段から選択する
上記目的を達成するため、本発明に係る飛行体制御装置は、
飛行体の周囲を撮像して取得した画像を受信する画像受信手段と、
前記飛行体の飛行高度情報を取得する高度取得手段と、
前記画像受信手段により受信された画像を前記飛行高度情報と対応付けて記録する記録手段と、
前記飛行体をホバリングさせる場合に、前記飛行高度情報に基づいて前記記録手段に記録された画像から選択された画像と飛行中に撮像された画像とを利用して、前記飛行体を空中で静止させる静止制御手段と、
前記飛行体の飛行高度情報を取得する高度取得手段と、
を備え、
前記記録手段は、異なる撮影高度に対応する複数の画像を前記飛行高度情報と対応付けて記録し、
前記静止制御手段は、前記飛行高度情報に応じて、利用すべき画像を前記記録手段から選択する
上記目的を達成するため、本発明に係る飛行体の制御方法は、
飛行体の周囲を撮像する撮像ステップと、
前記飛行体の飛行高度情報を取得する高度取得ステップと、
前記撮像ステップにより撮影された画像を前記飛行高度情報と対応付けて記録する記録ステップと、
前記飛行体をホバリングさせる場合に、前記飛行高度情報に基づいて前記記録ステップにて記録された画像から選択された画像と飛行中に撮像された画像とを利用して、前記飛行体を空中で静止させる静止制御ステップと、
前記飛行体の飛行高度情報を取得する高度取得ステップと、
を備え、
前記記録ステップは、異なる撮影高度に対応する複数の画像を前記飛行高度情報と対応付けて記録し、
前記静止制御ステップは、前記飛行高度情報に応じて、利用すべき画像を前記記録ステップで記録された画像から選択する
上記目的を達成するため、本発明に係る飛行体の制御プログラムは、
飛行体の周囲を撮像する撮像ステップと、
前記飛行体の飛行高度情報を取得する高度取得ステップと、
前記撮像ステップにより撮影された画像を前記飛行高度情報と対応付けて記録する記録ステップと、
前記飛行体をホバリングさせる場合に、前記飛行高度情報に基づいて前記記録ステップにて記録された画像から選択された画像と飛行中に撮像された画像とを利用して、前記飛行体を空中で静止させる静止制御ステップと、
前記飛行体の飛行高度情報を取得する高度取得ステップと、
をコンピュータに実行させる飛行体の制御プログラムであって、
前記記録ステップは、異なる撮影高度に対応する複数の画像を前記飛行高度情報と対応付けて記録し、
前記静止制御ステップは、前記飛行高度情報に応じて、利用すべき画像を前記記録ステップで記録された画像から選択する
本発明によれば、より確実に飛行体を所望の位置でホバリングさせることができる。
本発明の第1実施形態に係る飛行体の構成を示すブロック図である。 本発明の第2実施形態に係る飛行体の飛行条件を説明する図である。 本発明の第2実施形態に係る飛行体の飛行条件を説明する図である。 本発明の第2実施形態に係る飛行体の構成を説明する図である。 本発明の第2実施形態に係る飛行体の構成を説明する図である。 本発明の第2実施形態に係る飛行体の構成を説明する図である。 本発明の第2実施形態に係る飛行体の構成を説明する図である。 本発明の第2実施形態に係る飛行体の構成を説明する図である。 本発明の第2実施形態に係る飛行体の処理の流れを説明するフローチャートである。 本発明の第3実施形態に係る飛行体の構成を説明する図である。 本発明の第3実施形態に係る飛行体の構成を説明する図である。 本発明の第3実施形態に係る飛行体の処理の流れを説明するフローチャートである。 本発明の第4実施形態に係る飛行体の処理の流れを説明するフローチャートである。 本発明の第5実施形態に係る飛行体の構成を説明する図である。 本発明の第5実施形態に係る飛行体の構成を説明する図である。 本発明の第6実施形態に係る飛行体制御装置の構成を説明する図である。
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。
[第1実施形態]
本発明の第1実施形態としての飛行体100について、図1を用いて説明する。図1に示すように、飛行体100は、ホバリング判定部101と撮像部102と画像記録部103と静止制御部104とを含む。
ホバリング判定部101は、飛行体をホバリングさせるか否かを判定する。撮像部102は、飛行体100の周囲を撮像する。画像記録部103は、撮像部102により撮影された画像131を記録する。静止制御部104は、飛行体100をホバリングさせると判定した場合に、画像記録部103に記録された画像と飛行中に撮像された画像とを利用して、飛行体100を空中で静止させる。
本実施形態によれば、簡易な方法で、正確な位置において飛行体をホバリングさせることができる。
[第2実施形態]
次に本発明の第2実施形態に係る飛行体について、図2A乃至図5を用いて説明する。図2Aは、本実施形態に係る飛行体200の離発着の様子を説明するための図である。飛行体200を災害現場に派遣するため、例えばビルの谷間に、車両210を停車させ、そのルーフに設けられたターゲットマーク215から飛行体200を離発着させる。
ホバリング時、GPS(Global Positioning System)に頼った飛行制御では、数mのズレが生じる。また、ターゲットマーク215を撮像した画像を利用しようとしても、図2Bに示すように、高い高度(例えば100m以上)からは、ターゲットマーク215がよく見えなかったり、周辺の建物の模様や形状に紛れて、その誤認識が生じたりする。
そこで、本実施形態では、ターゲットマークに頼らずに、所望の位置において飛行体200をホバリングさせるための技術を提供する。
図3は、飛行体200の内部構成を示す図である。飛行体200の内部には、飛行判定部301、画像データベース302、静止制御部303、撮像部304、位置あわせ部305、特徴抽出部306、及び高度取得部307を備える。
飛行判定部301は、飛行体200をホバリングさせるか否かを判定する。具体的には、プロポと呼ばれる操作デバイスを介して、操縦士(Drone Pilot)からホバリングの指示を受けたか否か判定する。飛行判定部301は、操縦士からの指示に応じて、飛行体200をホバリングさせるかを判定してもよい。
図4に示すように、画像データベース302は、飛行体200が離陸上昇中であると判定した場合に、学習登録フェーズに移行し、所定高度において下方の画像を撮影させて、撮影された下方画像(例えば地上画像や海上画像)を学習画像として記録する。また、静止制御部303は、飛行体200をホバリングさせるべきと判定した場合に、画像データベース302に記録された内容と、飛行中に撮影された画像401、402とのマッチングを行ない、所望の高度で、飛行体200をホバリングさせる。
撮像部304は、離陸上昇時は真下に向いて画像を撮像・学習し、その後に水平移動時は任意の向きで撮像を行なう。ホバリング時は撮像部304を下方に向けて撮像を行ない記録された学習画像とのマッチングを行なうことにより、学習画像の記録位置において静止飛行させる。
位置あわせ部305は、図5に示すとおり、離陸上昇中の飛行体200の位置ずれ501を吸収すべく、下方画像の位置あわせを行なった上で画像データベース302に記録する。つまり、常に、離陸地点315が中央にくるように下方画像を切り取る。こうすることで、どの高度においても離陸地点315の上空でのホバリングが可能となる。
高度取得部307は、飛行体200の飛行中の高度に関する飛行高度情報を取得する。画像データベース302は、飛行高度情報を、撮影した画像(ここでは下方画像)と対応付けて記録する。また、画像データベース302は、異なる撮影高度に対応する複数の下方画像を記録する。
特徴抽出部306は、画像データベース302に記録された画像から複数の特徴点を抽出し、抽出された特徴点を特徴情報321として画像データベース302に記録する。マッチングのため、画像から特徴点を抽出する技術についてはORB: an efficient alternative to SIFT or SURF(Ethan Rublee Vincent Rabaud Kurt Konolige Gary Bradski)に開示がある。また、ホバリング中に撮影された画像においては、小さな移動ベクトルを有する物体からのみ特徴点を抽出し、大きな移動ベクトルを有する物体は、特徴点の抽出対象から除外する。
静止制御部303は、画像データベース302に記録された特徴点と、ホバリング中に撮影された下方画像から抽出された特徴点との比較を行なう。静止制御部303は、飛行高度情報に応じて、ホバリング中に撮影された画像とのマッチングを行なうべき内容を画像データベース302から選択する。図6に示すとおり、飛行体200を高度80mの位置でホバリングさせるため、ホバリング中に撮影された画像(または特徴点)と比較すべき画像として、高度90m、80m、70mに対応して記録された3つの下方画像601~603(または特徴点)を選択する。
このとき、静止制御部303は、高度取得部307からホバリングすべき高度が取得できる場合には、その高度を参照情報として画像データベース302から読出すべき画像または特徴点を選択する。
静止制御部303は、特徴点のマッチングを行ない、高度に応じた移動量の誘導を随時行なうことで正確なホバリングを実現する。具体的には、移動量算出部331が、移動量データベース332を参照して、画像データベース302に記録された特徴点と、ホバリング中に撮影された画像から抽出された特徴点とのずれ、および測定した高度に基づき、飛行体200の移動量を導き出す。図7に示すとおり、同じ特徴点のずれが同じ画素数であっても、高度が高くなればなるほど大きく移動させる必要が生じる。なお、離陸地点を中心として半径5mぐらいの位置に、GPSにて仮想的に目に見えないジオフェンスを設定して、そのジオフェンスを乗り越えることなくホバリングする制御にしてもよい。また、ホバリング中に撮像された映像において大きく動きのある特徴点を、マッチング対象から排除してもよい。
図8は、本実施形態に係る飛行体200において行なわれる処理の流れを示すフローチャートである。まず、ステップS801において、飛行判定部301が離陸上昇中か否か判定する。離陸上昇中の場合、ステップS803に進み、撮像部304が、下方の画像を撮影し、同時に高度取得部307が高度を取得する。
ステップS805では、特徴抽出部306が、撮像された下方画像から特徴点を抽出し、ステップS807に進むと、さらに画像データベース302に対し、高度情報に対応させて特徴点を記録する。その際、位置あわせ部305が、上述した位置あわせ処理を行なう。
次に、ステップS809では、飛行判定部301が、飛行体200をホバリングさせるか否か判定する。ステップS811に進み、下方画像を撮影して、画像データベース302に記録すると同時に、高度情報を取得する。ステップS813において特徴抽出部306は、ステップS811で撮影された画像から特徴点を抽出する。その後、ステップS815で、離陸上昇時に画像データベース302に登録された特徴点から、取得した高度情報に基づいて比較すべき特徴点を呼び出し、ステップS813で抽出された特徴点との比較を行なう。
ステップS817においては、移動量算出部331が、特徴点の位置ずれ量(画素数)から、飛行体200の移動量を算出する。そして、ステップS819に進むと、静止制御部303は、算出された移動量通りに飛行体200を小刻みに移動させることにより空中の所定位置にほぼ静止状態で飛行させる。
以上、本実施形態によれば、ビルの間など、GPSが使いづらい場所でも離着陸を正確に行なうことができる。本実施形態では、下方画像から特徴点を抽出して、特徴点の比較により、ホバリング位置とのずれを検知したが、本発明はこれに限定されるものではなく、下方画像そのものを比較して、ホバリング位置とのずれを検知してもよい。
[第3実施形態]
次に本発明の第3実施形態に係る飛行体900について、図9を用いて説明する。図9は、本実施形態に係る飛行体900の内部構成を説明するための図である。本実施形態に係る飛行体900は、上記第2実施形態と比べると、特徴抽出部906において移動体除去部961を有する点で異なる。その他の構成および動作は、第2実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
移動体除去部961は、離陸時に上昇しながら撮影され、画像データベース302に記録された複数画像(フレーム)を比較し、フレーム間の特徴点の移動ベクトルを算出する。すなわち、飛行体900の離陸上昇中に撮影された複数の下方画像の中に含まれる物体が、画像中、時間の経過と共に画像中心からみて放射方向以外の方向に移動している場合には、該物体を移動体と判断して特徴点の抽出対象から排除する。
上昇時には、図10に示すような、画像中心に向かう上昇移動ベクトル1001以外のベクトルを持つ特徴点については、車両や人間など、背景として固定されていない移動体として、記録すべき特徴点から排除する。
一方、下降時も、画像中心から放射状に外側に向かう下降移動ベクトル1002以外のベクトルを持つ特徴点については、車両や人間など、背景として固定されていない移動体として、比較すべき特徴点から排除する。
図11は、本実施形態に係る飛行体900における処理の流れを示すフローチャートである。ステップS1105およびステップS1115において、移動体除去処理(ベクトル処理)を行なう以外は、図8のフローチャートと同様であるため、説明を省略する。
以上、本実施形態によれば、移動体を除去することにより、学習およびマッチングを精度良く行なうことができ、ひいては、所定の位置に正確に飛行体をホバリングさせることができる。
[第4実施形態]
次に本発明の第4実施形態に係る飛行体について説明する。上記実施形態では、離陸上昇時に記録された下方画像と、ホバリング中に撮影された下方画像とを用いて飛行位置制御を行なったが、本実施形態では、さらに、他のタイミングで記録手段に記録された事前画像情報を用いて、ホバリング制御を行なう。具体的には、図12に示すように、操縦士が、ホバリング位置として指定した位置において(S1201)、画像撮影および高度取得を行ない(S803)、そこで撮影された画像および高度を利用して、静止制御を行なってもよい(S819)。
その他、飛行前にあらかじめ画像データベース302に登録された画像を用いて、ホバリング制御を行なってもよい。また、インターネット上でアクセスできる画像データから特徴点を抽出し、その特徴点を用いて、ホバリング制御を行なってもよい。さらに、ホバリング高度が低い場合には、あらかじめ登録されたターゲットマーカーの画像を用いてもよい。ホバリングの高度に応じて、マッチングすべき画像を切り替えてもよい。画像を切り替える高さは、カメラの画角とターゲットマーカーの大きさから決定してもよいし、ホバリングの高さから撮影された画像に含まれる特徴点数から決定してもよい。つまり、ホバリングの高さから撮影された下方画像に含まれる特徴点数が少ない場合に、他の特徴点数が多い画像で代替してもよい。
[第5実施形態]
次に本発明の第5実施形態に係る飛行体について説明する。上記実施形態では、離陸上昇時に記録された下方画像と、ホバリング中に撮影された下方画像とを用いて飛行位置制御を行なったが、本実施形態では、さらに、飛行体の前方画像を用いて、ホバリング制御を行なう。具体的には、図13に示すように、マンション1301の窓を撮影した正面画像またはその特徴点を例えば部屋番号に対応付けて画像データベース302に記録し、部屋番号の指示に応じて、所定の位置にて飛行体1300をホバリングさせてもよい。図14に示すように、鉄塔1401を撮影した正面画像を、高度情報に対応付けて画像データベース302に記録し、操縦士からの高度の指定に応じて、読出した正面画像または特徴点を利用して飛行体1400を所定の位置にてホバリングさせてもよい。
[第6実施形態]
次に本発明の第6実施形態に係る飛行体制御装置1500について、図15を用いて説明する。図15は、本実施形態に係る飛行体制御装置1500(いわゆるプロポ)の内部構成を説明するための図である。
本実施形態に係る飛行体制御装置1500は、飛行判定部1501、画像データベース1502、静止制御部1503、画像受信部1504、位置あわせ部1505、特徴抽出部1506、高度取得部1507を備える。
飛行判定部1501は、飛行体200をホバリングさせるか否かを判定する。具体的には、プロポと呼ばれる操作デバイスを介して、操縦士(Drone Pilot)からホバリングの指示を受けたか否か判定する。飛行判定部1501は、操縦士からの指示に応じて、飛行体200をホバリングさせるかを判定してもよい。
画像データベース1502は、飛行体200が離陸上昇中であると判定した場合に、学習登録フェーズに移行し、所定高度において画像を撮影させて、撮影された画像(地上画像や海上画像や正面画像)を学習画像として記録する。また、静止制御部1503は、飛行体200をホバリングさせるべきと判定した場合に、照合フェーズに移行し、画像データベース1502に記録された内容と、飛行中に撮影された画像とを利用して、所望の高度で、飛行体200をホバリングさせる。
画像受信部1504は、撮像された画像を受信する。位置あわせ部1505は、離陸上昇中の飛行体200の位置ずれを吸収すべく、下方画像の位置あわせを行なった上で画像データベース1502に記録する。つまり、常に、離陸地点が中央にくるように下方画像を切り取る。こうすることで、どの高度においても離陸地点の上空でのホバリングが可能となる。
高度取得部1507は、飛行体200の飛行中の高度に関する飛行高度情報を取得する。画像データベース1502は、飛行高度情報を、撮影した画像と対応付けて記録する。また、画像データベース1502は、異なる撮影高度に対応する複数の画像を記録する。
特徴抽出部1506は、画像データベース1502に記録された画像から複数の特徴点を抽出し、抽出された特徴点を学習情報として画像データベース1502に記録する。
静止制御部1503は、画像データベース1502に記録された特徴点と、ホバリング中に撮影された画像から抽出された特徴点との比較を行なう。静止制御部1503は、飛行高度情報に応じて、ホバリング中に撮影された画像とのマッチングを行なうべき内容を画像データベース1502から選択する。このとき、静止制御部1503は、高度取得部1507からホバリングすべき高度が取得できる場合には、その高度を参照情報として画像データベース1502から読出すべき画像または特徴点を選択する。
静止制御部1503は、特徴点のマッチングを行ない、高度に応じた移動量の誘導を随時行なうことで正確なホバリングを実現する。具体的には、移動量算出部1531が、移動量データベース1532を参照して、画像データベース1502に記録された特徴点と、ホバリング中に撮影された画像から抽出された特徴点とのずれ、および測定した高度に基づき、飛行体200の移動量を導き出す。
本実施形態によれば、飛行体を所望の位置で正確にホバリングさせることができる。
[他の実施形態]
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるWWW(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体(non-transitory computer readable medium)は本発明の範疇に含まれる。

Claims (5)

  1. 飛行体の周囲を撮像するための撮像手段と、
    前記飛行体の飛行高度情報を取得する高度取得手段と、
    前記撮像手段により撮影された画像を前記飛行高度情報と対応付けて記録する記録手段と、
    前記飛行体をホバリングさせる場合に、前記飛行高度情報に基づいて前記記録手段に記録された画像から選択された画像と飛行中に撮像された画像とを利用して、前記飛行体を空中で静止させる静止制御手段と、
    前記飛行体の飛行高度情報を取得する高度取得手段と、
    を備え、
    前記記録手段は、異なる撮影高度に対応する複数の画像を前記飛行高度情報と対応付けて記録し、
    前記静止制御手段は、前記飛行高度情報に応じて、利用すべき画像を前記記録手段から選択する飛行体。
  2. 前記記録手段は、前記画像から抽出された特徴点を記録し、前記静止制御手段は、前記記録手段に記録された前記特徴点と、飛行中に撮像された画像から抽出された特徴点とを比較して、前記飛行体を空中で静止させる請求項1に記載の飛行体。
  3. 飛行体の周囲を撮像して取得した画像を受信する画像受信手段と、
    前記飛行体の飛行高度情報を取得する高度取得手段と、
    前記画像受信手段により受信された画像を前記飛行高度情報と対応付けて記録する記録手段と、
    前記飛行体をホバリングさせる場合に、前記飛行高度情報に基づいて前記記録手段に記録された画像から選択された画像と飛行中に撮像された画像とを利用して、前記飛行体を空中で静止させる静止制御手段と、
    前記飛行体の飛行高度情報を取得する高度取得手段と、
    を備え、
    前記記録手段は、異なる撮影高度に対応する複数の画像を前記飛行高度情報と対応付けて記録し、
    前記静止制御手段は、前記飛行高度情報に応じて、利用すべき画像を前記記録手段から選択する飛行体制御装置。
  4. 飛行体の周囲を撮像する撮像ステップと、
    前記飛行体の飛行高度情報を取得する高度取得ステップと、
    前記撮像ステップにより撮影された画像を前記飛行高度情報と対応付けて記録する記録ステップと、
    前記飛行体をホバリングさせる場合に、前記飛行高度情報に基づいて前記記録ステップにて記録された画像から選択された画像と飛行中に撮像された画像とを利用して、前記飛行体を空中で静止させる静止制御ステップと、
    前記飛行体の飛行高度情報を取得する高度取得ステップと、
    を備え、
    前記記録ステップは、異なる撮影高度に対応する複数の画像を前記飛行高度情報と対応付けて記録し、
    前記静止制御ステップは、前記飛行高度情報に応じて、利用すべき画像を前記記録ステップで記録された画像から選択する飛行体の制御方法。
  5. 飛行体の周囲を撮像する撮像ステップと、
    前記飛行体の飛行高度情報を取得する高度取得ステップと、
    前記撮像ステップにより撮影された画像を前記飛行高度情報と対応付けて記録する記録ステップと、
    前記飛行体をホバリングさせる場合に、前記飛行高度情報に基づいて前記記録ステップにて記録された画像から選択された画像と飛行中に撮像された画像とを利用して、前記飛行体を空中で静止させる静止制御ステップと、
    前記飛行体の飛行高度情報を取得する高度取得ステップと、
    をコンピュータに実行させる飛行体の制御プログラムであって、
    前記記録ステップは、異なる撮影高度に対応する複数の画像を前記飛行高度情報と対応付けて記録し、
    前記静止制御ステップは、前記飛行高度情報に応じて、利用すべき画像を前記記録ステップで記録された画像から選択する飛行体の制御プログラム。
JP2019537542A 2017-08-25 2017-08-25 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム Active JP7028247B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/030627 WO2019038927A1 (ja) 2017-08-25 2017-08-25 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム

Publications (2)

Publication Number Publication Date
JPWO2019038927A1 JPWO2019038927A1 (ja) 2020-09-24
JP7028247B2 true JP7028247B2 (ja) 2022-03-02

Family

ID=65438634

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019537542A Active JP7028247B2 (ja) 2017-08-25 2017-08-25 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム

Country Status (3)

Country Link
US (1) US20210157338A1 (ja)
JP (1) JP7028247B2 (ja)
WO (1) WO2019038927A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117157241A (zh) * 2021-04-13 2023-12-01 三菱电机楼宇解决方案株式会社 对电梯的井道的内部进行检查的飞行体、飞行体的控制装置以及飞行体的飞行方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006027331A (ja) 2004-07-13 2006-02-02 Hiroboo Kk 無人飛行体を利用した航空映像情報の収集方法
JP2016111414A (ja) 2014-12-03 2016-06-20 コニカミノルタ株式会社 飛行体の位置検出システム及び飛行体

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006027331A (ja) 2004-07-13 2006-02-02 Hiroboo Kk 無人飛行体を利用した航空映像情報の収集方法
JP2016111414A (ja) 2014-12-03 2016-06-20 コニカミノルタ株式会社 飛行体の位置検出システム及び飛行体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KDSフライメンタ 3Dの実力は,ラジコン技術 2月号,第50巻第2号,株式会社電波実験社,2010年02月01日,第42~43頁
藤田 匠,サンプル値最適レギュレータによる無人航空機の位置制御,第59回 システム制御情報学会 研究発表講演会講演論文集 [CD-ROM] 第59回システム制御情報学会 研究発表講演会 講演論文集,2015年05月22日

Also Published As

Publication number Publication date
WO2019038927A1 (ja) 2019-02-28
US20210157338A1 (en) 2021-05-27
JPWO2019038927A1 (ja) 2020-09-24

Similar Documents

Publication Publication Date Title
US11604479B2 (en) Methods and system for vision-based landing
US20230236611A1 (en) Unmanned Aerial Vehicle Sensor Activation and Correlation System
US11879737B2 (en) Systems and methods for auto-return
CN107240063B (zh) 一种面向移动平台的旋翼无人机自主起降方法
US11827352B2 (en) Visual observer for unmanned aerial vehicles
US20190243356A1 (en) Method for controlling flight of an aircraft, device, and aircraft
US20230388449A1 (en) Flying body control apparatus, flying body control method, and flying body control program
JP2020138681A (ja) 無人飛行体の制御システム
CN114689030A (zh) 一种基于机载视觉的无人机辅助定位方法及***
Moon et al. Development of multiple AR. Drone control system for indoor aerial choreography
JP7028247B2 (ja) 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
JP7070636B2 (ja) 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
JP7028248B2 (ja) 飛行体、飛行体制御装置、飛行体制御方法および飛行体制御プログラム
AU2021105629A4 (en) System and Method for Monitoring, Detecting and Counting Fruits in a Field
KR20220068606A (ko) 부분 영상을 고려한 드론의 자동 착륙 알고리즘
KR101590889B1 (ko) 표적 추적 정확도 분석을 위한 영상 기반의 위치추정 방법 및 이를 위한 위치추정 시스템
KR102679721B1 (ko) 포인트클라우드를 이용한 드론의 비행 제어 방법
KR20180116026A (ko) 무인항공기의 관찰수행 위치 인식방법 및 장치
KR20230151255A (ko) 포인트클라우드를 이용한 드론의 비행 제어 방법
JP2024012827A (ja) 無人航空機対処システム及び映像追尾装置
Blenkhorn et al. Towards an inexpensive computer-vision based automated landing system for small unmanned aerial vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200217

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210816

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220131

R151 Written notification of patent or utility model registration

Ref document number: 7028247

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151