JP2017072986A - 自律飛行装置、自律飛行装置の制御方法及びプログラム - Google Patents

自律飛行装置、自律飛行装置の制御方法及びプログラム Download PDF

Info

Publication number
JP2017072986A
JP2017072986A JP2015199473A JP2015199473A JP2017072986A JP 2017072986 A JP2017072986 A JP 2017072986A JP 2015199473 A JP2015199473 A JP 2015199473A JP 2015199473 A JP2015199473 A JP 2015199473A JP 2017072986 A JP2017072986 A JP 2017072986A
Authority
JP
Japan
Prior art keywords
moving object
separation distance
moving
speed
magnification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015199473A
Other languages
English (en)
Inventor
宏杰 史
Hung-Chieh Shi
宏杰 史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2015199473A priority Critical patent/JP2017072986A/ja
Priority to CN201610835668.7A priority patent/CN107015568A/zh
Priority to US15/283,564 priority patent/US10353403B2/en
Publication of JP2017072986A publication Critical patent/JP2017072986A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/617Upgrading or updating of programs or applications for camera control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/10UAVs characterised by their flight controls autonomous, i.e. by navigating independently from ground or air stations, e.g. by using inertial navigation systems [INS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Astronomy & Astrophysics (AREA)
  • Software Systems (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】撮影する画像における移動物体のブレ又はフレームアウトの発生を適切に抑制できる自律飛行装置、自律飛行装置の制御方法及びプログラムを提供する。【解決手段】移動物体800に対して所定の離隔距離を保って移動物体800に追従して飛行する自律飛行装置1であって、移動物体800を含んだ画像を撮影する撮影部300と、移動物体800の移動速度を示す情報を取得する移動速度取得部630と、移動速度取得部630が取得した情報に基づいて、離隔距離を制御する離隔距離制御部650と、を備え、離隔距離制御部650は、移動速度が大きいほど離隔距離を大きくする制御を行う。【選択図】図2

Description

本開示は、自律飛行装置、自律飛行装置の制御方法及びプログラムに関する。
従来、人等の移動物体に追従しながら移動物体を撮影し、移動物体の画像を取得する自律飛行装置が提案されている。特許文献1には、このような自律飛行装置に関する技術が開示されている。
特開2014−119828号公報
特許文献1に開示された自律飛行装置は、移動物体の移動速度に関わらず、移動物体との離隔距離を一定に保ちながら移動物体に追従して飛行する。しかしながら、移動物体の移動速度が速い場合、撮影した画像における移動物体にブレが発生したり、移動物体が撮影した画像からフレームアウトしたりしてしまうことがある。
そこで、本開示は、撮影する画像における移動物体のブレ又はフレームアウトの発生を適切に抑制できる自律飛行装置、自律飛行装置の制御方法及びプログラムを提供することを目的とする。
本開示の一態様に係る自律飛行装置は、移動物体に追従して飛行する自律飛行装置であって、前記移動物体を含んだ画像を撮影する撮影部と、前記移動物体の移動速度を示す情報を取得する移動速度取得部と、前記移動速度取得部が取得した前記移動速度を示す情報に基づいて、前記自律飛行装置と前記移動物体との離隔距離を制御する離隔距離制御部と、を備え、前記離隔距離制御部は、前記移動速度が大きいほど前記離隔距離を大きくする制御を行う。
なお、これらの包括的又は具体的な側面は、システム、装置、方法、記録媒体、又は、コンピュータプログラムで実現されてもよく、システム、装置、方法、記録媒体、および、コンピュータプログラムの任意な組み合わせで実現されてもよい。
本開示に係る自律飛行装置、自律飛行装置の制御方法及びプログラムにより、撮影する画像における移動物体のブレ又はフレームアウトの発生を適切に抑制できる。
図1は、実施の形態1に係る自律飛行装置の外観斜視図である。 図2は、実施の形態1に係る自律飛行装置の構成の一例を示すブロック図である。 図3は、実施の形態1に係る離隔距離制御部の動作の一例を示すフローチャートである。 図4は、実施の形態1に係る距離調整速度算出部が距離調整速度成分を算出するための動作の一例を示すフローチャートである。 図5は、実施の形態1に係る記憶部が記憶する撮影条件情報の一例を示す図である。 図6は、実施の形態1に係る自律飛行装置の飛行速度を説明するための図である。 図7は、目標水平角度を説明するための図である。 図8は、実施の形態1に係るθ調整速度算出部がθ調整速度成分を算出するための動作の一例を示すフローチャートである。 図9は、実施の形態1に係る自律飛行装置の目標水平角度を調整するときの飛行速度を説明するための図である。 図10は、実施の形態1に係る障害物回避高度算出部が障害物回避高度を算出するための動作の一例を示すフローチャートである。 図11は、実施の形態1に係る自律飛行装置が障害物を回避するときの様子を示す図である。 図12は、移動物体と自律飛行装置との直線距離及び水平距離を説明するための図である。 図13は、実施の形態1に係るカメラ制御部の動作を示すフローチャートである。 図14は、実施の形態1に係る自律飛行装置の効果を説明するための図である。 図15は、実施の形態2に係る自律飛行装置の構成の一例を示すブロック図である。 図16は、実施の形態2に係るカメラ制御部が撮影部の撮影倍率を制御するための動作の一例を示すフローチャートである。 図17は、実施の形態2に係る記憶部が記憶する撮影条件情報の一例を示す図である。
本開示の自律飛行装置は、移動物体に追従して飛行する自律飛行装置であって、移動物体を含んだ画像を撮影する撮影部と、移動物体の移動速度を示す情報を取得する移動速度取得部と、移動速度取得部が取得した移動速度を示す情報に基づいて、自律飛行装置と移動物体との離隔距離を制御する離隔距離制御部と、を備え、離隔距離制御部は、移動速度が大きいほど離隔距離を大きくする制御を行う。
これにより、移動物体の移動速度が大きいほど、自律飛行装置と移動物体との離隔距離が大きくなり、画角が広くなることで、移動物体を撮影する画像における移動物体のブレ又はフレームアウトの発生が抑制される。また、移動物体の移動速度が小さいほど、自律飛行装置と移動物体との離隔距離が小さくなり、画角が狭くなることで、撮影した画像における移動物体が小さくなってしまうことが抑制される。このように、撮影する画像における移動物体のブレ又はフレームアウトの発生を適切に抑制できる。
また、離隔距離は、移動物体と自律飛行装置との間の直線距離であってもよい。
これにより、移動物体の移動速度が速いとき及び遅いときのどちらにおいても、自律飛行装置における水平面から移動物体への俯角は一定に維持される。したがって、自律飛行装置の移動物体への視点を維持したまま、離隔距離を変更できる。
また、離隔距離は、移動物体と自律飛行装置との間の水平距離であってもよい。
これにより、移動物体の移動速度が速いとき及び遅いときのどちらにおいても、自律飛行装置の高度は一定に維持される。
また、離隔距離制御部は、移動速度が所定の閾値よりも大きい場合、離隔距離が第1離隔距離となる制御を行い、移動速度が所定の閾値よりも小さい場合、離隔距離が第1離隔距離よりも小さい第2離隔距離となる制御を行ってもよい。
これにより、例えば、1つの閾値を設定することで、移動物体の移動速度に応じて画角の広い画像を撮影するモードと画角の狭い画像を撮影するモードとを切り替えることができる。例えば、移動物体の移動速度が速い場合、画角の広いモードになり、移動物体の移動速度が遅い場合、画角の狭いモードとなる。また、例えば、複数の閾値を設定することで、移動物体の移動速度に応じて複数のモードを切り替えることができる。
また、離隔距離制御部は、移動速度が第1移動速度から、第1移動速度よりも大きい第2移動速度へ変化した場合、離隔距離を大きくする制御を行ってもよい。
これにより、自律飛行装置と移動物体との離隔距離を制御している途中、又は、自律飛行装置と移動物体との離隔距離の制御が完了した後に移動物体の移動速度が大きくなった場合、離隔距離を大きくすることができる。
また、離隔距離制御部は、移動速度が第1移動速度から、第1移動速度よりも小さい第2移動速度へ変化した場合、離隔距離を小さくする制御を行ってもよい。
これにより、自律飛行装置と移動物体との離隔距離を制御している途中、又は、自律飛行装置と移動物体との離隔距離の制御が完了した後に移動物体の移動速度が小さくなった場合、離隔距離を小さくすることができる。
また、さらに、移動速度と、目標となる離隔距離である目標撮影距離との予め定められた対応関係を示す撮影条件情報を記憶する記憶部を備え、離隔距離制御部は、移動速度を示す情報を撮影条件情報と照合することで、離隔距離が目標撮影距離となる制御を行ってもよい。
これにより、予め定められた撮影条件情報によって、離隔距離を、撮影する画像における移動物体のブレ又はフレームアウトの発生を抑制できる距離に制御できる。
また、離隔距離制御部は、離隔距離が目標撮影距離よりも大きい場合、自律飛行装置の飛行速度を大きくする制御を行い、離隔距離が目標撮影距離よりも小さい場合、飛行速度を小さくする制御を行ってもよい。
これにより、自律飛行装置の飛行速度を制御することで、離隔距離を撮影する画像における移動物体のブレ又はフレームアウトの発生を抑制できる距離に制御できる。
また、撮影部が撮影する画像は、静止画像又は動画像である。
また、本開示の自律飛行装置は、移動物体に対して所定の離隔距離を保って、移動物体に追従して飛行する自律飛行装置であって、移動物体を含んだ画像を撮影する撮影部と、移動物体の移動速度を示す情報を取得する移動速度取得部と、移動速度取得部が取得した移動速度を示す情報に基づいて、撮影部の撮影倍率を制御する倍率制御部と、を備え、倍率制御部は、移動速度が大きいほど倍率を小さくする制御を行う。
これにより、移動物体の移動速度が大きいほど、移動物体を撮影する画像の撮影倍率が小さくなり、画角が広くなることで、移動物体を撮影する画像における移動物体のブレ又はフレームアウトの発生が抑制される。また、移動物体の移動速度が小さいほど、移動物体を撮影する画像の撮影倍率が大きくなり、画角が狭くなることで、撮影した画像における移動物体が小さくなってしまうことが抑制される。このように、撮影する画像における移動物体のブレ又はフレームアウトの発生を適切に抑制できる。
また、倍率制御部は、移動速度が所定の閾値よりも大きい場合、撮影倍率が第1倍率となる制御を行い、移動速度が所定の閾値よりも小さい場合、撮影倍率が第1倍率よりも大きい第2倍率となる制御を行ってもよい。
これにより、例えば、1つの閾値を設定することで、移動物体の移動速度に応じて画角の広いモードと画角の狭いモードを切り替えることができる。例えば、移動物体の移動速度が速い場合、画角の広いモードになり、移動物体の移動速度が遅い場合、画角の狭いモードとなる。また、例えば、複数の閾値を設定することで、移動物体の移動速度に応じて複数のモードを切り替えることができる。
また、倍率制御部は、移動速度が第1移動速度から、第1移動速度よりも大きい第2移動速度へ変化した場合、撮影倍率を小さくする制御を行ってもよい。
これにより、撮影倍率の制御が完了した後に移動物体の移動速度が大きくなった場合、撮影倍率を小さくすることができる。
また、倍率制御部は、移動速度が第1移動速度から、第1移動速度よりも小さい第2移動速度へ変化した場合、撮影倍率を大きくする制御を行ってもよい。
これにより、撮影倍率の制御が完了した後に移動物体の移動速度が小さくなった場合、撮影倍率を大きくすることができる。
また、さらに、移動速度と、目標となる撮影倍率である目標撮影倍率との予め定められた対応関係を示す撮影条件情報を記憶する記憶部を備え、倍率制御部は、移動速度を示す情報と撮影条件情報とに基づいて撮影倍率が目標撮影倍率となる制御を行ってもよい。
これにより、予め定められた撮影条件情報によって、撮影倍率を、撮影する画像における移動物体のブレ又はフレームアウトの発生を抑制できる撮影倍率に制御できる。
また、撮影部が撮影する画像は、静止画像又は動画像である。
また、本開示のプログラムは、撮影装置を備え、移動物体に追従して飛行する自律飛行装置の動作を制御するプログラムであって、自律飛行装置のコンピュータに、移動物体を含んだ画像を撮影させ、移動物体の移動速度を示す情報を取得させ、取得させた移動速度を示す情報に基づいて、自律飛行装置と移動物体との離隔距離を制御させ、移動速度が大きい場合ほど離隔距離を大きくする制御を行わせる。
これにより、移動物体の移動速度が大きいほど、自律飛行装置と移動物体との離隔距離が大きくなり、画角が広くなることで、移動物体を撮影する画像における移動物体のブレ又はフレームアウトの発生が抑制される。また、移動物体の移動速度が小さいほど、自律飛行装置と移動物体との離隔距離が小さくなり、画角が狭くなることで、撮影した画像における移動物体が小さくなってしまうことが抑制される。このように、撮影する画像における移動物体のブレ又はフレームアウトの発生を適切に抑制できる。
また、本開示のプログラムは、撮影装置を備え、移動物体に対して所定の離隔距離を保って移動物体に追従して飛行する自律飛行装置の動作を制御するプログラムであって、自律飛行装置のコンピュータに、移動物体を含んだ画像を撮影させ、移動物体の移動速度を示す情報を取得させ、取得させた移動速度を示す情報に基づいて、撮影装置の撮影倍率を制御させ、移動速度が大きいほど撮影倍率を小さくする制御を行わせる。
これにより、移動物体の移動速度が大きいほど、移動物体を撮影する画像の撮影倍率が小さくなり、画角が広くなることで、移動物体を撮影する画像における移動物体のブレ又はフレームアウトの発生が抑制される。また、移動物体の移動速度が小さいほど、移動物体を撮影する画像の撮影倍率が大きくなり、画角が狭くなることで、撮影した画像における移動物体が小さくなってしまうことが抑制される。このように、撮影する画像における移動物体のブレ又はフレームアウトの発生を適切に抑制できる。
また、本開示の自律飛行装置の制御方法は、撮影装置を備え、移動物体に追従して飛行する自律飛行装置の動作を制御する方法であって、移動物体を含んだ画像を撮影する撮影ステップと、移動物体の移動速度を示す情報を取得する移動速度取得ステップと、移動速度取得ステップで測定した移動速度を示す情報に基づいて、自律飛行装置と移動物体との離隔距離を制御する離隔距離制御ステップと、を含み、離隔距離制御ステップでは、移動速度が大きいほど離隔距離を大きくする制御を行う。
これにより、移動物体の移動速度が大きいほど、自律飛行装置と移動物体との離隔距離が大きくなり、画角が広くなることで、移動物体を撮影する画像における移動物体のブレ又はフレームアウトの発生が抑制される。また、移動物体の移動速度が小さいほど、自律飛行装置と移動物体との離隔距離が小さくなり、画角が狭くなることで、撮影した画像における移動物体が小さくなってしまうことが抑制される。このように、撮影する画像における移動物体のブレ又はフレームアウトの発生を適切に抑制できる。
また、本開示の自律飛行装置の制御方法は、撮影装置を備え、移動物体に対して所定の離隔距離を保って移動物体に追従して飛行する自律飛行装置の動作を制御する方法であって、移動物体を含んだ画像を撮影する撮影ステップと、移動物体の移動速度を示す情報を取得する移動速度取得ステップと、移動速度取得ステップで取得した移動速度を示す情報に基づいて、撮影装置の撮影倍率を制御する倍率制御ステップと、を含み、倍率制御ステップでは、移動速度が大きいほど撮影倍率を小さくする制御を行う。
これにより、移動物体の移動速度が大きいほど、移動物体を撮影する画像の撮影倍率が小さくなり、画角が広くなることで、移動物体を撮影する画像における移動物体のブレ又はフレームアウトの発生が抑制される。また、移動物体の移動速度が小さいほど、移動物体を撮影する画像の撮影倍率が大きくなり、画角が狭くなることで、撮影した画像における移動物体が小さくなってしまうことが抑制される。このように、撮影する画像における移動物体のブレ又はフレームアウトの発生を適切に抑制できる。
以下、本開示の実施の形態について、図面を参照しながら説明する。
(実施の形態1)
実施の形態1について、図1から図14を用いて説明する。
[自律飛行装置の構成]
まず、自律飛行装置の構成について説明する。
図1は、実施の形態1に係る自律飛行装置1の外観斜視図である。
自律飛行装置1は、人等の移動物体に追従して自律的に飛行する装置である。自律飛行装置1は、例えば、スカイダイビング、クライミング、スキー、スノーボード、サイクリング等をしている人に対して追従して撮影する。これにより、迫力のある画像を撮影することができる。なお、移動物体は人に限らず動物又は自動車若しくは二輪車等であってもよい。
自律飛行装置1はカメラ兼距離センサ(後述する距離検出センサ100及び撮影部300)及びロータ(プロペラ)400を備える。自律飛行装置1は、図1に示されるように、例えば4枚のロータ400が後述するモータ500によって回転させられることで飛行する。
カメラ兼距離センサは、図1に示される、水平面(XY平面)における水平回転角βのように回転することができる。また、カメラ兼距離センサは、図1に示される水平面(XY平面)からの俯角αのように回転することができる。つまり、自律飛行装置1は、自律飛行装置1の周囲を撮影でき、自律飛行装置1の周囲存在する物体との距離を検知できる。
図2は、実施の形態1に係る自律飛行装置1の構成の一例を示すブロック図である。
自律飛行装置1は、距離検出センサ100、通信部200、撮影部300、ロータ400、モータ500、制御部600及び記憶部700を備える。
距離検出センサ100は、自律飛行装置1の周囲に存在する物体(移動物体及び障害物等)の自律飛行装置1との間の距離、及び、自律飛行装置1に対する相対的な位置を検出する。距離検出センサ100は、例えば、超音波によって自律飛行装置1の周囲に存在する物体の距離及び相対位置を検出する。なお、自律飛行装置1の周囲に存在する物体の距離及び相対位置を検出する方法は、これに限らず、例えば、光等によって検出してもよい。また、距離検出センサ100は、地面との距離を検出することで、自律飛行装置1の飛行高度を推定する。
通信部200は、外部装置(図示せず)との間で例えば無線LAN(Local Area Netowork)又はBLUETOOTH(登録商標)等により無線通信するための無線モジュールである。通信部200は、例えば移動物体が有するリモコン又はスマートフォン等と通信する。
撮影部300(撮影装置)は、移動物体を含んだ画像を撮影する、例えばカラーカメラである。撮影部300が撮影する画像は、静止画像又は動画像である。撮影部300は、例えば、可変焦点レンズ等の光学系及び所定画素(例えば1920×1080画素)のCCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等の二次元アレイ素子を有する二次元イメージセンサで構成される。撮影部300は、撮影画像を所定の時間間隔で取得する。撮影部300が取得した撮影画像は、例えば後述する記憶部700に記憶されたり、通信部200を介して外部装置に送信されたりする。
本実施の形態では、撮影部300は、図1に示されるように、水平面(XY平面)から斜め下方の自律飛行装置1の周囲の空間を撮影するように設置される。撮影部300には、例えば、俯角αと水平回転角βとを調整するモータがそれぞれ設けられている。
ロータ400は、自律飛行装置1を飛行させるプロペラであり、上述したように、自律飛行装置1は、4枚のロータ400を備える。4枚のロータ400がモータ500によって回転数が制御されることで自律飛行装置1の移動速度、移動方向及び高度等が制御される。
モータ500は、ロータ400を回転させるためのモータである。モータ500は、4枚のロータ400の回転数を、後述する飛行制御部680からの指示に応じて変化させる。
制御部600は、例えばCPU(Central Processing Unit)等を備えたコンピュータであって、移動物体の位置の推定及び移動速度の取得、障害物の検出、撮影部300の制御、並びに、自律飛行装置1の飛行制御を行う。制御部600は、目標カメラ角度推定部610、位置推定部620、移動速度取得部630、障害物検出部640、離隔距離制御部650、障害物回避高度算出部660、カメラ制御部670及び飛行制御部680を備える。
目標カメラ角度推定部610は、例えば、画像認識技術を用いて撮影部300の撮影画面上における移動物体の位置を検出し、移動物体が撮影画面の中心にあるか否か判断する。目標カメラ角度推定部610については、後述する図13で詳細に説明する。
位置推定部620は、距離検出センサ100及び撮影部300の出力に基づいて、自律飛行装置1に対する移動物体の相対位置を推定する。位置推定部620は、例えば、移動物体に付けられた所定の目印を撮影部300に認識させることで移動物体を認識することができる。そして、位置推定部620は、認識した移動物体の相対位置を距離検出センサ100に検出させることで、移動物体の相対位置を推定する。
移動速度取得部630は、移動物体の移動速度を示す情報を取得する。移動速度取得部630は、例えば、移動物体に付けられた速度センサ(図示せず)の出力に基づいて、移動物体の絶対速度を取得する。移動速度取得部630は、通信部200を介して移動物体の移動速度を示す情報を取得する。
障害物検出部640は、距離検出センサ100の出力に基づいて、障害物の自律飛行装置1に対する相対的な位置を検出する。具体的には、障害物検出部640は、自律飛行装置1の正面方向(進行方向)に対する障害物の方向と、水平面(XY平面)からの障害物の仰俯角と、自律飛行装置1からの障害物の距離とを検出する。
離隔距離制御部650は、移動速度取得部630が取得した移動物体の移動速度を示す情報に基づいて、自律飛行装置1と移動物体との離隔距離を制御する。また、離隔距離制御部650は、自律飛行装置1と移動物体との位置関係を制御する。離隔距離制御部650は、自律飛行装置1の移動物体との離隔距離及び位置関係を制御するために、自律飛行装置1の飛行速度を算出する。離隔距離制御部650については、後述する図3で詳細に説明する。
障害物回避高度算出部660は、障害物検出部640が検出した障害物の自律飛行装置1に対する相対的な位置を用いて、目標飛行高度を算出する。障害物回避高度算出部660については、後述する図10で詳細に説明する。
カメラ制御部670は、撮影部300の撮影方向を制御する。カメラ制御部670については、後述する図13で詳細に説明する。
飛行制御部680は、自律飛行装置1の速度及び高度が、離隔距離制御部650が算出した飛行速度及び障害物回避高度算出部660が算出した飛行高度となるように、モータ500に、ロータ400の回転数を制御させる。これにより、自律飛行装置1は、目標飛行速度及び目標飛行高度で移動物体に対して追従して飛行する。
記憶部700は、撮影条件情報710、各種パラメータ720、距離検出センサ100の出力、速度センサの出力及び撮影画像等を記憶する。記憶部700は、記憶する情報を制御部600との間で入出力する。記憶部700は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)又はHDD(Hard Disc Drive)等の情報記憶装置である。
撮影条件情報710は、撮影部300の視野に関する情報であり、本実施の形態では、移動物体の移動速度と、目標となる離隔距離である目標撮影距離との予め定められた対応関係を示す情報を含む。移動物体の移動速度と、目標撮影距離との予め定められた対応関係を示す情報については、後述する図5で詳細に説明する。また、撮影条件情報710には、自律飛行装置1と移動物体との位置関係を示す目標水平角度θに関する情報が含まれている。目標水平角度θは、自律飛行装置1の移動物体の進行方向の反対方向に対する撮影角度である。例えば目標水平角度θが0度の場合、自律飛行装置1は移動物体の後ろに位置して移動物体を追従する。また、目標水平角度θが45度の場合、自律飛行装置1は移動物体の斜め後ろに位置して移動物体を追従する。また、例えば目標水平角度θが90度の場合、自律飛行装置1は移動物体の横に位置して移動物体と並走するように移動物体を追従する。
各種パラメータ720は、例えば、フィードバック制御の一種であるPID(Proportional Integral Derivative)制御に関する情報である。PID制御に関する情報とは、例えば、現在の離隔距離と目標撮影距離との距離偏差と速度とが対応付けられた情報である。
[離隔距離制御部の構成及び動作]
次に、離隔距離制御部650の構成及び動作について図3から図9を用いて説明する。
図3は、実施の形態1に係る離隔距離制御部650の構成の一例を示すブロック図である。
離隔距離制御部650は、自律飛行装置1の移動物体との離隔距離及び位置関係を制御するために、自律飛行装置1の飛行速度を算出する。離隔距離制御部650は、距離調整速度算出部651、θ調整速度算出部652及び速度合成部653を備える。
距離調整速度算出部651は、飛行速度に含まれる速度成分のうち自律飛行装置1と移動物体との離隔距離を調整するための速度成分(距離調整速度成分)を算出する。ここで、距離調整速度算出部651が距離調整速度成分を算出するための動作について図4を用いて説明する。
図4は、実施の形態1に係る距離調整速度算出部651が距離調整速度成分を算出するための動作の一例を示すフローチャートである。
まず、移動速度取得部630は、移動物体の移動速度を示す情報を取得する(ステップS101)。
次に、距離調整速度算出部651は、目標撮影距離を決定する(ステップS102)。具体的には、距離調整速度算出部651は、移動速度取得部630が取得した移動速度を示す情報を記憶部700に記憶された撮影条件情報710(移動物体の速度及び目標撮影距離の対応関係)と照合することで目標撮影距離を決定する。ここで、撮影条件情報710の一例を、図5を用いて説明する。
図5は、実施の形態1に係る記憶部700が記憶する撮影条件情報710の一例を示す図である。
図5に示されるように、撮影条件情報710は、例えば、移動物体の移動速度と目標撮影距離との対応関係を示す情報である。図5には、撮影部300の撮影倍率をそれぞれ所定の倍率に固定したときの移動物体の移動速度と目標撮影距離との対応関係が示される。撮影部300の撮影倍率は、例えばユーザによって設定され、設定した撮影倍率を示す情報は記憶部700に記憶される。図5に示されるように、撮影倍率の大きさに関わらず、移動物体の速度が大きいほど目標撮影距離は大きくなる。
例えば、撮影部300の撮影倍率が2倍に設定されている場合に移動物体の速度が2m/sの場合、距離調整速度算出部651は、目標撮影距離を4mに決定する。また、例えば、撮影部300の撮影倍率が2倍に設定されている場合に移動物体の速度が10m/sの場合、距離調整速度算出部651は、目標撮影距離を20mに決定する。このように、距離調整速度算出部651(離隔距離制御部650)は、移動物体の移動速度が大きいほど離隔距離を大きくする制御を行う。
次に、距離調整速度算出部651は、位置推定部620が推定した自律飛行装置1と移動物体との距離(移動物体距離とも呼ぶ)を取得する(ステップS103)。
次に、距離調整速度算出部651は、ステップS102で決定した目標撮影距離とステップS103で取得した移動物体距離とが同じであるか否かを判定する(ステップS104)。
距離調整速度算出部651が、目標撮影距離と移動物体距離とが同じであると判定した場合(ステップS104でYes)、距離調整速度算出部651が距離調整速度成分を算出するための動作は終了する。
距離調整速度算出部651が、目標撮影距離と移動物体距離とが同じでないと判定した場合(ステップS104でNo)、距離調整速度算出部651は、距離調整速度成分を算出する(ステップS105)。距離調整速度算出部651が、距離調整速度成分を算出する方法については後述する図6で詳細に説明する。
このように、距離調整速度算出部651(離隔距離制御部650)は、移動速度取得部630が取得した移動物体の移動速度を示す情報を記憶部700に記憶された撮影条件情報710と照合することで、離隔距離が目標撮影距離となる制御を行う。具体的には、距離調整速度算出部651(離隔距離制御部650)は、離隔距離が目標撮影距離よりも大きい場合、自律飛行装置1の飛行速度を大きくする制御を行い、離隔距離が目標撮影距離よりも小さい場合、自律飛行装置1の飛行速度を小さくする制御を行う。
なお、図4に示される処理は、例えば、ユーザが設定した所望のタイミング毎に行われる。
θ調整速度算出部652は、飛行速度に含まれる速度成分のうち自律飛行装置1が移動物体の後ろ(進行方向と反対方向)に対して目標水平角度θとなる位置に位置するように調整するための速度成分(θ調整速度成分)を算出する。θ調整速度算出部652については、後述する図7から図9で詳細に説明する。
速度合成部653は、自律飛行装置1の飛行速度を算出する。飛行速度には、移動物体の移動速度成分と距離調整速度成分とθ調整速度成分とが含まれる。したがって、速度合成部653は、移動物体の移動速度成分と距離調整速度成分とθ調整速度成分とを合成することで飛行速度を算出する。ここで、自律飛行装置1が移動物体の後ろから移動物体を追従するとき(つまり、目標水平角度θが0度のとき)の飛行速度について図6を用いて説明する。
図6は、実施の形態1に係る自律飛行装置1の飛行速度を説明するための図である。
図6に示される距離aは、距離調整速度算出部651が決定した目標撮影距離である。現状の自律飛行装置1と移動物体800との離隔距離(移動物体距離)は距離a+距離bである。距離bは、現状の移動物体距離を目標撮影距離aとするために自律飛行装置1が移動物体800に対して近づかなければならない距離である。距離調整速度成分は速度合成部653が算出する飛行速度に含まれる成分であり、距離bを0とする(現状の移動物体距離を目標撮影距離aとする)ための速度成分である。また、距離調整速度成分は、自律飛行装置1から移動物体800への方向における速度成分である。例えば、図4に示される処理は所定の時間毎に行われ、距離調整速度算出部651は、所定の時間毎に移動物体距離と目標撮影距離との距離偏差を算出する。そして、距離調整速度算出部651は、距離偏差に基づいて、例えばPID制御等の制御手法を用いて距離調整速度成分を算出する。本実施の形態では、記憶部700に記憶された各種パラメータ720(PID制御に関する情報)を用いて、距離調整速度成分は算出される。自律飛行装置1は、移動物体800が動いているため、移動物体800の速度の成分(移動物体速度成分)と算出した距離調整速度成分とを足し合わせた飛行速度で移動物体800に追従する。これにより、図4に示される処理が行われる毎に距離bは0に近づいていき、移動物体距離は目標撮影距離aと等しくなる。
なお、図6では、現状の移動物体距離が目標撮影距離より大きい場合を例にして説明したが、現状の移動物体距離が目標撮影距離より小さい場合、自律飛行装置1は、移動物体速度成分から距離調整速度成分を引いた飛行速度で、移動物体800から遠ざかりながら移動物体800に追従する。
また、移動物体800の移動速度は常に一定とは限らず、変化することがある。この場合、例えば、離隔距離制御部650は、移動物体800の移動速度が現状の移動速度(第1移動速度)から第1移動速度よりも大きい速度(第2移動速度)へ変化した場合、自律飛行装置1と移動物体800との離隔距離を大きくする制御を行う。移動物体の移動速度が第1移動速度(例えば1m/s)から第2移動速度(例えば2m/s)へ変化した場合、距離調整速度算出部651は、目標撮影距離を例えば2mから4mに決定する。なお、このときの撮影倍率は2倍に固定されているとする。そして、離隔距離制御部650は、飛行速度を遅くすることで、離隔距離を大きくしていき、離隔距離を4mへと大きくする制御を行う。
また、例えば、離隔距離制御部650は、移動物体800の移動速度が現状の移動速度(第1移動速度)から第1移動速度よりも小さい速度(第2移動速度)へ変化した場合、自律飛行装置1と移動物体800との離隔距離を小さくする制御を行う。移動物体の移動速度が第1移動速度(例えば2m/s)から第2移動速度(例えば1m/s)へ変化した場合、距離調整速度算出部651は、目標撮影距離を例えば4mから2mに決定する。なお、このときの撮影倍率は2倍に固定されているとする。そして、離隔距離制御部650は、飛行速度を速くすることで、離隔距離を小さくしていき、離隔距離を2mへと小さくする制御を行う。
このように、離隔距離制御部650は、移動物体800の移動速度が大きいほど離隔距離を大きくする制御を行う。
次に、自律飛行装置1が移動物体の斜め後ろから移動物体を追従するとき(つまり、目標水平角度θが0度でないとき)の飛行速度について図7から図9を用いて説明する。
図7は、目標水平角度θを説明するための図である。
図6では、自律飛行装置1は、移動物体800の後ろから追従するため、移動物体800の移動速度に単に距離調整速度成分を足す又は引くことで離隔距離を目標撮影距離にしていた。しかし、移動物体800を斜め後ろから撮影した、より迫力のある画像を取得したいという要望がある。移動物体800を斜め後ろから撮影した画像とは、例えば、図7の点線で示される自律飛行装置1の位置のように、自律飛行装置1の移動物体の進行方向の反対方向に対して角度θの位置からの撮影した画像である。距離aは、移動物体800の移動速度に応じて決定される目標撮影距離である。
図7の実線で示される自律飛行装置1の位置を現状の自律飛行装置1の位置とすると、離隔距離制御部650は、離隔距離を目標撮影距離aにする制御と目標水平角度を角度θにする制御を行う必要がある。具体的には、θ調整速度算出部652は、自律飛行装置1が移動物体の後ろに対して目標水平角度θとなる位置に位置するように調整するためのθ調整速度成分を算出する。ここで、θ調整速度算出部652がθ調整速度成分を算出するための動作について図8を用いて説明する。
図8は、実施の形態1に係るθ調整速度算出部652がθ調整速度成分を算出するための動作の一例を示すフローチャートである。
まず、θ調整速度算出部652は、現在の水平角度を推定する(ステップS201)。具体的には、θ調整速度算出部652は、位置推定部620が推定した自律飛行装置1と移動物体800との相対位置から現在の水平角度を推定する。
次に、θ調整速度算出部652は、現在の水平角度と目標水平角度θとが同じであるか否かを判定する(ステップS202)。目標水平角度θは、記憶部700に記憶された撮影条件情報710に含まれる情報であり、例えばユーザ(移動物体800)により設定されて記憶部700に記憶されている。
θ調整速度算出部652が、現在の水平角度と目標水平角度θとが同じであると判定した場合(ステップS202でYes)、θ調整速度算出部652がθ調整速度成分を算出するための動作は終了する。
距離調整速度算出部651が、現在の水平角度と目標水平角度θとが同じでないと判定した場合(ステップS202でNo)、θ調整速度算出部652は、θ調整速度成分を算出する(ステップS203)。θ調整速度算出部652が、θ調整速度成分を算出する方法について図9を用いて説明する。
図9は、実施の形態1に係る自律飛行装置1の目標水平角度θを調整するときの飛行速度を説明するための図である。
図9の(a)に示される自律飛行装置1と移動物体800との位置関係と図7の実線で示される自律飛行装置1と移動物体800との位置関係とは同じとする。また、図9の(d)に示される自律飛行装置1と移動物体800との位置関係と図7の点線で示される自律飛行装置1と移動物体800との位置関係とは同じとする。図9の(a)から図9の(d)は、自律飛行装置1の移動物体800の後ろに対して角度θ、かつ、目標撮影距離aの位置へ移動していく様子を示す図である。
目標水平角度θを調整しない場合、自律飛行装置1の飛行速度は、図6に示されるように移動物体速度成分と距離調整速度成分との和となるが、目標水平角度θを調整する場合、
自律飛行装置1の飛行速度は、移動物体速度成分と距離調整速度成分とθ調整速度成分との和となる。例えば、図8に示される処理は所定の時間毎に行われ、θ調整速度算出部652は、所定の時間毎に現在の水平角度と目標水平角度θとの角度偏差を算出する。そして、θ調整速度算出部652は、角度偏差に基づいて、例えばPID制御等の制御手法を用いてθ調整速度成分を算出する。本実施の形態では、記憶部700に記憶された各種パラメータ720(PID制御に関する情報)を用いて、θ調整速度成分は算出される。
図9の(a)から図9の(d)に示されるように、θ調整速度成分は、例えば、距離調整速度成分の法線方向の成分となる。自律飛行装置1の飛行速度は、離隔距離を目標撮影距離aとするための距離調整速度成分と現在の水平角度を目標水平角度θとするためのθ調整速度成分とに応じて変化していくことがわかる。そして、自律飛行装置1は、移動物体800の後ろに対して角度θ、かつ、目標撮影距離aの位置へ移動していく。図9の(d)に示されるように、自律飛行装置1が目標の位置に到達すると、飛行速度に含まれる成分は移動物体速度成分のみとなり、自律飛行装置1は、移動物体800の後ろに対して角度θ、かつ、目標撮影距離aの位置から移動物体800に追従する。
このように、自律飛行装置1は、移動物体800の斜め後ろから追従して移動物体800を撮影することができる。
[障害物回避高度算出部の動作]
ところで、自律飛行装置1が移動物体800に追従するときに、移動物体800が例えば木のような障害物の下をくぐって通り抜ける場合がある。この場合、自律飛行装置1は、障害物に衝突してしまう可能性がある。そこで、自律飛行装置1の障害物回避高度算出部660は、障害物を回避するための障害物回避高度を算出する。障害物回避高度算出部660が障害物回避高度を算出するための動作について、図10及び図11を用いて説明する。
図10は、実施の形態1に係る障害物回避高度算出部660が障害物回避高度を算出するための動作の一例を示すフローチャートである。
まず、障害物検出部640は、障害物を検出する(ステップS301)。障害物検出部640は、例えば、自律飛行装置1における水平面(XY平面)からの障害物の仰俯角と、自律飛行装置1からの障害物の距離とを検出する。
次に、障害物回避高度算出部660は、現在の進行方向に基づいた飛行経路上に障害物検出部640が検出した障害物があるか否かを判定する(ステップS302)。例えば、障害物回避高度算出部660は、飛行経路上のうち、現在の位置から現在の飛行速度で障害物を回避するために必要な距離分先までの間に障害物があるか否かを判定する。
障害物回避高度算出部660が、飛行経路上に障害物がないと判定した場合(ステップS302でNo)、障害物回避高度算出部660が障害物回避高度を算出するための動作は終了する。
障害物回避高度算出部660が、飛行経路上に障害物があると判定した場合(ステップS302でYes)、障害物回避高度算出部660は、障害物回避高度を算出する。具体的には、障害物回避高度算出部660は、障害物検出部640が検出した自律飛行装置1における水平面からの障害物の仰俯角に基づいて、障害物のない飛行高度の範囲を算出する。そして、障害物回避高度算出部660は、障害物のない飛行高度の範囲のうち、現在の飛行高度に最も近い高度を障害物回避高度として算出する。
なお、自律飛行装置1が木のように移動物体800がくぐって通り抜ける障害物を回避する場合、障害物回避高度は現在の飛行高度よりも低くすることが好ましい。例えば、障害物回避高度を現在の飛行高度よりも高くする場合、自律飛行装置1が移動物体800を見失ってしまう可能性がある。自律飛行装置1が現在の飛行高度よりも障害物回避高度を低くするときの様子について図11を用いて説明する。
図11は、実施の形態1に係る自律飛行装置が障害物を回避するときの様子を示す図である。
図11に示されるように、木(障害物)の枝及び葉の部分と地面との間をくぐって木を通り抜けた移動物体800と同じように、自律飛行装置1は、自身の飛行高度を低くして木をくぐって通り抜けようとしている。例えば、自律飛行装置1が、自身の高度を高くして、木の枝及び葉の部分の上方を通って木(障害物)を回避する場合、木の高さによっては撮影部300の撮影範囲から移動物体800がフレームアウトしてしまう。したがって、自律飛行装置1の障害物回避高度は、現在の飛行高度よりも低くすることが好ましい。
[離隔距離]
ところで、移動物体800と自律飛行装置1との離隔距離は、移動物体800と自律飛行装置1との直線距離であっても、水平距離であってもよい。
図12は、移動物体800と自律飛行装置1との直線距離D及び水平距離Lを説明するための図である。
移動物体800と自律飛行装置1との離隔距離が直線距離Dの場合、自律飛行装置1における水平面から移動物体800への俯角φは固定される。これにより、移動物体800の移動速度が速いとき及び遅いときのどちらにおいても、自律飛行装置1における水平面から移動物体800への俯角φは一定に維持される。したがって、自律飛行装置1の移動物体800への視点を維持したまま、離隔距離を変更できる。
移動物体800と自律飛行装置1との離隔距離が水平距離Lの場合、自律飛行装置1の飛行高度Hは固定される。これにより、移動物体800の移動速度が速いとき及び遅いときのどちらにおいても、自律飛行装置1の飛行高度Hは一定に維持される。
[カメラ制御部の動作]
ところで、撮影部300が撮影した画像に含まれる移動物体800は、撮影対象であるので画像の中心に位置することが好ましい。カメラ制御部670は、移動物体800が撮影部300の画面の中心に位置するように、撮影部300の撮影方向を制御する。ここで、カメラ制御部670の移動物体800を撮影部300の画面の中心に映すための動作について、図13を用いて説明する。
図13は、実施の形態1に係るカメラ制御部670の移動物体800を画面の中心に映すための動作を示すフローチャートである。
まず、目標カメラ角度推定部610は、移動物体800が撮影部300の画面の中心に映っているか否かを判定する(ステップS401)。具体的には、目標カメラ角度推定部610は、例えば、画像認識技術を用いて撮影部300の撮影画面上における移動物体800の位置を検出し、移動物体800が撮影画面の中心にあるか否か判断する。
目標カメラ角度推定部610が、移動物体800が撮影部300の画面の中心に映っていると判定した場合(ステップS401でYes)、カメラ制御部670の移動物体800を画面の中心に映すための動作は終了する。
目標カメラ角度推定部610が、移動物体800が撮影部300の画面の中心に映らないと判定した場合(ステップS401でNo)、カメラ制御部670は、カメラ角度(撮影部300の撮影方向)を制御する(ステップS402)。ステップS401では、まず、目標カメラ角度推定部610は、撮影部300の出力に基づいて、移動物体800が撮影部300の画面の中心にくる俯角α及び水平回転角βを推定する。そして、ステップS402では、カメラ制御部670は、目標カメラ角度推定部610が推定した俯角α及び水平回転角βを用いて、撮影部300の撮影方向を制御する。これにより、カメラ制御部670は、移動物体800を撮影部300の画面の中心に写すことができる。
[効果等]
以上のように、本実施の形態の自律飛行装置1は、移動物体800の移動速度が大きいほど離隔距離を大きくする制御を行う。自律飛行装置1の奏する効果について図14を用いて説明する。
図14は、実施の形態1に係る自律飛行装置1の効果を説明するための図である。図14の(a)は、移動物体800の移動速度が大きい場合の撮影部300が撮影した画像を示す図である。図14の(b)は、移動物体800の移動速度が小さい場合の撮影部300が撮影した画像を示す図である。
移動物体800の移動速度が大きい場合、撮影した画像における移動物体800にブレが発生したり、移動物体800が撮影した画像からフレームアウトしたりしてしまうことがある。そこで、図14の(a)に示されるように、移動物体800と自律飛行装置1との離隔距離が大きくなることで、画角が広くなる。これにより、移動物体800の移動速度が大きい場合には、移動物体800を撮影する画像における移動物体800のブレ又はフレームアウトの発生が抑制される。
また、移動物体800の移動速度が小さい場合、撮影した画像における移動物体にブレが発生したり、移動物体が撮影した画像からフレームアウトしたりしてしまう可能性が低くなる。そこで、図14の(a)に示されるように、移動物体800と自律飛行装置1との離隔距離が小さくなることで、画角が狭くなる。これにより、移動物体800の移動速度が小さい場合には、撮影した画像における移動物体800が小さくなってしまうことが抑制される。
(実施の形態2)
実施の形態2について、図15から図17を用いて説明する。
図15は、実施の形態2に係る自律飛行装置1aの構成の一例を示すブロック図である。
本実施の形態に係る自律飛行装置1aは、制御部600の代わりに制御部600aを備える点が実施の形態1に係る自律飛行装置1と異なる。その他の点は、実施の形態1におけるものと同じであるため、説明は省略する。また、制御部600aは、離隔距離制御部650及びカメラ制御部670の代わりに離隔距離制御部650及びカメラ制御部670を備える点が、制御部600と異なり、その他の点は同じであるため説明は省略する。自律飛行装置1aは、移動物体800に対して所定の離隔距離(撮影距離)を保って、移動物体800に追従して飛行する。所定の離隔距離は、例えば、ユーザによって設定され、所定の離隔距離を示す情報は記憶部700に記憶される。
離隔距離制御部650aは、位置推定部620が推定した自律飛行装置1aと移動物体800との離隔距離及び位置関係を制御する。離隔距離制御部650は、自律飛行装置1の移動物体800との離隔距離及び位置関係を制御するために、自律飛行装置1の飛行速度を算出する。実施の形態1に係る離隔距離制御部650は、移動速度取得部630が取得した移動物体800の移動速度を示す情報に基づいて離隔距離を制御したが、本実施の形態に係る離隔距離制御部650aは、例えば記憶部700に記憶された所定の離隔距離を示す情報に基づいて離隔距離を制御する。そして、離隔距離制御部650aは、位置推定部620が推定した移動物体800の位置からの離隔距離が、ユーザが設定した撮影距離になるように、飛行制御部680に飛行速度を制御させる。
カメラ制御部670a(倍率制御部)は、移動速度取得部630が取得した移動物体800の移動速度を示す情報に基づいて、撮影部300の撮影倍率を制御する。カメラ制御部670aは、実施の形態1に係るカメラ制御部670の動作も行うことができる。ここで、カメラ制御部670aについて図16を用いて説明する。
図16は、実施の形態2に係るカメラ制御部670aが撮影部300の撮影倍率を制御するための動作の一例を示すフローチャートである。
まず、移動速度取得部630は、移動物体800の移動速度を示す情報を取得する(ステップS501)。
次に、カメラ制御部670aは、目標撮影倍率を決定する(ステップS502)。具体的には、カメラ制御部670aは、移動速度取得部630が取得した移動速度を示す情報と記憶部700に記憶された撮影条件情報710(移動物体800の移動速度及び撮影倍率の対応関係)とから目標撮影距離(離隔距離)を決定する。ここで、撮影条件情報710の一例を、図5を用いて説明する。
図17は、実施の形態2に係る記憶部700が記憶する撮影条件情報710の一例を示す図である。
図17に示されるように、撮影条件情報710は、本実施の形態では、移動物体800の移動速度と、移動物体800の移動速度に最適な撮影倍率である目標撮影倍率との予め定められた対応関係を示す情報を含む。図17には、撮影部300の撮影距離(移動物体800と自律飛行装置1aとの離隔距離)をそれぞれ所定の撮影距離に固定したときの移動物体の移動速度と目標撮影倍率との対応関係が示される。移動物体800と自律飛行装置1aとの撮影距離は、上述したようにユーザによって設定され、設定された撮影距離を示す情報は記憶部700に記憶されている。図17に示されるように、撮影距離の大きさに関わらず、移動物体800の速度が大きいほど目標撮影倍率は小さくなる。
例えば、撮影距離が2mに設定されている場合に移動物体の速度が2m/sの場合、カメラ制御部670aは、目標撮影倍率を1倍に決定する。また、例えば、撮影距離が2mに設定されている場合に移動物体の速度が10m/sの場合、カメラ制御部670aは、目標撮影倍率を0.2倍に決定する。このように、カメラ制御部670a(倍率制御部)は、移動物体800の移動速度が大きいほど撮影倍率を小さくする制御を行う。
そして、カメラ制御部670aは、撮影部300の撮影倍率を決定した目標撮影倍率に制御する(ステップS503)。
以上のように、本実施の形態の自律飛行装置1aは、移動物体800の移動速度が大きいほど撮影倍率を小さくする制御を行う。
自律飛行装置1の奏する効果と同じように、移動物体800と自律飛行装置1aとの撮影倍率が小さくなることで、画角が広くなる。これにより、移動物体800の移動速度が大きい場合には、移動物体800を撮影する画像における移動物体800のブレ又はフレームアウトの発生が抑制される。また、移動物体800と自律飛行装置1との撮影倍率が大きくなることで、画角が狭くなる。これにより、移動物体800の移動速度が小さい場合には、撮影した画像における移動物体800が小さくなってしまうことが抑制される。
(その他の実施の形態)
以上、本開示の自律飛行装置及び自律飛行装置の制御方法について、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。
例えば、上記実施の形態では、離隔距離制御部650は、図5に示されるように移動物体800の移動速度の変化に応じて目標撮影距離(離隔距離)を変更する制御をしたが、これに限らない。例えば、離隔距離制御部650は、移動物体800の移動速度が所定の閾値より大きいか否かを判定してもよい。そして、離隔距離制御部650は、移動物体800の移動速度が所定の閾値よりも大きい場合、離隔距離が第1離隔距離となる制御を行い、移動物体800の移動速度が所定の閾値よりも小さい場合、離隔距離が第1離隔距離よりも小さい第2離隔距離となる制御を行ってもよい。
これにより、移動物体800の移動速度が所定の閾値より大きい場合、撮影部300は画角の広い画像を撮影するモードになり、移動物体800の移動速度が所定の閾値より小さい場合、撮影部300は画角の狭い画像を撮影するモードになる。つまり、1つの閾値を設定することで、移動物体800の移動速度に応じて画角の広い画像を撮影するモードと画角の狭い画像を撮影するモードとを切り替えることができる。また、複数の閾値を設定することで、移動物体800の移動速度に応じて複数のモードを切り替えてもよい。
また、例えば、上記実施の形態では、カメラ制御部670aは、図17に示されるように移動物体800の移動速度の変化に応じて目標撮影倍率を変更する制御をしたが、これに限らない。例えば、カメラ制御部670aは、移動物体800の移動速度が所定の閾値より大きいか否かを判定してもよい。そして、カメラ制御部670aは、移動物体800の移動速度が所定の閾値よりも大きい場合、撮影倍率が第1倍率となる制御を行い、移動物体800の移動速度が所定の閾値よりも小さい場合、撮影倍率が第1倍率よりも大きい第2倍率となる制御を行ってもよい。
これにより、移動物体800の移動速度が所定の閾値より大きい場合、撮影部300は画角の広い画像を撮影するモードになり、移動物体800の移動速度が所定の閾値より小さい場合、撮影部300は画角の狭い画像を撮影するモードになる。つまり、1つの閾値を設定することで、移動物体800の移動速度に応じて画角の広い画像を撮影するモードと画角の狭い画像を撮影するモードとを切り替えることができる。また、複数の閾値を設定することで、移動物体800の移動速度に応じて複数のモードを切り替えてもよい。
また、例えば、上記実施の形態では、移動物体800の移動速度に応じた離隔距離の制御、又は、移動物体800の移動速度に応じた撮影倍率の制御が行われたが、両方の制御が行われてもよい。例えば、実施の形態1において、移動物体800の移動速度が大きいときに、離隔距離が大きくなり過ぎる場合には、撮影倍率も制御されてもよい。同様に、実施の形態1において、移動物体800の移動速度が小さいときに、離隔距離が小さくなり過ぎる場合には、撮影倍率も制御されてもよい。また、例えば、実施の形態2において、撮影部300の変更可能な撮影倍率を超えて画角の広さを変更したい場合には、離隔距離も制御されてもよい。なお、この場合に、離隔距離及び撮影倍率のうちのどちらから優先的に制御するかをユーザが設定してもよい。
なお、本開示の包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。例えば、本開示は、自律飛行装置の制御方法を自律飛行装置のコンピュータに実行させるためのプログラムとして実現されてもよい。また、そのプログラムを示す情報、データ又は信号として実現することもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態や、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
本開示は、自律飛行装置、自律飛行装置の制御方法及びプログラムを提供するものであり、自動で移動物体に追従して移動物体を撮影し、撮影する画像における移動物体のブレ又はフレームアウトを適切に抑制できるため、空中から移動物体を撮影する機器、玩具等に有用である。
1 自律飛行装置
100 距離検出センサ
200 通信部
300 撮影部
400 ロータ
500 モータ
600 制御部
610 目標カメラ角度推定部
620 位置推定部
630 移動速度取得部
640 障害物検出部
650 離隔距離制御部
651 距離調整速度算出部
652 θ調整速度算出部
653 速度合成部
660 障害物回避高度算出部
670 カメラ制御部
680 飛行制御部
690 倍率制御部
700 記憶部
710 撮影条件情報
720 各種パラメータ
800 移動物体

Claims (19)

  1. 移動物体に追従して飛行する自律飛行装置であって、
    前記移動物体を含んだ画像を撮影する撮影部と、
    前記移動物体の移動速度を示す情報を取得する移動速度取得部と、
    前記移動速度取得部が取得した前記移動速度を示す情報に基づいて、前記自律飛行装置と前記移動物体との離隔距離を制御する離隔距離制御部と、を備え、
    前記離隔距離制御部は、前記移動速度が大きいほど前記離隔距離を大きくする制御を行う、
    自律飛行装置。
  2. 前記離隔距離は、前記移動物体と前記自律飛行装置との間の直線距離である、
    請求項1に記載の自律飛行装置。
  3. 前記離隔距離は、前記移動物体と前記自律飛行装置との間の水平距離である、
    請求項1に記載の自律飛行装置。
  4. 前記離隔距離制御部は、前記移動速度が所定の閾値よりも大きい場合、前記離隔距離が第1離隔距離となる制御を行い、前記移動速度が所定の閾値よりも小さい場合、前記離隔距離が前記第1離隔距離よりも小さい第2離隔距離となる制御を行う、
    請求項1〜3のいずれか1項に記載の自律飛行装置。
  5. 前記離隔距離制御部は、前記移動速度が第1移動速度から、当該第1移動速度よりも大きい第2移動速度へ変化した場合、前記離隔距離を大きくする制御を行う、
    請求項1〜4のいずれか1項に記載の自律飛行装置。
  6. 前記離隔距離制御部は、前記移動速度が第1移動速度から、当該第1移動速度よりも小さい第2移動速度へ変化した場合、前記離隔距離を小さくする制御を行う、
    請求項1〜4のいずれか1項に記載の自律飛行装置。
  7. さらに、前記移動速度と、目標となる離隔距離である目標撮影距離との予め定められた対応関係を示す撮影条件情報を記憶する記憶部を備え、
    前記離隔距離制御部は、前記移動速度を示す情報を前記撮影条件情報と照合することで、前記離隔距離が前記目標撮影距離となる制御を行う、
    請求項1〜6のいずれか1項に記載の自律飛行装置。
  8. 前記離隔距離制御部は、
    前記離隔距離が前記目標撮影距離よりも大きい場合、前記自律飛行装置の飛行速度を大きくする制御を行い、
    前記離隔距離が前記目標撮影距離よりも小さい場合、前記飛行速度を小さくする制御を行う、
    請求項7に記載の自律飛行装置。
  9. 前記撮影部が撮影する画像は、静止画像又は動画像である、
    請求項1〜8のいずれか1項に記載の自律飛行装置。
  10. 移動物体に対して所定の離隔距離を保って、当該移動物体に追従して飛行する自律飛行装置であって、
    前記移動物体を含んだ画像を撮影する撮影部と、
    前記移動物体の移動速度を示す情報を取得する移動速度取得部と、
    前記移動速度取得部が取得した前記移動速度を示す情報に基づいて、前記撮影部の撮影倍率を制御する倍率制御部と、を備え、
    前記倍率制御部は、前記移動速度が大きいほど前記倍率を小さくする制御を行う、
    自律飛行装置。
  11. 前記倍率制御部は、前記移動速度が所定の閾値よりも大きい場合、前記撮影倍率が第1倍率となる制御を行い、前記移動速度が所定の閾値よりも小さい場合、前記撮影倍率が前記第1倍率よりも大きい第2倍率となる制御を行う、
    請求項10に記載の自律飛行装置。
  12. 前記倍率制御部は、前記移動速度が第1移動速度から、当該第1移動速度よりも大きい第2移動速度へ変化した場合、前記撮影倍率を小さくする制御を行う、
    請求項10又は11に記載の自律飛行装置。
  13. 前記倍率制御部は、前記移動速度が第1移動速度から、当該第1移動速度よりも小さい第2移動速度へ変化した場合、前記撮影倍率を大きくする制御を行う、
    請求項10又は11に記載の自律飛行装置。
  14. さらに、前記移動速度と、目標となる撮影倍率である目標撮影倍率との予め定められた対応関係を示す撮影条件情報を記憶する記憶部を備え、
    前記倍率制御部は、前記移動速度を示す情報と前記撮影条件情報とに基づいて前記撮影倍率が前記目標撮影倍率となる制御を行う、
    請求項10〜13のいずれか1項に記載の自律飛行装置。
  15. 前記撮影部が撮影する画像は、静止画像又は動画像である、
    請求項10〜14のいずれか1項に記載の自律飛行装置。
  16. 撮影装置を備え、移動物体に追従して飛行する自律飛行装置の動作を制御するプログラムであって、
    前記自律飛行装置のコンピュータに、
    前記移動物体を含んだ画像を撮影させ、
    前記移動物体の移動速度を示す情報を取得させ、
    取得させた前記移動速度を示す情報に基づいて、前記自律飛行装置と前記移動物体との離隔距離を制御させ、
    前記移動速度が大きい場合ほど前記離隔距離を大きくする制御を行わせる、
    プログラム。
  17. 撮影装置を備え、移動物体に対して所定の離隔距離を保って当該移動物体に追従して飛行する自律飛行装置の動作を制御するプログラムであって、
    前記自律飛行装置のコンピュータに、
    前記移動物体を含んだ画像を撮影させ、
    前記移動物体の移動速度を示す情報を取得させ、
    取得させた前記移動速度を示す情報に基づいて、前記撮影装置の撮影倍率を制御させ、
    前記移動速度が大きいほど前記撮影倍率を小さくする制御を行わせる、
    プログラム。
  18. 撮影装置を備え、移動物体に追従して飛行する自律飛行装置の動作を制御する方法であって、
    前記移動物体を含んだ画像を撮影する撮影ステップと、
    前記移動物体の移動速度を示す情報を取得する移動速度取得ステップと、
    前記移動速度取得ステップで測定した前記移動速度を示す情報に基づいて、前記自律飛行装置と前記移動物体との離隔距離を制御する離隔距離制御ステップと、を含み、
    前記離隔距離制御ステップでは、前記移動速度が大きいほど前記離隔距離を大きくする制御を行う、
    自律飛行装置の制御方法。
  19. 撮影装置を備え、移動物体に対して所定の離隔距離を保って当該移動物体に追従して飛行する自律飛行装置の動作を制御する方法であって、
    前記移動物体を含んだ画像を撮影する撮影ステップと、
    前記移動物体の移動速度を示す情報を取得する移動速度取得ステップと、
    前記移動速度取得ステップで取得した前記移動速度を示す情報に基づいて、前記撮影装置の撮影倍率を制御する倍率制御ステップと、を含み、
    前記倍率制御ステップでは、前記移動速度が大きいほど前記撮影倍率を小さくする制御を行う、
    自律飛行装置の制御方法。
JP2015199473A 2015-10-07 2015-10-07 自律飛行装置、自律飛行装置の制御方法及びプログラム Pending JP2017072986A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2015199473A JP2017072986A (ja) 2015-10-07 2015-10-07 自律飛行装置、自律飛行装置の制御方法及びプログラム
CN201610835668.7A CN107015568A (zh) 2015-10-07 2016-09-20 自主飞行装置、自主飞行装置的控制方法
US15/283,564 US10353403B2 (en) 2015-10-07 2016-10-03 Autonomous flying device, control method of autonomous flying device, and non-transitory recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015199473A JP2017072986A (ja) 2015-10-07 2015-10-07 自律飛行装置、自律飛行装置の制御方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2017072986A true JP2017072986A (ja) 2017-04-13

Family

ID=58500014

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015199473A Pending JP2017072986A (ja) 2015-10-07 2015-10-07 自律飛行装置、自律飛行装置の制御方法及びプログラム

Country Status (3)

Country Link
US (1) US10353403B2 (ja)
JP (1) JP2017072986A (ja)
CN (1) CN107015568A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020050261A (ja) * 2018-09-28 2020-04-02 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
WO2020070897A1 (ja) * 2018-10-05 2020-04-09 株式会社イームズラボ 監視システム、管理装置、監視方法、管理装置の制御プログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6310093B2 (ja) * 2014-11-12 2018-04-11 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 目標物体の検出方法、検出装置及びロボット
US9896205B1 (en) 2015-11-23 2018-02-20 Gopro, Inc. Unmanned aerial vehicle with parallax disparity detection offset from horizontal
US9758246B1 (en) * 2016-01-06 2017-09-12 Gopro, Inc. Systems and methods for adjusting flight control of an unmanned aerial vehicle
JP2019113992A (ja) * 2017-12-22 2019-07-11 カシオ計算機株式会社 飛行装置、飛行装置の制御方法及びプログラム
US10836487B2 (en) * 2018-11-26 2020-11-17 Category, LLC System for unassisted sky diving
US11328612B2 (en) 2019-08-14 2022-05-10 Lane Dalan System, method, and apparatus for drone positioning control
JP2021180379A (ja) * 2020-05-12 2021-11-18 キヤノン株式会社 撮像装置および撮像装置の制御方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004101616A (ja) * 2002-09-05 2004-04-02 Sony Corp 移動撮影システム、移動撮影方法、移動体、及び信号発生装置
JP2009173263A (ja) * 2008-01-23 2009-08-06 Honeywell Internatl Inc 無人航空機(uav)によって移動目標物を自律的に追跡するための方法及びシステム
JP2011077617A (ja) * 2009-09-29 2011-04-14 Saxa Inc 移動体撮像装置
WO2015014116A1 (en) * 2013-07-31 2015-02-05 SZ DJI Technology Co., Ltd Remote control method and terminal

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6029446B2 (ja) 2012-12-13 2016-11-24 セコム株式会社 自律飛行ロボット
US10518877B2 (en) * 2012-12-19 2019-12-31 Elwha Llc Inter-vehicle communication for hazard handling for an unoccupied flying vehicle (UFV)
US9429425B2 (en) * 2013-03-05 2016-08-30 Here Global B.V. Aerial image collection
CN103286783B (zh) * 2013-05-13 2015-11-25 西安电子科技大学 索牵引摄像机器人的运动速度控制方法
KR101592165B1 (ko) * 2013-08-30 2016-02-11 한국전력공사 무인항공기의 영상취득장치 및 방법
CN104065878B (zh) * 2014-06-03 2016-02-24 小米科技有限责任公司 拍摄控制方法、装置及终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004101616A (ja) * 2002-09-05 2004-04-02 Sony Corp 移動撮影システム、移動撮影方法、移動体、及び信号発生装置
JP2009173263A (ja) * 2008-01-23 2009-08-06 Honeywell Internatl Inc 無人航空機(uav)によって移動目標物を自律的に追跡するための方法及びシステム
JP2011077617A (ja) * 2009-09-29 2011-04-14 Saxa Inc 移動体撮像装置
WO2015014116A1 (en) * 2013-07-31 2015-02-05 SZ DJI Technology Co., Ltd Remote control method and terminal

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020050261A (ja) * 2018-09-28 2020-04-02 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
WO2020070897A1 (ja) * 2018-10-05 2020-04-09 株式会社イームズラボ 監視システム、管理装置、監視方法、管理装置の制御プログラム
JPWO2020070897A1 (ja) * 2018-10-05 2021-09-24 イームズロボティクス株式会社 監視システム、管理装置、監視方法、管理装置の制御プログラム
JP7101799B2 (ja) 2018-10-05 2022-07-15 イームズロボティクス株式会社 監視システム、管理装置、監視方法、管理装置の制御プログラム

Also Published As

Publication number Publication date
CN107015568A (zh) 2017-08-04
US20170102715A1 (en) 2017-04-13
US10353403B2 (en) 2019-07-16

Similar Documents

Publication Publication Date Title
JP2017072986A (ja) 自律飛行装置、自律飛行装置の制御方法及びプログラム
EP2652948B1 (en) Zooming factor computation
US20190354115A1 (en) Control method, device, and gimbal
WO2019227441A1 (zh) 可移动平台的拍摄控制方法和设备
US11798172B2 (en) Maximum temperature point tracking method, device and unmanned aerial vehicle
CN108141540B (zh) 具有移动检测的全向相机
JP6512907B2 (ja) シフト素子制御装置、シフト素子制御プログラムおよび光学機器
WO2019104569A1 (zh) 一种对焦方法、设备及可读存储介质
WO2019227333A1 (zh) 集体照拍摄方法和装置
WO2020227998A1 (zh) 图像增稳控制方法、拍摄设备和可移动平台
CN112154654A (zh) 比赛拍摄方法、电子设备、无人机与存储介质
JP6921031B2 (ja) 制御装置及び撮影方法
CN110892731B (zh) 视频播放速度控制方法及***、控制终端和可移动平台
CN112204946A (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
JP2017169170A (ja) 撮像装置、移動装置、撮像システム、撮像方法およびプログラム
CN111213365A (zh) 拍摄控制方法及控制器
CN108298101B (zh) 云台旋转的控制方法及装置、无人机
JP7501535B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
CN110036411B (zh) 生成电子三维漫游环境的装置和方法
WO2021031184A1 (zh) 图像处理方法、设备和可移动平台
JP2020020878A (ja) 移動体、合焦制御方法、プログラム、及び記録媒体
JP6865720B2 (ja) 移動体、撮像制御方法、プログラム、及び記録媒体
JP6702737B2 (ja) 像ブレ補正装置、および、像ブレ補正装置の制御方法
US20170287143A1 (en) Image processing system and method for detection of objects in motion
CN112154477A (zh) 图像处理方法、装置和可移动平台

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180427

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190402

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191105