JP6673371B2 - 可動物体を使用して障害物を検出する方法及びそのシステム - Google Patents

可動物体を使用して障害物を検出する方法及びそのシステム Download PDF

Info

Publication number
JP6673371B2
JP6673371B2 JP2017565054A JP2017565054A JP6673371B2 JP 6673371 B2 JP6673371 B2 JP 6673371B2 JP 2017565054 A JP2017565054 A JP 2017565054A JP 2017565054 A JP2017565054 A JP 2017565054A JP 6673371 B2 JP6673371 B2 JP 6673371B2
Authority
JP
Japan
Prior art keywords
movable object
obstacle
item
imaging device
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017565054A
Other languages
English (en)
Other versions
JP2018523864A (ja
Inventor
タン、ケタン
ツァン、ホンフイ
ツァオ、コン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2018523864A publication Critical patent/JP2018523864A/ja
Application granted granted Critical
Publication of JP6673371B2 publication Critical patent/JP6673371B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00Measuring distances in line of sight; Optical rangefinders
    • G01C3/10Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/102Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Astronomy & Astrophysics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Description

無人航空機(UAV)等の可動物体は、軍事及び民生用途のための様々な環境における監視、偵察、及び探査などの業務行うために用い得る。UAVは、リモートのユーザによって手動で制御し得、あるいは、半自律的なまたは完全に自律的な方法で動作し得る。こうしたUAVは、周囲環境からのデータを収集するセンサ、及び、種々の用途(例えば、ナビゲーション)において使用するためのデータを処理するプロセッサを含み得る。
センサを、可動物体上に種々の構成で配置し得る。可動物体上にセンサを配置するための既存のアプローチは、ある事例において最適ではない場合がある。例えば、センサによって取得される情報は、可動物体に対するセンサの配置によって制限され得る。センサの有用性は、可動物体上でのセンサの配置によって制限され得る。
本明細書に開示する実施形態は、障害物検出及び状態情報確定のシステム及び方法を提供する。多くの実施形態において、撮像装置は、可動物体に対して垂直に向く視野を有するように可動物体上に配置できる。撮像装置を使用して取得される画像データは、更なる使用のために1つ以上のプロセッサによって処理できる。有利には、本明細書で述べるアプローチは、改善された、障害物検出、障害物回避、ナビゲーション、及び可動物体の状態情報の確定を提供できる。
そのため、一態様において、可動物体を使用して障害物を検出する方法が提供される。この方法は、以下を含む。可動物体に支持され、かつ可動物体に対して上方または下方に視野を有する撮像装置から障害物の画像データを受信するステップ。可動物体の姿勢情報を受信するステップ。障害物の画像データ及び可動物体の姿勢情報に基づいて可動物体と障害物の距離を、1つ以上のプロセッサによって計算するステップ。
ある実施形態において、可動物体は、可動物体を移動させる複数の推進ユニットを備える。ある実施形態において、可動物体は無人航空機(UAV)である。ある実施形態において、複数の推進ユニットは複数のロータを備える。ある実施形態において、撮像装置はカメラである。ある実施形態において、カメラは単眼カメラである。ある実施形態において、撮像装置は、可動物体の垂直軸に実質的に平行な光軸を備える。ある実施形態において、撮像装置の視野は約60°である。ある実施形態において、撮像装置の視野は、可動物体に対して上方に向く。ある実施形態において、可動物体を室内環境で動作させることを更に含み、画像データは室内環境の天井の複数の画像を含む。ある実施形態において、計算するステップは、天井を描写する画像データの部分と障害物を描写する画像データの部分を区別することを含む。ある実施形態において、室内環境で、可動物体から障害物までの距離は、複数の画像内の障害物の画角に基づいて判定される。ある実施形態において、この方法は、可動物体を室外環境で動作させることを更に含み、画像データは空の複数の画像を含む。ある実施形態において、計算するステップは、空を描写する画像データの部分と障害物を描写する画像データの部分を区別することを含む。ある実施形態において、室外環境で、可動物体から障害物までの距離は、複数の画像内の障害物の画角に基づいて判定される。ある実施形態において、撮像装置の視野は、可動物体に対して下方に向く。ある実施形態において、可動物体は室内環境で動作し、画像データは室内環境の床の複数の画像を含む。ある実施形態において、画像データは、壁に接する床の複数の画像を含む。ある実施形態において、可動物体から障害物までの距離は、複数の画像内の障害物の画角に基づいて判定され、負の角度値が判定において適用される。ある実施形態において、姿勢情報は、慣性測定ユニット(IMU)によって生成される。ある実施形態において、姿勢情報は、可動物体のロール角度、ピッチ角度、またはヨー角度の少なくとも1つを含む。ある実施形態において、計算するステップは、画像データに基づいて、障害物によって占められる撮像装置の視野の部分を確定することを含む。
別の態様において、可動物体を使用して障害物を検出するシステムが提供される。システムは、撮像装置と、1つ以上のプロセッサを備える。撮像装置は、可動物体によって支持され、障害物の画像データを取得し、可動物体に対して上方にまたは下方に視野を有する。1つ以上のプロセッサは、個々にまたは一括して、撮像装置から障害物の画像データを受信し、可動物体の姿勢情報を受信し、障害物の画像データ及び可動物体の姿勢情報に基づいて可動物体と障害物の距離を計算する。
ある実施形態において、可動物体は、可動物体を移動させる複数の推進ユニットを備える。ある実施形態において、可動物体は無人航空機(UAV)である。ある実施形態において、複数の推進ユニットは複数のロータを備える。ある実施形態において、撮像装置はカメラである。ある実施形態において、カメラは単眼カメラである。ある実施形態において、撮像装置は、可動物体の垂直軸に実質的に平行な光軸を備える。ある実施形態において、撮像装置の視野は約60°である。ある実施形態において、撮像装置の視野は、可動物体に対して上方に向く。ある実施形態において、可動物体は室内環境で動作し、画像データは室内環境の天井の複数の画像を含む。ある実施形態において、1つ以上のプロセッサは、天井を描写する画像データの部分と障害物を描写する画像データの部分を区別する。ある実施形態において、室内環境で、可動物体から障害物までの距離は、複数の画像内の障害物の画角に基づいて判定される。ある実施形態において、可動物体は室外環境で動作し、画像データは空の複数の画像を含む。ある実施形態において、1つ以上のプロセッサは、個々にまたは一括して、空を描写する画像データの部分と障害物を描写する画像データの部分を区別する。ある実施形態において、室外環境で、可動物体から障害物までの距離は、複数の画像内の障害物の画角に基づいて判定される。ある実施形態において、撮像装置の視野は、可動物体に対して下方に向く。ある実施形態において、可動物体は室内環境で動作し、画像データは室内環境の床の複数の画像を含む。ある実施形態において、画像データは、壁に接する床の複数の画像を含む。ある実施形態において、可動物体から障害物までの距離は、複数の画像内の障害物の画角に基づいて判定され、負の角度値が判定において適用される。ある実施形態において、姿勢情報は、慣性測定ユニット(IMU)によって生成される。ある実施形態において、姿勢情報は、可動物体のロール角度、ピッチ角度、またはヨー角度の少なくとも1つを含む。ある実施形態において、1つ以上のプロセッサは、個々にまたは一括して、画像データに基づいて、障害物によって占められる撮像装置の視野の部分を確定する。
別の態様において、可動物体を使用して障害物を検出する方法が提供される。この方法は、以下を含む。可動物体に支持され、かつ可動物体に対して上方または下方に視野を有する撮像装置から、可動物体の側部に位置決めされた障害物の画像データを含む画像データを受信するステップ。障害物の画像データに基づいて可動物体と障害物の距離を、1つ以上のプロセッサによって計算するステップ。
ある実施形態において、可動物体は、可動物体を移動させる複数の推進ユニットを備える。ある実施形態において、可動物体は無人航空機(UAV)である。ある実施形態において、複数の推進ユニットは複数のロータを備える。ある実施形態において、撮像装置はカメラである。ある実施形態において、カメラは単眼カメラである。ある実施形態において、撮像装置は、可動物体の垂直軸に実質的に平行な光軸を備える。ある実施形態において、撮像装置の視野は約60°である。ある実施形態において、撮像装置の視野は、可動物体に対して上方に向く。ある実施形態において、この方法は、可動物体を室内環境で動作させることを更に含み、画像データは室内環境の天井の複数の画像を含む。ある実施形態において、計算するステップは、天井を描写する画像データの部分と障害物を描写する画像データの部分を区別することを含む。ある実施形態において、室内環境で、可動物体から障害物までの距離は、複数の画像内の障害物の画角に基づいて判定される。ある実施形態において、この方法は、可動物体を室外環境で動作させることを更に含み、画像データは空の複数の画像を含む。ある実施形態において、計算するステップは、空を描写する画像データの部分と障害物を描写する画像データの部分を区別することを含む。ある実施形態において、室外環境で、可動物体から障害物までの距離は、複数の画像内の障害物の画角に基づいて判定される。ある実施形態において、撮像装置の視野は、可動物体に対して下方に向く。ある実施形態において、この方法は、可動物体を室内環境で動作させることを更に含み、画像データは室内環境の床の複数の画像を含む。ある実施形態において、画像データは、壁に接する床の複数の画像を含む。ある実施形態において、可動物体から障害物までの距離は、複数の画像内の障害物の画角に基づいて判定され、負の角度値が判定において適用される。ある実施形態において、障害物は、可動物体の前に、可動物体の後に、可動物体の左に、可動物体の右に、またはその組合せに位置付けられる。ある実施形態において、計算するステップは、画像データに基づいて、障害物によって占められる撮像装置の視野の部分を確定することを含む。
別の態様において、可動物体を使用して障害物を検出するシステムが提供される。システムは、撮像装置と、1つ以上のプロセッサを備える。撮像装置は、可動物体によって支持され、画像データを取得し、可動物体に対して上方にまたは下方に視野を有する。画像データは、可動物体の側部に位置決めされた障害物の画像データを含む。1つ以上のプロセッサは、個々にまたは一括して、撮像装置から画像データを受信し、障害物の画像データに基づいて可動物体と障害物の距離を計算する。
ある実施形態において、可動物体は、可動物体を移動させる複数の推進ユニットを備える。ある実施形態において、可動物体は無人航空機(UAV)である。ある実施形態において、複数の推進ユニットは複数のロータを備える。ある実施形態において、撮像装置はカメラである。ある実施形態において、カメラは単眼カメラである。ある実施形態において、撮像装置は、可動物体の垂直軸に実質的に平行な光軸を備える。ある実施形態において、撮像装置の視野は約60°である。ある実施形態において、撮像装置の視野は、可動物体に対して上方に向く。ある実施形態において、可動物体は室内環境で動作し、画像データは室内環境の天井の複数の画像を含む。ある実施形態において、1つ以上のプロセッサは、個々にまたは一括して、天井を描写する画像データの部分と障害物を描写する画像データの部分を区別する。ある実施形態において、室内環境で、可動物体から障害物までの距離は、複数の画像内の障害物の画角に基づいて判定される。ある実施形態において、可動物体は室外環境で動作し、画像データは空の複数の画像を含む。ある実施形態において、1つ以上のプロセッサは、個々にまたは一括して、空を描写する画像データの部分と障害物を描写する画像データの部分を区別する。ある実施形態において、室外環境で、可動物体から障害物までの距離は、複数の画像内の障害物の画角に基づいて判定される。ある実施形態において、撮像装置の視野は、可動物体に対して下方に向く。ある実施形態において、可動物体は室内環境で動作し、画像データは室内環境の床の複数の画像を含む。ある実施形態において、画像データは、壁に接する床の複数の画像を含む。ある実施形態において、可動物体から障害物までの距離は、複数の画像内の障害物の画角に基づいて判定され、負の角度値が判定において適用される。ある実施形態において、障害物は、可動物体の前に、可動物体の後に、可動物体の左に、可動物体の右に、またはその組合せに位置付けられる。ある実施形態において、1つ以上のプロセッサは、個々にまたは一括して、画像データに基づいて、障害物によって占められる撮像装置の視野の部分を確定する。
別の態様において、可動物体によって支持される撮像装置を使用して障害物を検出する方法が提供される。この方法は、以下を含む。可動物体に支持され、かつ可動物体に対して上方または下方に視野を有するように可動物体に配置される撮像装置から、障害物の第1の画像データを、1つ以上のプロセッサにおいて受信するステップ。可動物体を移動させるため、可動物体の1つ以上の推進ユニットを制御する制御信号を、1つ以上のプロセッサにおいて生成するステップ。可動物体が移動した後に、撮像装置から障害物の第2の画像データを、1つ以上のプロセッサにおいて受信するステップ。第1の画像データ及び第2の画像データに基づいて可動物体と障害物の距離を、1つ以上のプロセッサによって計算するステップ。
ある実施形態において、可動物体は無人航空機(UAV)である。ある実施形態において、1つ以上の推進ユニットは複数のロータを備える。ある実施形態において、撮像装置はカメラである。ある実施形態において、カメラは単眼カメラである。ある実施形態において、撮像装置は、可動物体の垂直軸に実質的に平行な光軸を備える。ある実施形態において、撮像装置の視野は約60°である。ある実施形態において、撮像装置の視野は、可動物体に対して上方に向く。ある実施形態において、この方法は、可動物体を室内環境で動作させることを更に含み、画像データは室内環境の天井の複数の画像を含む。ある実施形態において、撮像装置の視野は、可動物体に対して下方に向く。ある実施形態において、この方法は、可動物体を室内環境で動作させることを更に含み、画像データは室内環境の床の複数の画像を含む。ある実施形態において、画像データは、壁に接する床の複数の画像を含む。ある実施形態において、可動物体は、制御信号によって、ある水平距離を移動する。ある実施形態において、水平距離は約0.2m〜1mである。ある実施形態において、可動物体は、制御信号によって、ある垂直距離を移動する。ある実施形態において、垂直距離は約0.2m〜1mである。ある実施形態において、計算するステップは、可動物体が移動する前と可動物体が移動した後で、障害物によって占められる撮像装置の視野の部分の変化を検出するために、第1の画像データ及び第2の画像データを評価することを含む。ある実施形態において、この方法は、移動した水平距離または垂直距離を確定することを更に含む。ある実施形態において、移動した水平距離または垂直距離は、慣性測定ユニット(IMU)を使用して確定される。
別の態様において、可動物体を使用して障害物を検出するシステムが提供される。システムは、撮像装置、1つ以上の推進ユニット、1つ以上のプロセッサを備える。撮像装置は、可動物体によって支持され、障害物の画像データを取得し、可動物体に対して上方にまたは下方に視野を有するように可動物体上に配置される。1つ以上の推進ユニットは、可動物体を移動させる。1つ以上のプロセッサは、個々にまたは一括して、撮像装置から障害物の第1の画像データを受信し、可動物体を移動させるため、1つ以上の推進ユニットを制御する制御信号を生成し、可動物体が移動した後に撮像装置から障害物の第2の画像データを受信し、第1の画像データ及び第2の画像データに基づいて可動物体と障害物の距離を計算する。
ある実施形態において、1つ以上のプロセッサは、個々にまたは一括して、第1の画像データ及び第2の画像データに基づいて可動物体の上の障害物の高さを確定する。ある実施形態において、可動物体と障害物の距離は、可動物体の上の障害物の高さに基づいて確定される。ある実施形態において、可動物体は無人航空機(UAV)である。ある実施形態において、1つ以上の推進ユニットは複数のロータを備える。ある実施形態において、撮像装置はカメラである。ある実施形態において、カメラは単眼カメラである。ある実施形態において、撮像装置は、可動物体の垂直軸に実質的に平行な光軸を備える。ある実施形態において、撮像装置の視野は約60°である。ある実施形態において、撮像装置の視野は、可動物体に対して上方に向く。ある実施形態において、可動物体は室内環境で動作し、画像データは室内環境の天井の複数の画像を含む。ある実施形態において、撮像装置の視野は、可動物体に対して下方に向く。ある実施形態において、可動物体は室内環境で動作し、画像データは室内環境の床の複数の画像を含む。ある実施形態において、画像データは、壁に接する床の複数の画像を含む。ある実施形態において、可動物体は、制御信号によって、ある水平距離を移動する。ある実施形態において、水平距離は約0.2m〜1mである。ある実施形態において、可動物体は、制御信号によって、ある垂直距離を移動する。ある実施形態において、垂直距離は約0.2m〜1mである。ある実施形態において、1つ以上のプロセッサは、個々にまたは一括して、可動物体が移動する前と可動物体が移動した後で、障害物によって占められる撮像装置の視野の部分の変化を検出するために、第1の画像データ及び第2の画像データを評価する。ある実施形態において、1つ以上のプロセッサは、個々にまたは一括して、移動した水平距離または垂直距離を確定する。ある実施形態において、移動した水平距離または垂直距離は、慣性測定ユニット(IMU)を使用して確定される。
別の態様において、可動物体の状態情報を確定する方法が提供される。この方法は、以下を含む。可動物体に支持され、かつ可動物体に対して上方または下方に視野を有するように配置される1つの撮像装置から画像データを、1つ以上のプロセッサにおいて受信するステップ。可動物体の姿勢情報を、1つ以上のプロセッサにおいて受信するステップ。画像データ及び可動物体の姿勢情報に基づいて、可動物体の位置情報または動作情報の少なくとも一方を、1つ以上のプロセッサによって計算するステップ。
ある実施形態において、可動物体は、可動物体を移動させる複数の推進ユニットを備える。ある実施形態において、可動物体は無人航空機(UAV)である。ある実施形態において、複数の推進ユニットは複数のロータを備える。ある実施形態において、撮像装置はカメラである。ある実施形態において、カメラは単眼カメラである。ある実施形態において、撮像装置は、可動物体の垂直軸に実質的に平行な光軸を備える。ある実施形態において、撮像装置の視野は約60°である。ある実施形態において、この方法は、可動物体を室内環境で動作させることを更に含み、画像データは室内環境の天井の複数の画像を含む。ある実施形態において、姿勢情報は、慣性測定ユニット(IMU)によって生成される。ある実施形態において、姿勢情報は、可動物体のロール角度、ピッチ角度、またはヨー角度の少なくとも1つを含む。ある実施形態において、動作情報は可動物体の速度を含む。ある実施形態において、画像データは複数の画像のシーケンスを含む。ある実施形態において、計算するステップは、複数の画像のシーケンスの各画像内で複数の特徴点を検出し、複数の画像のシーケンスにわたって複数の特徴点の変化を確定することを含む。ある実施形態において、この方法は、可動物体を使用して環境マップを生成することを更に含む。ある実施形態において、環境マップは、同時ローカリゼーション及びマッピング(SLAM)技法を使用して生成される。ある実施形態において、位置情報は、生成されるマップを基準にして計算される。ある実施形態において、計算された位置情報または動作情報の少なくとも一方に基づいて、可動物体の位置または動作を制御する制御信号を出力することを更に含む。
別の態様において、可動物体の状態情報を確定するシステムが提供される。システムは、撮像装置と、1つ以上のプロセッサを備える。撮像装置は、可動物体によって支持され、画像データを取得し、可動物体に対して上方に視野を有するように可動物体上に配置される。1つ以上のプロセッサは、個々にまたは一括して、撮像装置から画像データを受信し、可動物体の姿勢情報を受信し、画像データ及び可動物体の姿勢情報に基づいて可動物体について位置情報または動作情報の少なくとも一方を計算する。
ある実施形態において、可動物体は、可動物体を移動させる複数の推進ユニットを備える。ある実施形態において、可動物体は無人航空機(UAV)である。ある実施形態において、複数の推進ユニットは複数のロータを備える。ある実施形態において、撮像装置はカメラである。ある実施形態において、カメラは単眼カメラである。ある実施形態において、撮像装置は、可動物体の垂直軸に実質的に平行な光軸を備える。ある実施形態において、撮像装置の視野は約60°である。ある実施形態において、可動物体は室内環境で動作し、画像データは室内環境の天井の複数の画像を含む。ある実施形態において、姿勢情報は、慣性測定ユニット(IMU)によって生成される。ある実施形態において、姿勢情報は、可動物体のロール角度、ピッチ角度、またはヨー角度の少なくとも1つを含む。ある実施形態において、動作情報は可動物体の速度を含む。ある実施形態において、画像データは複数の画像のシーケンスを含む。ある実施形態において、1つ以上のプロセッサは、個々にまたは一括して、複数の画像のシーケンスの各画像内で複数の特徴点を検出し、複数の画像のシーケンスにわたって複数の特徴点の変化を確定する。ある実施形態において、1つ以上のプロセッサは、個々にまたは一括して、可動物体を使用して環境マップを生成する。ある実施形態において、環境マップは、同時ローカリゼーション及びマッピング(SLAM)技法を使用して生成される。ある実施形態において、位置情報は、生成されるマップを基準にして計算される。ある実施形態において、1つ以上のプロセッサは、個々にまたは一括して、計算された位置情報または動作情報の少なくとも一方に基づいて、可動物体の位置または動作を制御する制御信号を出力する。
本発明の異なる態様が、個々に、一括して、または互いに組合せて認識される可能性があることが理解されるものとする。本明細書で述べる本発明の種々の態様は、以下で述べる特定の用途のうちの任意の用途に適用できる。本発明の他の目的及び特徴は、本明細書、特許請求の範囲、及び添付図面を検討することによって明らかになるであろう。
本明細書で述べる全ての出版物、特許、及び特許出願は、個々の出版物、特許、または特許出願が、参照により組込まれることを、具体的にかつ個々に指示された場合と同じ程度に、参照により本明細書に組込まれる。
本発明の新規な特徴は、添付特許請求の範囲において詳細に述べられる。本発明の特徴及び利点のより深い理解は、本発明の原理が利用される例証的な実施形態を述べる以下の詳細な説明及び添付図面を参照して得られる。
実施形態による、上方に向く撮像装置を有するUAVを示す図である. 実施形態による障害物検出及び回避の略図である。 実施形態による、ある垂直距離を移動する撮像装置を有する可動物体を示す図である。 実施形態による、ある水平距離を移動する撮像装置を有する可動物体を示す図である。 実施形態による、可動物体を使用して障害物を検出する方法を示す図である。 実施形態による、可動物体によって支持される撮像装置を使用して障害物を検出する方法を示す図である。 実施形態による、可動物体の状態情報を確定する方法を示す図である。 実施形態による、可動物体を使用して障害物を検出する方法を示す図である。 実施形態による室外環境で動作するUAVを示す図である。 実施形態による室内環境で動作するUAVを示す図である。 実施形態による無人航空機(UAV)を示す図である。 実施形態による、支持機構及び搭載物を含む可動物体を示す図である。 実施形態による、可動物体を制御するシステムのブロック図による略図である。
本開示は、可動物体の障害物検出及び状態情報確定のシステム及び方法を提供する。無人航空機(UAV)等の可動物体は、センサによってその環境に関する情報の処理が可能であり得る。UAV上でのセンサの配置は、センサの機能を確定し得る。例えば、UAV上のカメラ等のセンサは、環境の画像データを取込むために使用し得る。下方に向くUAV上のカメラは、UAVの状態情報を確定する時に利用し得る。側方にまたは横に向くUAV上のカメラは、障害物を検出するために使用し得る。上方に向くUAV上のカメラは、UAVの状態情報を確定する時、障害物を検出し回避する時、の少なくとも一方に利用し得る。本明細書で提供される配置は、単一センサが複数の機能のために使用されることを可能にし得る。例えば、垂直に向くカメラは、障害物を検出すると共に、UAVの状態情報を確定するために使用し得る。
ある実施形態において、UAVは、1つ以上のセンサを支持するように適合され得る。1つ以上のセンサは、UAVの状態、周囲環境、または環境内の対象物及び障害物に関する情報等の関連データを収集できる。関連データは、分析され、処理され、更なる用途において使用され得る。例えば、収集される関連データに基づいて、UAVナビゲーションを制御する制御信号を生成することが可能であり得る。本明細書で開示する実施形態と共に使用するのに適した例示的なセンサは、以下を含む。ロケーションセンサ(例えば、全地球測位システム(GPS)センサ、ロケーション三角測量を実現するモバイルデバイス送信機)。ビジョンセンサ(例えば、カメラ等の、可視光、赤外光、または紫外光の検出が可能な撮像装置)。近接またはレンジセンサ(例えば、超音波センサ、ライダ、飛行時間または深度カメラ)。慣性センサ(例えば、加速度計、ジャイロスコープ、慣性測定ユニット(IMU))。高度センサ、姿勢センサ(例えば、コンパス)。圧力センサ(例えば、気圧計)。オーディオセンサ(例えば、マイクロフォン)。フィールドセンサ(例えば、磁力計、電磁センサ)。センサは、任意の適した数のまた組合せで使用され得る(例えば、1つ、2つ、3つ、4つ、5つ、6つ、7つ、8つ、またはそれ以上のセンサ)。任意選択で、データは、異なるタイプのセンサから受信され得る(例えば、2つ、3つ、4つ、5つ、6つ、7つ、8つ、またはそれ以上のタイプ)。異なるタイプのセンサは、データを取得するため、以下の少なくとも一方が可能である。異なるタイプの信号または情報(例えば、位置、方向、速度、加速度、近接性、圧力等)の測定、及び、異なるタイプの測定技法の利用。例えば、センサは、任意の適した組合せの能動センサ(例えば、センサ自体のエネルギー源からエネルギーを発生し、エネルギーを測定するセンサ)及び受動センサ(例えば、利用可能なエネルギーを検出するセンサ)を含み得る。別の例として、一部のセンサは、グローバル座標系によって提供される絶対測定データ(例えば、GPSセンサによって提供される位置データ、コンパスまたは磁力計によって提供される高度データ)を生成できる。一方、他のセンサは、ローカル座標系によって提供される相対的測定データ(例えば、ジャイロスコープによって提供される相対的角速度、加速度計によって提供される相対的並進加速度、ビジョンセンサによって提供される相対的高度情報、超音波センサ、ライダ、または飛行時間カメラによって提供される相対的距離情報)を生成し得る。ある事例において、ローカル座標系は、UAVを基準にして定義されるボディ座標系とし得る。
センサは、環境内で、UAV、周囲環境、または対象物に関するデータ等の種々のタイプのデータを収集し得る。例えば、センサの少なくとも幾つかは、UAVの状態に関するデータを提供し得る。センサによって提供される状態情報は、UAVの空間的配置に関する情報(例えば、経度、緯度、高度の少なくとも1つ等のロケーションまたは位置情報;ロール、ピッチ、ヨーの少なくとも1つ等の方向または姿勢情報)を含み得る。状態情報はまた、UAVの動作に関する情報(例えば、並進速度、並進加速度、角速度、角加速度等)を含み得る。センサは、例えば、最大6自由度(例えば、位置及び並進の少なくとも一方における3自由度、方向及び回転の少なくとも一方における3自由度)に関してUAVの空間的配置及び動作のいずれかあるいは両方を確定できる。状態情報は、グローバル座標系を基準にしてまたはローカル座標系を基準にして提供し得る。グローバル座標系は、UAVのロケーションに対して独立の座標系または別のエンティティを指し得る。ローカル座標系は、UAVを基準にする座標系または別のエンティティを指し得る。例えば、センサは、UAVとUAVを制御するユーザの距離、またはUAVとその飛行の出発点の距離を確定できる。
センサによって取得されるデータは、種々のタイプの環境情報を提供し得る。例えば、センサデータは、室内環境、室外環境、低高度環境、高高度環境等の環境タイプを示し得る。センサデータはまた、天候(例えば、快晴、雨、雪)、可視性条件、風速、時刻等を含む現在の環境条件に関する情報を提供できる。更に、センサによって収集される環境情報は、本明細書で述べる障害物またはプロセッサによって認識可能であるランドマーク等の環境内の対象物に関する情報を含み得る。障害物情報は、以下の少なくとも1つに関する情報を含み得る。環境内での障害物の、数、密度、幾何形状、空間的配置、移動、軌跡、速度。
ある実施形態において、UAVは、本明細書で「撮像装置」とも呼ばれる1つ以上のビジョンセンサを含み得る。UAVに接続された1つの撮像装置を有するものとして、多くの実施形態が本明細書で述べられるが、任意の数の撮像装置を使用し得ることが理解される。例えば、1つ、2つ、3つ、4つ、5つ、または、それ以上の数の撮像装置。撮像装置は、電磁放射(例えば、可視光、赤外光、紫外光の少なくとも1つ)を検出し、検出された電磁放射に基づいて画像データを生成できる。例えば、撮像装置は、光の複数の波長に応答して電気信号を生成する電荷結合素子(CCD)センサまたは相補的金属酸化物半導体(CMOS)センサを含み得る。結果として得られる電気信号は、画像データを生成するために処理され得る。撮像装置によって生成される画像データは1つ以上の画像を含み得る。1つ以上の画像は、静止画像(例えば、写真)、動画像(例えば、ビデオ)、またはその適した組合せであり得る。画像データは、多色(例えば、RGB、CMYK、HSV)または単色(例えば、グレイスケール、白黒、セピア色)であり得る。
2つ以上の画像のシーケンスを、撮像装置によって取込み得る。例えば、約2、3、4、5、10、15、20、25、50、100、150、200、または、それ以上の数の画像のシーケンスを、撮像装置が取込み得る。撮像装置は、特定の取込みレートで複数の画像のシーケンスを取込み得る。ある実施形態において、複数の画像のシーケンスを標準的なビデオフレームレートで取込み得る。例えば、約24p、25p、30p、48p、50p、60p、72p、90p、100p、120p、300p、50i、または60i。ある実施形態において、複数の画像のシーケンスを、下記のレートで取込み得る。0.0001秒ごとに約1画像、0.0002秒ごとに約1画像、0.0005秒ごとに約1画像、0.001秒ごとに約1画像、0.002秒ごとに約1画像、0.005秒ごとに約1画像、0.002秒ごとに約1画像、0.05秒ごとに約1画像、0.01秒ごとに約1画像、0.02秒ごとに約1画像、0.05秒ごとに約1画像、0.1秒ごとに約1画像、0.2秒ごとに約1画像、0.5秒ごとに約1画像、1秒ごとに約1画像、2秒ごとに約1画像、5秒ごとに約1画像、または10秒ごとに約1画像以下のレート。ある実施形態において、取込みレートは、ユーザ入力及び外部条件の少なくとも一方(例えば、雨、雪、風、取込まれる環境のテクスチャ)に応じて変化し得る。
ある実施形態において、撮像装置はカメラであり得る。カメラは、動画像データ(例えば、ビデオ)を取込むムービーカメラまたはビデオカメラであり得る。カメラは、静止画像(例えば、写真)を取込むスチルカメラであり得る。カメラは双眼カメラであり得る。本明細書で使用される双眼カメラは、ステレオまたはステレオビジョンカメラを指し得る。ステレオカメラは2つのカメラを備え得る。カメラは単眼カメラであり得る。本明細書で提供される、ある実施形態はカメラの文脈で述べられる。しかし、本開示が任意の適した撮像装置に適用でき、カメラに関する本明細書の任意の説明が同様に任意の適した撮像装置及び他のタイプの撮像装置に適用できることが理解される。カメラは、3Dシーン(例えば、環境、1つ以上の対象物等)の2D画像を生成するために使用できる。カメラによって生成される画像は、2D像平面上への3Dシーンの投影を示し得る。したがって、2D画像内の各点はシーンにおける3D空間座標に対応する。
本明細書で述べる撮像装置によって取得される画像は、UAV動作に関連する種々の用途のために使用され得る。ある実施形態において、画像は、環境内でUAVナビゲーションを容易にするために使用される(例えば、自律的に、半自律的に、または手動で)。ある実施形態において、画像は、障害物検出及び回避のために使用される。ある実施形態において、画像は、UAVの状態情報(例えば、位置、方向、速度、加速度の少なくとも1つ情報)を評価または確定するために処理され得る。状態情報は、1つ以上の撮像装置によって取得される1つ以上の画像を使用して(例えば、1つ以上のプロセッサによって処理して)評価または確定され得る。
撮像装置はそれぞれ、視野を有し得る。撮像装置の視野は、撮像装置によって検出可能な(例えば、見ることができる)環境の範囲であり得る。視野は画角に関連することができ、画角は、撮像装置によって撮像される所与のシーンの角度範囲によって測定できる。撮像装置の画角は、360°、300°、240°、180°、150°、120°、90°、60°、30°、20°、または10°以下の角度であり得る。視野は、可動物体に対する撮像装置の相対的方向によって記述できる。例えば、視野は、可動物体(例えば、UAV)に対して、垂直、水平、上方、下方、横等に向き得る。撮像装置はそれぞれ、光軸を有し得る。「主軸」と呼ぶこともできる撮像装置の光軸は、撮像装置において、それに沿ってある程度の回転対称が存在するラインであり得る。ある実施形態において、撮像装置の光軸は、撮像装置の光学構成要素(例えば、レンズ、フォトセンサ)の中心を通過する。
本開示の撮像装置は、可動物体の本体の、上、下、側部(複数可)、またはその中等の、可動物体の任意の適した部分に位置し得る。一部の撮像装置は、可動物体の空間的配置及び動作の少なくとも一方が撮像装置の空間的配設及び動作の少なくとも一方に対応するようにUAVに機械的に接続できる。撮像装置は、撮像装置が取付けられている可動物体の部分に対して移動しないように、剛性の接続によって可動物体に接続できる。あるいは、撮像装置と可動物体の接続は、可動物体に対する撮像装置の移動(例えば、UAVに対する並進または回転移動)を可能にする。可動物体に対する撮像装置の移動は、ユーザ入力によってリモートで、自律的に、または半自律的に制御できる。接続は、永久的接続または非永久的(例えば、解除可能)接続であり得る。適した接続方法は、接着剤、ボンディング、溶接、締結具(例えば、ねじ、くぎ、ピン等)の少なくとも1つを含み得る。任意選択で、撮像装置は、可動物体の一部分と一体形成され得る。更に、撮像装置は、可動物体の一部分(例えば、処理ユニット、制御システム、データストレージ)に電気接続され得る。撮像装置によって収集されたデータが、本明細書で論じる実施形態等のUAVの種々の機能(例えば、ナビゲーション、制御、推進、ユーザまたは他のデバイスとの通信等)に使用されることを可能にし得る。撮像装置は、UAVの一部分(例えば、処理ユニット、制御システム、データストレージ)に動作可能に接続できる。
可動物体(例えば、UAV)に対する撮像装置の配置及び方向の少なくとも一方は、撮像装置の有用性及び制限を決定できる。ある実施形態において、UAVの下に位置する撮像装置(例えば、UAVに対して下方に視野を有する撮像装置)は、UAVの速度を確定するために使用できる。例えば、1つまたは複数の画像のシーケンスが、撮像装置によって取込まれ得、床上の座標の相対的位置の変化は、UAVの速度を確定するために取込まれた画像内で解析できる。ある実施形態において、UAVの側部に位置する撮像装置(例えば、UAVに対して、前方、横、後方、または側方に視野を有する撮像装置)は、障害物検出と回避の少なくとも一方に使用できる。プロセッサは、センサからの情報を評価することにより深度情報を確定して障害物を判定できる。幾つかの方法において、障害物検出または障害物回避のために、2つ以上のセンサがUAVの側部に位置し得る。例えば、超音波センサを撮像装置と連携して使用できる、または、障害物検出と回避の少なくとも一方に2つの撮像装置を共に使用できる。ある実施形態において、撮像装置は、2つの連続する画像のオプティカルフローに従ってUAVの相対的移動を測定し、超音波センサの測定値に基づいて実際の移動(例えば、UAVが移動する距離)を取戻し得る。ある実施形態において、2つの撮像装置または双眼カメラ(例えば、ステレオビジョンカメラ)がプロセッサと連携して使用されて、対象物までの距離を確定できる。障害物検出と回避の少なくとも一方並びに速度測定の能力を有するUAVの場合、3つ以上のセンサ(例えば、UAVの側部に位置する撮像装置、UAVの下に位置する撮像装置、及び超音波センサ)を使用できる。
図1は、実施形態による、上方に向く撮像装置102を有するUAV100を示す。撮像装置102は、可動物体に対して垂直に向く視野を有するように可動物体上に配置できる。「垂直に向く」は、撮像装置の光軸が可動物体の垂直軸112に整列すること、及び、実質的に平行になることを指すために本明細書で使用され得る。「垂直軸」は、可動物体の上側表面(例えば、空に向く表面)から下側表面(例えば、地上に向く表面)まで延在する軸を指すために本明細書で使用され得る。そのため、可動物体の垂直軸は、可動物体の姿勢と共に変化し得る。例えば、可動物体が、水平な床に対して90°傾斜する場合、可動物体の垂直軸もまた、水平な床に対して90°傾斜できる。この場合、可動物体に対して固定された撮像装置(例えば、UAV100に対する撮像装置102)について、撮像装置は、環境(例えば、水平な床)に対して垂直に向く視野をもはや持たない可能性がある。しかし、撮像装置は、それでも、可動物体に対して垂直に向く視野を持つ可能性がある。本明細書で使用されるように、可動物体に対して垂直に向く視野を有するように可動物体上に配置される撮像装置は、可動物体に対して上方または下方に視野を有するように可動物体上に配置される撮像装置を指し得る。2つの用語は、終始交換可能に使用できる。
可動物体に対して上方または下方に視野(例えば、垂直に向く視野)を有するように可動物体上に配置される撮像装置は、可動物体の垂直軸に正確に平行な光軸を有し得る。可動物体に対して上方または下方に視野(例えば、垂直に向く視野)を有するように可動物体上に配置される撮像装置は、可動物体の垂直軸に実質的に平行な光軸を有し得る。可動物体の垂直軸に実質的に平行な光軸は、可動物体の垂直軸の5°、10°、15°、20°、25°、30°、35°、40°、または45°以内の光軸を指し得る。可動物体に対して上方または下方に視野を有するように可動物体上に配置される撮像装置は、可動物体の垂直軸の0度、5度、10度、20度、30度、40度、60度、または80度以内の光軸を有し得る。ある事例において、可動物体に対して上方に視野を有するように可動物体上で方向付けられる撮像装置は、可動物体の上側表面(例えば、空を向く表面)上にまたは上側表面の上方に方向付けられる。可動物体に対して上方に視野を有するように可動物体上で方向付けられる撮像装置は、可動物体の垂直軸に正確に平行な光軸を有し得る。可動物体に対して上方に視野を有するように可動物体上で方向付けられる撮像装置は、可動物体の垂直軸に実質的に平行な光軸を有し得る。可動物体の垂直軸に実質的に平行な光軸は、可動物体の垂直軸の5°、10°、15°、20°、25°、30°、35°、40°、または45°以内の光軸を指し得る。可動物体に対して上方に視野を有するように可動物体上で方向付けられる撮像装置は、可動物体の垂直軸の0度、5度、10度、20度、30度、40度、60度、または80度以内の光軸を有し得る。ある事例において、可動物体に対して下方に視野を有するように可動物体上で方向付けられる撮像装置は、可動物体の下側表面(例えば、地上に向く表面)上にまたは下側表面の下方に方向付けられる。可動物体に対して下方に視野を有するように可動物体上で方向付けられる撮像装置は、可動物体の垂直軸に正確に平行な光軸を有し得る。可動物体に対して下方に視野を有するように可動物体上で方向付けられる撮像装置は、可動物体の垂直軸に実質的に平行な光軸を有し得る。可動物体の垂直軸に実質的に平行な光軸は、可動物体の垂直軸の5°、10°、15°、20°、25°、30°、35°、40°、または45°以内の光軸を指し得る。可動物体に対して下方に視野を有するように可動物体上で方向付けられる撮像装置は、可動物体の垂直軸の0度、5度、10度、20度、30度、40度、60度、または80度以内の光軸を有し得る。
可動物体に対して上方または下方に視野を有するように可動物体上で方向付けられる撮像装置は、可動物体の側方軸114(または長手方向軸)の上にまたは可動物体の側方軸114(または長手方向軸)の下に光軸を有し得る。ある事例において、可動物体に対して上方に視野を有するように可動物体上で方向付けられる撮像装置は、可動物体の側方軸(または長手方向軸)の上に光軸を有し得る。ある事例において、可動物体に対して下方に視野を有するように可動物体上で方向付けられる撮像装置は、可動物体の側方軸または長手方向軸の下に光軸を有し得る。
可動物体に対して垂直に向く視野を有するように可動物体上で方向付けられる撮像装置は、全体的に可動物体の側方軸(または長手方向軸)の上にあるか、または、全体的に可動物体の側方軸の下にある視野を有し得る。可動物体に対して垂直に向く視野を有するように可動物体上で方向付けられる撮像装置は、実質的に可動物体の側方軸(または長手方向軸)の上にあるか、または、実質的に可動物体の側方軸の下にある視野を有し得る。実質的に可動物体の側方軸(または長手方向軸)の上または下にある視野は、可動物体の側方軸または長手方向軸の上または下の少なくとも50%、60%、70%、80%、または90%である視野を指し得る。ある事例において、可動物体に対して上方に視野を有するように可動物体上で方向付けられる撮像装置は、全体的に可動物体の側方軸または長手方向軸の上にある視野を有し得る。ある事例において、可動物体に対して上方に視野を有するように可動物体上で方向付けられる撮像装置は、実質的に可動物体の側方軸または長手方向軸の上にある視野を有し得る。実質的に可動物体の側方軸または長手方向軸の上にある視野は、可動物体の側方軸または長手方向軸の上の少なくとも50%、60%、70%、80%、または90%である視野を指し得る。ある事例において、可動物体に対して下方に視野を有するように可動物体上で方向付けられる撮像装置は、全体的に可動物体の側方軸または長手方向軸の下にある視野を有し得る。ある事例において、可動物体に対して下方に視野を有するように可動物体上で方向付けられる撮像装置は、実質的に可動物体の側方軸または長手方向軸の下にある視野を有し得る。実質的に可動物体の側方軸または長手方向軸の下にある視野は、可動物体の側方軸または長手方向軸の下の少なくとも50%、60%、70%、80%、または90%である視野を指し得る。
可動物体に対して上方または下方に視野を有する撮像装置は、全体的に可動物体の側方または長手方向軸の上の環境の画像データ、あるいは、全体的に可動物体の側方または長手方向軸の下の環境の画像データを取込み得る。可動物体に対して上方または下方に視野を有する撮像装置は、実質的に可動物体の側方または長手方向軸の上の環境の画像データまたは実質的に可動物体の側方または長手方向軸の下の環境の画像データを取込み得る。実質的に可動物体の側方または長手方向軸の上または下の環境の画像データは、可動物体の側方または長手方向軸の上または下の少なくとも50%、60%、70%、80%、または90%の環境の画像データを指し得る。ある事例において、可動物体に対して上方または下方に視野を有する撮像装置は、可動物体の側方軸(または長手方向軸)の上の少なくとも50%、60%、70%、80%、90%、または100%である環境の画像データ、あるいは、可動物体の側方軸(または長手方向軸)の下の少なくとも50%、60%、70%、80%、90%、または100%である環境の画像データを含む画像を取込み得る。
ある事例において、可動物体に対して上方に視野を有する撮像装置は、全体的に可動物体の側方または長手方向軸の上の環境の画像データを取込み得る。ある事例において、可動物体に対して上方に視野を有する撮像装置は、実質的に可動物体の側方または長手方向軸の上の環境の画像データを取込み得る。実質的に可動物体の側方または長手方向軸の上の環境の画像データは、可動物体の側方または長手方向軸の上の少なくとも50%、60%、70%、80%、または90%である環境の画像データを指し得る。ある事例において、可動物体に対して上方に視野を有する撮像装置は、可動物体の側方軸(または長手方向軸)の上の少なくとも50%、60%、70%、80%、90%、または100%である環境の画像データを含む画像を取込み得る。
ある事例において、可動物体に対して下方に視野を有する撮像装置は、全体的に可動物体の側方または長手方向軸の下の環境の画像データを取込み得る。ある事例において、可動物体に対して下方に視野を有する撮像装置は、実質的に可動物体の側方(または長手方向軸)の下の環境の画像データを取込み得る。実質的に可動物体の側方または長手方向軸の下の環境の画像データは、可動物体の側方または長手方向軸の下の少なくとも50%、60%、70%、80%、または90%である視野の画像データを指し得る。ある事例において、可動物体に対して下方に視野を有する撮像装置は、可動物体の側方軸(または長手方向軸)の下の少なくとも50%、60%、70%、80%、90%、または100%である環境の画像データを含む画像を取込み得る。
撮像装置102は、可動物体の上に位置付けられて示されるが、本明細書で提供されるシステムおよび方法は、可動物体の下に位置付けられる撮像装置に同様に適用可能であり得る。本明細書で開示される撮像装置は、UAVの上側表面、下側表面、中央本体の上部、周辺部分の上部または周辺部分の下部等に搭載できる。そのため、可動物体に対して垂直に向く視野を有するように可動物体上に配置される撮像装置は、可動物体に対して下方に視野を有し得る。撮像装置102は、実質的にUAVの中心の近くに位置付けられて示されるが、撮像装置が可動物体上のどこにでも(例えば、中心の近く、エッジの近く等に)位置付けできることが理解される。撮像装置102は、室内または室外環境で1つ以上の画像を取込み得る。撮像装置102は、ナビゲーション、障害物検出、障害物回避、状態確定(例えば、速度測定)、位置決め等に、1つ以上のプロセッサと共に更に使用し得る。可動物体は、可動物体の移動に影響を及ぼす複数の推進ユニット(例えば、104、106)を備え得る。推進ユニットは複数のロータを備え得る。
垂直に向く撮像装置は、障害物を検出すると共にUAVの状態情報を確定するために使用できる。ある実施形態において、単一の垂直に向く撮像装置は、単一の側方に向く撮像装置が実施できない機能を有し得る。ある実施形態において、側方にまたは横に向くUAV上の撮像装置は、障害物を検出するために使用できるが、あるタイプのUAV状態情報を確定できない可能性がある。例えば、単一の側方に向く撮像装置からの画像データは、UAVが撮像装置の光学軸に実質的に平行な方向に移動する時にUAVの位置と速度の少なくとも一方を確定するために有用でない場合がある。ある実施形態において、垂直に(例えば、上方にまたは下方に)向く単一撮像装置は、本明細書で更に述べるように、UAVの状態情報(例えば、位置、速度)を確定し、障害物を検出するために使用し得る。多機能撮像装置は、UAVについて、(例えば、2つ以上の撮像装置を有することのコストに対する)コストの減少、(例えば、2つ以上の撮像装置を有することの重量に対する)重量の減少等の利点を有し得る。
図2は、実施形態による、障害物検出及び回避の略図を示す。図2は、障害物206の近くで上方に向く撮像装置202を有する可動物体201を示す。図2は上方に向く撮像装置202を示すが、本明細書で述べる実施形態は下方に向く撮像装置に同様に適用可能であり得る。障害物は、図2に示すように、例えば可動物体の上または下ではなく、可動物体の側部(例えば、側面)に位置付けできる。障害物の一部だけが、障害物206で示すように、可動物体の側面に位置付けられ得る。障害物は、可動物体の前、可動物体の後、可動物体の左、可動物体の右、またはその組合せの場所に位置付けできる。
撮像装置は、画角2θおよび焦点距離fを有し得る。障害物が撮像装置202に十分に近い、例えば、距離t以内にある時、障害物は、視野角の一部分αを占め得る。撮像装置によって取込まれる画像は、焦点面において幅2wを有し得、幅2wの一部は障害物によって占められる。障害物によって占められる画像の幅は、本明細書で、l.θfと呼ぶことができ、wは既知のパラメータであり得る。lは、1つ以上のプロセッサを使用して確定できる。例えば、1つ以上のプロセッサは障害物を含む画像を受信できる。1つ以上のプロセッサは、セグメンテーションアルゴリズムによって他の部分から画像内の障害物を区別(例えば、識別θ)し得る(例えば、2w−lからlを区別する)。セグメンテーションアルゴリズムは、画像を複数の部分に分割できる。セグメント化された画像データは、デジタル画像内で関連情報を識別するために使用し得る。例えば、画像は、以下を使用してセグメント化できる。閾値処理、クラスター化法(例えば、K平均クラスタリング)、圧縮ベース方法、ヒストグラムベース方法、特徴検出、エッジ検出、デュアルクラスタリング法、領域拡張法、偏微分方程式ベース方法、グラフ分割法、分水嶺変換、モデルベースセグメンテーション、マルチスケールセグメンテーション、半自動セグメンテーション、訓練可能セグメンテーション、セグメンテーションベンチマーキング等。画像内の障害物を区別することは、障害物を検出することを含み得る。
1つ以上の障害物が他の部分(例えば、背景)から容易に区別される画像において、K平均クラスタリングアルゴリズム等のカラーベース画像セグメンテーションアルゴリズムを使用し得る。例えば、撮像装置が可動物体に対して垂直に向く状態で、室外環境で動作する可動物体の場合、取込まれた画像は、障害物(例えば、ポール)及び背景(例えば、空)を含み得る。障害物は、ある実施形態において、背景から容易に区別でき(例えば、青く澄んだ空及び黄色の障害物)、カラーベース画像セグメンテーションアルゴリズムが使用されて、障害物を区別できる。ある実施形態において、本明細書で述べる他のセグメンテーション方法、技法、またはアルゴリズムを使用し得る。プロセッサは、画像内の障害物の幅(例えば、図2のl)、長さ、または面積を更に計算または測定できる。
1つ以上の障害物が他の部分(例えば、背景)から容易に区別されない画像において、コーナ検出アルゴリズムを使用し得る。例えば、撮像装置に接続された室内環境で動作する可動物体は、障害物(例えば、壁)及び背景(例えば、床または天井)を含む画像データを取得できる。画像データは、壁に接する床または天井の画像を含み得る。障害物は、ある実施形態において、背景から容易に区別できない場合があり(例えば、壁及び天井が同じ白色である)、コーナ検出アルゴリズムが使用されて、障害物と背景の境界を検出できる。検出された境界に基づいて、障害物を背景から区別できる。ある実施形態において、本明細書で述べる他のセグメンテーション方法、技法、またはアルゴリズムを使用し得る。障害物を区別することができ、プロセッサは、障害物の幅、長さ、または面積を更に計算または測定できる。
図2において、hを、可動物体の水平面の位置から障害物の上部までの障害物の高さであると定義すると、障害物によって占められる視野(例えば、画角)(α)は、方程式(1)及び(2)に従って計算できる。
w−l=f*tan(θ−α)
(1)
(2)
ある実施形態において、可動物体から障害物までの距離tは、方程式(2)において確定される角度αから直接確定できる。ある範囲の考えられ得る距離tは、方程式(2)において確定される角度αから直接確定できる。例えば、室内環境において、考えられ得る範囲のhが、知られておりかつ小さい可能性があり、hは過去に定義されている。例えば、3メートルの固定高さを有する室内環境において、hは、3メートル(例えば、UAVは床の上にある)から0メートル(例えば、UAVは天井に接触している)の範囲にある場合がある。したがって、可動物体から障害物までのある範囲の考えられ得る距離を、以下の方程式に従って計算できる。
t=h*tan(θ−α)
(3)
ある実施形態において、ある範囲の考えられ得る距離tが、方程式(2)において確定される角度αから直接確定できない場合がある。例えば、室外環境において、考えられ得る範囲のhは、知られていない場合がある。既知の場合、その範囲のhは大幅に(例えば、0メートルと500メートルとの間で)変動する場合がありそれに基づいて計算されるtは大幅に変動し得る。
代替的にまたは付加的に、tは、以下で更に述べる角度αから間接的に確定できる。例えば、tを、可動物体が移動する時の角度αの変化に基づいて確定できる。可動物体の移動は、以下の少なくとも一方が可能である。既知かまたは所定の経路に沿う。指定された(例えば、所定の)距離である。ある事例において、可動物体の移動は、指定された垂直及び水平距離の少なくとも一方であり得る。このアプローチが使用されて、tの計算の精度を改善する可能性がある。
図3は、実施形態による、垂直距離306を移動する撮像装置304を有する可動物体302を示す。撮像装置は、第1のロケーション308において1つ以上の画像を取込み得る。可動物体は、垂直距離306を進行することができ、撮像装置は、異なるロケーション310において1つ以上の画像を更に取込み得る。方程式(3)を採用し、両辺をtan(θ−α)で割ると、以下である。
(4)
tは方程式(4)を使用して取得できる。方程式(4)のdhは、可動物体が進行する垂直距離を指し得る。例えば、図3に関して、dhは、ロケーション308と310の垂直距離306を指し得る。可動物体が進行する高さまたは垂直距離は、慣性測定ユニット(IMU)またはGPSセンサ等のセンサによって測定できる。dhは、約1cm、2cm、5cm、0.1m、0.2m、0.5m、1m、2m、5m、10m、またはそれら未満であり得る。ある事例において、dhは、約0.2m〜1mであり得る。可動物体が進行する垂直距離によって障害物307によって占められる視野の変化は、dα=α−αによって定義できる。ここで、α及びαは、図3に示すように、垂直移動前のロケーション及び垂直移動後のロケーションで障害物によってそれぞれ占められる視野である。あるいはαまたはαはαに方程式(4)で使用することができ、θはUAVロケーションによらず一定であり得る。複数のdh及び対応するdαを取得することができ(例えば、可動物体は、ある垂直距離を複数回移動する)、障害物からの可動物体の平均距離(t)を、精度改善のために取得できる。
ある事例において、dhを、可動物体がある垂直距離を進行するたびに無条件に確定または測定できる。ある事例において、dhを、1つ以上の条件が満たされる場合にだけ確定できる。例えば、dhを、α(dα)の顕著な変化が検出される時に確定できる。ある実施形態において、αの顕著な変化は、約5°、10°、15°、20°、25°、30°、35°、40°、45°またはそれら未満であり得る。
図4は、実施形態による、水平距離406を移動する撮像装置404を有する可動物体402を示す。撮像装置は、第1のロケーション408において1つ以上の画像を取込み得る。可動物体は、水平距離dtを進行することができ、撮像装置は、第2のロケーション410において1つ以上の画像を取込み得る。方程式(3)は、更に微分されて、以下になり得る。
(5)
hは方程式(5)を使用して取得できる。方程式(5)のdtは、可動ブジェクトが進行する水平距離を指し得る。例えば、図4に関して、dtはロケーション408と410の水平距離406を指し得る。可動物体が進行する水平距離(dt)は、慣性測定ユニット(IMU)またはGPSセンサ等のセンサによって測定できる。dtは約1cm、2cm、5cm、0.1m、0.2m、0.5m、1m、2m、5m、10mまたはそれら未満であり得る。ある事例において、dtは、約0.2m〜1mであり得る。可動物体が進行する水平距離によって障害物が占める視野の変化は、dα=α−αによって定義できる。ここで、α及びαは、図4に示すように、水平移動前のロケーション及び水平移動後のロケーションで障害物によってそれぞれ占められる視野である。αまたはαはαに方程式(5)で使用することができ、θはUAVロケーションによらず一定であり得る。hについて解くと、障害物からの可動物体の距離(t)は、方程式(3)を使用して取得できる。複数のdt及び対応するdαを取得することができ(例えば、可動物体を、ある水平距離を複数回移動させる)、障害物からの可動物体の平均距離(t)を、精度改善のために取得できる。
ある事例において、dtを、可動物体がある水平距離を進行するたびに無条件に確定または測定できる。ある事例において、dtを、1つ以上の条件が満たされる場合にだけ確定できる。例えば、dtを、α(dα)の顕著な変化が検出される時に確定できる。ある実施形態において、αの顕著な変化は、約5°、10°、15°、20°、25°、30°、35°、40°、45°に等しいかまたはそれら未満であり得る。
図5は、実施形態による、可動物体を使用して障害物を検出する方法500を示す。ステップ502にて、1つ以上のプロセッサは、可動物体によって支持される撮像装置から画像データを受信できる。画像データは障害物画像データ及び他の(例えば、背景)画像データを含み得る。例えば、室内環境で動作する可動物体の場合、画像データは、壁(例えば、障害物)及び天井(例えば、背景)の画像を含み得る。例えば、室外環境で動作する可動物体の場合、画像データは、対象物(例えば、障害物)及び空(例えば、背景)の画像を含み得る。画像データは、撮像装置によって取込まれる1つ以上の画像のデータを含み得る。例えば、画像データは、約1つ、2つ、3つ、4つ、5つ、10、20、50、100、200、500、1000、または、それ以上の数の画像を含み得る。画像データは、本明細書で述べるように、複数の画像のシーケンスを含み得る。ある実施形態において、プロセッサは、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、またはコンプレックスプログラマブルロジックデバイス(CPLD)を含み得る。ある実施形態において、プロセッサは、UAVによって支持される埋込式プロセッサであり得る。あるいは、プロセッサは可動物体から分離される場合があり得る(例えば、地上局において可動物体と通信する)。撮像装置は、本明細書で述べるように、可動物体に対して垂直に(例えば、上方にまたは下方に)視野を有するように可動物体上に配置できる。障害物は、例えば可動物体の上または下ではなく、可動物体の側部(例えば、側面)に位置付けできる。例えば、障害物は、可動物体の前、可動物体の後、可動物体の左、可動物体の右、またはその組合せの場所に位置付けできる。例えば、障害物の少なくとも一部はUAVの側面に位置付けできる。そのため、ある実施形態において、ステップ502にてプロセッサによって受信される画像データは、可動物体の側面に位置決めされた障害物の画像データを含み得る。
ステップ504にて、1つ以上のプロセッサは、可動物体と障害物の距離を計算できる。計算は、障害物の画像データに基づくことができる。可動物体と障害物の距離を計算することは、障害物の検出を含み得る。可動物体と障害物の距離を計算することは、背景を描写する画像データの部分と障害物を描写する画像データの部分を識別することを含み得る。可動物体と障害物の距離を計算することは、画像データをセグメント化することを含み得る。画像データをセグメント化することは、本明細書で述べるように、閾値法(例えば、Otsuの方法)、カラーベースセグメンテーション(例えば、K平均クラスタリング)、変換法(例えば、分水嶺セグメンテーション)、テクスチャ法(例えば、テクスチャフィルタ)等を含み得る。
以下で更に述べるように、可動物体と障害物の距離を計算する種々の方法が存在し得る。計算は、可動物体がその中で動作している環境タイプ(例えば、室内、室外等)等の外部因子に依存し得る。可動物体から障害物まで距離は、画像データ内の障害物の画角に基づいて判定できる。ある実施形態において、負の角度値を判定において適用できる。本明細書で使用する時、画角は、撮像装置が水平軸より下に光軸を有する時、負の角度値を有し得る。
障害物の検出またはステップ504の計算に基づいて、1つ以上のプロセッサは、障害物回避プログラムの始動と警告信号の生成の少なくとも一方が可能である。例えば、障害物が検出されるとすぐに、障害物回避プログラムの始動と警告信号の生成の少なくとも一方が可能である。例えば、可動物体と障害物の距離が計算されて、約0.1m、0.2m、0.3m、0.4m、0.5m、0.75m、1m、1.25m、2m、2.5m、3m、4m、5m、10m、15m、20m、50m、100m、150m、またはそれより長い距離である場合、障害物回避プログラムの始動と警告信号の生成の少なくとも一方が可能である。障害物回避プログラムは、可動物体が、障害物の方向に進むことを禁じ得る。障害物回避プログラムは、(例えば、可動物体の推進ユニットに出力される制御信号によって)検出された障害物の反対方向に可動物体を移動し得る。障害物回避プログラムは、障害物が回避されるように可動物体を移動させる(例えば、垂直移動または側方移動)制御信号を、生成し、可動物体の1つ以上の推進ユニットに出力し得る。警告信号は、オペレータまたはユーザに対して触覚的、視覚的、聴覚的警報を出力し得る。例えば、可動物体または可動物体に接続された構成要素は、警告を合図するため、せん光を出力できる。例えば、視覚的警告は、警告を合図するため、オペレータのリモートコントロール上に表示できる。例えば、音を、警告を合図するため、可動物体、リモートコントロール、または可動物体に接続された任意の他の構成要素から生成できる。例えば、UAV、リモートコントロール、または可動物体に接続された任意の他の構成要素は、警告を合図するため振動できる。
可動物体に対して垂直に向く視野を有するように可動物体上に配置された撮像装置及び可動物体の側面に位置付けられた障害物が本明細書で主に論じられた。しかし、この方法及びシステムは、障害物に対する撮像装置の光軸及び障害物に対する撮像装置のロケーションが本明細書で論じる配置と実質的に同様である任意の配置に、同等に適用可能であり得る。例えば、この方法及びシステムは、可動物体に対して水平な視野を有するように可動物体上に配置された撮像装置及び可動物体の上または下に位置付けられた障害物に適用できる。これは、光軸が第1の方向に実質的に方向付けされ、障害物が、第1の方向に実質的に垂直に撮像装置から第2の方向にある時を含み得る。
図6は、実施形態による、可動物体によって支持される撮像装置を使用して障害物を検出する方法600を示す。ステップ602にて、1つ以上のプロセッサは、実質的に本明細書で述べるように、可動物体によって支持される撮像装置から障害物の第1の画像データを受信できる。撮像装置は、可動物体に対して上方または下方に(例えば、垂直に)視野を有するように可動物体上に配置できる。
ステップ604にて、1つ以上のプロセッサは、可動物体を移動させるため、可動物体の1つ以上の推進ユニットを制御する制御信号を生成できる。ある事例において、可動物体の移動は、水平方向、垂直方向、またはその任意の組合せであり得る。水平移動及び垂直移動の少なくとも一方は、任意の組合せとシーケンスの少なくとも一方であり得る。可動物体は、任意の水平距離及び垂直距離の少なくとも一方を含み得る所定の経路またはシーケンスにおいて移動できる。可動物体は、任意の方向(例えば、水平方向及び垂直方向の少なくとも一方)にかつ任意の距離(例えば、水平方向及び垂直方向の少なくとも一方)を、所定の経路またはシーケンスなしで移動できる。代替的にまたは連携して、可動物体は、第1の画像データを処理し、取得された情報(例えば、検出された障害物)に基づいて、ある方向(例えば、水平方向及び垂直方向の少なくとも一方)に移動できる。UAVの移動は、ある水平距離及び垂直距離の少なくとも一方をUAVに移動させ得る。移動する水平距離は、約0.01m、0.05m、0.1m、0.2m、0.5m、0.75m、1m、1.5m、2m、またはそれより長い距離であり得る。移動する垂直距離は、約0.01m、0.05m、0.1m、0.2m、0.5m、0.75m、1m、1.5m、2m、またはそれより長い距離であり得る。移動する水平距離及び垂直距離の少なくとも一方を、測定し、プロセッサ内に格納できる。例えば、可動物体が移動する距離を慣性測定ユニットによって測定し得、測定値を1つ以上のプロセッサ内に格納できる。
ステップ606にて、1つ以上のプロセッサは、可動物体が移動した後に撮像装置から障害物の第2の画像データを受信できる。ステップ608にて、1つ以上のプロセッサは、実質的に本明細書で述べるように、第1の画像データ及び第2の画像データに基づいて可動物体と障害物の距離を計算できる。計算するステップは、第1の画像データ及び第2の画像データを評価することを含み得る。それにより、可動物体が水平距離及び垂直距離の少なくとも一方を移動する前と可動物体が水平距離及び垂直距離の少なくとも一方を移動した後で、障害物によって占められる撮像装置の視野の部分の変化を検出する。
方法600は、所望に応じて繰返すことができる。可動物体と障害物の複数の距離を取得できる。精度改善のため、統計的解析を、可動物体と障害物との間で取得される複数の距離に関して実施できる。例えば、可動物体と障害物との間で取得される複数の距離を、精度改善のため平均できる。方法600は、可動物体と障害物の距離を確定する前に、約1回、2回、3回、4回、5回、10回、20回またはそれ以上の回数、繰返すことができる。
図7は、実施形態による、可動物体の状態情報を確定する方法700を示す。ステップ702にて、1つ以上のプロセッサは、可動物体によって支持される撮像装置から画像データを受信できる。撮像装置は、実質的に本明細書で述べるように、可動物体に対して上方に視野を有するように可動物体上に配置できる。上方に向くカメラは背景を含む画像を取込み得る。例えば、背景は、(例えば、室内環境の)天井または(例えば、室外環境の)空を含み得る。障害物は、ある実施形態において、背景から容易に区別することができ(例えば、青く澄んだ空及び違う色の障害物)、本明細書で述べるように、セグメンテーションアルゴリズムが使用されて、障害物を区別できる。そのため、上方に向くカメラは、有利には、他の方向に比べて複雑さが低い背景を有する可能性がある画像を取込むことができ、複雑さが低い背景は、背景から障害物を区別できる容易さを向上させる。これは、結果として取込み済み画像を解析するために必要とされる処理パワーがより少なくなり得る。
ステップ704にて、1つ以上のプロセッサは、可動物体の姿勢情報を受信できる。姿勢情報は、可動物体のロール方向、ピッチ方向、またはヨー方向を含み得る。
ステップ706にて、1つ以上のプロセッサは、画像データ及び可動物体の姿勢情報に基づいて可動物体の位置情報または動作情報の少なくとも一方を計算できる。例えば、UAVの垂直軸が、障害物までの直線距離に対して垂直にならないように可動物体が傾斜する場合、1つ以上のプロセッサは、位置情報及び動作情報の少なくとも一方の計算において傾斜角度を考慮する必要があり得る。ある事例において、可動物体の姿勢情報が使用されて、可動物体の状態情報(例えば、位置情報または動作情報)を正確に計算または確定できる。例えば、UAVがロールまたはピッチ方向を有する時、撮像装置によって撮影される(取込まれる)画像は、ロールまたはピッチ方向を持たない、UAV上の撮像装置によって取込まれる画像の変換済みバージョン(例えば、アフィン変換による)であり得る。こうした場合、可動物体の姿勢情報に基づいて、画像の座標回転が可能である。ψ及びφのロール及びピッチ角度を仮定すると、対応する回転行列Rを、以下に示すように定式化できる。ある事例において、ヨー角度は重要でなく、無視できる。
画像上のピクセル(u,v)について、そのピクセルに対応する焦点面内の3D点(x,y,z)を、以下の通りに計算できる。
3D点を、回転行列にしたがって、更に回転できる。
回転済み3D点を、以下に従って像平面上に投影することができ、以下は、UAVの位置情報または動作情報をより正確に確定するために使用し得る。
動作情報は、可動物体の速度を含み得る。例えば、1つ以上のプロセッサは、2つ以上の画像のシーケンスを受信できる。プロセッサは、画像のシーケンスを解析し、変化を確定できる。例えば、プロセッサは、画像内の再現性のある特徴を検出し、複数の画像のシーケンスにわたって画像内でのその特徴の相対位置を確定できる。プロセッサは、そのシーケンスの画像間で、時間経過に対する相対位置の変化を比較して、可動物体の速度を確定できる。ステップ706は、複数の画像のシーケンスの各画像内で特徴点での検出、及び、画像のシーケンスにわたる特徴点の変化の確定を含み得る。特徴点は、画像の一部分(例えば、エッジ、コーナ、関心点、ブロブ、リッジ等)である可能性がある。その画像の一部分は、画像の残りの部分及び画像内の他の特徴点の少なくとも一方から一意に区別可能である。任意選択で、特徴点は、撮像済み対象物の変換(例えば、並進、回転、スケーリング)及び画像内の特性の変化(例えば、輝度、露出)の少なくとも一方に対して比較的不変であり得る。特徴点を、情報コンテンツ(例えば、有意の2Dテクスチャ)の点で富んでいる画像の部分で検出できる。特徴点を、擾乱下で(例えば、画像の照明及び輝度を変化させる時に)安定である画像の複数の部分で検出できる。
本明細書で述べる特徴検出は、画像データから1つ以上の特徴点を抽出できる種々のアルゴリズムを使用して遂行される可能性がある。アルゴリズムは、エッジ検出アルゴリズム、コーナ検出アルゴリズム、ブロブ検出アルゴリズム、またはリッジ検出アルゴリズムであり得る。ある実施形態において、コーナ検出アルゴリズムは、「加速セグメントテストからの特徴(FAST)」であり得る。ある実施形態において、特徴検出器は、特徴点を抽出し、FASTを使用して特徴点に関する計算を行い得る。ある実施形態において、特徴検出器は以下であり得る。キャニーエッジ検出器、ソーベル演算子、ハリス及びスティーブンス/プレッシー/シ−トマシのコーナ検出アルゴリズム、スーザンコーナ検出器、レベルカーブ曲率アプローチ、ラプラシアン・ガウシアン、ガウシアン差分、ヘシアンの行列式、MSER、PCBR、グレイレベル・ブロブ、ORB、FREAK、または適切なそれらの組合せ。
ステップ706は、可動物体の位置情報を計算し得る。環境マップを、可動物体を使用して生成できる。例えば、環境マップを、同時ローカリゼーション及びマッピング(SLAM)技法を使用して生成できる。例えば、制限された室内環境において、1つ以上の撮像装置は、環境の種々のエリアの画像を取得できる。1つ以上のプロセッサは、画像データを更に処理し、環境のグローバルマップを作成できる。可動物体の位置を、生成された環境のマップを基準にして計算できる。
計算済みの位置情報または動作情報の少なくとも一方に基づいて、可動物体の位置または動作を制御する制御信号を出力できる。例えば、ある閾値速度を超えて可動物体が進んでいると判定される場合、可動物体の速度を減少させる制御信号を出力できる。例えば、ある閾値速度未満で可動物体が進んでいると判定される場合、可動物体の速度を増加させる制御信号を出力できる。
図8は、実施形態による、可動物体を使用して障害物を検出する方法を示す。ステップ802にて、1つ以上のプロセッサは、実質的に本明細書で述べるように、可動物体によって支持される撮像装置から障害物の画像データを受信できる。撮像装置は、可動物体に対して上方に視野を有するように可動物体上に配置できる。
ステップ804にて、1つ以上のプロセッサは、可動物体の姿勢情報を受信できる。姿勢情報を、慣性測定ユニット(IMU)等のセンサによって生成できる。姿勢情報は、機体のロール方向、ピッチ方向、またはヨー方向を含み得る。
ステップ806にて、1つ以上のプロセッサは、実質的に本明細書に述べるように、障害物の画像データ及び可動物体の姿勢情報に基づいて可動物体と障害物の距離を計算できる。例えば、UAVの垂直軸が、障害物までの直線距離に対して垂直にならないように可動物体が傾斜する場合、1つ以上のプロセッサは、障害物距離計算において傾斜角度を考慮する必要があり得る。
ある事例において、可動物体の姿勢情報が使用されて、可動物体と障害物の距離を正確に計算または確定できる。例えば、UAVがロール方向またはピッチ方向を有する時、撮像装置によって撮影される(取込まれる)画像は、ロールまたはピッチ方向を持たない、UAV上の撮像装置によって取込まれる画像の変換済みバージョン(例えば、アフィン変換による)であり得る。こうした場合、可動物体の姿勢情報に基づいて、画像の座標回転が可能である。ψ及びφのロール及びピッチ角度を仮定すると、対応する回転行列Rを、以下に示すように定式化できる。ある事例において、ヨー角度は重要でなく、無視できる。
画像上のピクセル(u,v)について、そのピクセルに対応する焦点面内の3D点(x,y,z)を、以下の通りに計算できる。
3D点を、回転行列にしたがって、更に回転できる。
回転済み3D点を、以下に従って像平面上に投影することができ、以下は、可動物体と障害物の距離をより正確に確定するために使用し得る。
図9は、実施形態による、室外環境900内で動作するUAV902を示す。室外環境900は、都会、郊外、地方の状況、または少なくとも部分的に建物内にない任意の他の環境であり得る。UAV902は、地上904に対して比較的近くで(例えば、低高度)または地上904から比較的遠くで(例えば、高高度)で動作できる。例えば、地上から約10m以下で動作するUAV902は、低高度にあると考えることができる。一方、地上から約10m以上で動作するUAV902は、高高度にあると考えることができる。
ある実施形態において、室外環境900は1つ以上の障害物907a〜908dを含む。障害物は、UAV902の移動を妨害し得る任意の対象物またはエンティティを含み得る。幾つかの障害物(例えば、障害物908a、908d)が地上904に位置し得る。例えば、建物、地上車(例えば、車、オートバイ、トラック、自転車)、人間、動物、植物(例えば、木、やぶ)、及び、他の人工構造物または自然の構造物。幾つかの障害物は、以下の少なくとも一方があり得る。地上904、水、人工構造、または自然構造に接触状態である。地上904、水、人工構造、または自然構造によって支持される。あるいは、幾つかの障害物(例えば、障害物908b、908c)を、空気906中に位置付けできる。例えば、航空機(例えば、飛行機、ヘリコプター、熱気球、他のUAV)または鳥を含む。飛行障害物は、地上904によって、水によって、自然の構造物または人工の構造物によって、支持されない場合がある。地上904に位置付けられる障害物は、空気906中に実質的に延在する部分(例えば、タワー、超高層ビル、街灯柱、無線塔、電力線、木等のような高い構造物)を含む場合がある。室外環境で動作するUAV902は、前記障害物の画像を取込み得る。例えば、本明細書で述べるようにUAVに対して垂直に向く撮像装置は、障害物の画像を取込み得る。取込まれる画像は、プロセッサによって処理されて、障害物検出及び回避、ナビゲーション、UAVの状態確定の少なくとも1つにおいて使用し得る。
図10は、実施形態による、室内環境1050内で動作するUAV1052を示す。室内環境1050は、床1056、1つ以上の壁1058、天井または屋根1060の少なくとも1つを有する建物1054の内部にある。例示的な建物は、家、アパート、オフィス、製造施設、保管施設等のような、居住用、商業用、または産業用建物を含む。建物1054の内部は、床1056、壁1058、及び天井1060によって完全に閉囲することができ、それにより、UAV1052は内部空間に拘束される。逆に、床1056、壁1058、または天井1060の少なくとも1つが存在せず、それにより、UAV1052が、内部から外部に飛ぶことを可能にし得る、または、その逆も同様である。代替的にまたは組合せて、1つ以上のアパーチャ1064(例えば、扉、窓、天窓)を、床1056、壁1058、または天井1060内に形成できる。
室外環境1000と同様に、室内環境1050は、1つ以上の障害物1062a〜1062dを含み得る。幾つかの障害物(例えば、障害物1062a)が床1056上に位置できる。例えば、家具、器具、人間、動物、植物、及び他の人工対象物または自然の対象物等。逆に、幾つかの障害物(例えば、障害物1062b)が空気中に位置できる。例えば、鳥または他のUAV等。室内環境1050内の幾つかの障害物は、他の構造物または対象物によって支持される可能性がある。障害物(例えば、障害物1062c)も天井1060に取付け得る。例えば、照明器具、天井ファン、梁、他の天井搭載式器具または構造物。ある実施形態において、障害物(例えば、障害物1062d)を壁1058に取付け得る。例えば、照明器具、棚、キャビネット、及び他の壁搭載式器具または構造物。特に、床1056、壁1058、または天井1060を含む建物1054の構成要素もまた障害物であると考えられ得る。室外環境で動作するUAVは、前記障害物の画像を取込み得る。例えば、本明細書で述べるようにUAVに対して垂直に向く撮像装置は、障害物の画像を取込み得る。取込まれる画像は、プロセッサによって処理されて、障害物検出及び回避、ナビゲーション、UAVの状態確定、の少なくとも1つにおいて使用し得る。
本明細書で述べる障害物は、実質的に固定(例えば、建物、プラント、構造物)、または実質的に可動性(例えば、人間、動物、機体、または他の移動できる対象物)であり得る。幾つかの障害物は固定構成要素と可動構成要素の組合せ(例えば、風車)を含む場合がある。可動障害物または障害物構成要素は、所定のまたは予測可能な経路またはパターンに従って移動できる。例えば、車の移動は、(例えば、道路の形状に従って)比較的予測可能であり得る。あるいは、一部の可動障害物または障害物構成要素は、ランダムなまたはその他の方法で予測不能な軌跡に沿って移動し得る。例えば、動物等の生物は、比較的予測不能な方法で移動し得る。
本明細書で提供される実施形態は、種々のタイプのUAVに適用される可能性がある。例えば、UAVは、以下の少なくとも一方である小スケールUAVであり得る。重量がわずか10kgである。わずか1.5mの最大寸法を有する。ある実施形態において、UAVは、複数のプロペラによって空気中を移動するように推進されるマルチロータ航空機等のロータクラフト(例えば、クワッドコプター)であり得る。UAVの更なる例及び本明細書で提示される実施形態と共に使用するのに適した他の可動物体は以下で更に詳細に述べられる。
本明細書で述べるUAVは、完全に自律的に(例えば、オンボードコンピュータ等の適したコンピューティングシステムによって)、半自律的に、または手動で(例えば、人間のユーザによって)動作する可能性がある。UAVは、適したエンティティ(例えば、人間のユーザまたは自律的制御システム)からコマンドを受信し、1つ以上の行動を実施することによって、こうしたコマンドに応答する可能性がある。例えば、UAVが制御されて、以下を行う可能性がある。地上から離陸する、空気中を移動する(例えば、並進において最大3自由度及び回転において最大3自由度で)、ターゲットロケーションまで、またはあるシーケンスのターゲットロケーションまで移動する、空気内をホバリングする、地上に着陸する等。別の例として、UAVが制御されて、指定された速度及び加速度の少なくとも一方で(例えば、並進において最大3自由度及び回転において最大3自由度で)、または、指定された移動経路に沿って移動する可能性がある。更に、コマンドが使用されて、本明細書で述べる構成要素(例えば、センサ、アクチュエータ、推進ユニット、搭載物等)等の1つ以上のUAV構成要素を制御し得る。例えば、幾つかのコマンドが使用されて、カメラ等のUAV搭載物の位置、方向、動作の少なくとも1つを制御し得る。任意選択で、UAVは、1つ以上の所定の動作ルールに従って動作し得る。動作ルールを使用して、以下の少なくとも1つのようなUAVの任意の適した態様を制御できる。UAVの位置(例えば、緯度、経度、高度)、方向(例えば、ロール、ピッチ、ヨー)、速度(例えば、並進及び角度の少なくとも一方)、加速度(例えば、例えば、並進及び角度の少なくとも一方)等。例えば、動作ルールは、UAVが閾値高さを超えて飛ぶことを許可されないように設計される可能性ある。例えば、UAVは、地上からわずか400mの高さで飛ぶ可能性がある。ある実施形態において、動作ルールは、UAVの安全性を改善し、安全に関する事故を防止するために自動化メカニズムを提供するように適合する可能性がある。例えば、UAVは、飛行制限区域(例えば、空港)を検出し、飛行制限区域の所定の距離内で飛行せず、それにより、航空機及び他の障害物との考えられ得る衝突を避ける可能性がある。
本明細書で述べるシステム、デバイス、及び方法は、様々な可動物体に適用される可能性がある。先に述べたように、UAVについての本明細書でのいずれの説明も、任意の可動物体に適用され、使用され得る。本発明の可動物体は、任意の適した環境内で移動する可能性がある。空気中(例えば、固定翼航空機、回転翼航空機、または固定翼も回転翼も持たない航空機)、水中(例えば、船または潜水艦)、地上(例えば、車、トラック、バス、バン、オートバイ等の自動車;杖、釣り竿等の可動の構造またはフレーム;または電車)、地下(例えば、地下鉄)、宇宙空間(例えば、宇宙飛行機、衛星、または宇宙探査機)、またはこれらの環境の任意の組合せ等。可動物体は、本明細書の他の所で述べる機体等の機体であり得る。ある実施形態において、可動物体は、人間もしくは動物等の生体に取り付けられてよい。適切な動物は、鳥類、犬類、猫科、馬科、牛亜科、羊、豚、イルカ科、齧歯動物、または、昆虫類を含み得る。
可動物体は、6自由度(例えば、並進において3自由度及び回転において3自由度)に関して環境内を自由に移動することが可能であり得る。あるいは、可動物体の移動は、所定の経路、トラック、または方向等によって、1つ以上の自由度に関して拘束される可能性がある。移動は、エンジンまたはモータ等の任意の適した作動メカニズムによって作動される可能性がある。可動物体の作動メカニズムは、任意の適したエネルギー源によって電力供給される可能性がある。例えば、電気エネルギー、磁気エネルギー、太陽エネルギー、風力エネルギー、重力エネルギー、化学エネルギー、原子力エネルギー、またはその任意の適した組合せ等。可動物体は、本明細書の他の所で述べるように、推進システムによって自己推進式であり得る。推進システムは、任意選択で、エネルギー源で運転できる。例えば、電気エネルギー、磁気エネルギー、太陽エネルギー、風力エネルギー、重力エネルギー、化学エネルギー、原子力エネルギー、またはその任意の適した組合せ等。あるいは、可動物体は生体によって支持される場合がある。
ある事例において、可動物体は、輸送機であり得る。好適な輸送機は、船舶、航空機、宇宙船、または地上車を含み得る。例えば、航空機は、固定翼航空機(例えば、飛行機、グライダー)、回転翼航空機(例えば、ヘリコプタ、回転翼機)、固定翼と回転翼の両方を有する航空機、またはそのいずれも有さない航空機(例えば、小型飛行船、熱気球)であり得る。輸送機は、空中、水上もしくは水中、宇宙空間、または地上もしくは地下での自己推進等、自己推進し得る。自己推進型輸送機は、推進システム利用し得る。例えば、1つ以上のエンジン、モータ、車輪、車軸、磁石、ロータ、プロペラ、羽根、ノズル、またはこれらの任意の好適な組み合わせを含む推進システム。ある事例において、推進システムを使用して、可動物体が以下の少なくとも1つを行うことを可能にできる。表面からの離陸、表面への着陸、その現在の位置と方向の維持の少なくとも1つ(例えば、ホバリング)、方向の変更、位置の変更。
可動物体は、ユーザによってリモートで制御されるか、または、可動物体内のまたはその上の乗員によってローカルで制御される可能性がある。ある実施形態において、可動物体は、UAV等の無人可動物体である。UAV等の無人可動物体は、可動物体の機内に乗員がいない場合がある。可動物体は、人間か、自立型制御システム(例えば、コンピュータ制御システム)か、またはその任意の適した組合せによって制御され得る。可動物体は、人工知能を持つロボット等の自立型または半自律型ロボットであり得る。
可動物体は、任意の好適な大きさと寸法の少なくとも一方を有し得る。ある実施形態において、可動物体は、輸送機内またはその上に人間の乗員を有するような大きさと寸法の、少なくとも一方であり得る。あるいは、可動物体は、輸送機内またはその上に人間の乗員を有し得るものより小さい大きさと寸法の、少なくとも一方であり得る。可動物体は、人間が持ち上げるかまたは支持するのに好適な大きさと寸法の、少なくとも一方でもよい。あるいは、可動物体は、人間が持ち上げるかまたは支持するのに好適な大きさと寸法の、少なくとも一方よりも大きくてもよい。ある事例において、可動物体は、約2cm、5cm、10cm、50cm、1m、2m、5m、または10m以下の最大寸法(例えば、長さ、幅、高さ、直径、対角線)を有してもよい。最大寸法は、約2cm、5cm、10cm、50cm、1m、2m、5m、または10m以上でもよい。例えば、可動物体の対向するロータのシャフト間の距離は、約2cm、5cm、10cm、50cm、1m、2m、5m、または10m以下でもよい。あるいは、対向するロータのシャフト間の距離は、約2cm、5cm、10cm、50cm、1m、2m、5m、または10m以上でもよい。
ある実施形態において、可動物体は、100cm×100cm×100cm未満、50cm×50cm×30cm未満、または5cm×5cm×3cm未満の体積を有し得る。可動物体の総体積は、1cm、2cm、5cm、10cm、20cm、30cm、40cm、50cm、60cm、70cm、80cm、90cm、100cm、150cm、200cm、300cm、500cm、750cm、1000cm、5000cm、10,000cm、100,000cm、1m、または10m以下であり得る。逆に、可動物体の総体積は、1cm、2cm、5cm、10cm、20cm、30cm、40cm、50cm、60cm、70cm、80cm、90cm、100cm、150cm、200cm、300cm、500cm、750cm、1000cm、5000cm、10,000cm、100,000cm、1m、または10m以上であり得る。
ある実施形態において、可動物体は、約32,000cm以下、20,000cm以下、10,000cm以下、1,000cm以下、500cm以下、100cm以下、50cm以下、10cm以下、または5cm以下のフットプリント(可動物体により包含される側方断面積を指す)を有してもよい。逆に、フットプリントは、約32,000cm以上、20,000cm以上、10,000cm以上、1,000cm以上、500cm以上、100cm以上、50cm以上、10cm以上、または5cm以上でもよい。
ある事例において、可動物体は、重量が1000kg以下であり得る。可動物体の重量は、約1000kg以下、750kg以下、500kg以下、200kg以下、150kg以下、100kg以下、80kg以下、70kg以下、60kg以下、50kg以下、45kg以下、40kg以下、35kg以下、30kg以下、25kg以下、20kg以下、15kg以下、12kg以下、10kg以下、9kg以下、8kg以下、7kg以下、6kg以下、5kg以下、4kg以下、3kg以下、2kg以下、1kg以下、0.5kg以下、0.1kg以下、0.05kg以下、または0.01kg以下でもよい。逆に、重量は、約1000kg以上、750kg以上、500kg以上、200kg以上、150kg以上、100kg以上、80kg以上、70kg以上、60kg以上、50kg以上、45kg以上、40kg以上、35kg以上、30kg以上、25kg以上、20kg以上、15kg以上、12kg以上、10kg以上、9kg以上、8kg以上、7kg以上、6kg以上、5kg以上、4kg以上、3kg以上、2kg以上、1kg以上、0.5kg以上、0.1kg以上、0.05kg以上、または0.01kg以上でもよい。
ある実施形態において、可動物体は、支持する積載量と比較して小さくてもよい。積載量は、本明細書の他の箇所にさらに詳細に記載されるように、搭載物と支持機構の少なくとも一方を含み得る。ある例において、可動物体の重量と積載重量との比率は、約1:1を上回るか、下回るか、または等しくてもよい。ある事例において、可動物体の重量と積載重量との比率は、約1:1を上回るか、それを下回るか、またはそれと等しくてもよい。場合によっては、支持機構重量と積載重量との比率は、約1:1を上回るか、それを下回るか、またはそれと等しくてもよい。所望される場合、可動物体の重量と積載重量との比率は、1:2以下、1:3以下、1:4以下、1:5以下、1:10以下、またはそれをさらに下回ってもよい。逆に、可動物体の重量と積載重量との比率は、2:1以上、3:1以上、4:1以上、5:1以上、10:1以上、またはさらに上回ってもよい。
ある実施形態において、可動物体は、低いエネルギー消費量を有し得る。例えば、可動物体は、約5W/h未満、4W/h未満、3W/h未満、2W/h未満、1W/h未満、またはそれを下回る量を使用する。ある事例において、可動物体の支持機構は、低いエネルギー消費量を有し得る。例えば、支持機構は、約5W/h未満、4W/h未満、3W/h未満、2W/h未満、1W/h未満、またはそれを下回る量を使用する。場合によっては、可動物体の搭載物は、5W/h未満、4W/h未満、3W/h未満、2W/h未満、1W/h未満、またはそれを下回るもの等、低いエネルギー消費量を有し得る。
図11は、本発明の実施形態による無人航空機(UAV)1100を示す。UAVは、本明細書で述べる可動物体の例であり得る。UAV1100は、4つのロータ1102、1104、1106、1108を有する推進システムを含み得る。任意の数(例えば、1つ、2つ、3つ、4つ、5つ、6つ、7つ、8つ、または、それ以上の数)のロータを設け得る。無人航空機のロータ、ロータ組立体、または他の推進システムは、以下の少なくとも1つを可能にし得る。無人航空機が、位置をホバリングする/維持する、方向を変更する、ロケーションを変更すること。対向するロータのシャフト間の距離は任意の適した長さ1110であり得る。例えば、長さ1110は、2m以下、または5m以下であり得る。ある実施形態において、長さ1110は、40cmから1m、10cmから2m、または5cmから5mの範囲内にあり得る。UAVについての本明細書のいずれの説明も、異なるタイプの可動物体等の可動物体に適用できる、また、その逆も同様である。
ある実施形態において、可動物体は積載物を支持し得る。積載物は、乗客、貨物、機器、器具等のうちの1つ以上を含み得る。積載物は筐体内に設けられ得る。筐体は、可動物体の筐体から離れているかまたは可動物体用の筐体の一部であり得る。あるいは、積載物は筐体を備える可能性があり、一方、可動物体は筐体を持たない。あるいは、積載物の複数の部分または全体の積載物は、筐体なしで設けられる可能性がある。積載物は、可動物体に対して強固に固定され得る。任意選択で、積載物は、可動物体に対して可動である(例えば、可動物体に対して並進可能または回転可能である)可能性がある。
ある実施形態において、積載物は搭載物を含む。搭載物は、いずれの動作または機能も実施しない可能性がある。あるいは、搭載物は、機能搭載物としても知られる、動作または機能を実施する搭載物であり得る。例えば、搭載物は、1つ以上のターゲットを監視する1つ以上のセンサを含み得る。任意の適したセンサが搭載物内に組込まれる可能性がある。例えば、画像取込みデバイス(例えば、カメラ)、オーディオ取込みデバイス(例えば、パラボリックマイクロフォン)、赤外線撮像装置、または紫外線撮像装置等。センサは静的検出データ(例えば、写真)または動的検出データ(例えば、ビデオ)を提供する可能性がある。ある実施形態において、センサは、搭載物のターゲットに検出データを提供する。代替的にまたは組合せて、搭載物は、1つ以上のターゲットに信号を提供する1つ以上のエミッタを含み得る。照明源または音源等の任意の適したエミッタが使用され得る。ある実施形態において、搭載物は、可動物体からリモートのモジュールと通信する等に1つ以上の送受信機を含む。任意選択で、搭載物は、環境またはターゲットと相互作用する可能性がある。例えば、搭載物は、ロボットアーム等の対象物を操作することが可能なツール、器具、またはメカニズムを含み得る。
任意選択で、積載物は支持機構を含み得る。支持機構は、搭載物に設けられる可能性があり、また、搭載物は、直接的に(例えば、可動物体に直接接触する)または間接的に(例えば、可動物体に接触しない)支持機構を介して可動物体に接続できる。逆に、搭載物は、支持機構を必要とすることなく、可動物体上に搭載され得る。搭載物は、支持機構と一体形成され得る。あるいは、搭載物は支持機構に解除可能に接続できる。ある実施形態において、搭載物は、1つ以上の搭載物要素を含む可能性があり、また、搭載物要素の1つ以上は、上述したように、可動物体に対して可動であり得る。
支持機構は可動物体と一体形成され得る。あるいは、支持機構は可動物体に解除可能に接続できる。支持機構は、直接的にはまたは間接的に可動物体に接続できる。支持機構は、搭載物に対する支持をする(例えば、搭載物の重量の少なくとも一部を支持する)可能性がある。支持機構は、搭載物の移動を安定にすること、方向付けることの少なくとも一方が可能な、適した搭載構造(例えば、ジンバルプラットフォーム)を含み得る。ある実施形態において、支持機構は、可動物体に対する搭載物の状態(例えば、位置及び方向の少なくとも一方)を制御するように適合される可能性がある例えば、支持機構は、搭載物が、可動物体の移動に関係なく、適した基準フレームに対してその位置及び方向の少なくとも一方を維持するように、(例えば、1、2、または3の並進度、1、2、または3の回転度の少なくとも一方で)可動物体に対して移動し得る。基準フレームは、固定基準フレーム(例えば、周囲環境)であり得る。あるいは、基準フレームは、移動基準フレーム(例えば、可動物体、搭載物ターゲット)であり得る。
ある実施形態において、支持機構は、支持機構及び可動物体の少なくとも一方に対する搭載物の移動を可能にし得る。移動は、最大3自由度に関する並進か(例えば、1つ、2つ、または3つの軸に沿う)、最大3自由度に関する回転か(例えば、1つ、2つ、または3つの軸を中心とした)、またはその任意の適した組合せであり得る。
ある事例において、支持機構は、支持機構フレーム組立体及び支持機構作動組立体を含み得る。支持機構フレーム組立体は、搭載物に対する構造的支持をし得る。支持機構フレーム組立体は、個々の支持機構フレーム構成要素を含み得、その一部は互いに対して可動であり得る。支持機構作動組立体は、個々の支持機構フレーム構成要素の移動を行わせる1つ以上のアクチュエータ(例えば、モータ)を含み得る。アクチュエータは、複数の支持機構フレーム構成要素の移動を同時に可能にし得る、または、一度に単一の支持機構フレーム構成要素の移動を可能にし得る。支持機構フレーム構成要素の移動は、搭載物の対応する移動を生じ得る。例えば、支持機構作動組立体は、1つ以上の回転軸(例えば、ロール軸、ピッチ軸、またはヨー軸)を中心として1つ以上の支持機構フレーム構成要素の回転を行わせ得る。1つ以上の支持機構フレーム構成要素の回転は、可動物体を基準にして1つ以上の回転軸を中心として搭載物を回転させ得る。代替的にまたは組合せて、支持機構作動組立体は、1つ以上の並進軸に沿う1つ以上の支持機構フレーム構成要素の並進を行わせる。それにより、可動物体を基準にして1つ以上の対応する軸に沿う搭載物の並進を生じ得る。
ある実施形態において、固定された基準フレーム(例えば、周囲環境)と互いの少なくとも一方に対する、可動物体、支持機構、及び搭載物の移動は、端末によって制御される可能性がある。端末は、可動物体、支持機構、搭載物の少なくとも1つから離れたロケーションのリモート制御デバイスであり得る。端末は、支持台上に配設されるかまたは支持台に固着され得る。あるいは、端末は、手持ち式または装着可能デバイスであり得る。例えば、端末は、スマートフォン、タブレット、ラップトップ、コンピュータ、めがね、グローブ、ヘルメット、マイクロフォン、またはその適した組合せを含み得る。端末は、キーボード、マウス、ジョイスティック、タッチスクリーン、またはディスプレイ等のユーザインタフェースを含み得る。手動でコマンドを入力すること、音声制御、ジェスチャ制御、または位置制御(例えば、端末の移動、ロケーション、または傾斜による)等の任意の適したユーザ入力が、端末と相互作用するために使用され得る。
端末は、可動物体、支持機構、搭載物の少なくとも1つの任意の適した状態を制御するために使用され得る。例えば、端末は、固定された基準フレームと互いの少なくとも一方に対して、可動物体、支持機構、搭載物のうち少なくとも1つの位置及び方向のいずれかあるいは両方を制御するために使用され得る。ある実施形態において、可動物体、支持機構、搭載物のうち少なくとも1つ個々の要素を制御するために使用され得る。例えば、端末は、支持機構の作動組立体、搭載物のセンサ、または搭載物のエミッタ等。端末は、可動物体、支持機構、または搭載物の1つ以上と通信するように適合された無線通信デバイスを含み得る。
端末は、可動物体、支持機構、搭載物のうち少なくとも1つの情報を閲覧する適したディスプレイユニットを含み得る。例えば、端末は、位置、並進速度、並進加速度、方向、角速度、角加速度、またはその任意の適した組合せに関して可動物体、支持機構、搭載物のうち少なくとも1つの情報を表示し得る。ある実施形態において、端末は、機能搭載物によって提供されるデータ(例えば、カメラまたは他の画像取込みデバイスによって記録される画像)等の搭載物によって提供される情報を表示する可能性がある。
任意選択で、同じ端末が、可動物体、支持機構、搭載物の少なくとも1つ、または、可動物体、支持機構、搭載物の少なくとも1つの状態を制御する。同様に可動物体、支持機構、搭載物の少なくとも1つからの情報を受信と表示のいずれかあるいは両方できる。例えば、端末は、搭載物によって取込まれる画像データまたは搭載物の位置に関する情報を表示しながら、環境に対する搭載物の位置決めを制御できる。あるいは、異なる端末は、異なる機能に使用し得る。例えば、第1の端末は、可動物体、支持機構、搭載物のうちの少なくとも1つの移動または状態を制御し得る。一方、第2の端末は、可動物体、支持機構、搭載物のうち少なくとも1つからの情報を受信または表示のいずれかあるいは両方ができる。例えば、第1の端末は、環境に対する搭載物の位置決めを制御するために使用し得る。一方、第2の端末は、搭載物によって取込まれる画像データを表示する。種々の通信モードが、以下で利用できる。可動物体と、可動物体を制御すると共にデータを受信する統合型端末との間。または、可動物体と、可動物体を制御すると共にデータを受信する複数の端末との間。例えば、少なくとも2つの異なる通信モードが、可動物体と可動物体を制御すると共に可動物体からデータを受信する端末との間で形成できる。
図12は、実施形態による、支持機構1202及び搭載物1204を含む可動物体1200を示す。可動物体1200が航空機として示されるが、この叙述は、制限的であることを意図されず、任意の適したタイプの可動物体が、本明細書で先に述べたように使用され得る。航空機システムの文脈で本明細書において述べる任意の実施形態が、任意の適した可動物体(例えば、UAV)に適用され得ることを当業者は認識するであろう。ある事例において、支持機構1202を必要とすることなく、搭載物1204を、可動物体1200上に設け得る。可動物体1200は、推進メカニズム1206、検出システム1208、及び通信システム1210を含み得る。
推進メカニズム1206は、先に述べたように、ロータ、プロペラ、ブレード、エンジン、モータ、ホイール、車軸、磁石、またはノズルの1つ以上を含み得る。例えば、推進メカニズム1206は、本明細書の他の所で論じるように、ロータ組立体または他の回転推進ユニットであり得る。可動物体は、1つ以上、2つ以上、3つ以上、または4つ以上の推進メカニズムを有し得る。推進メカニズムは全て、同じタイプであり得る。あるいは、1つ以上の推進メカニズムは、異なるタイプの推進メカニズムであり得る。推進メカニズム1206は、本明細書の他の所で述べる支持要素(例えば、ドライブシャフト)等の任意の適した手段を使用して可動物体1200上に搭載され得る。推進メカニズム1206は、上部、下部、前部、後部、側部、またはその適した組合せ等の、可動物体1200の任意の適した部分上に搭載され得る。
ある実施形態において、推進メカニズム1206は、可動物体1200が、可動物体1200の水平方向移動を全く必要とすることなく(例えば、滑走路をゆっくり走行することなく)表面からの垂直な離陸または表面への垂直な着陸を可能にさせ得る。任意選択で、推進メカニズム1206は、可動物体1200が指定された位置及び方向の少なくとも一方で空気中をホバリングすることを動作可能であり得る。推進メカニズム1200の1つ以上は、他の推進メカニズムと独立に制御できる。あるいは、推進メカニズム1200は、同時に制御され得る。例えば、可動物体1200は、可動物体に揚力及び推力の少なくとも一方を提供できる水平に向く複数のロータを有し得る。水平に向く複数のロータは、可動物体1200に対して垂直離陸、垂直着陸、及びホバリング能力を作動し得る。ある実施形態において、水平に向くロータの1つ以上は時計方向に回転でき、一方、水平に向くロータの1つ以上は反時計方向に回転できる。例えば、時計方向ロータの数は反時計方向ロータの数に等しい場合がある。水平に向くロータのそれぞれの回転レートは、各ロータによって生成される揚力及び推力の少なくとも一方を制御するために独立に変動し、それにより、可動物体1200の空間的配置、速度、及び加速度の少なくとも1つを(例えば、最大3の並進度及び最大3の回転度に関して)調整し得る。
検出システム1208は、可動物体1200の空間的配置、速度、加速度の少なくとも1つを(例えば、最大3の並進度及び最大3の回転度に関して)検出できる1つ以上のセンサを含み得る。1つ以上のセンサは、全地球測位システム(GPS)、モーションセンサ、慣性センサ、近接センサ、または画像センサを含み得る。検出システム1208によって提供される検出データは、可動物体1200の空間的配置、速度、方向の少なくとも1つを(例えば、以下で述べるように、適した処理ユニットと制御モジュールの少なくとも一方を使用して)制御するために使用され得る。あるいは、検出システム1208は、可動物体を囲む環境に関するデータを提供するために使用され得る。例えば、天候状況、考えられ得る障害物に対する近接性、地理的特徴のロケーション、人工構造物のロケーション等。
通信システム1210は、無線信号1216によって、通信システム1214を有する端末1212との通信を可能にする。通信システム1210、1214は、無線通信に適した任意の数の送信機、受信機、送受信機の少なくとも1つを含み得る。通信は、データが一方向だけに送信されるように一方向通信でり得る。例えば、一方向通信は、可動物体1200が端末1212にデータを送信するだけであり得る、または、その逆も同様である。データを、通信システム1210の1つ以上の送信機から通信システム1212の1つ以上の受信機に送信できる、または、その逆も同様である。あるいは、通信は、データが可動物体1200と端末1212との間で両方向に送信されるように2方向通信であり得る。2方向通信は、データを通信システム1210の1つ以上の送信機から通信システム1214の1つ以上の受信機に送信する可能性があり、また、その逆も同様である。
ある実施形態において、端末1212は、可動物体1200、支持機構1202、及び搭載物1204の1つ以上に制御データを提供し、可動物体1200、支持機構1202、及び搭載物1204の1つ以上から情報を受信し得る。(例えば、可動物体、支持機構、搭載物の位置情報と動作情報の少なくとも一方;搭載物カメラによって取込まれる画像データ等の搭載物によって検出されるデータ)。ある事例において、端末からの制御データは、可動物体、支持機構、搭載物の少なくとも1つの相対的位置、移動、作動、または制御についての命令を含み得る。例えば、制御データは、(例えば、推進メカニズム1206の制御による)可動物体のロケーション及び方向の少なくとも一方の修正、または、(例えば、支持機構1202の制御による)可動物体に対する搭載物の移動をもたらし得る。端末からの制御データは、搭載物の制御をもたらすことができる。例えば、カメラまたは他の画像取込みデバイスの動作の制御等(例えば、静止画または動画像の撮影、ズームインまたはアウト、電源オンまたはオフ、撮像モードの切換え、画像分解能の変更、焦点の変更、被写界深度の変更、露出時間の変更、視野角または視野の変更)。ある事例において、可動物体、支持機構、搭載物の少なくとも1つからの通信情報は、(例えば、検出システム1208または搭載物1204の)1つ以上のセンサからの情報を含み得る。通信情報は、1つ以上の異なるタイプのセンサ(例えば、GPSセンサ、モーションセンサ、慣性センサ、近接センサ、または画像センサ)からの情報を含み得る。こうした情報は、可動物体、支持機構、搭載物の少なくとも1つの位置(例えば、ロケーション、方向)、移動、または加速度に関する場合がある。搭載物からのこうした情報は、搭載物によって取込まれるデータまたは搭載物の検出済み状態を含み得る。端末1212によって送信される制御データは、可動物体1200、支持機構1202、または搭載物1204の1つ以上の状態を制御し得る。代替的にまたは組合せて、支持機構1202及び搭載物1204はそれぞれ、端末1212と通信する通信モジュールも含み得る。それにより、端末1212は、可動物体1200、支持機構1202、及び搭載物1204のそれぞれと独立に通信し、制御し得る。
ある実施形態において、可動物体1200は、端末1212に加えてまたは端末1212の代わりに別のリモートデバイスと通信できる。端末1212はまた、別のリモートデバイス並びに可動物体1200と通信できる。例えば、可動物体1200及び端末1212の少なくとも一方は、別の可動物体または別の可動物体の支持機構または搭載物と通信できる。所望される場合、リモートデバイスは、第2の端末または他のコンピューティングデバイスであり得る(例えば、コンピュータ、ラップトップ、タブレット、スマートフォン、または他のモバイルデバイス)。リモートデバイスは、以下の少なくとも1つをし得る。可動物体1200へのデータの送信、可動物体1200からのデータの受信、端末1212へのデータの送信、端末1212からのデータの受信。任意選択で、リモートデバイスは、インターネットまたは他の電気通信ネットワークに接続され得る。それにより、可動物体1200及び端末1212の少なくとも一方から受信されるデータは、ウェブサイトまたはサーバにアップロードされる可能性がある。
図13は、実施形態による、可動物体を制御するシステム1300のブロック図による略図である。システム1300は、本明細書で論じられるシステム、デバイス、及び方法の任意の適した実施形態と組合せて使用され得る。システム1300は、検出モジュール1302、処理ユニット1304、非一時的コンピュータ可読媒体1306、制御モジュール1308、及び通信モジュール1310を含み得る。
検出モジュール1302は、可動物体に関する情報を異なる方法で収集する異なるタイプのセンサを利用し得る。異なるタイプのセンサは、異なるソースから異なるタイプの1つ以上の信号を検出することができる。例えば、センサは、慣性センサ、GPSセンサ、近接センサ(例えば、ライダ)、ビジョン/画像センサ(例えば、カメラ)を含み得る。検出モジュール1302は、複数のプロセッサを有する処理ユニット1304に動作可能に接続できる。ある実施形態において、検出モジュールは、適した外部デバイスまたはシステムに検出データを直接送信する送信モジュール1312(例えば、WiFi画像送信モジュール)に動作可能に接続できる。例えば、送信モジュール1312は、検出モジュール1302のカメラによって取込まれる画像をリモート端末に送信するために使用され得る。
処理ユニット1304は、プログラマブルプロセッサ(例えば、中央処理ユニット(CPU))等の1つ以上のプロセッサを有する可能性がある。処理ユニット1304は、非一時的コンピュータ可読媒体1306に動作可能に接続できる。非一時的コンピュータ可読媒体1306は、1つ以上のステップを実施するため、処理ユニット1304によって実行可能なロジック、コード、プログラムの少なくとも1つを格納し得る。非一時的コンピュータ可読媒体は、1つ以上のメモリユニット(例えば、SDカードまたはランダムアクセスメモリ(RAM)等の取外し可能媒体または外部ストレージ)を含み得る。ある実施形態において、検出モジュール1302からのデータは、非一時的コンピュータ可読媒体1306のメモリユニットに直接伝達され、その中に格納され得る。非一時的コンピュータ可読媒体1306のメモリユニットは、本明細書で述べる方法の任意の適した実施形態を実施するため、処理ユニット1304によって実行可能なロジック、コード、プログラムの少なくとも1つを格納し得る。例えば、処理ユニット1304は、処理ユニット1304の1つ以上のプロセッサが、検出モジュールによって生成される検出データを解析させる命令を実行し得る。メモリユニットは、処理ユニット1304によって処理される検出モジュールからの検出データを格納し得る。ある実施形態において、非一時的コンピュータ可読媒体1306のメモリユニットは、処理ユニット1304によって処理された処理結果を格納するために使用され得る。
ある実施形態において、処理ユニット1304は、可動物体の状態を制御する制御モジュール1308に動作可能に接続できる。例えば、制御モジュール1308は、可動物体の推進メカニズムを制御して、可動物体の空間的配置、速度、加速度の少なくとも1つを6自由度に関して調整する可能性がある。代替的にまたは組合せて、制御モジュール1308は、支持機構、搭載物、または検出モジュールの状態の1つ以上を制御し得る。
処理ユニット1304は、1つ以上の外部デバイス(例えば、端末、ディスプレイデバイス、または他のリモートコントローラ)から、データを送信及び受信の少なくとも一方を行う通信モジュール1310に動作可能に接続できる。有線通信または無線通信等の任意の適した通信手段が使用され得る。例えば、通信モジュール1310は、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、赤外線、無線、WiFi、ポイント・トゥ・ポイント(P2P)ネットワーク、電気通信ネットワーク、クラウド通信等のうちの1つ以上を利用し得る。任意選択で、塔、衛星、または移動局等の中継局が使用され得る。無線通信は、近接依存性があるかまたは近接非依存性があり得る。ある実施形態において、見通し線が通信に必要とされる場合がある、または、必要とされない場合がある。通信モジュール1310は、検出モジュール1302からの検出データ、処理ユニット1304によって生成される処理結果、所定の制御データ、端末またはリモートコントローラからのユーザコマンド等のうちの1つ以上を、送信及び受信の少なくとも一方を行う可能性がある。
システム1300の構成要素は、任意の適した構成で配置され得る。例えば、システム1300の構成要素の1つ以上は、上記の1つ以上と通信状態にある、可動物体、支持機構、搭載物、端末、検出システム、または更なる外部デバイス上に位置付けられ得る。更に、図13は単一の処理ユニット1304及び単一の非一時的コンピュータ可読媒体1306を示すが、これが制限的であることを意図されないこと、及び、システム1300が複数の処理ユニット及び非一時的コンピュータ可読媒体の少なくとも一方を含み得ることを、当業者は認識するであろう。ある実施形態において、複数の処理ユニット及び非一時的コンピュータ可読媒体の少なくとも一方は、1つ以上、異なるロケーションに位置し得る。例えば、上記の1つ以上と通信状態にある、可動物体、支持機構、搭載物、端末、検出システム、更なる外部デバイスの上等。それにより、システム1300によって実施される処理及びメモリ機能の少なくとも一方が、任意の適した態様が上述したロケーションの1つ以上のロケーションで起こり得る。
本明細書で使用する時、A及びBの少なくとも一方は、1つ以上のAまたはB、並びにA及びB等のその組合せの一方または両方を包含する。
本発明の好ましい実施形態が本明細書で示され述べられたが、こうした実施形態が、単に例示として提供されることが当業者に明らかである。多数の変形、変更、及び置換を、本発明から逸脱することなく当業者が今や思い付くであろう。本明細書で述べる発明の実施形態に対する種々の代替を、本発明を実施する時に使用し得ることが理解されるべきである。添付特許請求の範囲が本発明の範囲を規定すること、及び、添付特許請求の範囲内の方法及び構造並びにその均等物がそれにより網羅されることが意図される。
[項目1]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有する撮像装置から障害物の画像データを受信するステップと、
上記可動物体の姿勢情報を受信するステップと、
上記障害物の上記画像データ及び上記可動物体の上記姿勢情報に基づいて上記可動物体と上記障害物の距離を、1つ以上のプロセッサによって計算するステップと、を含む、
可動物体を使用して障害物を検出する方法。
[項目2]
上記可動物体は、上記可動物体を移動させる複数の推進ユニットを備える、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目3]
上記可動物体は無人航空機(UAV)である、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目4]
上記複数の推進ユニットは複数のロータを備える、
項目2に記載の可動物体を使用して障害物を検出する方法。
[項目5]
上記撮像装置はカメラである、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目6]
上記カメラは単眼カメラである、
項目5に記載の可動物体を使用して障害物を検出する方法。
[項目7]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目8]
上記撮像装置の上記視野は約60°である、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目9]
上記撮像装置の上記視野は、上記可動物体に対して上方に向く、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目10]
上記可動物体を室内環境で動作させることを更に含み、上記画像データは上記室内環境の天井の複数の画像を含む、
項目9に記載の可動物体を使用して障害物を検出する方法。
[項目11]
上記計算するステップは、上記天井を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別することを含む、
項目10に記載の可動物体を使用して障害物を検出する方法。
[項目12]
上記室内環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目10に記載の可動物体を使用して障害物を検出する方法。
[項目13]
上記可動物体を室外環境で動作させることを更に含み、上記画像データは空の複数の画像を含む、
項目9に記載の可動物体を使用して障害物を検出する方法。
[項目14]
上記計算するステップは、上記空を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別することを含む、
項目13に記載の可動物体を使用して障害物を検出する方法。
[項目15]
上記室外環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目13に記載の可動物体を使用して障害物を検出する方法。
[項目16]
上記撮像装置の上記視野は、上記可動物体に対して下方に向く、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目17]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の床の複数の画像を含む、
項目16に記載の可動物体を使用して障害物を検出する方法。
[項目18]
上記画像データは、壁に接する上記床の複数の画像を含む、
項目17に記載の可動物体を使用して障害物を検出する方法。
[項目19]
上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定され、負の角度値が上記判定において適用される、
項目16に記載の可動物体を使用して障害物を検出する方法。
[項目20]
上記姿勢情報は、慣性測定ユニット(IMU)によって生成される、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目21]
上記姿勢情報は、上記可動物体のロール角度、ピッチ角度、またはヨー角度の少なくとも1つを含む、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目22]
上記計算するステップは、上記画像データに基づいて、上記障害物によって占められる上記撮像装置の上記視野の部分を確定することを含む、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目23]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有し、障害物の画像データを取得する撮像装置と、
1つ以上のプロセッサとを備え、
上記1つ以上のプロセッサは、個々にまたは一括して、
上記撮像装置から上記障害物の画像データを受信し、
上記可動物体の姿勢情報を受信し、
上記障害物の上記画像データ及び上記可動物体の上記姿勢情報に基づいて上記可動物体と上記障害物の距離を計算する、
可動物体を使用して障害物を検出するシステム。
[項目24]
上記可動物体は、上記可動物体を移動させる複数の推進ユニットを備える、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目25]
上記可動物体は無人航空機(UAV)である、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目26]
上記複数の推進ユニットは複数のロータを備える、
項目24に記載の可動物体を使用して障害物を検出するシステム。
[項目27]
上記撮像装置はカメラである、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目28]
上記カメラは単眼カメラである、
項目27に記載の可動物体を使用して障害物を検出するシステム。
[項目29]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目30]
上記撮像装置の上記視野は約60°である、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目31]
上記撮像装置の上記視野は、上記可動物体に対して上方に向く、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目32]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の天井の複数の画像を含む、
項目31に記載の可動物体を使用して障害物を検出するシステム。
[項目33]
上記1つ以上のプロセッサは、上記天井を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別する、
項目32に記載の可動物体を使用して障害物を検出するシステム。
[項目34]
上記室内環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目32に記載の可動物体を使用して障害物を検出するシステム。
[項目35]
上記可動物体は室外環境で動作し、上記画像データは上記空の複数の画像を含む、項目31に記載の可動物体を使用して障害物を検出するシステム。
[項目36]
上記1つ以上のプロセッサは、個々にまたは一括して、上記空を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別する、
項目35に記載の可動物体を使用して障害物を検出するシステム。
[項目37]
上記室外環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目35に記載の可動物体を使用して障害物を検出するシステム。
[項目38]
上記撮像装置の上記視野は、上記可動物体に対して下方に向く、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目39]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の床の複数の画像を含む、
項目38に記載の可動物体を使用して障害物を検出するシステム。
[項目40]
上記画像データは、壁に接する上記床の複数の画像を含む、
項目39に記載の可動物体を使用して障害物を検出するシステム。
[項目41]
上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定され、負の角度値が上記判定において適用される、
項目38に記載の可動物体を使用して障害物を検出するシステム。
[項目42]
上記姿勢情報は、慣性測定ユニット(IMU)によって生成される、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目43]
上記姿勢情報は、上記可動物体のロール角度、ピッチ角度、またはヨー角度の少なくとも1つを含む、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目44]
上記1つ以上のプロセッサは、個々にまたは一括して、上記画像データに基づいて、上記障害物によって占められる上記撮像装置の上記視野の部分を確定する、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目45]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有する撮像装置から、上記可動物体の側部に位置決めされた障害物の画像データを含む画像データを受信するステップと、
上記障害物の画像データに基づいて上記可動物体と上記障害物の距離を、1つ以上のプロセッサによって計算するステップと、を含む、
可動物体を使用して障害物を検出する方法。
[項目46]
上記可動物体は、上記可動物体を移動させる複数の推進ユニットを備える、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目47]
上記可動物体は無人航空機(UAV)である、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目48]
上記複数の推進ユニットは複数のロータを備える、
項目46に記載の可動物体を使用して障害物を検出する方法。
[項目49]
上記撮像装置はカメラである、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目50]
上記カメラは単眼カメラである、
項目49に記載の可動物体を使用して障害物を検出する方法。
[項目51]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目52]
上記撮像装置の上記視野は約60°である、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目53]
上記撮像装置の上記視野は、上記可動物体に対して上方に向く、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目54]
上記可動物体を室内環境で動作させることを更に含み、上記画像データは上記室内環境の天井の複数の画像を含む、
項目53に記載の可動物体を使用して障害物を検出する方法。
[項目55]
上記計算するステップは、上記天井を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別することを含む、
項目54に記載の可動物体を使用して障害物を検出する方法。
[項目56]
上記室内環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目54に記載の可動物体を使用して障害物を検出する方法。
[項目57]
上記可動物体を室外環境で動作させることを更に含み、上記画像データは上記空の複数の画像を含む、
項目53に記載の可動物体を使用して障害物を検出する方法。
[項目58]
上記計算するステップは、上記空を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別することを含む、
項目57に記載の可動物体を使用して障害物を検出する方法。
[項目59]
上記室外環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目57に記載の可動物体を使用して障害物を検出する方法。
[項目60]
上記撮像装置の上記視野は、上記可動物体に対して下方に向く、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目61]
上記可動物体を室内環境で動作させることを更に含み、上記画像データは上記室内環境の床の複数の画像を含む、
項目60に記載の可動物体を使用して障害物を検出する方法。
[項目62]
上記画像データは、壁に接する上記床の複数の画像を含む、
項目61に記載の可動物体を使用して障害物を検出する方法。
[項目63]
上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定され、負の角度値が上記判定において適用される、
項目60に記載の可動物体を使用して障害物を検出する方法。
[項目64]
上記障害物は、上記可動物体の前に、上記可動物体の後に、上記可動物体の左に、上記可動物体の右に、またはその組合せに位置付けられる、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目65]
上記計算するステップは、上記画像データに基づいて、上記障害物によって占められる上記撮像装置の上記視野の部分を確定することを含む、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目66]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有し、上記可動物体の側部に位置決めされた障害物の画像データを含む画像データを取得する撮像装置と、
1つ以上のプロセッサとを備え、
上記1つ以上のプロセッサは、個々にまたは一括して、
上記撮像装置から上記画像データを受信し、
上記障害物の上記画像データに基づいて上記可動物体と上記障害物の距離を計算する、
可動物体を使用して障害物を検出するシステム。
[項目67]
上記可動物体は、上記可動物体を移動させる複数の推進ユニットを備える、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目68]
上記可動物体は無人航空機(UAV)である、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目69]
上記複数の推進ユニットは複数のロータを備える、
項目67に記載の可動物体を使用して障害物を検出するシステム。
[項目70]
上記撮像装置はカメラである、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目71]
上記カメラは単眼カメラである、
項目70に記載の可動物体を使用して障害物を検出するシステム。
[項目72]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目73]
上記撮像装置の上記視野は約60°である、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目74]
上記撮像装置の上記視野は、上記可動物体に対して上方に向く、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目75]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の天井の複数の画像を含む、
項目74に記載の可動物体を使用して障害物を検出するシステム。
[項目76]
上記1つ以上のプロセッサは、個々にまたは一括して、上記天井を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別する、
項目75に記載の可動物体を使用して障害物を検出するシステム。
[項目77]
上記室内環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目75に記載の可動物体を使用して障害物を検出するシステム。
[項目78]
上記可動物体は室外環境で動作し、上記画像データは上記空の複数の画像を含む、
項目74に記載の可動物体を使用して障害物を検出するシステム。
[項目79]
上記1つ以上のプロセッサは、個々にまたは一括して、上記空を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別する、
項目78に記載の可動物体を使用して障害物を検出するシステム。
[項目80]
上記室外環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目78に記載の可動物体を使用して障害物を検出するシステム。
[項目81]
上記撮像装置の上記視野は、上記可動物体に対して下方に向く、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目82]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の床の複数の画像を含む、
項目81に記載の可動物体を使用して障害物を検出するシステム。
[項目83]
上記画像データは、壁に接する上記床の複数の画像を含む、
項目82に記載の可動物体を使用して障害物を検出するシステム。
[項目84]
上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定され、負の角度値が上記判定において適用される、
項目81に記載の可動物体を使用して障害物を検出するシステム。
[項目85]
上記障害物は、上記可動物体の前に、上記可動物体の後に、上記可動物体の左に、上記可動物体の右に、またはその組合せに位置付けられる、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目86]
上記1つ以上のプロセッサは、個々にまたは一括して、上記画像データに基づいて、上記障害物によって占められる上記撮像装置の上記視野の部分を確定する、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目87]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有するように上記可動物体上に配置される撮像装置から障害物の第1の画像データを1つ以上のプロセッサにおいて受信するステップと、
上記可動物体を移動させるため、上記可動物体の1つ以上の推進ユニットを制御する制御信号を、上記1つ以上のプロセッサにおいて生成するステップと、
上記可動物体が移動した後に、上記撮像装置から上記障害物の第2の画像データを、上記1つ以上のプロセッサにおいて受信するステップと、
上記第1の画像データ及び上記第2の画像データに基づいて上記可動物体と上記障害物の距離を、上記1つ以上のプロセッサによって計算するステップを含む、
可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目88]
上記可動物体は無人航空機(UAV)である、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目89]
上記1つ以上の推進ユニットは複数のロータを備える、
項目88に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目90]
上記撮像装置はカメラである、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目91]
上記カメラは単眼カメラである、
項目90に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目92]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目93]
上記撮像装置の上記視野は約60°である、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目94]
上記撮像装置の上記視野は、上記可動物体に対して上方に向く、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目95]
上記可動物体を室内環境で動作させることを更に含み、上記画像データは上記室内環境の天井の複数の画像を含む、
項目94に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目96]
上記撮像装置の上記視野は、上記可動物体に対して下方に向く、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目97]
上記可動物体を室内環境で動作させることを更に含み、上記画像データは上記室内環境の床の複数の画像を含む、
項目96に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目98]
上記画像データは、壁に接する上記床の複数の画像を含む、
項目97に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目99]
上記可動物体は、上記制御信号によって、ある水平距離を移動する、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目100]
上記水平距離は約0.2m〜1mである、
項目99に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目101]
上記可動物体は、上記制御信号によって、ある垂直距離を移動する、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目102]
上記垂直距離は約0.2m〜1mである、
項目101に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目103]
上記計算するステップは、上記可動物体が移動する前と上記可動物体が移動した後で、上記障害物によって占められる上記撮像装置の上記視野の部分の変化を検出するために、上記第1の画像データ及び上記第2の画像データを評価することを含む、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目104]
移動した水平距離または垂直距離を確定することを更に含む、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目105]
移動した上記水平距離または垂直距離は、慣性測定ユニット(IMU)を使用して確定される、
項目104に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目106]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有するように上記可動物体上に配置され、障害物の画像データを取得する撮像装置と、
上記可動物体を移動させる1つ以上の推進ユニットと、
1つ以上のプロセッサとを備え、
上記1つ以上のプロセッサは、個々にまたは一括して、
上記撮像装置から上記障害物の第1の画像データを受信し、
上記可動物体を移動させるため、上記1つ以上の推進ユニットを制御する制御信号を生成し、
上記可動物体が移動した後に上記撮像装置から上記障害物の第2の画像データを受信し、
上記第1の画像データ及び上記第2の画像データに基づいて上記可動物体と上記障害物の距離を計算する、
可動物体を使用して障害物を検出するシステム。
[項目107]
上記1つ以上のプロセッサは、個々にまたは一括して、上記第1の画像データ及び上記第2の画像データに基づいて上記可動物体の上の上記障害物の高さを確定する、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目108]
上記可動物体と上記障害物の距離は、上記可動物体の上の上記障害物の高さに基づいて確定される、
項目107に記載の可動物体を使用して障害物を検出するシステム。
[項目109]
上記可動物体は無人航空機(UAV)である、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目110]
上記1つ以上の推進ユニットは複数のロータを備える、
項目109に記載の可動物体を使用して障害物を検出するシステム。
[項目111]
上記撮像装置はカメラである、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目112]
上記カメラは単眼カメラである、
項目111に記載の可動物体を使用して障害物を検出するシステム。
[項目113]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目114]
上記撮像装置の上記視野は約60°である、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目115]
上記撮像装置の上記視野は、上記可動物体に対して上方に向く、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目116]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の天井の複数の画像を含む、
項目115に記載の可動物体を使用して障害物を検出するシステム。
[項目117]
上記撮像装置の上記視野は、上記可動物体に対して下方に向く、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目118]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の床の複数の画像を含む、
項目117に記載の可動物体を使用して障害物を検出するシステム。
[項目119]
上記画像データは、壁に接する上記床の複数の画像を含む、
項目118に記載の可動物体を使用して障害物を検出するシステム。
[項目120]
上記可動物体は、上記制御信号によって、ある水平距離を移動する、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目121]
上記水平距離は約0.2m〜1mである、
項目120に記載の可動物体を使用して障害物を検出するシステム。
[項目122]
上記可動物体は、上記制御信号によって、ある垂直距離を移動する、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目123]
上記垂直距離は約0.2m〜1mである、
項目122に記載の可動物体を使用して障害物を検出するシステム。
[項目124]
上記1つ以上のプロセッサは、個々にまたは一括して、上記可動物体が移動する前と上記可動物体が移動した後で、上記障害物によって占められる上記撮像装置の上記視野の部分の変化を検出するために、上記第1の画像データ及び上記第2の画像データを評価する、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目125]
上記1つ以上のプロセッサは、個々にまたは一括して、移動した水平距離または垂直距離を確定する、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目126]
移動した上記水平距離または垂直距離は、慣性測定ユニット(IMU)を使用して確定される、
項目125に記載の可動物体を使用して障害物を検出するシステム。
[項目127]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有するように上記可動物体上に配置された撮像装置から1つの画像データを受信するステップと、
上記可動物体の姿勢情報を、上記1つ以上のプロセッサにおいて受信するステップ、
上記画像データ及び上記可動物体の上記姿勢情報に基づいて、上記可動物体の位置情報または動作情報の少なくとも一方を、上記1つ以上のプロセッサによって計算するステップを含む、
可動物体の状態情報を確定する方法。
[項目128]
上記可動物体は、上記可動物体を移動させる複数の推進ユニットを備える、
項目127に記載の可動物体の状態情報を確定する方法。
[項目129]
上記可動物体は無人航空機(UAV)である、
項目127に記載の可動物体の状態情報を確定する方法。
[項目130]
上記複数の推進ユニットは複数のロータを備える、
項目128に記載の可動物体の状態情報を確定する方法。
[項目131]
上記撮像装置はカメラである、
項目127に記載の可動物体の状態情報を確定する方法。
[項目132]
上記カメラは単眼カメラである、
項目131に記載の可動物体の状態情報を確定する方法。
[項目133]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目127に記載の可動物体の状態情報を確定する方法。
[項目134]
上記撮像装置の上記視野は約60°である、
項目127に記載の可動物体の状態情報を確定する方法。
[項目135]
上記可動物体を室内環境で動作させることを更に含み、上記画像データは上記室内環境の天井の複数の画像を含む、
項目127に記載の可動物体の状態情報を確定する方法。
[項目136]
上記姿勢情報は、慣性測定ユニット(IMU)によって生成される、
項目127に記載の可動物体の状態情報を確定する方法。
[項目137]
上記姿勢情報は、上記可動物体のロール角度、ピッチ角度、またはヨー角度の少なくとも1つを含む、
項目127に記載の可動物体の状態情報を確定する方法。
[項目138]
上記動作情報は上記可動物体の速度を含む、
項目127に記載の可動物体の状態情報を確定する方法。
[項目139]
上記画像データは複数の画像のシーケンスを含む、
項目127に記載の可動物体の状態情報を確定する方法。
[項目140]
上記計算するステップは、複数の画像の上記シーケンスの各画像内で複数の特徴点を検出し、複数の画像の上記シーケンスにわたって上記複数の特徴点の変化を確定することを含む、
項目139に記載の可動物体の状態情報を確定する方法。
[項目141]
上記可動物体を使用して環境マップを生成することを更に含む、
項目127に記載の可動物体の状態情報を確定する方法。
[項目142]
上記環境マップは、同時ローカリゼーション及びマッピング(SLAM)技法を使用して生成される、
項目141に記載の可動物体の状態情報を確定する方法。
[項目143]
上記位置情報は、上記生成されるマップを基準にして計算される、
項目141に記載の可動物体の状態情報を確定する方法。
[項目144]
上記計算された位置情報または動作情報の少なくとも一方に基づいて、上記可動物体の位置または動作を制御する制御信号を出力することを更に含む、
項目127に記載の可動物体の状態情報を確定する方法。
[項目145]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有するように上記可動物体上に配置され、画像データを取得する撮像装置と、
1つ以上のプロセッサとを備え、
上記1つ以上のプロセッサは、個々にまたは一括して、
上記撮像装置から上記画像データを受信し、
上記可動物体の姿勢情報を受信し、
上記画像データ及び上記可動物体の上記姿勢情報に基づいて上記可動物体について位置情報または動作情報の少なくとも一方を計算する、
可動物体の状態情報を確定するシステム。
[項目146]
上記可動物体は、上記可動物体を移動させる複数の推進ユニットを備える、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目147]
上記可動物体は無人航空機(UAV)である、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目148]
上記複数の推進ユニットは複数のロータを備える、
項目146に記載の可動物体の状態情報を確定するシステム。
[項目149]
上記撮像装置はカメラである、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目150]
上記カメラは単眼カメラである、
項目149に記載の可動物体の状態情報を確定するシステム。
[項目151]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目152]
上記撮像装置の上記視野は約60°である、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目153]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の天井の複数の画像を含む、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目154]
上記姿勢情報は、慣性測定ユニット(IMU)によって生成される、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目155]
上記姿勢情報は、上記可動物体のロール角度、ピッチ角度、またはヨー角度の少なくとも1つを含む、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目156]
上記動作情報は上記可動物体の速度を含む、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目157]
上記画像データは複数の画像のシーケンスを含む、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目158]
上記1つ以上のプロセッサは、個々にまたは一括して、
複数の画像の上記シーケンスの各画像内で複数の特徴点を検出し、
複数の画像の上記シーケンスにわたって上記複数の特徴点の変化を確定する、
項目157に記載の可動物体の状態情報を確定するシステム。
[項目159]
上記1つ以上のプロセッサは、個々にまたは一括して、上記可動物体を使用して環境マップを生成する、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目160]
上記環境マップは、同時ローカリゼーション及びマッピング(SLAM)技法を使用して生成される、
項目159に記載の可動物体の状態情報を確定するシステム。
[項目161]
上記位置情報は、上記生成されるマップを基準にして計算される、
項目159に記載の可動物体の状態情報を確定するシステム。
[項目162]
上記1つ以上のプロセッサは、個々にまたは一括して、上記計算された位置情報または動作情報の少なくとも一方に基づいて、上記可動物体の位置または動作を制御する制御信号を出力する、
項目145に記載の可動物体の状態情報を確定するシステム。

Claims (17)

  1. 可動物体に支持され、かつ前記可動物体に対して上方または下方に視野を有する撮像装置から、前記撮像装置の焦点面における障害物の画像データを受信するステップと、
    前記撮像装置の画角と前記画像データとに基づいて、前記障害物によって占められる前記撮像装置の視野角の一部分を算出するステップと、
    前記可動物体の姿勢情報を受信するステップと、
    前記視野角の一部分及び前記可動物体の前記姿勢情報に基づいて前記可動物体と前記障害物の距離を、1つ以上のプロセッサによって計算するステップと、を含み、
    前記撮像装置は、前記可動物体の垂直軸に実質的に平行な光軸を備え、
    前記障害物は、前記可動物体の側方に存在する、
    可動物体を使用して障害物を検出する方法。
  2. 前記可動物体は、前記可動物体を移動させる複数の推進ユニットを備える、
    請求項1に記載の可動物体を使用して障害物を検出する方法。
  3. 前記可動物体は無人航空機(UAV)である、
    請求項1又は請求項2に記載の可動物体を使用して障害物を検出する方法。
  4. 前記撮像装置の前記視野は、前記可動物体に対して上方に向く、
    請求項1から請求項の何れか1項に記載の可動物体を使用して障害物を検出する方法。
  5. 前記可動物体を室内環境で動作させることを更に含み、前記画像データは前記室内環境の天井の複数の画像を含む、
    請求項1から請求項の何れか1項に記載の可動物体を使用して障害物を検出する方法。
  6. 前記計算するステップは、前記天井を描写する前記画像データの部分と前記障害物を描写する前記画像データの部分を区別することを含む、
    請求項に記載の可動物体を使用して障害物を検出する方法。
  7. 前記室内環境で、前記可動物体から前記障害物までの距離は、前記複数の画像内の前記障害物の画角に基づいて判定される、
    請求項又は請求項に記載の可動物体を使用して障害物を検出する方法。
  8. 前記可動物体を室外環境で動作させることを更に含み、前記画像データは空の複数の画像を含む、
    請求項1から請求項の何れか1項に記載の可動物体を使用して障害物を検出する方法。
  9. 前記計算するステップは、前記空を描写する前記画像データの部分と前記障害物を描写する前記画像データの部分を区別することを含む、
    請求項に記載の可動物体を使用して障害物を検出する方法。
  10. 前記室外環境で、前記可動物体から前記障害物までの距離は、前記複数の画像内の前記障害物の画角に基づいて判定される、
    請求項又は請求項に記載の可動物体を使用して障害物を検出する方法。
  11. 前記撮像装置の前記視野は、前記可動物体に対して下方に向く、
    請求項1から請求項10の何れか1項に記載の可動物体を使用して障害物を検出する方法。
  12. 前記可動物体は室内環境で動作し、前記画像データは前記室内環境の床の複数の画像を含む、
    請求項から請求項の何れか1項に記載の可動物体を使用して障害物を検出する方法。
  13. 前記姿勢情報は、慣性測定ユニット(IMU)によって生成される、
    請求項1から請求項12の何れか1項に記載の可動物体を使用して障害物を検出する方法。
  14. 前記姿勢情報は、前記可動物体のロール角度、ピッチ角度、またはヨー角度の少なくとも1つを含む、
    請求項1から請求項12の何れか1項に記載の可動物体を使用して障害物を検出する方法。
  15. 前記計算するステップは、前記障害物の予め定められた高さにさらに基づいて、前記可動物体と前記障害物の距離を計算することを含む、
    請求項1から請求項14の何れか1項に記載の可動物体を使用して障害物を検出する方法。
  16. 前記可動物体が前記可動物体の垂直軸の方向に予め定められた距離、移動した後、前記撮像装置から、前記撮像装置の焦点面における前記障害物の他の画像データを受信するステップをさらに備え、
    前記計算するステップは、前記予め定められた距離、及び前記他の画像データにさらに基づいて、前記可動物体と前記障害物の距離を計算することを含む、
    請求項1から請求項14の何れか1項に記載の可動物体を使用して障害物を検出する方法。
  17. 請求項1から請求項16の何れか1項に記載の方法を実行するプロセッサを有する、可動物体を使用して障害物を検出するシステム。
JP2017565054A 2015-07-08 2015-07-08 可動物体を使用して障害物を検出する方法及びそのシステム Active JP6673371B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2015/083517 WO2017004799A1 (en) 2015-07-08 2015-07-08 Camera configuration on movable objects

Publications (2)

Publication Number Publication Date
JP2018523864A JP2018523864A (ja) 2018-08-23
JP6673371B2 true JP6673371B2 (ja) 2020-03-25

Family

ID=57684654

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017565054A Active JP6673371B2 (ja) 2015-07-08 2015-07-08 可動物体を使用して障害物を検出する方法及びそのシステム

Country Status (4)

Country Link
US (4) US9778662B2 (ja)
JP (1) JP6673371B2 (ja)
CN (1) CN107850902B (ja)
WO (1) WO2017004799A1 (ja)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12007763B2 (en) 2014-06-19 2024-06-11 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
US9798322B2 (en) 2014-06-19 2017-10-24 Skydio, Inc. Virtual camera interface and other user interaction paradigms for a flying digital assistant
US9678506B2 (en) 2014-06-19 2017-06-13 Skydio, Inc. Magic wand interface and other user interaction paradigms for a flying digital assistant
CN104469158A (zh) * 2014-12-15 2015-03-25 安徽华米信息科技有限公司 一种运动拍摄、拍摄控制方法及装置
US10358214B2 (en) 2015-01-04 2019-07-23 Hangzhou Zero Zro Technology Co., Ltd. Aerial vehicle and method of operation
US9836053B2 (en) 2015-01-04 2017-12-05 Zero Zero Robotics Inc. System and method for automated aerial system operation
US10126745B2 (en) * 2015-01-04 2018-11-13 Hangzhou Zero Zero Technology Co., Ltd. System and method for automated aerial system operation
US9911344B2 (en) * 2015-07-24 2018-03-06 Honeywell International Inc. Helicopter landing system using a camera for obstacle detection
WO2017017675A1 (en) * 2015-07-28 2017-02-02 Margolin Joshua Multi-rotor uav flight control method and system
US10269257B1 (en) 2015-08-11 2019-04-23 Gopro, Inc. Systems and methods for vehicle guidance
CN108290633A (zh) * 2015-11-10 2018-07-17 马特耐特公司 使用无人航空载具进行运输的方法和***
US9740200B2 (en) 2015-12-30 2017-08-22 Unmanned Innovation, Inc. Unmanned aerial vehicle inspection system
US9618940B1 (en) 2015-12-31 2017-04-11 Unmanned Innovation, Inc. Unmanned aerial vehicle rooftop inspection system
US10435144B2 (en) 2016-04-24 2019-10-08 Hangzhou Zero Zero Technology Co., Ltd. Aerial system propulsion assembly and method of use
US10435176B2 (en) 2016-05-25 2019-10-08 Skydio, Inc. Perimeter structure for unmanned aerial vehicle
US10520943B2 (en) 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform
US10168709B2 (en) * 2016-09-14 2019-01-01 Irobot Corporation Systems and methods for configurable operation of a robot based on area classification
DE112017003801T5 (de) 2016-09-22 2019-07-18 Apple Inc. Fahrzeugvideosystem
US11295458B2 (en) 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
US10768682B2 (en) * 2017-01-20 2020-09-08 Flir Systems, Inc. Detection-based wakeup of detection devices
CN106604622B (zh) * 2017-02-09 2018-07-24 广东霍德韦信息技术有限公司 一种无人机采集设备
JP2018136315A (ja) * 2017-02-22 2018-08-30 株式会社日本環境調査研究所 マルチコプターおよびマルチコプターを利用した大気環境測定方法
GB2557715B (en) * 2017-02-28 2019-04-17 Matthew Russell Iain Unmanned aerial vehicles
US10209718B2 (en) * 2017-03-14 2019-02-19 Starsky Robotics, Inc. Vehicle sensor system and method of use
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
JP6689006B2 (ja) * 2017-08-25 2020-04-28 ベイジン・ボイジャー・テクノロジー・カンパニー・リミテッド 車両の環境情報を検出するための方法およびシステム
US10783796B2 (en) * 2017-09-01 2020-09-22 Qualcomm Incorporated Collision management for a robotic vehicle
JP6858681B2 (ja) * 2017-09-21 2021-04-14 株式会社日立製作所 距離推定装置及び方法
CN107643764B (zh) * 2017-10-20 2020-06-02 中国人民解放军海军航空大学 一种基于双旋Lyapunov矢量场的无人飞行器避障方法
CN109344677B (zh) * 2017-11-07 2021-01-15 长城汽车股份有限公司 识别立体物的方法、装置、车辆和存储介质
CN107806857A (zh) * 2017-11-08 2018-03-16 沈阳上博智像科技有限公司 无人驾驶的可移动设备
US20190184569A1 (en) * 2017-12-18 2019-06-20 Bot3, Inc. Robot based on artificial intelligence, and control method thereof
US12038756B2 (en) * 2017-12-19 2024-07-16 Carnegie Mellon University Intelligent cleaning robot
US10679368B2 (en) * 2017-12-21 2020-06-09 Intel IP Corporation Methods and apparatus to reduce depth map size in collision avoidance systems
WO2019144291A1 (zh) * 2018-01-23 2019-08-01 深圳市大疆创新科技有限公司 飞行控制方法、装置和机器可读存储介质
CN108337481A (zh) * 2018-02-08 2018-07-27 湖南文理学院 一种基于物联网的消防机构可转动的智能型无人机
JPWO2019193642A1 (ja) * 2018-04-03 2021-04-30 株式会社自律制御システム研究所 無人航空機用の自己位置推定装置及び自己位置推定方法
CN111194433A (zh) * 2018-04-04 2020-05-22 深圳市大疆创新科技有限公司 用于构图和捕捉图像的方法和***
CN108634874A (zh) * 2018-05-11 2018-10-12 南京华捷艾米软件科技有限公司 扫地机器人及其清扫方法
CN109481943B (zh) * 2018-05-28 2020-07-07 王丽芸 自动退让的四轴飞行器玩具及其控制方法
EP3837492A1 (en) * 2018-08-21 2021-06-23 SZ DJI Technology Co., Ltd. Distance measuring method and device
CN109238225B (zh) * 2018-09-03 2021-02-05 浙江大丰实业股份有限公司 移动式车台实时高度监护平台
CN110799801A (zh) * 2018-09-28 2020-02-14 深圳市大疆创新科技有限公司 基于无人机的测距方法、装置及无人机
CN109643127B (zh) * 2018-11-19 2022-05-03 深圳阿科伯特机器人有限公司 构建地图、定位、导航、控制方法及***、移动机器人
CN109739254B (zh) * 2018-11-20 2021-11-09 国网浙江省电力有限公司信息通信分公司 一种电力巡检中采用视觉图像定位的无人机及其定位方法
US11172125B2 (en) * 2019-01-07 2021-11-09 Mehdi Zarrabi Esfahani Method and a system to provide aerial visualization of large landscape area
NO345575B1 (en) 2019-01-31 2021-04-26 Heimdall Power As Device, system and method for installing an object on a power line
JP7476882B2 (ja) * 2019-03-25 2024-05-01 ソニーグループ株式会社 移動体およびその制御方法、並びにプログラム
US11080327B2 (en) * 2019-04-18 2021-08-03 Markus Garcia Method for the physical, in particular optical, detection of at least one usage object
CN112013844B (zh) * 2019-05-31 2022-02-11 北京小米智能科技有限公司 建立室内环境地图的方法及装置
WO2020237609A1 (zh) * 2019-05-31 2020-12-03 深圳市大疆创新科技有限公司 可移动平台的控制方法、控制终端及可移动平台
CN110209183B (zh) * 2019-06-04 2020-08-07 吉林大学 一种基于双阈值法zmp的六足机器人失稳调节算法
US11565807B1 (en) 2019-06-05 2023-01-31 Gal Zuckerman Systems and methods facilitating street-level interactions between flying drones and on-road vehicles
US11022972B2 (en) * 2019-07-31 2021-06-01 Bell Textron Inc. Navigation system with camera assist
US11328612B2 (en) 2019-08-14 2022-05-10 Lane Dalan System, method, and apparatus for drone positioning control
US11352010B2 (en) * 2019-09-30 2022-06-07 Baidu Usa Llc Obstacle perception calibration system for autonomous driving vehicles
WO2021083475A1 (en) * 2019-10-28 2021-05-06 Telefonaktiebolaget Lm Ericsson (Publ) Method for generating a three dimensional, 3d, model
TWI726536B (zh) * 2019-12-16 2021-05-01 財團法人工業技術研究院 影像擷取方法及影像擷取設備
CN113433965B (zh) * 2020-03-23 2023-01-31 北京三快在线科技有限公司 无人机避障方法,装置,存储介质及电子设备
CN111504257B (zh) * 2020-04-29 2022-03-29 广东电网有限责任公司 一种辅助无人机精准巡线的视觉测距***及其测距方法
CN112505795B (zh) * 2020-10-19 2023-08-01 北京航天长征飞行器研究所 一种用于geo卫星全向告警的光电探测***及方法
CN112532948B (zh) * 2020-12-08 2022-06-21 成都西物信安智能***有限公司 一种投放式监控站
CN115146933A (zh) * 2022-06-20 2022-10-04 深圳市城市公共安全技术研究院有限公司 危险源***事故的处理方法、***、设备与存储介质
US20240239531A1 (en) * 2022-08-09 2024-07-18 Pete Bitar Compact and Lightweight Drone Delivery Device called an ArcSpear Electric Jet Drone System Having an Electric Ducted Air Propulsion System and Being Relatively Difficult to Track in Flight

Family Cites Families (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07213753A (ja) * 1994-02-02 1995-08-15 Hitachi Ltd パーソナルロボット装置
US5581250A (en) * 1995-02-24 1996-12-03 Khvilivitzky; Alexander Visual collision avoidance system for unmanned aerial vehicles
DE19831452C1 (de) * 1998-07-14 2000-03-09 Eurocopter Deutschland Verfahren zur Unterstützung der Flugführung
US6875019B2 (en) 2002-02-11 2005-04-05 United Defense, Lp Naval virtual target range system
CN100451544C (zh) * 2004-03-15 2009-01-14 清华大学 一种基于视频图像测量飞行器姿态参数的方法
US7650013B2 (en) 2004-11-15 2010-01-19 Mobilerobots Inc. System and method for map and position-determination enhancement
JP4600760B2 (ja) * 2005-06-27 2010-12-15 アイシン精機株式会社 障害物検出装置
JP2007240506A (ja) * 2006-03-06 2007-09-20 Giyourin Cho 3次元形状と3次元地形計測法
US8666661B2 (en) * 2006-03-31 2014-03-04 The Boeing Company Video navigation
JP4889360B2 (ja) 2006-04-18 2012-03-07 アルパイン株式会社 車載用画像表示装置
IL176200A (en) 2006-06-08 2013-03-24 Israel Aerospace Ind Ltd Unmanned air vehicle system
EP1901153A1 (en) 2006-09-12 2008-03-19 OFFIS e.V. Control system for unmanned 4-rotor-helicopter
JP4905829B2 (ja) 2006-11-02 2012-03-28 アイシン・エィ・ダブリュ株式会社 運転支援装置および運転支援方法
US8509965B2 (en) * 2006-12-12 2013-08-13 American Gnc Corporation Integrated collision avoidance system for air vehicle
KR100824019B1 (ko) * 2007-02-05 2008-04-21 주식회사 성보산업 차량용 후방감지장치 및 그 제어방법
KR100877071B1 (ko) 2007-07-18 2009-01-07 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치
KR101461185B1 (ko) * 2007-11-09 2014-11-14 삼성전자 주식회사 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법
US20100023264A1 (en) * 2008-07-23 2010-01-28 Honeywell International Inc. Aircraft display systems and methods with obstacle warning envelopes
JP5291420B2 (ja) * 2008-09-26 2013-09-18 日産自動車株式会社 障害物回避装置及び自走車両
US8543265B2 (en) 2008-10-20 2013-09-24 Honeywell International Inc. Systems and methods for unmanned aerial vehicle navigation
JP5439890B2 (ja) * 2009-03-25 2014-03-12 富士通株式会社 画像処理方法、画像処理装置及びプログラム
US8590828B2 (en) * 2010-02-24 2013-11-26 Robert Marcus Rotocraft
KR20110119118A (ko) 2010-04-26 2011-11-02 엘지전자 주식회사 로봇 청소기, 및 이를 이용한 원격 감시 시스템
FR2961601B1 (fr) 2010-06-22 2012-07-27 Parrot Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote
CN103003152B (zh) 2010-06-29 2018-02-06 航空环境公司 无人机负载模组组件及回缩机构
JP5618840B2 (ja) * 2011-01-04 2014-11-05 株式会社トプコン 飛行体の飛行制御システム
US9823170B2 (en) * 2011-02-25 2017-11-21 Global Scientific Services Pty Ltd Method, system and apparatus for use in locating subsurface ore bodies
GB201104743D0 (en) 2011-03-21 2011-05-04 C2Uk Ltd Image acquisition apparatus and system
US8849483B2 (en) 2011-04-13 2014-09-30 California Institute Of Technology Target trailing with safe navigation with colregs for maritime autonomous surface vehicles
EP2562715A1 (en) * 2011-08-26 2013-02-27 Sony Ericsson Mobile Communications AB Portable electric equipment and method of processing a series of frames
US8687062B1 (en) 2011-08-31 2014-04-01 Google Inc. Step-stare oblique aerial camera system
CN102541066A (zh) * 2011-12-16 2012-07-04 新时代集团国防科技研究中心 一种用于无人飞行器作业的自动定高的控制方法
CN102707724B (zh) * 2012-06-05 2015-01-14 清华大学 一种无人机的视觉定位与避障方法及***
CN102914294B (zh) * 2012-09-10 2015-07-01 中国南方电网有限责任公司超高压输电公司天生桥局 一种基于图像的无人机电力巡线测量***及方法
US9198363B2 (en) * 2012-12-12 2015-12-01 The Boeing Company Tree metrology system
ES2478091B2 (es) * 2012-12-17 2015-03-27 Universidad De Alicante Dispositivo y método para la detección de obstáculos aéreos para invidentes
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
WO2014141654A1 (ja) * 2013-03-13 2014-09-18 パナソニック株式会社 測距装置、撮像装置および測距方法
US8996207B2 (en) 2013-06-24 2015-03-31 Honeywell International Inc. Systems and methods for autonomous landing using a three dimensional evidence grid
CN103365297B (zh) * 2013-06-29 2016-03-09 天津大学 基于光流的四旋翼无人机飞行控制方法
US9355567B2 (en) * 2013-08-08 2016-05-31 Honeywell International Inc. System and method for highlighting an area encompassing an aircraft that is free of hazards
CN103543751A (zh) * 2013-09-12 2014-01-29 深圳市大疆创新科技有限公司 无人飞行器的控制装置及无人飞行器
WO2015085483A1 (en) * 2013-12-10 2015-06-18 SZ DJI Technology Co., Ltd. Sensor fusion
CN103914065B (zh) * 2014-03-24 2016-09-07 深圳市大疆创新科技有限公司 飞行器状态实时修正的方法和装置
CN104062977B (zh) * 2014-06-17 2017-04-19 天津大学 基于视觉slam的四旋翼无人机全自主飞行控制方法
US9613539B1 (en) * 2014-08-19 2017-04-04 Amazon Technologies, Inc. Damage avoidance system for unmanned aerial vehicle
US9371133B2 (en) * 2014-11-07 2016-06-21 Paccar Inc Drone systems for pre-trip inspection and assisted backing
US9540121B2 (en) * 2015-02-25 2017-01-10 Cisco Technology, Inc. Pre-flight self test for unmanned aerial vehicles (UAVs)
US20170041545A1 (en) * 2015-08-06 2017-02-09 Invensense, Inc. Systems and methods for stabilizing images

Also Published As

Publication number Publication date
US20170010623A1 (en) 2017-01-12
US20180004232A1 (en) 2018-01-04
US20210350111A1 (en) 2021-11-11
CN107850902A (zh) 2018-03-27
US10936869B2 (en) 2021-03-02
CN107850902B (zh) 2022-04-08
WO2017004799A1 (en) 2017-01-12
US10466718B2 (en) 2019-11-05
US9778662B2 (en) 2017-10-03
JP2018523864A (ja) 2018-08-23
US20200073411A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
JP6673371B2 (ja) 可動物体を使用して障害物を検出する方法及びそのシステム
US20210065400A1 (en) Selective processing of sensor data
US10599149B2 (en) Salient feature based vehicle positioning
US10645300B2 (en) Methods and apparatus for image processing
US11697411B2 (en) Apparatus and methods for obstacle detection
US11914369B2 (en) Multi-sensor environmental mapping
CN111527463B (zh) 用于多目标跟踪的方法和***
JP6487010B2 (ja) ある環境内で無人航空機を制御する方法、ある環境のマップを生成する方法、システム、プログラムおよび通信端末
JP6181300B2 (ja) 無人航空機の速度を制御するシステム
JP2019050007A (ja) 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180104

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180104

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190418

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200204

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200217

R150 Certificate of patent or registration of utility model

Ref document number: 6673371

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250