JP6673371B2 - 可動物体を使用して障害物を検出する方法及びそのシステム - Google Patents
可動物体を使用して障害物を検出する方法及びそのシステム Download PDFInfo
- Publication number
- JP6673371B2 JP6673371B2 JP2017565054A JP2017565054A JP6673371B2 JP 6673371 B2 JP6673371 B2 JP 6673371B2 JP 2017565054 A JP2017565054 A JP 2017565054A JP 2017565054 A JP2017565054 A JP 2017565054A JP 6673371 B2 JP6673371 B2 JP 6673371B2
- Authority
- JP
- Japan
- Prior art keywords
- movable object
- obstacle
- item
- imaging device
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 150
- 238000003384 imaging method Methods 0.000 claims description 266
- 230000003287 optical effect Effects 0.000 claims description 45
- 238000005259 measurement Methods 0.000 claims description 25
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 description 85
- 230000033001 locomotion Effects 0.000 description 56
- 238000001514 detection method Methods 0.000 description 48
- 238000004891 communication Methods 0.000 description 35
- 238000012545 processing Methods 0.000 description 25
- 230000008859 change Effects 0.000 description 22
- 238000013519 translation Methods 0.000 description 20
- 238000004422 calculation algorithm Methods 0.000 description 18
- 230000001133 acceleration Effects 0.000 description 14
- 230000011218 segmentation Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 241001465754 Metazoa Species 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000004807 localization Effects 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 230000032258 transport Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000005265 energy consumption Methods 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000003064 k means clustering Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 230000005670 electromagnetic radiation Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241000271566 Aves Species 0.000 description 1
- 241000283690 Bos taurus Species 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241001125840 Coryphaenidae Species 0.000 description 1
- 241000283073 Equus caballus Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241000238631 Hexapoda Species 0.000 description 1
- 241001494479 Pecora Species 0.000 description 1
- 241000283984 Rodentia Species 0.000 description 1
- 241000238370 Sepia Species 0.000 description 1
- 241000282887 Suidae Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 239000000853 adhesive Substances 0.000 description 1
- 230000001070 adhesive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 230000006386 memory function Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000000523 sample Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000003466 welding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U10/00—Type of UAV
- B64U10/10—Rotorcrafts
- B64U10/13—Flying platforms
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C3/00—Measuring distances in line of sight; Optical rangefinders
- G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
- G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/102—Simultaneous control of position or course in three dimensions specially adapted for aircraft specially adapted for vertical take-off of aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Aviation & Aerospace Engineering (AREA)
- Electromagnetism (AREA)
- Automation & Control Theory (AREA)
- Mechanical Engineering (AREA)
- Astronomy & Astrophysics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Description
(1)
(3)
[項目1]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有する撮像装置から障害物の画像データを受信するステップと、
上記可動物体の姿勢情報を受信するステップと、
上記障害物の上記画像データ及び上記可動物体の上記姿勢情報に基づいて上記可動物体と上記障害物の距離を、1つ以上のプロセッサによって計算するステップと、を含む、
可動物体を使用して障害物を検出する方法。
[項目2]
上記可動物体は、上記可動物体を移動させる複数の推進ユニットを備える、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目3]
上記可動物体は無人航空機(UAV)である、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目4]
上記複数の推進ユニットは複数のロータを備える、
項目2に記載の可動物体を使用して障害物を検出する方法。
[項目5]
上記撮像装置はカメラである、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目6]
上記カメラは単眼カメラである、
項目5に記載の可動物体を使用して障害物を検出する方法。
[項目7]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目8]
上記撮像装置の上記視野は約60°である、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目9]
上記撮像装置の上記視野は、上記可動物体に対して上方に向く、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目10]
上記可動物体を室内環境で動作させることを更に含み、上記画像データは上記室内環境の天井の複数の画像を含む、
項目9に記載の可動物体を使用して障害物を検出する方法。
[項目11]
上記計算するステップは、上記天井を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別することを含む、
項目10に記載の可動物体を使用して障害物を検出する方法。
[項目12]
上記室内環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目10に記載の可動物体を使用して障害物を検出する方法。
[項目13]
上記可動物体を室外環境で動作させることを更に含み、上記画像データは空の複数の画像を含む、
項目9に記載の可動物体を使用して障害物を検出する方法。
[項目14]
上記計算するステップは、上記空を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別することを含む、
項目13に記載の可動物体を使用して障害物を検出する方法。
[項目15]
上記室外環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目13に記載の可動物体を使用して障害物を検出する方法。
[項目16]
上記撮像装置の上記視野は、上記可動物体に対して下方に向く、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目17]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の床の複数の画像を含む、
項目16に記載の可動物体を使用して障害物を検出する方法。
[項目18]
上記画像データは、壁に接する上記床の複数の画像を含む、
項目17に記載の可動物体を使用して障害物を検出する方法。
[項目19]
上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定され、負の角度値が上記判定において適用される、
項目16に記載の可動物体を使用して障害物を検出する方法。
[項目20]
上記姿勢情報は、慣性測定ユニット(IMU)によって生成される、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目21]
上記姿勢情報は、上記可動物体のロール角度、ピッチ角度、またはヨー角度の少なくとも1つを含む、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目22]
上記計算するステップは、上記画像データに基づいて、上記障害物によって占められる上記撮像装置の上記視野の部分を確定することを含む、
項目1に記載の可動物体を使用して障害物を検出する方法。
[項目23]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有し、障害物の画像データを取得する撮像装置と、
1つ以上のプロセッサとを備え、
上記1つ以上のプロセッサは、個々にまたは一括して、
上記撮像装置から上記障害物の画像データを受信し、
上記可動物体の姿勢情報を受信し、
上記障害物の上記画像データ及び上記可動物体の上記姿勢情報に基づいて上記可動物体と上記障害物の距離を計算する、
可動物体を使用して障害物を検出するシステム。
[項目24]
上記可動物体は、上記可動物体を移動させる複数の推進ユニットを備える、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目25]
上記可動物体は無人航空機(UAV)である、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目26]
上記複数の推進ユニットは複数のロータを備える、
項目24に記載の可動物体を使用して障害物を検出するシステム。
[項目27]
上記撮像装置はカメラである、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目28]
上記カメラは単眼カメラである、
項目27に記載の可動物体を使用して障害物を検出するシステム。
[項目29]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目30]
上記撮像装置の上記視野は約60°である、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目31]
上記撮像装置の上記視野は、上記可動物体に対して上方に向く、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目32]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の天井の複数の画像を含む、
項目31に記載の可動物体を使用して障害物を検出するシステム。
[項目33]
上記1つ以上のプロセッサは、上記天井を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別する、
項目32に記載の可動物体を使用して障害物を検出するシステム。
[項目34]
上記室内環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目32に記載の可動物体を使用して障害物を検出するシステム。
[項目35]
上記可動物体は室外環境で動作し、上記画像データは上記空の複数の画像を含む、項目31に記載の可動物体を使用して障害物を検出するシステム。
[項目36]
上記1つ以上のプロセッサは、個々にまたは一括して、上記空を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別する、
項目35に記載の可動物体を使用して障害物を検出するシステム。
[項目37]
上記室外環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目35に記載の可動物体を使用して障害物を検出するシステム。
[項目38]
上記撮像装置の上記視野は、上記可動物体に対して下方に向く、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目39]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の床の複数の画像を含む、
項目38に記載の可動物体を使用して障害物を検出するシステム。
[項目40]
上記画像データは、壁に接する上記床の複数の画像を含む、
項目39に記載の可動物体を使用して障害物を検出するシステム。
[項目41]
上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定され、負の角度値が上記判定において適用される、
項目38に記載の可動物体を使用して障害物を検出するシステム。
[項目42]
上記姿勢情報は、慣性測定ユニット(IMU)によって生成される、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目43]
上記姿勢情報は、上記可動物体のロール角度、ピッチ角度、またはヨー角度の少なくとも1つを含む、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目44]
上記1つ以上のプロセッサは、個々にまたは一括して、上記画像データに基づいて、上記障害物によって占められる上記撮像装置の上記視野の部分を確定する、
項目23に記載の可動物体を使用して障害物を検出するシステム。
[項目45]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有する撮像装置から、上記可動物体の側部に位置決めされた障害物の画像データを含む画像データを受信するステップと、
上記障害物の画像データに基づいて上記可動物体と上記障害物の距離を、1つ以上のプロセッサによって計算するステップと、を含む、
可動物体を使用して障害物を検出する方法。
[項目46]
上記可動物体は、上記可動物体を移動させる複数の推進ユニットを備える、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目47]
上記可動物体は無人航空機(UAV)である、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目48]
上記複数の推進ユニットは複数のロータを備える、
項目46に記載の可動物体を使用して障害物を検出する方法。
[項目49]
上記撮像装置はカメラである、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目50]
上記カメラは単眼カメラである、
項目49に記載の可動物体を使用して障害物を検出する方法。
[項目51]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目52]
上記撮像装置の上記視野は約60°である、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目53]
上記撮像装置の上記視野は、上記可動物体に対して上方に向く、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目54]
上記可動物体を室内環境で動作させることを更に含み、上記画像データは上記室内環境の天井の複数の画像を含む、
項目53に記載の可動物体を使用して障害物を検出する方法。
[項目55]
上記計算するステップは、上記天井を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別することを含む、
項目54に記載の可動物体を使用して障害物を検出する方法。
[項目56]
上記室内環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目54に記載の可動物体を使用して障害物を検出する方法。
[項目57]
上記可動物体を室外環境で動作させることを更に含み、上記画像データは上記空の複数の画像を含む、
項目53に記載の可動物体を使用して障害物を検出する方法。
[項目58]
上記計算するステップは、上記空を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別することを含む、
項目57に記載の可動物体を使用して障害物を検出する方法。
[項目59]
上記室外環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目57に記載の可動物体を使用して障害物を検出する方法。
[項目60]
上記撮像装置の上記視野は、上記可動物体に対して下方に向く、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目61]
上記可動物体を室内環境で動作させることを更に含み、上記画像データは上記室内環境の床の複数の画像を含む、
項目60に記載の可動物体を使用して障害物を検出する方法。
[項目62]
上記画像データは、壁に接する上記床の複数の画像を含む、
項目61に記載の可動物体を使用して障害物を検出する方法。
[項目63]
上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定され、負の角度値が上記判定において適用される、
項目60に記載の可動物体を使用して障害物を検出する方法。
[項目64]
上記障害物は、上記可動物体の前に、上記可動物体の後に、上記可動物体の左に、上記可動物体の右に、またはその組合せに位置付けられる、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目65]
上記計算するステップは、上記画像データに基づいて、上記障害物によって占められる上記撮像装置の上記視野の部分を確定することを含む、
項目45に記載の可動物体を使用して障害物を検出する方法。
[項目66]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有し、上記可動物体の側部に位置決めされた障害物の画像データを含む画像データを取得する撮像装置と、
1つ以上のプロセッサとを備え、
上記1つ以上のプロセッサは、個々にまたは一括して、
上記撮像装置から上記画像データを受信し、
上記障害物の上記画像データに基づいて上記可動物体と上記障害物の距離を計算する、
可動物体を使用して障害物を検出するシステム。
[項目67]
上記可動物体は、上記可動物体を移動させる複数の推進ユニットを備える、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目68]
上記可動物体は無人航空機(UAV)である、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目69]
上記複数の推進ユニットは複数のロータを備える、
項目67に記載の可動物体を使用して障害物を検出するシステム。
[項目70]
上記撮像装置はカメラである、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目71]
上記カメラは単眼カメラである、
項目70に記載の可動物体を使用して障害物を検出するシステム。
[項目72]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目73]
上記撮像装置の上記視野は約60°である、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目74]
上記撮像装置の上記視野は、上記可動物体に対して上方に向く、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目75]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の天井の複数の画像を含む、
項目74に記載の可動物体を使用して障害物を検出するシステム。
[項目76]
上記1つ以上のプロセッサは、個々にまたは一括して、上記天井を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別する、
項目75に記載の可動物体を使用して障害物を検出するシステム。
[項目77]
上記室内環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目75に記載の可動物体を使用して障害物を検出するシステム。
[項目78]
上記可動物体は室外環境で動作し、上記画像データは上記空の複数の画像を含む、
項目74に記載の可動物体を使用して障害物を検出するシステム。
[項目79]
上記1つ以上のプロセッサは、個々にまたは一括して、上記空を描写する上記画像データの部分と上記障害物を描写する上記画像データの部分を区別する、
項目78に記載の可動物体を使用して障害物を検出するシステム。
[項目80]
上記室外環境で、上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定される、
項目78に記載の可動物体を使用して障害物を検出するシステム。
[項目81]
上記撮像装置の上記視野は、上記可動物体に対して下方に向く、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目82]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の床の複数の画像を含む、
項目81に記載の可動物体を使用して障害物を検出するシステム。
[項目83]
上記画像データは、壁に接する上記床の複数の画像を含む、
項目82に記載の可動物体を使用して障害物を検出するシステム。
[項目84]
上記可動物体から上記障害物までの距離は、上記複数の画像内の上記障害物の画角に基づいて判定され、負の角度値が上記判定において適用される、
項目81に記載の可動物体を使用して障害物を検出するシステム。
[項目85]
上記障害物は、上記可動物体の前に、上記可動物体の後に、上記可動物体の左に、上記可動物体の右に、またはその組合せに位置付けられる、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目86]
上記1つ以上のプロセッサは、個々にまたは一括して、上記画像データに基づいて、上記障害物によって占められる上記撮像装置の上記視野の部分を確定する、
項目66に記載の可動物体を使用して障害物を検出するシステム。
[項目87]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有するように上記可動物体上に配置される撮像装置から障害物の第1の画像データを1つ以上のプロセッサにおいて受信するステップと、
上記可動物体を移動させるため、上記可動物体の1つ以上の推進ユニットを制御する制御信号を、上記1つ以上のプロセッサにおいて生成するステップと、
上記可動物体が移動した後に、上記撮像装置から上記障害物の第2の画像データを、上記1つ以上のプロセッサにおいて受信するステップと、
上記第1の画像データ及び上記第2の画像データに基づいて上記可動物体と上記障害物の距離を、上記1つ以上のプロセッサによって計算するステップを含む、
可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目88]
上記可動物体は無人航空機(UAV)である、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目89]
上記1つ以上の推進ユニットは複数のロータを備える、
項目88に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目90]
上記撮像装置はカメラである、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目91]
上記カメラは単眼カメラである、
項目90に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目92]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目93]
上記撮像装置の上記視野は約60°である、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目94]
上記撮像装置の上記視野は、上記可動物体に対して上方に向く、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目95]
上記可動物体を室内環境で動作させることを更に含み、上記画像データは上記室内環境の天井の複数の画像を含む、
項目94に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目96]
上記撮像装置の上記視野は、上記可動物体に対して下方に向く、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目97]
上記可動物体を室内環境で動作させることを更に含み、上記画像データは上記室内環境の床の複数の画像を含む、
項目96に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目98]
上記画像データは、壁に接する上記床の複数の画像を含む、
項目97に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目99]
上記可動物体は、上記制御信号によって、ある水平距離を移動する、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目100]
上記水平距離は約0.2m〜1mである、
項目99に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目101]
上記可動物体は、上記制御信号によって、ある垂直距離を移動する、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目102]
上記垂直距離は約0.2m〜1mである、
項目101に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目103]
上記計算するステップは、上記可動物体が移動する前と上記可動物体が移動した後で、上記障害物によって占められる上記撮像装置の上記視野の部分の変化を検出するために、上記第1の画像データ及び上記第2の画像データを評価することを含む、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目104]
移動した水平距離または垂直距離を確定することを更に含む、
項目87に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目105]
移動した上記水平距離または垂直距離は、慣性測定ユニット(IMU)を使用して確定される、
項目104に記載の可動物体によって支持される撮像装置を使用して障害物を検出する方法。
[項目106]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有するように上記可動物体上に配置され、障害物の画像データを取得する撮像装置と、
上記可動物体を移動させる1つ以上の推進ユニットと、
1つ以上のプロセッサとを備え、
上記1つ以上のプロセッサは、個々にまたは一括して、
上記撮像装置から上記障害物の第1の画像データを受信し、
上記可動物体を移動させるため、上記1つ以上の推進ユニットを制御する制御信号を生成し、
上記可動物体が移動した後に上記撮像装置から上記障害物の第2の画像データを受信し、
上記第1の画像データ及び上記第2の画像データに基づいて上記可動物体と上記障害物の距離を計算する、
可動物体を使用して障害物を検出するシステム。
[項目107]
上記1つ以上のプロセッサは、個々にまたは一括して、上記第1の画像データ及び上記第2の画像データに基づいて上記可動物体の上の上記障害物の高さを確定する、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目108]
上記可動物体と上記障害物の距離は、上記可動物体の上の上記障害物の高さに基づいて確定される、
項目107に記載の可動物体を使用して障害物を検出するシステム。
[項目109]
上記可動物体は無人航空機(UAV)である、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目110]
上記1つ以上の推進ユニットは複数のロータを備える、
項目109に記載の可動物体を使用して障害物を検出するシステム。
[項目111]
上記撮像装置はカメラである、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目112]
上記カメラは単眼カメラである、
項目111に記載の可動物体を使用して障害物を検出するシステム。
[項目113]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目114]
上記撮像装置の上記視野は約60°である、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目115]
上記撮像装置の上記視野は、上記可動物体に対して上方に向く、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目116]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の天井の複数の画像を含む、
項目115に記載の可動物体を使用して障害物を検出するシステム。
[項目117]
上記撮像装置の上記視野は、上記可動物体に対して下方に向く、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目118]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の床の複数の画像を含む、
項目117に記載の可動物体を使用して障害物を検出するシステム。
[項目119]
上記画像データは、壁に接する上記床の複数の画像を含む、
項目118に記載の可動物体を使用して障害物を検出するシステム。
[項目120]
上記可動物体は、上記制御信号によって、ある水平距離を移動する、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目121]
上記水平距離は約0.2m〜1mである、
項目120に記載の可動物体を使用して障害物を検出するシステム。
[項目122]
上記可動物体は、上記制御信号によって、ある垂直距離を移動する、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目123]
上記垂直距離は約0.2m〜1mである、
項目122に記載の可動物体を使用して障害物を検出するシステム。
[項目124]
上記1つ以上のプロセッサは、個々にまたは一括して、上記可動物体が移動する前と上記可動物体が移動した後で、上記障害物によって占められる上記撮像装置の上記視野の部分の変化を検出するために、上記第1の画像データ及び上記第2の画像データを評価する、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目125]
上記1つ以上のプロセッサは、個々にまたは一括して、移動した水平距離または垂直距離を確定する、
項目106に記載の可動物体を使用して障害物を検出するシステム。
[項目126]
移動した上記水平距離または垂直距離は、慣性測定ユニット(IMU)を使用して確定される、
項目125に記載の可動物体を使用して障害物を検出するシステム。
[項目127]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有するように上記可動物体上に配置された撮像装置から1つの画像データを受信するステップと、
上記可動物体の姿勢情報を、上記1つ以上のプロセッサにおいて受信するステップ、
上記画像データ及び上記可動物体の上記姿勢情報に基づいて、上記可動物体の位置情報または動作情報の少なくとも一方を、上記1つ以上のプロセッサによって計算するステップを含む、
可動物体の状態情報を確定する方法。
[項目128]
上記可動物体は、上記可動物体を移動させる複数の推進ユニットを備える、
項目127に記載の可動物体の状態情報を確定する方法。
[項目129]
上記可動物体は無人航空機(UAV)である、
項目127に記載の可動物体の状態情報を確定する方法。
[項目130]
上記複数の推進ユニットは複数のロータを備える、
項目128に記載の可動物体の状態情報を確定する方法。
[項目131]
上記撮像装置はカメラである、
項目127に記載の可動物体の状態情報を確定する方法。
[項目132]
上記カメラは単眼カメラである、
項目131に記載の可動物体の状態情報を確定する方法。
[項目133]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目127に記載の可動物体の状態情報を確定する方法。
[項目134]
上記撮像装置の上記視野は約60°である、
項目127に記載の可動物体の状態情報を確定する方法。
[項目135]
上記可動物体を室内環境で動作させることを更に含み、上記画像データは上記室内環境の天井の複数の画像を含む、
項目127に記載の可動物体の状態情報を確定する方法。
[項目136]
上記姿勢情報は、慣性測定ユニット(IMU)によって生成される、
項目127に記載の可動物体の状態情報を確定する方法。
[項目137]
上記姿勢情報は、上記可動物体のロール角度、ピッチ角度、またはヨー角度の少なくとも1つを含む、
項目127に記載の可動物体の状態情報を確定する方法。
[項目138]
上記動作情報は上記可動物体の速度を含む、
項目127に記載の可動物体の状態情報を確定する方法。
[項目139]
上記画像データは複数の画像のシーケンスを含む、
項目127に記載の可動物体の状態情報を確定する方法。
[項目140]
上記計算するステップは、複数の画像の上記シーケンスの各画像内で複数の特徴点を検出し、複数の画像の上記シーケンスにわたって上記複数の特徴点の変化を確定することを含む、
項目139に記載の可動物体の状態情報を確定する方法。
[項目141]
上記可動物体を使用して環境マップを生成することを更に含む、
項目127に記載の可動物体の状態情報を確定する方法。
[項目142]
上記環境マップは、同時ローカリゼーション及びマッピング(SLAM)技法を使用して生成される、
項目141に記載の可動物体の状態情報を確定する方法。
[項目143]
上記位置情報は、上記生成されるマップを基準にして計算される、
項目141に記載の可動物体の状態情報を確定する方法。
[項目144]
上記計算された位置情報または動作情報の少なくとも一方に基づいて、上記可動物体の位置または動作を制御する制御信号を出力することを更に含む、
項目127に記載の可動物体の状態情報を確定する方法。
[項目145]
可動物体に支持され、かつ上記可動物体に対して上方または下方に視野を有するように上記可動物体上に配置され、画像データを取得する撮像装置と、
1つ以上のプロセッサとを備え、
上記1つ以上のプロセッサは、個々にまたは一括して、
上記撮像装置から上記画像データを受信し、
上記可動物体の姿勢情報を受信し、
上記画像データ及び上記可動物体の上記姿勢情報に基づいて上記可動物体について位置情報または動作情報の少なくとも一方を計算する、
可動物体の状態情報を確定するシステム。
[項目146]
上記可動物体は、上記可動物体を移動させる複数の推進ユニットを備える、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目147]
上記可動物体は無人航空機(UAV)である、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目148]
上記複数の推進ユニットは複数のロータを備える、
項目146に記載の可動物体の状態情報を確定するシステム。
[項目149]
上記撮像装置はカメラである、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目150]
上記カメラは単眼カメラである、
項目149に記載の可動物体の状態情報を確定するシステム。
[項目151]
上記撮像装置は、上記可動物体の垂直軸に実質的に平行な光軸を備える、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目152]
上記撮像装置の上記視野は約60°である、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目153]
上記可動物体は室内環境で動作し、上記画像データは上記室内環境の天井の複数の画像を含む、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目154]
上記姿勢情報は、慣性測定ユニット(IMU)によって生成される、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目155]
上記姿勢情報は、上記可動物体のロール角度、ピッチ角度、またはヨー角度の少なくとも1つを含む、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目156]
上記動作情報は上記可動物体の速度を含む、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目157]
上記画像データは複数の画像のシーケンスを含む、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目158]
上記1つ以上のプロセッサは、個々にまたは一括して、
複数の画像の上記シーケンスの各画像内で複数の特徴点を検出し、
複数の画像の上記シーケンスにわたって上記複数の特徴点の変化を確定する、
項目157に記載の可動物体の状態情報を確定するシステム。
[項目159]
上記1つ以上のプロセッサは、個々にまたは一括して、上記可動物体を使用して環境マップを生成する、
項目145に記載の可動物体の状態情報を確定するシステム。
[項目160]
上記環境マップは、同時ローカリゼーション及びマッピング(SLAM)技法を使用して生成される、
項目159に記載の可動物体の状態情報を確定するシステム。
[項目161]
上記位置情報は、上記生成されるマップを基準にして計算される、
項目159に記載の可動物体の状態情報を確定するシステム。
[項目162]
上記1つ以上のプロセッサは、個々にまたは一括して、上記計算された位置情報または動作情報の少なくとも一方に基づいて、上記可動物体の位置または動作を制御する制御信号を出力する、
項目145に記載の可動物体の状態情報を確定するシステム。
Claims (17)
- 可動物体に支持され、かつ前記可動物体に対して上方または下方に視野を有する撮像装置から、前記撮像装置の焦点面における障害物の画像データを受信するステップと、
前記撮像装置の画角と前記画像データとに基づいて、前記障害物によって占められる前記撮像装置の視野角の一部分を算出するステップと、
前記可動物体の姿勢情報を受信するステップと、
前記視野角の一部分及び前記可動物体の前記姿勢情報に基づいて前記可動物体と前記障害物の距離を、1つ以上のプロセッサによって計算するステップと、を含み、
前記撮像装置は、前記可動物体の垂直軸に実質的に平行な光軸を備え、
前記障害物は、前記可動物体の側方に存在する、
可動物体を使用して障害物を検出する方法。 - 前記可動物体は、前記可動物体を移動させる複数の推進ユニットを備える、
請求項1に記載の可動物体を使用して障害物を検出する方法。 - 前記可動物体は無人航空機(UAV)である、
請求項1又は請求項2に記載の可動物体を使用して障害物を検出する方法。 - 前記撮像装置の前記視野は、前記可動物体に対して上方に向く、
請求項1から請求項3の何れか1項に記載の可動物体を使用して障害物を検出する方法。 - 前記可動物体を室内環境で動作させることを更に含み、前記画像データは前記室内環境の天井の複数の画像を含む、
請求項1から請求項4の何れか1項に記載の可動物体を使用して障害物を検出する方法。 - 前記計算するステップは、前記天井を描写する前記画像データの部分と前記障害物を描写する前記画像データの部分を区別することを含む、
請求項5に記載の可動物体を使用して障害物を検出する方法。 - 前記室内環境で、前記可動物体から前記障害物までの距離は、前記複数の画像内の前記障害物の画角に基づいて判定される、
請求項5又は請求項6に記載の可動物体を使用して障害物を検出する方法。 - 前記可動物体を室外環境で動作させることを更に含み、前記画像データは空の複数の画像を含む、
請求項1から請求項4の何れか1項に記載の可動物体を使用して障害物を検出する方法。 - 前記計算するステップは、前記空を描写する前記画像データの部分と前記障害物を描写する前記画像データの部分を区別することを含む、
請求項8に記載の可動物体を使用して障害物を検出する方法。 - 前記室外環境で、前記可動物体から前記障害物までの距離は、前記複数の画像内の前記障害物の画角に基づいて判定される、
請求項8又は請求項9に記載の可動物体を使用して障害物を検出する方法。 - 前記撮像装置の前記視野は、前記可動物体に対して下方に向く、
請求項1から請求項10の何れか1項に記載の可動物体を使用して障害物を検出する方法。 - 前記可動物体は室内環境で動作し、前記画像データは前記室内環境の床の複数の画像を含む、
請求項5から請求項7の何れか1項に記載の可動物体を使用して障害物を検出する方法。 - 前記姿勢情報は、慣性測定ユニット(IMU)によって生成される、
請求項1から請求項12の何れか1項に記載の可動物体を使用して障害物を検出する方法。 - 前記姿勢情報は、前記可動物体のロール角度、ピッチ角度、またはヨー角度の少なくとも1つを含む、
請求項1から請求項12の何れか1項に記載の可動物体を使用して障害物を検出する方法。 - 前記計算するステップは、前記障害物の予め定められた高さにさらに基づいて、前記可動物体と前記障害物の距離を計算することを含む、
請求項1から請求項14の何れか1項に記載の可動物体を使用して障害物を検出する方法。 - 前記可動物体が前記可動物体の垂直軸の方向に予め定められた距離、移動した後、前記撮像装置から、前記撮像装置の焦点面における前記障害物の他の画像データを受信するステップをさらに備え、
前記計算するステップは、前記予め定められた距離、及び前記他の画像データにさらに基づいて、前記可動物体と前記障害物の距離を計算することを含む、
請求項1から請求項14の何れか1項に記載の可動物体を使用して障害物を検出する方法。 - 請求項1から請求項16の何れか1項に記載の方法を実行するプロセッサを有する、可動物体を使用して障害物を検出するシステム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2015/083517 WO2017004799A1 (en) | 2015-07-08 | 2015-07-08 | Camera configuration on movable objects |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018523864A JP2018523864A (ja) | 2018-08-23 |
JP6673371B2 true JP6673371B2 (ja) | 2020-03-25 |
Family
ID=57684654
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017565054A Active JP6673371B2 (ja) | 2015-07-08 | 2015-07-08 | 可動物体を使用して障害物を検出する方法及びそのシステム |
Country Status (4)
Country | Link |
---|---|
US (4) | US9778662B2 (ja) |
JP (1) | JP6673371B2 (ja) |
CN (1) | CN107850902B (ja) |
WO (1) | WO2017004799A1 (ja) |
Families Citing this family (64)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12007763B2 (en) | 2014-06-19 | 2024-06-11 | Skydio, Inc. | Magic wand interface and other user interaction paradigms for a flying digital assistant |
US9798322B2 (en) | 2014-06-19 | 2017-10-24 | Skydio, Inc. | Virtual camera interface and other user interaction paradigms for a flying digital assistant |
US9678506B2 (en) | 2014-06-19 | 2017-06-13 | Skydio, Inc. | Magic wand interface and other user interaction paradigms for a flying digital assistant |
CN104469158A (zh) * | 2014-12-15 | 2015-03-25 | 安徽华米信息科技有限公司 | 一种运动拍摄、拍摄控制方法及装置 |
US10358214B2 (en) | 2015-01-04 | 2019-07-23 | Hangzhou Zero Zro Technology Co., Ltd. | Aerial vehicle and method of operation |
US9836053B2 (en) | 2015-01-04 | 2017-12-05 | Zero Zero Robotics Inc. | System and method for automated aerial system operation |
US10126745B2 (en) * | 2015-01-04 | 2018-11-13 | Hangzhou Zero Zero Technology Co., Ltd. | System and method for automated aerial system operation |
US9911344B2 (en) * | 2015-07-24 | 2018-03-06 | Honeywell International Inc. | Helicopter landing system using a camera for obstacle detection |
WO2017017675A1 (en) * | 2015-07-28 | 2017-02-02 | Margolin Joshua | Multi-rotor uav flight control method and system |
US10269257B1 (en) | 2015-08-11 | 2019-04-23 | Gopro, Inc. | Systems and methods for vehicle guidance |
CN108290633A (zh) * | 2015-11-10 | 2018-07-17 | 马特耐特公司 | 使用无人航空载具进行运输的方法和*** |
US9740200B2 (en) | 2015-12-30 | 2017-08-22 | Unmanned Innovation, Inc. | Unmanned aerial vehicle inspection system |
US9618940B1 (en) | 2015-12-31 | 2017-04-11 | Unmanned Innovation, Inc. | Unmanned aerial vehicle rooftop inspection system |
US10435144B2 (en) | 2016-04-24 | 2019-10-08 | Hangzhou Zero Zero Technology Co., Ltd. | Aerial system propulsion assembly and method of use |
US10435176B2 (en) | 2016-05-25 | 2019-10-08 | Skydio, Inc. | Perimeter structure for unmanned aerial vehicle |
US10520943B2 (en) | 2016-08-12 | 2019-12-31 | Skydio, Inc. | Unmanned aerial image capture platform |
US10168709B2 (en) * | 2016-09-14 | 2019-01-01 | Irobot Corporation | Systems and methods for configurable operation of a robot based on area classification |
DE112017003801T5 (de) | 2016-09-22 | 2019-07-18 | Apple Inc. | Fahrzeugvideosystem |
US11295458B2 (en) | 2016-12-01 | 2022-04-05 | Skydio, Inc. | Object tracking by an unmanned aerial vehicle using visual sensors |
US10768682B2 (en) * | 2017-01-20 | 2020-09-08 | Flir Systems, Inc. | Detection-based wakeup of detection devices |
CN106604622B (zh) * | 2017-02-09 | 2018-07-24 | 广东霍德韦信息技术有限公司 | 一种无人机采集设备 |
JP2018136315A (ja) * | 2017-02-22 | 2018-08-30 | 株式会社日本環境調査研究所 | マルチコプターおよびマルチコプターを利用した大気環境測定方法 |
GB2557715B (en) * | 2017-02-28 | 2019-04-17 | Matthew Russell Iain | Unmanned aerial vehicles |
US10209718B2 (en) * | 2017-03-14 | 2019-02-19 | Starsky Robotics, Inc. | Vehicle sensor system and method of use |
US11348269B1 (en) * | 2017-07-27 | 2022-05-31 | AI Incorporated | Method and apparatus for combining data to construct a floor plan |
JP6689006B2 (ja) * | 2017-08-25 | 2020-04-28 | ベイジン・ボイジャー・テクノロジー・カンパニー・リミテッド | 車両の環境情報を検出するための方法およびシステム |
US10783796B2 (en) * | 2017-09-01 | 2020-09-22 | Qualcomm Incorporated | Collision management for a robotic vehicle |
JP6858681B2 (ja) * | 2017-09-21 | 2021-04-14 | 株式会社日立製作所 | 距離推定装置及び方法 |
CN107643764B (zh) * | 2017-10-20 | 2020-06-02 | 中国人民解放军海军航空大学 | 一种基于双旋Lyapunov矢量场的无人飞行器避障方法 |
CN109344677B (zh) * | 2017-11-07 | 2021-01-15 | 长城汽车股份有限公司 | 识别立体物的方法、装置、车辆和存储介质 |
CN107806857A (zh) * | 2017-11-08 | 2018-03-16 | 沈阳上博智像科技有限公司 | 无人驾驶的可移动设备 |
US20190184569A1 (en) * | 2017-12-18 | 2019-06-20 | Bot3, Inc. | Robot based on artificial intelligence, and control method thereof |
US12038756B2 (en) * | 2017-12-19 | 2024-07-16 | Carnegie Mellon University | Intelligent cleaning robot |
US10679368B2 (en) * | 2017-12-21 | 2020-06-09 | Intel IP Corporation | Methods and apparatus to reduce depth map size in collision avoidance systems |
WO2019144291A1 (zh) * | 2018-01-23 | 2019-08-01 | 深圳市大疆创新科技有限公司 | 飞行控制方法、装置和机器可读存储介质 |
CN108337481A (zh) * | 2018-02-08 | 2018-07-27 | 湖南文理学院 | 一种基于物联网的消防机构可转动的智能型无人机 |
JPWO2019193642A1 (ja) * | 2018-04-03 | 2021-04-30 | 株式会社自律制御システム研究所 | 無人航空機用の自己位置推定装置及び自己位置推定方法 |
CN111194433A (zh) * | 2018-04-04 | 2020-05-22 | 深圳市大疆创新科技有限公司 | 用于构图和捕捉图像的方法和*** |
CN108634874A (zh) * | 2018-05-11 | 2018-10-12 | 南京华捷艾米软件科技有限公司 | 扫地机器人及其清扫方法 |
CN109481943B (zh) * | 2018-05-28 | 2020-07-07 | 王丽芸 | 自动退让的四轴飞行器玩具及其控制方法 |
EP3837492A1 (en) * | 2018-08-21 | 2021-06-23 | SZ DJI Technology Co., Ltd. | Distance measuring method and device |
CN109238225B (zh) * | 2018-09-03 | 2021-02-05 | 浙江大丰实业股份有限公司 | 移动式车台实时高度监护平台 |
CN110799801A (zh) * | 2018-09-28 | 2020-02-14 | 深圳市大疆创新科技有限公司 | 基于无人机的测距方法、装置及无人机 |
CN109643127B (zh) * | 2018-11-19 | 2022-05-03 | 深圳阿科伯特机器人有限公司 | 构建地图、定位、导航、控制方法及***、移动机器人 |
CN109739254B (zh) * | 2018-11-20 | 2021-11-09 | 国网浙江省电力有限公司信息通信分公司 | 一种电力巡检中采用视觉图像定位的无人机及其定位方法 |
US11172125B2 (en) * | 2019-01-07 | 2021-11-09 | Mehdi Zarrabi Esfahani | Method and a system to provide aerial visualization of large landscape area |
NO345575B1 (en) | 2019-01-31 | 2021-04-26 | Heimdall Power As | Device, system and method for installing an object on a power line |
JP7476882B2 (ja) * | 2019-03-25 | 2024-05-01 | ソニーグループ株式会社 | 移動体およびその制御方法、並びにプログラム |
US11080327B2 (en) * | 2019-04-18 | 2021-08-03 | Markus Garcia | Method for the physical, in particular optical, detection of at least one usage object |
CN112013844B (zh) * | 2019-05-31 | 2022-02-11 | 北京小米智能科技有限公司 | 建立室内环境地图的方法及装置 |
WO2020237609A1 (zh) * | 2019-05-31 | 2020-12-03 | 深圳市大疆创新科技有限公司 | 可移动平台的控制方法、控制终端及可移动平台 |
CN110209183B (zh) * | 2019-06-04 | 2020-08-07 | 吉林大学 | 一种基于双阈值法zmp的六足机器人失稳调节算法 |
US11565807B1 (en) | 2019-06-05 | 2023-01-31 | Gal Zuckerman | Systems and methods facilitating street-level interactions between flying drones and on-road vehicles |
US11022972B2 (en) * | 2019-07-31 | 2021-06-01 | Bell Textron Inc. | Navigation system with camera assist |
US11328612B2 (en) | 2019-08-14 | 2022-05-10 | Lane Dalan | System, method, and apparatus for drone positioning control |
US11352010B2 (en) * | 2019-09-30 | 2022-06-07 | Baidu Usa Llc | Obstacle perception calibration system for autonomous driving vehicles |
WO2021083475A1 (en) * | 2019-10-28 | 2021-05-06 | Telefonaktiebolaget Lm Ericsson (Publ) | Method for generating a three dimensional, 3d, model |
TWI726536B (zh) * | 2019-12-16 | 2021-05-01 | 財團法人工業技術研究院 | 影像擷取方法及影像擷取設備 |
CN113433965B (zh) * | 2020-03-23 | 2023-01-31 | 北京三快在线科技有限公司 | 无人机避障方法,装置,存储介质及电子设备 |
CN111504257B (zh) * | 2020-04-29 | 2022-03-29 | 广东电网有限责任公司 | 一种辅助无人机精准巡线的视觉测距***及其测距方法 |
CN112505795B (zh) * | 2020-10-19 | 2023-08-01 | 北京航天长征飞行器研究所 | 一种用于geo卫星全向告警的光电探测***及方法 |
CN112532948B (zh) * | 2020-12-08 | 2022-06-21 | 成都西物信安智能***有限公司 | 一种投放式监控站 |
CN115146933A (zh) * | 2022-06-20 | 2022-10-04 | 深圳市城市公共安全技术研究院有限公司 | 危险源***事故的处理方法、***、设备与存储介质 |
US20240239531A1 (en) * | 2022-08-09 | 2024-07-18 | Pete Bitar | Compact and Lightweight Drone Delivery Device called an ArcSpear Electric Jet Drone System Having an Electric Ducted Air Propulsion System and Being Relatively Difficult to Track in Flight |
Family Cites Families (49)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07213753A (ja) * | 1994-02-02 | 1995-08-15 | Hitachi Ltd | パーソナルロボット装置 |
US5581250A (en) * | 1995-02-24 | 1996-12-03 | Khvilivitzky; Alexander | Visual collision avoidance system for unmanned aerial vehicles |
DE19831452C1 (de) * | 1998-07-14 | 2000-03-09 | Eurocopter Deutschland | Verfahren zur Unterstützung der Flugführung |
US6875019B2 (en) | 2002-02-11 | 2005-04-05 | United Defense, Lp | Naval virtual target range system |
CN100451544C (zh) * | 2004-03-15 | 2009-01-14 | 清华大学 | 一种基于视频图像测量飞行器姿态参数的方法 |
US7650013B2 (en) | 2004-11-15 | 2010-01-19 | Mobilerobots Inc. | System and method for map and position-determination enhancement |
JP4600760B2 (ja) * | 2005-06-27 | 2010-12-15 | アイシン精機株式会社 | 障害物検出装置 |
JP2007240506A (ja) * | 2006-03-06 | 2007-09-20 | Giyourin Cho | 3次元形状と3次元地形計測法 |
US8666661B2 (en) * | 2006-03-31 | 2014-03-04 | The Boeing Company | Video navigation |
JP4889360B2 (ja) | 2006-04-18 | 2012-03-07 | アルパイン株式会社 | 車載用画像表示装置 |
IL176200A (en) | 2006-06-08 | 2013-03-24 | Israel Aerospace Ind Ltd | Unmanned air vehicle system |
EP1901153A1 (en) | 2006-09-12 | 2008-03-19 | OFFIS e.V. | Control system for unmanned 4-rotor-helicopter |
JP4905829B2 (ja) | 2006-11-02 | 2012-03-28 | アイシン・エィ・ダブリュ株式会社 | 運転支援装置および運転支援方法 |
US8509965B2 (en) * | 2006-12-12 | 2013-08-13 | American Gnc Corporation | Integrated collision avoidance system for air vehicle |
KR100824019B1 (ko) * | 2007-02-05 | 2008-04-21 | 주식회사 성보산업 | 차량용 후방감지장치 및 그 제어방법 |
KR100877071B1 (ko) | 2007-07-18 | 2009-01-07 | 삼성전자주식회사 | 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치 |
KR101461185B1 (ko) * | 2007-11-09 | 2014-11-14 | 삼성전자 주식회사 | 스트럭쳐드 라이트를 이용한 3차원 맵 생성 장치 및 방법 |
US20100023264A1 (en) * | 2008-07-23 | 2010-01-28 | Honeywell International Inc. | Aircraft display systems and methods with obstacle warning envelopes |
JP5291420B2 (ja) * | 2008-09-26 | 2013-09-18 | 日産自動車株式会社 | 障害物回避装置及び自走車両 |
US8543265B2 (en) | 2008-10-20 | 2013-09-24 | Honeywell International Inc. | Systems and methods for unmanned aerial vehicle navigation |
JP5439890B2 (ja) * | 2009-03-25 | 2014-03-12 | 富士通株式会社 | 画像処理方法、画像処理装置及びプログラム |
US8590828B2 (en) * | 2010-02-24 | 2013-11-26 | Robert Marcus | Rotocraft |
KR20110119118A (ko) | 2010-04-26 | 2011-11-02 | 엘지전자 주식회사 | 로봇 청소기, 및 이를 이용한 원격 감시 시스템 |
FR2961601B1 (fr) | 2010-06-22 | 2012-07-27 | Parrot | Procede d'evaluation de la vitesse horizontale d'un drone, notamment d'un drone apte au vol stationnaire autopilote |
CN103003152B (zh) | 2010-06-29 | 2018-02-06 | 航空环境公司 | 无人机负载模组组件及回缩机构 |
JP5618840B2 (ja) * | 2011-01-04 | 2014-11-05 | 株式会社トプコン | 飛行体の飛行制御システム |
US9823170B2 (en) * | 2011-02-25 | 2017-11-21 | Global Scientific Services Pty Ltd | Method, system and apparatus for use in locating subsurface ore bodies |
GB201104743D0 (en) | 2011-03-21 | 2011-05-04 | C2Uk Ltd | Image acquisition apparatus and system |
US8849483B2 (en) | 2011-04-13 | 2014-09-30 | California Institute Of Technology | Target trailing with safe navigation with colregs for maritime autonomous surface vehicles |
EP2562715A1 (en) * | 2011-08-26 | 2013-02-27 | Sony Ericsson Mobile Communications AB | Portable electric equipment and method of processing a series of frames |
US8687062B1 (en) | 2011-08-31 | 2014-04-01 | Google Inc. | Step-stare oblique aerial camera system |
CN102541066A (zh) * | 2011-12-16 | 2012-07-04 | 新时代集团国防科技研究中心 | 一种用于无人飞行器作业的自动定高的控制方法 |
CN102707724B (zh) * | 2012-06-05 | 2015-01-14 | 清华大学 | 一种无人机的视觉定位与避障方法及*** |
CN102914294B (zh) * | 2012-09-10 | 2015-07-01 | 中国南方电网有限责任公司超高压输电公司天生桥局 | 一种基于图像的无人机电力巡线测量***及方法 |
US9198363B2 (en) * | 2012-12-12 | 2015-12-01 | The Boeing Company | Tree metrology system |
ES2478091B2 (es) * | 2012-12-17 | 2015-03-27 | Universidad De Alicante | Dispositivo y método para la detección de obstáculos aéreos para invidentes |
CN103149939B (zh) * | 2013-02-26 | 2015-10-21 | 北京航空航天大学 | 一种基于视觉的无人机动态目标跟踪与定位方法 |
WO2014141654A1 (ja) * | 2013-03-13 | 2014-09-18 | パナソニック株式会社 | 測距装置、撮像装置および測距方法 |
US8996207B2 (en) | 2013-06-24 | 2015-03-31 | Honeywell International Inc. | Systems and methods for autonomous landing using a three dimensional evidence grid |
CN103365297B (zh) * | 2013-06-29 | 2016-03-09 | 天津大学 | 基于光流的四旋翼无人机飞行控制方法 |
US9355567B2 (en) * | 2013-08-08 | 2016-05-31 | Honeywell International Inc. | System and method for highlighting an area encompassing an aircraft that is free of hazards |
CN103543751A (zh) * | 2013-09-12 | 2014-01-29 | 深圳市大疆创新科技有限公司 | 无人飞行器的控制装置及无人飞行器 |
WO2015085483A1 (en) * | 2013-12-10 | 2015-06-18 | SZ DJI Technology Co., Ltd. | Sensor fusion |
CN103914065B (zh) * | 2014-03-24 | 2016-09-07 | 深圳市大疆创新科技有限公司 | 飞行器状态实时修正的方法和装置 |
CN104062977B (zh) * | 2014-06-17 | 2017-04-19 | 天津大学 | 基于视觉slam的四旋翼无人机全自主飞行控制方法 |
US9613539B1 (en) * | 2014-08-19 | 2017-04-04 | Amazon Technologies, Inc. | Damage avoidance system for unmanned aerial vehicle |
US9371133B2 (en) * | 2014-11-07 | 2016-06-21 | Paccar Inc | Drone systems for pre-trip inspection and assisted backing |
US9540121B2 (en) * | 2015-02-25 | 2017-01-10 | Cisco Technology, Inc. | Pre-flight self test for unmanned aerial vehicles (UAVs) |
US20170041545A1 (en) * | 2015-08-06 | 2017-02-09 | Invensense, Inc. | Systems and methods for stabilizing images |
-
2015
- 2015-07-08 JP JP2017565054A patent/JP6673371B2/ja active Active
- 2015-07-08 CN CN201580081551.8A patent/CN107850902B/zh not_active Expired - Fee Related
- 2015-07-08 WO PCT/CN2015/083517 patent/WO2017004799A1/en active Application Filing
-
2016
- 2016-07-18 US US15/213,118 patent/US9778662B2/en active Active
-
2017
- 2017-08-11 US US15/675,403 patent/US10466718B2/en not_active Expired - Fee Related
-
2019
- 2019-10-31 US US16/670,365 patent/US10936869B2/en active Active
-
2021
- 2021-02-22 US US17/182,188 patent/US20210350111A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20170010623A1 (en) | 2017-01-12 |
US20180004232A1 (en) | 2018-01-04 |
US20210350111A1 (en) | 2021-11-11 |
CN107850902A (zh) | 2018-03-27 |
US10936869B2 (en) | 2021-03-02 |
CN107850902B (zh) | 2022-04-08 |
WO2017004799A1 (en) | 2017-01-12 |
US10466718B2 (en) | 2019-11-05 |
US9778662B2 (en) | 2017-10-03 |
JP2018523864A (ja) | 2018-08-23 |
US20200073411A1 (en) | 2020-03-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6673371B2 (ja) | 可動物体を使用して障害物を検出する方法及びそのシステム | |
US20210065400A1 (en) | Selective processing of sensor data | |
US10599149B2 (en) | Salient feature based vehicle positioning | |
US10645300B2 (en) | Methods and apparatus for image processing | |
US11697411B2 (en) | Apparatus and methods for obstacle detection | |
US11914369B2 (en) | Multi-sensor environmental mapping | |
CN111527463B (zh) | 用于多目标跟踪的方法和*** | |
JP6487010B2 (ja) | ある環境内で無人航空機を制御する方法、ある環境のマップを生成する方法、システム、プログラムおよび通信端末 | |
JP6181300B2 (ja) | 無人航空機の速度を制御するシステム | |
JP2019050007A (ja) | 移動体の位置を判断する方法および装置、ならびにコンピュータ可読媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180104 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180104 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190418 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200204 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200217 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6673371 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |