WO2018070486A1 - 移動体の姿勢制御システム、立体マーカー - Google Patents
移動体の姿勢制御システム、立体マーカー Download PDFInfo
- Publication number
- WO2018070486A1 WO2018070486A1 PCT/JP2017/037041 JP2017037041W WO2018070486A1 WO 2018070486 A1 WO2018070486 A1 WO 2018070486A1 JP 2017037041 W JP2017037041 W JP 2017037041W WO 2018070486 A1 WO2018070486 A1 WO 2018070486A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- control system
- marker
- posture control
- dimensional
- moving body
- Prior art date
Links
- 239000003550 marker Substances 0.000 title claims abstract description 109
- 238000005259 measurement Methods 0.000 claims description 11
- 239000007787 solid Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 230000033001 locomotion Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 6
- 238000012795 verification Methods 0.000 description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 241000714197 Avian myeloblastosis-associated virus Species 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 101150037717 Mavs gene Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 235000005956 Cosmos caudatus Nutrition 0.000 description 1
- 244000293323 Cosmos caudatus Species 0.000 description 1
- 241000233805 Phoenix Species 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003875 gradient-accelerated spectroscopy Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
- B64C13/02—Initiating means
- B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
- B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
Definitions
- the present invention relates to a posture control system for a moving body and a three-dimensional marker. More specifically, the present invention relates to a self-standing posture control system and a three-dimensional marker of a small unmanned airplane (drone) that can move in a three-dimensional space as a moving body.
- a posture control system for a moving body and a three-dimensional marker More specifically, the present invention relates to a self-standing posture control system and a three-dimensional marker of a small unmanned airplane (drone) that can move in a three-dimensional space as a moving body.
- a drone captures radio waves from a GPS satellite with a GPS sensor mounted on the drone, calculates position data, and further uses a drone-equipped IMU (inertial measurement device) to move in flight (speed, acceleration, etc.) and posture ( (Tilt, etc.) data is calculated, and these position data and flight data are transmitted to the user's control device.
- the user controls the drone by sending flight control commands such as a movement command and a posture control command to the drone while referring to these data.
- drone flight control there is a conventional method of using a motion capture system by installing a reflective marker on the ground and mounting an infrared high-speed camera on the drone.
- a monocular camera, a stereoscopic camera, a wide-range measuring device, etc. instead of the infrared high-speed camera.
- the present inventor is aware that the following non-patent documents exist as prior art documents regarding attitude control of a small unmanned aerial vehicle.
- attitude control system has problems such as a relatively complicated configuration such as a motion capture system using a reflective marker and an infrared high-speed camera, and a relatively large error in attitude control.
- attitude control hardware mounted on a small unmanned aerial vehicle has severe weight restrictions and is required to be lightweight.
- the present inventor proposes an attitude control system for a small unmanned aerial vehicle having a new and simple configuration different from the conventional attitude control method.
- an object of the present invention is to provide a self-supporting posture control system for a moving body (for example, a small unmanned aerial vehicle) having a new and simple configuration.
- an object of the present invention is to provide a marker having a new and simple configuration suitable for use in a self-supporting posture control system for a mobile object (for example, a small unmanned airplane).
- a posture control system for a moving body includes a monocular camera and a posture control device mounted on the moving body, and a three-dimensional marker installed at a predetermined location. Performs independent posture control of the moving body based on image data of the stereoscopic marker captured by the monocular camera.
- the mobile body may be an unmanned small airplane.
- the three-dimensional marker may have at least one plane and a shape having another plane or point not included in the plane.
- the posture control device is known in advance with respect to image data of one plane of the stereoscopic marker captured by the monocular camera and other planes or points not included in the plane.
- Three-dimensional attitude control may be performed by making a coordinate based on the difference between the position being measured and the position at the time of measurement.
- the posture control device acquires a stereoscopic marker image from the monocular camera, converts the acquired image into a scalar image, acquires a contour of a color object from the scalar image, Detects each vertex from the contour of the color object at the 3D marker and sub-pixel level and sends it to the marker management unit, performs initial posture estimation using each vertex of the plane, and interactively through bundle adjustment using each vertex of the 3D Posture estimation processing may be performed.
- the three-dimensional marker may be a marker having any shape of a cone, a triangular pyramid, a quadrangular pyramid, and other polygonal pyramids.
- the three-dimensional marker may have a quadrangular pyramid shape, and the marker may be asymmetrically colored by changing the color of at least one of the four triangular surfaces.
- the three-dimensional marker may be a marker arranged so as to represent a three-dimensional shape with a plurality of illuminants.
- the mobile body may be an industrial robot.
- the moving body may be a truck for transferring articles that travels on a straight rail.
- the marker according to the present invention is a three-dimensional marker used in a self-standing posture control system for a movable body that is movable in three dimensions.
- the three-dimensional marker is a three-dimensional marker having a shape having at least one plane and another plane or point not included in the plane.
- a self-supporting posture control system for a moving body for example, a small unmanned aerial vehicle
- a moving body for example, a small unmanned aerial vehicle
- a marker having a new and simple configuration suitable for use in a self-supporting posture control system for a moving body (for example, a small unmanned aerial vehicle).
- FIG. 1A is a diagram illustrating an image of a drone self-supporting posture control system according to the present embodiment.
- FIG. 1B is a diagram for explaining 6-Dof (6 degrees of freedom) attitude control of a drone.
- FIG. 2A is a block diagram of a posture control device mounted on the drone in the drone self-supporting posture control system shown in FIG.
- FIG. 2B is a diagram illustrating an example of a marker used in the drone self-supporting posture control system illustrated in FIG. 1.
- FIG. 3 is a diagram showing a 6-Dof posture measurement flow according to the present embodiment.
- FIG. 4A is a diagram illustrating 16 points on the marker when the two-dimensional shape marker has made a small movement tx in order to compare the two-dimensional shape marker with the three-dimensional shape marker.
- FIG. 4A is a diagram illustrating 16 points on the marker when the two-dimensional shape marker has made a small movement tx in order to compare the two-dimensional shape marker with the three-dimensional shape marker.
- FIG. 4B is a diagram illustrating 16 points on the marker when the three-dimensional shape marker has made a small movement tx in order to compare the two-dimensional shape marker with the three-dimensional shape marker.
- FIG. 4C is a diagram illustrating 16 points on the marker when the two-dimensional shape marker is rotated by a small rotation ⁇ y in order to compare the two-dimensional shape marker with the three-dimensional shape marker.
- FIG. 4D is a diagram showing 16 points on the marker when the three-dimensional shape marker rotates by a small rotation ⁇ y in order to compare the two-dimensional shape marker with the three-dimensional shape marker.
- FIG. 1A is a diagram illustrating an image of a drone self-supporting posture control system according to the present embodiment.
- the feature of the present embodiment is that the drone self-supporting posture control system has a simple configuration. That is, the drone 2 performs posture control independently while photographing the marker 6 installed on the ground in advance with the monocular (single-lens) camera 20 mounted on the drone 2.
- the configuration shown in FIG. 1A has a simple configuration that does not require data from the GPS satellite 1, which is an element indicated by a broken line, data from the drone operating device 4 of the drone user 3, and the like.
- FIG. 1B is a view for explaining 6-Dof (6 degrees of freedom) attitude control of the drone 2.
- 6-Dof (6 degrees of freedom) attitude control of the drone 2.
- the degree of freedom of movement that an object can take in a three-dimensional space is called 6-Dof (6 degrees of freedom).
- it can move along each three-dimensional orthogonal coordinate axis) and can rotate around each axis of the orthogonal coordinate axis.
- pitching, yawing, and rolling are used in an aircraft such as the drone 2. That is, pitching means that the drone 2 rotates around the left and right axes (so-called up and down).
- Yawing refers to rotating around the top and bottom of the drone 2 (so-called in a horizontal plane).
- Rolling means rotating (or tilting) with respect to the front and rear axes of the drone 2.
- FIG. 2A is a block diagram of the attitude control device 8 mounted on the drone 2 in the independent attitude control system for the drone 2 shown in FIG. 1A.
- the attitude control device 8 includes a monocular camera 20 mounted on the attitude control module 12 of the substrate 10, one CPU 16, and a memory 18. You may comprise these by FPGA.
- the attitude control module 12 can be retrofitted to the conventional drone 2.
- the triaxial gyro sensor 14 is mounted to verify the effect of the present embodiment, and is not an essential element for the present embodiment. However, if desired, the three-axis gyro sensor 14 may be mounted.
- an accelerometer has been indispensable for measuring the rolling angle and pitching angle of the drone 2 with respect to the direction of gravity.
- the attitude control device 8 is not equipped with an accelerometer, and the flight control of the drone 2 with a stable flight attitude and position can be performed.
- the monocular (single-lens) camera 20 is a single lens camera. Usually, since distance measurement and 3D photography use parallax, a binocular (two-lens) camera using two lenses is necessary.
- posture control with a monocular camera can be performed by devising a marker 6 and a posture measurement algorithm described later.
- the memory 18 has a storage area for writing an attitude control algorithm and a work area for arithmetic processing of the CPU 16.
- the drone 2 is also equipped with a motion capture device for obtaining reference data when measuring the effect of posture measurement of this embodiment.
- the marker 6 used in the present embodiment is a “three-dimensional marker”.
- a “three-dimensional marker” refers to one having a shape having at least one plane and another plane or point not included in the plane. Typically, the marker is a three-dimensional shape.
- a quadrangular pyramid shaped marker 6 as shown in FIG. 2B is preferable.
- the quadrangular pyramid shaped marker 6 includes planes 6a, 6b, 6c, and 6d, planes 6a, 6b, and 6e, planes 6b, 6c, and 6e, planes 6c, 6d, and 6e, and planes 6d, 6a, and 6e. It is a combination.
- the quadrangular pyramid shaped marker 6 has a shape combined with the planes 6a, 6b, 6c, 6d and the point 6e.
- the shape of the marker 6 is not limited to a quadrangular pyramid.
- a cone or polygonal pyramid may be used.
- non-coplanar surfaces may be expressed by light emitting materials such as LEDs.
- the number of markers 6 is not limited to one. Two or more may be sufficient. Accordingly, two planar markers 6 (hereinafter referred to as “planar markers”) 6 may be installed on a plane that is not the same plane, and the two planar markers 6 may be used as a “three-dimensional marker” 6 as a whole.
- the direction of the yaw rotation direction can be distinguished by changing the color of at least one of the four triangular faces on the surface to make the marker 6 asymmetric.
- the installation location of the marker 6 may be on the ground or in the air. If the position is clear in real time, the vehicle may move in time series on the vehicle. It can be installed on the car and the drone 2 can follow.
- the shape of the marker 6 is a planar shape (two-dimensional shape) and a three-dimensional shape (three-dimensional shape) were compared.
- the shape of the marker 6 is a three-dimensional shape with little estimation error in posture control, and preferably a quadrangular pyramid. The reason will be explained later.
- 6-Dof algorithm The contents of this 6-Dof algorithm are, for example, the positions known in advance with respect to five vertices (four points on the base square and one point on the vertices) that specify the quadrangular pyramid-shaped marker 6, Coordinates are based on the difference from the position.
- a monocular (single-lens) camera 20 that captures two dimensions, three-dimensional posture control is possible by the behavior of the vertices within four points of a square pyramid.
- Xi ⁇ R3 is the world coordinate.
- Tz is defined as the direction of the first monocular camera 20
- ⁇ [ ⁇ x, ⁇ y, ⁇ z] is defined as the Z-XY Euler angle of R.
- the L2 criterion for the reprojection error of a single image scene can be defined as follows:
- the shape of the marker 6 is a “three-dimensional shape” with little estimation error in posture control, and preferably a quadrangular pyramid. The reason will be briefly explained.
- FIG. 3 is a diagram showing a 6-Dof posture measurement flow according to the present embodiment. This procedure is processed by the CPU 16 in accordance with an algorithm previously written in the memory 18.
- step S01 an image including the marker 6 is acquired from the monocular camera 20.
- step S02 the acquired image is converted into a scalar image.
- step S03 the outline of the color object is obtained from the scalar image and sent to the CPU 16.
- step S04 the CPU 16 detects the vertices 6a to 6e at the marker 6 and sub-pixel level from the outline of the color object.
- step S05 the marker 6 and the vertices 6a to 6e are sent to a marker management unit (not shown).
- step S06 initial posture estimation is performed using the vertices 6a to 6d on the plane of the marker 6.
- step S07 interactive posture estimation is performed through bundle adjustment using the respective vertices 6a to 6e of the solid of the marker 6.
- the size of the planar marker 6 was 19 cm ⁇ 19 cm ⁇ 0.3 cm, and the size of the three-dimensional marker 6 was 19 cm ⁇ 19 cm ⁇ 12 cm. Data using a motion capture device was used as correct data of the 6-DoF posture for verification.
- the inventors recorded a result of 6-DoF attitude estimation by moving a small unmanned aerial vehicle using a single marker 6.
- a large white noise (white noise) was generated with respect to the estimation of ⁇ x, ⁇ y, tx, and ty.
- these white noises can be greatly improved in the case of the three-dimensional marker 6.
- the mobile object small unmanned aerial vehicle
- the mobile object that can move freely in a three-dimensional space can be moved independently by using a single-eye camera and a three-dimensional marker 6.
- the attitude control of the present invention can also be applied to industrial robots that move in a two-dimensional space.
- the control of the height method (Z direction) from the floor or the like can be accurately measured and controlled by other means, the control part in the Z direction is omitted and the control is two-dimensional (XY direction).
- attitude control of the present invention can also be applied to a trolley for transferring goods that moves in a one-dimensional space, for example, traveling on a straight rail in a factory.
- the control part in the YZ direction is omitted, and the control is one-dimensional (X direction).
- 1 GPS satellite
- 2 Small unmanned airplane, drone
- 3 Drone user
- 4 Drone control device
- 6 Marker, plane marker, solid marker
- 8 Attitude control device
- 10 Substrate
- 12 Attitude control module
- 14 triaxial gyro sensor
- 16 CPU
- 18 memory
- 20 monocular camera, single lens camera
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
本発明は、新規且つ簡単な構成の移動体(例えば、小型無人飛行機)の自立姿勢制御システムを提供することを目的とする。更に、本発明は、この自立姿勢制御システムに使用して好適な新規且つ簡単な構成のマーカーを提供することを目的とする。 本発明に係る移動体(例えば、小型無人飛行機)の自立姿勢制御システムは、前記移動体に搭載された単眼カメラ及び姿勢制御装置と、所定の場所に設置された立体マーカーとを備え、前記姿勢制御装置は、前記単眼カメラが捉える前記立体マーカーの画像データに基づき前記移動体を自立姿勢制御する。
Description
本発明は、移動体の姿勢制御システム、立体マーカーに関する。更に具体的には、本発明は、移動体として3次元空間を移動可能な小型無人飛行機(ドローン)の自立姿勢制御システム、立体マーカーに関する。
近年、小型無人飛行機、典型的はドローンが、広い分野で利用されている。一般に、ドローンは、GPS衛星からの電波をドローン搭載のGPSセンサでとらえて位置データを算出し、更に、ドローン搭載のIMU(慣性計測装置)により飛行中の動き(速度、加速度等)や姿勢(傾き等)データを算出し、これら位置データ及び飛行データを利用者の操縦装置に送信している。利用者は、これらデータを参照しながら、ドローンに対して、移動命令及び姿勢制御命令等の飛行制御命令を送信して操縦制御している。
ドローンの飛行制御に関し、従来、地上に反射マーカーを設置し、ドローンに赤外線高速カメラを搭載して、モーションキャプチャシステムを利用する方法が有る。赤外線高速カメラに代えて、単眼カメラ、立体カメラ、広範囲測定器等を利用したシステムも有る。
なお、本発明者は、小型無人飛行機の姿勢制御に関して、先行技術文献として、次の非特許文献が存在することを承知している。
D. Mellinger and V. Kumar, "Minimum snap trajectory generation and control for quadrotors," in IEEE International Conference on Robotics and Automation, May 2011, pp.2520-2525
M. Hehn and R. DAndrea, Quadcopter trajectory and control, in Proceedings of the IFAC World Congress, 2011
Michael, Nathan, et al. "The GRASP multiple micro-UAV testbed." Robotics Automation Magazine, IEEE 17.3 (2010): 56-65
Heng, Lionel; Meiser, L.; Tanskanen, P.; Fraundorfer, F.; Pollefeys, M., "Autonomous obstacle avoidance and maneuvering on a vision-guided MAV using on-board processing," in Robotics and Automation (ICRA), 2011 IEEE International Conference on, vol., no., pp.2472-2477, 9-13 May 2011
Stephan Weiss, Markus W. Achtelik, Simon Lynen, Margarita Chli, Roland Siegwart, "Real-time onboard visual-inertial state estimation and self-calibration on MAVs in unknown environments." Robotics and Automation (ICRA), 2012 IEEE International Conference pp.957, May 2012
Shaojie shen; Michael, N.; Kumar, V., "Tightly-coupled monocular visual-inertial fusion for autonomous flight of rotorcraft MAVs," in Robotics and Automation (ICRA), 2015 IEEE International Conference on, vol., no., pp.5303-5310, 26-30 May 2015
S. Grzonka, G. Grisetti, and W. Burgard, "Towards a navigation system for autonomous indoor flying," in IEEE International Conference on Robotics and Automation, 2009
G. Xu, Y. Zhang, S. Ji, Y. Cheng, Y. Tian, Research on computer vision-based for UAV autonomous landing on a ship, Pattern Recognition Letters, Vol. 30(6), 2009, pp.600-605
Lange, S.; Sunderhauf, N.; Protzel, P., "A vision based onboard approach for landing and position control of an autonomouse multirotor UAV in GPS-defined environments" in Advanced Robotics, 2009. ICAR 2009. International Conference on , vol., pp.1-6, 22-26 June 2009
Lugo, Jacobo Jimenez, and Andres Zell, "Framework for autonomous on-board navigation with the AR. Drone." Journal of Intelligent and Robotic Systems 73.1-4(2014): 401-412
Troiani, Chiara, Stefano Al Zanati, and Alessio Martineli. "A 3 points vision based approach for mav localization in GPS defined environments." Mobile Robots (ECMR), 2013 European Conference on. IEEE, 2013.
Vogt, Sebastian, et al. "Single came tracking of marker clusters: Multiparameter cluster optimization and experimental verification" Proceedings of the 1st international Symposium on Mixed and Augmented Reality. IEEE Computer Society, 2002.
Nikolic, Janosch, et al. "A synchronized visual-inertial sensor system with FPGA pre-processing for accurate real-time SLAM." Robotics and Automation (ICRA), 2014 IEEE International Conference on. IEEE, 2014
Zhou, Guyue, et al. "On-board inertia-assisted visual odometer on an embedded system." Robotics and Automation (ICRA), 2014 IEEE International Conference on. IEEE, 2044.
Chen, Qian, Haiyuan Wu, and Toshikazu Wada. "Camera calibration with two arbitrary coplanar circles." Computer Vision-ECVV 2004. Springer Berlin Heidelberg, 2004. 521-532
Elqursh, Ali, and Ahmed Elgammal. "Line-based relative pose estimation." Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on. IEEEE, 2011
Zhang, Zhengyou. "A flexible new technique foe camera calibration." Pattern Analysis and Machine Intelligence, IEEE Transaction on 22.11 (2000): 1330-1334
E. Rosten, R. Porter, and T. Drummond. "Faster and better: A machine learning approach to corner detection." IEEE Trans. Pattern Analysis and Machine intelligence, 32:105119, 2010
Harris, Chris, and Mike Stephens. "A combined corner and edge detector." Alvey vision conference. Vol.15. 1988
Konomura, Ryo, and Koichi Hori. "Phoenix: Zynq 7000 based quadcopter robot. ReConFigurable Computing and FPGAs (ReConFig), 2014 International Conference on. IEEE, 2014.
従来提案されている姿勢制御システムは、反射マーカーと赤外線高速カメラを利用したモーションキャプチャシステムのように構成が比較的複雑であり、姿勢制御の誤差が比較的大きい等の問題が有った。また、小型無人飛行機に搭載する姿勢制御のハードウェアには、厳しい重量制限が有り、軽量化が求められる。
そこで、本発明者は、従来の姿勢制御方法とは異なる新規且つ簡単な構成の小型無人飛行機の姿勢制御システムを提案する。
具体的には、本発明は、新規且つ簡単な構成の移動体(例えば、小型無人飛行機)の自立姿勢制御システムを提供することを目的とする。
更に、本発明は、移動体(例えば、小型無人飛行機)の自立姿勢制御システムに使用して好適な新規且つ簡単な構成のマーカーを提供することを目的とする。
本発明に係る移動体の姿勢制御システムは、その発明の一面では、前記移動体に搭載された単眼カメラ及び姿勢制御装置と、所定の場所に設置された立体マーカーとを備え、前記姿勢制御装置は、前記単眼カメラが捉える前記立体マーカーの画像データに基づき前記移動体を自立姿勢制御している。
更に、上記移動体の姿勢制御システムでは、前記移動体は、無人小型飛行機であってよい。
更に、上記移動体の姿勢制御システムでは、前記立体マーカーは、少なくとも、1つの平面とその平面に含まれない他の平面又は点を有する形状から成るものでよい。
更に、上記移動体の姿勢制御システムでは、前記姿勢制御装置は、前記単眼カメラが捉える前記立体マーカーの1つの平面と、その平面に含まれない他の平面又は点の画像データに関し、事前に判明している位置と、測定時の位置との差分に基づき座標化することにより三次元の姿勢制御を行っていてもよい。
更に、上記移動体の姿勢制御システムでは、前記姿勢制御装置は、前記単眼カメラから立体マーカーの画像を取得し、取得画像をスカラー画像に変換し、該スカラー画像からカラー物体の輪郭を取得し、カラー物体の輪郭から立体マーカー及びサブ画素レベルで各頂点を検出してマーカー管理ユニットへ送り、平面の各頂点を使って最初の姿勢推定を行い、立体の各頂点を使ってバンドル調整を通じて対話型姿勢推定処理を行っていてもよい。
更に、上記移動体の姿勢制御システムでは、前記立体マーカーは、円錐、三角錐、四角錐、その他多角錐のいずれかの形状のマーカーであってよい。
更に、上記移動体の姿勢制御システムでは、前記立体マーカーは、四角錐形状であって、表面の4つの三角面の少なくとも一面の色を変えてマーカーを非対称に着色していてもよい。
更に、上記移動体の姿勢制御システムでは、前記立体マーカーは、複数個の発光物で三次元形状を表すように配置されたマーカーであってよい。
更に、上記移動体の姿勢制御システムでは、前記移動体は、産業用ロボットであってよい。
更に、上記移動体の姿勢制御システムでは、前記移動体は、直線レール上を走行する物品移送用のトロッコであってよい。
更に、本発明に係るマーカーは、その発明の一面では、三次元に移動可能な移動体の自立姿勢制御システムに使用される立体マーカーである。
更に、上記立体マーカーでは、少なくとも、1つの平面とその平面に含まれない他の平面又は点を有する形状から成る立体マーカーである。
本発明によれば、新規且つ簡単な構成の移動体(例えば、小型無人飛行機)の自立姿勢制御システムを提供することが出来る。
更に、本発明によれば、移動体(例えば、小型無人飛行機)の自立姿勢制御システムに使用して好適な新規且つ簡単な構成のマーカーを提供することが出来る。
以下、本発明に係る移動体の姿勢制御システムの実施形態に関し、移動体として3次元空間を移動可能な小型無人飛行機(ドローン)を例にとって、添付の図面に沿って説明する。なお、図面上、同じ参照符号は、同じ要素を示し、重複した説明を省略する。
[ドローンの姿勢制御のイメージ]
図1Aは、本実施形態に係るドローンの自立姿勢制御システムのイメージを説明する図である。本実施例の特徴は、ドローンの自立姿勢制御システムが、簡単な構成である点にある。即ち、ドローン2は、予め、地上に設置されたマーカー6を、ドローン2に搭載の単眼(一眼)カメラ20で撮影しながら、自立的に姿勢制御をしている。
図1Aは、本実施形態に係るドローンの自立姿勢制御システムのイメージを説明する図である。本実施例の特徴は、ドローンの自立姿勢制御システムが、簡単な構成である点にある。即ち、ドローン2は、予め、地上に設置されたマーカー6を、ドローン2に搭載の単眼(一眼)カメラ20で撮影しながら、自立的に姿勢制御をしている。
自立姿勢制御のために、図1Aにおいて、破線で示す要素のGPS衛星1からのデータ、ドローン利用者3のドローン操縦機器4からのデータ等を必要としない、簡単な構成となっている。
図1Bは、ドローン2の6-Dof(6自由度)姿勢制御を説明する図である。一般に、物体が三次元空間で取り得る動きの自由度を6-Dof(6自由度)といい、具体的には、物体が前又は後、上又は下、左又は右に移動できること(換言すれば、3次元の各直交座標軸に沿って移動できること)、また直交座標軸の各軸の周りを回転できることをいう。この回転に関しては、ドローン2のような航空機では、ピッチング、ヨーイング、ローリングが用いられる。即ち、ピッチングは、ドローン2の左右を軸として(所謂、上下に)回転することをいう。ヨーイングは、ドローン2の上下を軸として(所謂、水平面内で)回転することをいう。ローリングは、ドローン2の前後の軸に対して回転(或いは傾斜)することをいう。
[自立姿勢制御システム]
(ハードウェア)
図2Aは、図1Aに示すドローン2の自立姿勢制御システムにおいて、ドローン2に搭載される姿勢制御装置8のブロック図である。姿勢制御装置8は、基板10の姿勢制御モジュール12に実装された単眼カメラ20と、1個のCPU16と、メモリ18とを備えている。これらをFPGAで構成してもよい。姿勢制御モジュール12は、従来型のドローン2に後付けで搭載させることができる。
(ハードウェア)
図2Aは、図1Aに示すドローン2の自立姿勢制御システムにおいて、ドローン2に搭載される姿勢制御装置8のブロック図である。姿勢制御装置8は、基板10の姿勢制御モジュール12に実装された単眼カメラ20と、1個のCPU16と、メモリ18とを備えている。これらをFPGAで構成してもよい。姿勢制御モジュール12は、従来型のドローン2に後付けで搭載させることができる。
三軸ジャイロセンサ14は、本実施形態の効果を検証するために搭載されたものであり、本実施形態にとって必須な要素ではない。しかし、所望により、三軸ジャイロセンサ14を搭載してもよい。
従来、ドローン2の重力方向に対するローリング角度及びピッチング角度を計測するため、加速度計は不可欠であった。しかし、本実施形態の6-Dof姿勢計測では、姿勢制御装置8に加速度計を備えずに、ドローン2の安定した飛行姿勢及び位置の飛行制御が可能となった。
単眼(一眼)カメラ20は、1個のレンズのカメラである。通常、距離測定、3D写真の撮影には視差を利用するため、2個のレンズを使用する双眼(二眼)カメラが必要である。本実施形態では、後述するマーカー6と姿勢計測アルゴリズムを工夫することにより、単眼カメラでの姿勢制御が可能となった。
メモリ18は、姿勢制御のアルゴリズムを書き込む記憶領域と、CPU16の演算処理の作業領域とを有している。
なお、ドローン2には、本実施例の姿勢測定の効果を測定するに際し、基準データを得るためにモーションキャプチャ装置も搭載している。
(マーカーの形状、設計及び設置場所)
本実施形態で使用するマーカー6は、「立体マーカー」である。本出願書類では、「立体マーカー」は、少なくとも、1つの平面とその平面に含まれない他の平面又は点を有する形状から成るものをいう。代表的には、三次元形状のマーカーである。
本実施形態で使用するマーカー6は、「立体マーカー」である。本出願書類では、「立体マーカー」は、少なくとも、1つの平面とその平面に含まれない他の平面又は点を有する形状から成るものをいう。代表的には、三次元形状のマーカーである。
好ましくは、図2Bに示すような四角錐形状のマーカー6である。四角錐形状のマーカー6は、平面6a,6b,6c,6dと、平面6a,6b,6eと、平面6b,6c,6eと、平面6c,6d,6eと、平面6d,6a,6eとの組み合わせである。見方を変えると、四角錐形状のマーカー6は、平面6a,6b,6c,6dと、点6eと組み合わせた形状となっている。
マーカー6の形状は、四角錐に限定されない。円錐、多角錐でもよい。
マーカー6の形状は、四角錐に限定されない。円錐、多角錐でもよい。
また、LED等の発光物で非同一平面を表現してもよい。
マーカー6の個数は、1個に限定されない。2個以上であってもよい。従って、同一平面でない平面上に、2個の平面形状のマーカー(以下「平面マーカー」と呼ぶ)6を夫々設置し、2個の平面マーカー6を全体として「立体マーカー」6としてもよい。
四角錐形状のマーカー6では、表面の4つの三角面の少なくとも一面の色を変えてマーカー6を非対称にすることにより、ヨー回転方向の向きを区別することが出来る。
マーカー6の設置場所は、地上、空中等何れであってもよい。リアルタイムで位置が明らかであれば、車上に時系列で移動してもよい。車上に設置して、ドローン2が追従することも出来る。
マーカー6の開発過程において、マーカー6の形状に関し、平面形状(二次元形態)と立体形状(三次元形状)とを比較検討した。最終的に、マーカー6の形状は、姿勢制御の推定誤差が少ない立体形状とし、好ましくは、四角錐とした。その理由は後で説明する。
(6-Dofアルゴリズム)
この6-Dofアルゴリズムの内容は、例えば、四角錐形状のマーカー6を特定する5つの頂点(底辺の正方形の4点と頂点の1点)に関して、事前に判明している位置と、測定時の位置との差分に基づき座標化することにある。ここで、二次元を写す単眼(一眼)カメラ20であっても、四角錐の正方形の4点内にある頂点の挙動により、三次元の姿勢制御が可能となる。
この6-Dofアルゴリズムの内容は、例えば、四角錐形状のマーカー6を特定する5つの頂点(底辺の正方形の4点と頂点の1点)に関して、事前に判明している位置と、測定時の位置との差分に基づき座標化することにある。ここで、二次元を写す単眼(一眼)カメラ20であっても、四角錐の正方形の4点内にある頂点の挙動により、三次元の姿勢制御が可能となる。
最初に、本実施形態で使用された姿勢の記号及び方法を開示する。ベクトルui=[ui,vi]Tは、画像座標(0≦ui<H及び0≦vi≦V)のi番目の位置である。Xi∈R3は、ワールド座標である。T=[tx,ty,tz]T∈R3及びR∈SO(3)は、相対的な単眼カメラ20の移動及び回転である。Tzを最初の単眼カメラ20の方向と定義し、θ=[θx,θy,θz]をRのZ-X-Yオイラー角と定義する。次に、単一の画像シーンの再投影誤差のL2基準は、次のように定義出来る。
マーカー6の開発過程において、マーカー6の形状に関し、平面形状(二次元形態)と立体形状(三次元形状)とを比較検討した。最終的にマーカー6の形状は、姿勢制御の推定誤差が少ない「立体形状」とし、好ましくは、四角錐とした。その理由を簡単に説明する。
単眼カメラ20で撮影した同一平面マーカー(二次元形状マーカー)6と非同一平面マーカー(三次元形状マーカー)6の相違を説明するため、簡単な例を示す。図4A~図4Dは、単眼カメラ20を2つの方法、小さな移動tx(図4A及び図4B)と小さな回転θy(図4C及び図4D)で移動したときのマーカー6の16ポイントを示している。二次元形状のマーカー6では、並進運動と回転運動では僅かな相違しか見られない。しかし、三次元形状のマーカー6では、他の同一平面の15ポイントと奥行きが異なる1つのポイント(◎)が有ることから、これら移動tx 及び回転θyの変化の相違は明瞭に分かる。
(6-Dof姿勢計測のフロー)
図3は、本実施形態に係る6-Dof姿勢計測のフローを示す図である。この手順は、予めメモリ18に書き込まれたアルゴリズムに従って、CPU16により処理される。
図3は、本実施形態に係る6-Dof姿勢計測のフローを示す図である。この手順は、予めメモリ18に書き込まれたアルゴリズムに従って、CPU16により処理される。
ステップS01で、単眼カメラ20からマーカー6を含む画像を取得する。
ステップS02で、取得画像はスカラー画像に変換される。
ステップS03で、スカラー画像からカラー物体の輪郭を得て、CPU16に送られる。
ステップS04で、CPU16により、カラー物体の輪郭からマーカー6及びサブ画素レベルで各頂点6a~6eを検出する。
ステップS05で、マーカー6及び各頂点6a~6eをマーカー管理ユニット(図示せず)へ送られる。
ステップS06で、マーカー6の平面の各頂点6a~6dを使って、最初の姿勢推定を行う。
ステップS07で、マーカー6の立体の各頂点6a~6eを使ってバンドル調整を通じて対話型姿勢推定を行う。
[検証実験:クワッドコプターによる飛行制御]
6-Dofアルゴリズムの内容では、四角錐の頂点である5点により姿勢計測を行うと説明したが、以下の実験ではこの5点を含む16点で検証している。検証実験では、同一平面形状として正方形を選択し、立体形状として図2Bに示す四角錐を選択した。
6-Dofアルゴリズムの内容では、四角錐の頂点である5点により姿勢計測を行うと説明したが、以下の実験ではこの5点を含む16点で検証している。検証実験では、同一平面形状として正方形を選択し、立体形状として図2Bに示す四角錐を選択した。
2つのタイプのマーカー6は、地面に置かれ、姿勢推定を行うため地面に対して固定されている。平面マーカー6のサイズは19cm×19cm×0.3cmであり、立体マーカー6のサイズは19cm×19cm×12cmであった。
検証のための6-DoF姿勢の正しいデータは、モーションキャプチャ装置を使用したデータを用いた。
検証のための6-DoF姿勢の正しいデータは、モーションキャプチャ装置を使用したデータを用いた。
本発明者等は、単一のマーカー6を使って小型無人飛行機を移動して6-DoF姿勢推定の結果を記録した。平面マーカー6の場合、θx,θy,tx,ty推定に対して大きな白色雑音(ホワイトノイズ)が発生していた。しかし、これら白色雑音は、立体マーカー6の場合には大幅に改善することが出来た。
立体マーカー6を2個の使った場合と1個使った場合との6-DoF姿勢推定の比較も行った。この実験では、2個のマーカー6の位置関係(距離28cm)は、事前に姿勢制御装置8に登録してある。2個の立体マーカー6を使った場合、更に、白色雑音は減少し、精度よく推定できることが確認された。
[本実施形態の利点・効果]
(1) 三次元空間を自由に移動可能な移動体(小型無人飛行機)の単眼カメラと立体マーカー6を使った姿勢推定制御により、移動体の自立飛行が可能となった。
(2) 三次元空間を自由に移動可能な移動体(小型無人飛行機)の単眼カメラを使った姿勢推定で、マーカー6の形状は、平面形状よりも立体形状の方が優位であること立証することが出来た。
(1) 三次元空間を自由に移動可能な移動体(小型無人飛行機)の単眼カメラと立体マーカー6を使った姿勢推定制御により、移動体の自立飛行が可能となった。
(2) 三次元空間を自由に移動可能な移動体(小型無人飛行機)の単眼カメラを使った姿勢推定で、マーカー6の形状は、平面形状よりも立体形状の方が優位であること立証することが出来た。
[変形例等]
(1)本発明の実施形態を、移動体として小型無人飛行機を例に挙げて説明した。しかし、本発明の姿勢制御は、これに限定されない。移動体として、小型無人飛行機は三次元空間(XYZ方向)を自由に移動する。
(1)本発明の実施形態を、移動体として小型無人飛行機を例に挙げて説明した。しかし、本発明の姿勢制御は、これに限定されない。移動体として、小型無人飛行機は三次元空間(XYZ方向)を自由に移動する。
二次元空間を移動する産業用ロボットに関しても、本発明の姿勢制御は応用できる。この場合、床等からの高さ方法(Z方向)の制御は、他の手段で正確に測定制御出来るので、Z方向の制御部分は省略され、二次元(XY方向)の制御となる。
更に、一次元空間を移動する、例えば、工場内の直線レール上を走行する物品移送用のトロッコに関しても、本発明の姿勢制御は応用できる。この場合、YZ方向の制御部分は省略され、一次元(X方向)の制御となる。
(2)マーカー6をGPSと連動させることで、ロボットとマーカー6の相対位置表現を、GPS座標系に変換することも出来る。
1:GPS衛星、 2:小型無人飛行機,ドローン、 3:ドローン利用者、 4:ドローン操縦機器、 6:マーカー,平面マーカー,立体マーカー、 8:姿勢制御装置、 10:基板、 12:姿勢制御モジュール、 14:三軸ジャイロセンサ、 16:CPU、 18:メモリ、 20:単眼カメラ、一眼カメラ
Claims (12)
- 移動体の姿勢制御システムにおいて、
前記移動体に搭載された単眼カメラ及び姿勢制御装置と、
所定の場所に設置された立体マーカーと、を備え、
前記姿勢制御装置は、前記単眼カメラが捉える前記立体マーカーの画像データに基づき前記移動体を自立姿勢制御する、姿勢制御システム。 - 請求項1記載の移動体の姿勢制御システムにおいて、
前記移動体は、無人小型飛行機である、姿勢制御システム。 - 請求項1又は2記載の移動体の姿勢制御システムにおいて、
前記立体マーカーは、少なくとも、1つの平面とその平面に含まれない他の平面又は点を有する形状から成る、姿勢制御システム。 - 請求項1~3のいずれか一項記載の移動体の姿勢制御システムにおいて、
前記姿勢制御装置は、前記単眼カメラが捉える前記立体マーカーの1つの平面と、その平面に含まれない他の平面又は点の画像データに関し、事前に判明している位置と、測定時の位置との差分に基づき座標化することにより三次元の姿勢制御を行っている、姿勢制御システム。 - 請求項4記載の移動体の姿勢制御システムにおいて、
前記姿勢制御装置は、前記単眼カメラから立体マーカーの画像を取得し、取得画像をスカラー画像に変換し、該スカラー画像からカラー物体の輪郭を取得し、カラー物体の輪郭から立体マーカー及びサブ画素レベルで各頂点を検出してマーカー管理ユニットへ送り、平面の各頂点を使って最初の姿勢推定を行い、立体の各頂点を使ってバンドル調整を通じて対話型姿勢推定処理を行っている、姿勢制御システム。 - 請求項1~5のいずれか一項記載の移動体の姿勢制御システムにおいて、
前記立体マーカーは、円錐、三角錐、四角錐、その他多角錐のいずれかの形状のマーカーである、姿勢制御システム。 - 請求項1~6のいずれか一項記載の移動体の姿勢制御システムにおいて、
前記立体マーカーは、四角錐形状であって、表面の4つの三角面の少なくとも一面の色を変えてマーカーを非対称に着色している、姿勢制御システム。 - 請求項1~7のいずれか一項記載の移動体の姿勢制御システムにおいて、
前記立体マーカーは、複数個の発光物で三次元形状を表すように配置されたマーカーである、姿勢制御システム。 - 請求項1又は4記載の移動体の姿勢制御システムにおいて、
前記移動体は、産業用ロボットである、姿勢制御システム。 - 請求項1又は4記載の移動体の姿勢制御システムにおいて、
前記移動体は、直線レール上を走行する物品移送用のトロッコである、姿勢制御システム。 - 三次元に移動可能な移動体の自立姿勢制御システムに使用される立体マーカー。
- 請求項11記載の立体マーカーは、少なくとも、1つの平面とその平面に含まれない他の平面又は点を有する形状から成る、立体マーカー。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016-200639 | 2016-10-12 | ||
JP2016200639A JP6925603B2 (ja) | 2016-10-12 | 2016-10-12 | 移動体の姿勢制御システム |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018070486A1 true WO2018070486A1 (ja) | 2018-04-19 |
Family
ID=61906429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/037041 WO2018070486A1 (ja) | 2016-10-12 | 2017-10-12 | 移動体の姿勢制御システム、立体マーカー |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6925603B2 (ja) |
WO (1) | WO2018070486A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112558629A (zh) * | 2020-11-30 | 2021-03-26 | 广西电网有限责任公司电力科学研究院 | 一种实现无人机巡检任务的***及方法 |
CN113044050A (zh) * | 2019-12-27 | 2021-06-29 | 株式会社久保田 | 作业车辆以及作业车辆的行驶管理*** |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109739254B (zh) * | 2018-11-20 | 2021-11-09 | 国网浙江省电力有限公司信息通信分公司 | 一种电力巡检中采用视觉图像定位的无人机及其定位方法 |
CN112292650A (zh) * | 2019-11-28 | 2021-01-29 | 深圳市大疆创新科技有限公司 | 一种云台控制方法、控制装置及控制*** |
WO2021181481A1 (ja) * | 2020-03-09 | 2021-09-16 | 三菱電機ビルテクノサービス株式会社 | 水道メーター検針装置 |
KR102585428B1 (ko) * | 2021-07-26 | 2023-10-11 | 주식회사 제이슨랩 | 착륙지점에 드론이 정밀하게 착륙할 수 있도록 유도하는 자동착륙 시스템 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03170289A (ja) * | 1989-11-30 | 1991-07-23 | Nec Corp | ターゲットグリップ |
JP2005070043A (ja) * | 2003-08-20 | 2005-03-17 | Samsung Electronics Co Ltd | 人工マークを利用した知能型システムの自己位置認識装置及び方法、並びにそれを利用した知能型システム |
JP2009052924A (ja) * | 2007-08-24 | 2009-03-12 | Panasonic Electric Works Co Ltd | 移動体システム |
JP2010249628A (ja) * | 2009-04-15 | 2010-11-04 | Toyota Industries Corp | 移動体の位置検出装置及びカメラを用いた移動体の位置検出方法 |
JP2012014262A (ja) * | 2010-06-29 | 2012-01-19 | Yaskawa Electric Corp | 車両移動システム及びランドマーク |
JP2015112688A (ja) * | 2013-12-12 | 2015-06-22 | 株式会社Ihi | ロボットの遠隔操作システムと方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000293696A (ja) * | 1999-04-07 | 2000-10-20 | Matsushita Electric Ind Co Ltd | 画像認識装置 |
JP2009217798A (ja) * | 2008-02-14 | 2009-09-24 | Seiko Epson Corp | 輪郭検出方法、輪郭検出装置および輪郭検出プログラム |
-
2016
- 2016-10-12 JP JP2016200639A patent/JP6925603B2/ja active Active
-
2017
- 2017-10-12 WO PCT/JP2017/037041 patent/WO2018070486A1/ja active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03170289A (ja) * | 1989-11-30 | 1991-07-23 | Nec Corp | ターゲットグリップ |
JP2005070043A (ja) * | 2003-08-20 | 2005-03-17 | Samsung Electronics Co Ltd | 人工マークを利用した知能型システムの自己位置認識装置及び方法、並びにそれを利用した知能型システム |
JP2009052924A (ja) * | 2007-08-24 | 2009-03-12 | Panasonic Electric Works Co Ltd | 移動体システム |
JP2010249628A (ja) * | 2009-04-15 | 2010-11-04 | Toyota Industries Corp | 移動体の位置検出装置及びカメラを用いた移動体の位置検出方法 |
JP2012014262A (ja) * | 2010-06-29 | 2012-01-19 | Yaskawa Electric Corp | 車両移動システム及びランドマーク |
JP2015112688A (ja) * | 2013-12-12 | 2015-06-22 | 株式会社Ihi | ロボットの遠隔操作システムと方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113044050A (zh) * | 2019-12-27 | 2021-06-29 | 株式会社久保田 | 作业车辆以及作业车辆的行驶管理*** |
CN112558629A (zh) * | 2020-11-30 | 2021-03-26 | 广西电网有限责任公司电力科学研究院 | 一种实现无人机巡检任务的***及方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6925603B2 (ja) | 2021-08-25 |
JP2018063512A (ja) | 2018-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018070486A1 (ja) | 移動体の姿勢制御システム、立体マーカー | |
Nguyen et al. | Robust target-relative localization with ultra-wideband ranging and communication | |
CN105981074B (zh) | 用于标定成像装置的***、方法和装置 | |
US10037028B2 (en) | Systems, devices, and methods for on-board sensing and control of micro aerial vehicles | |
CN110077595B (zh) | 复杂动态颠簸条件下无人自主飞行器自动降落及回收*** | |
Grabe et al. | On-board velocity estimation and closed-loop control of a quadrotor UAV based on optical flow | |
Loianno et al. | Cooperative localization and mapping of MAVs using RGB-D sensors | |
US11906983B2 (en) | System and method for tracking targets | |
Mohta et al. | Vision-based control of a quadrotor for perching on lines | |
WO2017147731A1 (en) | Uav hardware architecture | |
Li et al. | ModQuad-Vi: A vision-based self-assembling modular quadrotor | |
Paul et al. | Landing of a multirotor aerial vehicle on an uneven surface using multiple on-board manipulators | |
JP2014078232A (ja) | 分散された位置の識別 | |
Moore et al. | Autonomous MAV guidance with a lightweight omnidirectional vision sensor | |
Tzoumanikas et al. | Fully autonomous micro air vehicle flight and landing on a moving target using visual–inertial estimation and model‐predictive control | |
US20210055745A1 (en) | Controller for unmanned aerial vehicle | |
Beul et al. | A high-performance MAV for autonomous navigation in complex 3D environments | |
Loianno et al. | A swarm of flying smartphones | |
Yang et al. | Visual SLAM for autonomous MAVs with dual cameras | |
Konomura et al. | FPGA-based 6-DoF pose estimation with a monocular camera using non co-planer marker and application on micro quadcopter | |
Hui et al. | Trajectory tracking and formation flight of autonomous UAVs in GPS-denied environments using onboard sensing | |
Razinkova et al. | Tracking a moving ground object using quadcopter UAV in a presence of noise | |
MacArthur et al. | Unmanned ground vehicle state estimation using an unmanned air vehicle | |
Salazar et al. | Real-time stereo visual servoing control of an UAV having eight-rotors | |
Gomez-Balderas et al. | Vision-based autonomous hovering for a miniature quad-rotor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17860701 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17860701 Country of ref document: EP Kind code of ref document: A1 |