WO2020135449A1 - 一种中继点生成方法、装置和无人机 - Google Patents

一种中继点生成方法、装置和无人机 Download PDF

Info

Publication number
WO2020135449A1
WO2020135449A1 PCT/CN2019/128061 CN2019128061W WO2020135449A1 WO 2020135449 A1 WO2020135449 A1 WO 2020135449A1 CN 2019128061 W CN2019128061 W CN 2019128061W WO 2020135449 A1 WO2020135449 A1 WO 2020135449A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
drone
sampling
next moment
axis
Prior art date
Application number
PCT/CN2019/128061
Other languages
English (en)
French (fr)
Inventor
吕浩
Original Assignee
深圳市道通智能航空技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市道通智能航空技术有限公司 filed Critical 深圳市道通智能航空技术有限公司
Priority to EP19906126.8A priority Critical patent/EP3893078A4/en
Publication of WO2020135449A1 publication Critical patent/WO2020135449A1/zh
Priority to US17/356,682 priority patent/US11982758B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/18—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using ultrasonic, sonic, or infrasonic waves
    • G01S5/26—Position of receiver fixed by co-ordinating a plurality of position lines defined by path-difference measurements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft

Definitions

  • the embodiments of the present invention relate to the technical field of unmanned aerial vehicles, and in particular, to a relay point generation method, device, and unmanned aerial vehicle.
  • drones to identify and track moving targets has been widely used.
  • the path planning is based on the real-time position of the target, and then flying according to the planned path. Since the target is constantly changing during the tracking process, the UAV needs to continue path planning to maintain the tracking state.
  • the inventor found that the above method for planning a path according to the target real-time position has complicated algorithms and a large delay.
  • An object of the embodiments of the present invention is to provide a method, device and drone for generating a relay point with a simple algorithm.
  • an embodiment of the present invention provides a method for generating a relay point.
  • the method is used for a drone, and the method includes:
  • the relay point of the drone at the next moment is determined according to the state of the target at the next moment and the at least two location sampling points.
  • the state of the predicted target at the next moment includes:
  • the state of the target at the next moment is estimated.
  • the acquiring the speed and acceleration of the target at the current moment includes:
  • the establishing a search range around the target according to the state of the target at the next moment includes:
  • the search range is established by taking the position of the target at the next moment as the center of the sphere and the initial tracking distance of the drone as the radius, where the search range is a hemispherical surface and is located where the target is Above the plane.
  • the sampling within the search range to obtain at least two position sampling points includes:
  • the coordinate system including a Z axis and an X axis perpendicular to the Z axis;
  • the determining the sampling step size includes:
  • the resolution ratio of the environment map refers to the resolution of the environment map used in the path planning system of the drone
  • sampling step is the ratio of the resolution of the environment map to the initial tracking distance.
  • the determining the relay point of the drone at the next moment according to the state of the target at the next moment and the at least two location sampling points includes:
  • the calculating the score of each of the at least two location sampling points includes:
  • the score is calculated using the following formula:
  • d i is the distance from the i-th sampling point to the nearest obstacle
  • d i min(d i , d s )
  • d s is the safety distance threshold
  • v is the speed of the target at the next moment
  • ⁇ i is the angle between the opposite direction of the speed direction of the target and the X axis at the next moment
  • the location sampling point that determines the highest score is the relay point, including:
  • the coordinates of the initial search position are ( ⁇ 0 ), where, The angle between the connection line of the drone and the target and the Z axis when starting the tracking system, ⁇ 0 is the connection line and X axis of the current position of the drone and the position of the target at the next moment Angle.
  • an embodiment of the present invention provides a relay point generating device.
  • the device is used for a drone, and the device includes:
  • the prediction module is used to predict the state of the target at the next moment, wherein the state of the target at the next moment includes the position and speed of the target at the next moment;
  • a search range establishing module configured to establish a search range around the target according to the state of the target at the next moment
  • a sampling module configured to sample within the search range to obtain at least two position sampling points
  • the relay point confirmation module is configured to determine the relay point of the drone at the next moment according to the state of the target at the next moment and the at least two location sampling points.
  • the prediction module is specifically used to:
  • the state of the target at the next moment is estimated.
  • the prediction module is specifically used to:
  • the search range establishment module is specifically used to:
  • the search range is established by taking the position of the target at the next moment as the center of the sphere and the initial tracking distance of the drone as the radius, where the search range is a hemispherical surface and is located where the target is Above the plane.
  • the sampling module is specifically used to:
  • the coordinate system including a Z axis and an X axis perpendicular to the Z axis;
  • the sampling module is specifically used to:
  • the resolution ratio of the environment map refers to the resolution of the environment map used in the path planning system of the drone
  • sampling step is the ratio of the resolution of the environment map to the initial tracking distance.
  • the relay point confirmation module is specifically used to:
  • the relay point confirmation module is specifically used to:
  • the score is calculated using the following formula:
  • d i is the distance from the i-th sampling point to the nearest obstacle
  • d i min(d i , d s )
  • d s is the safety distance threshold
  • v is the speed of the target at the next moment
  • ⁇ i is the angle between the opposite direction of the speed direction of the target and the X axis at the next moment
  • the relay point confirmation module is specifically used to:
  • the coordinates of the initial search position are ( ⁇ 0 ), where, The angle between the connection line of the drone and the target and the Z axis when starting the tracking system, ⁇ 0 is the connection line and X axis of the current position of the drone and the position of the target at the next moment Angle.
  • an embodiment of the present invention provides a drone including a fuselage, an arm connected to the fuselage, a power system provided on the arm, and a drone
  • At least one processor and,
  • a memory communicatively connected to the at least one processor; wherein,
  • the memory stores instructions executable by the at least one processor, and the instructions are executed by the at least one processor to enable the at least one processor to perform the above method.
  • an embodiment of the present invention provides a non-volatile computer-readable storage medium, characterized in that the computer-readable storage medium stores computer-executable instructions, and when the computer-executable instructions are left unattended When the aircraft is executed, the UAV is caused to perform the above method.
  • the method, device and drone for generating a relay point predict the state of the target at the next moment and establish a search range around the target according to the state of the target at the next moment to obtain at least two positions within the search range The sampling point, and then determine the transit relay point of the UAV at the next moment according to the state of the target at the next moment and the at least two location sampling points. Planning only the transit relay point at the next moment of the drone, rather than a path, is relatively simple and easy, simplifying the algorithm and reducing the delay.
  • FIG. 1 is a schematic diagram of an application scenario of a method and a device for generating a relay point according to an embodiment of the present invention
  • FIG. 2 is a schematic structural view of an embodiment of the drone of the present invention.
  • FIG. 3 is a schematic flowchart of an embodiment of a method for generating a relay point according to the present invention
  • FIG. 4 is a schematic diagram of a search range in an embodiment of a method for generating a relay point of the present invention
  • FIG. 5 is a schematic structural diagram of an embodiment of a relay point generating device of the present invention.
  • FIG. 6 is a schematic diagram of the hardware structure of the controller of the path planning system in an embodiment of the UAV of the present invention.
  • the method and device for generating a relay point can be applied to the application scenario shown in FIG. 1, and the application scenario shown in FIG. 1 includes the drone 100 and the target 300.
  • the drone 100 can be used to track the target 300.
  • the obstacle 400 may be encountered.
  • the drone 100 needs to track the target 300 while avoiding the obstacle 400 to achieve normal flight.
  • the UAV 100 may be a suitable unmanned aerial vehicle including a fixed-wing unmanned aerial vehicle and a rotary-wing unmanned aerial vehicle, such as a helicopter, a quadcopter, and an aircraft having other numbers of rotors and/or rotor configurations.
  • the UAV 100 may also be other movable objects, such as manned vehicles, aeromodelling, unmanned airships, and unmanned hot air balloons.
  • the target 300 may be any suitable movable or non-movable object, including vehicles, people, animals, buildings, mountains, rivers, etc. Obstacles 400 such as buildings, mountains, trees, forests, signal towers, or other movable or non-movable objects (only one obstacle is shown in Figure 1, there may be more obstacles or no obstacles in practical applications) .
  • the drone 100 includes a fuselage 10, an arm (not shown in the figure) connected to the fuselage 10, and a power system provided in the arm (in the figure (Not shown) and a control system provided in the fuselage 10.
  • the power system is used to provide the thrust and lift of the drone 100.
  • the control system is the central nerve of the drone 100, which can include multiple functional units, such as the flight control system 20, tracking system 30, path planning system 50, Vision system 40 and other systems with specific functions. Both the tracking system 30 and the vision system 40 include a camera device and a control chip.
  • the tracking system 30 is used to obtain the position and tracking distance of the tracking target (that is, the distance of the drone 100 from the target), etc., and the vision system 40 is used to provide an environment map, etc. .
  • the flight control system 20 includes various sensors (eg, gyroscopes, accelerometers, etc.). The flight control system 20 is used to obtain real-time UAV position and control UAV flight attitude.
  • the path planning system 50 is used to plan the path, and instructs the flight control system 20 to control the flying attitude of the drone 100 so that the drone 100 flies according to the specified path.
  • the flight control system 20 and the path planning system 50 can be installed inside the fuselage 10, and the tracking system 30 and the vision system 40 can be installed outside the fuselage 10 and fixed on the fuselage 10.
  • the camera device may be a high-definition digital camera or other camera devices.
  • the camera device may be set at any suitable location for shooting.
  • the camera device of the tracking system 30 is installed at the bottom of the body 10 via the gimbal, and the vision system 40
  • the camera device is installed at the front and/or lower part of the body 10.
  • each system may be set separately.
  • some or all of the above systems may also be integrated in one or more than one device.
  • the drone 100 tracks the target according to the target characteristics, wherein in some embodiments, the target characteristics are stored in the drone 100 in advance, and in some embodiments, the target characteristics are obtained by other means.
  • Some application scenarios of the drone 100 also include the electronic device 200, and the target feature can be sent to the drone 100 through the electronic device 200.
  • the electronic device 200 can display the picture taken by the drone 100, and the user selects the target in the picture. After the user selects the target picture and uploads it to the drone 100, the drone 100 can select the target according to the frame.
  • Target pictures extract target features.
  • a wireless communication module for example, a signal receiver, a signal transmitter, etc.
  • the electronic device 200 is, for example, a smart phone, a tablet computer, a computer, a remote controller, and the like.
  • the path planning system 50 when the drone 100 plans a path, the path planning system 50 first predicts the state of the target at the next moment (such as position, speed, acceleration, etc.), and establishes a search range around the target according to the state of the target at the next moment Obtain at least two location sampling points within the search range, and then determine the appropriate transit relay point for the UAV 100 at the next moment according to the target's next state and the at least two location sampling points, flight control system 40 Control the drone 100 to the transit relay point according to the transit relay point determined by the path planning system 50.
  • the path planning system 50 only plans the transit relay point at the next moment of the UAV 100, rather than a path, which is relatively simple and easy to implement, simplifying the algorithm.
  • the next time is, for example, one second, 0.5 second, or 0.1 second from the current time, or other shorter or longer time.
  • FIG. 3 is a schematic flowchart of a method for generating a relay point according to an embodiment of the present invention.
  • the method may be performed by the drone 100 in FIG. 1 (specifically, in some embodiments, the method is performed by the drone 100 executes the path planning system), as shown in FIG. 3, the method includes:
  • each time may be obtained according to a preset time interval, for example, the preset time interval is 0.5 seconds, and the interval between each adjacent time is 0.5 seconds.
  • the preset time interval can take values according to specific applications.
  • the next time in the embodiment of the present invention is used to indicate the next time of the current time, and the specific value of the next time is the current time plus a preset time interval.
  • the state of the target is, for example, the position of the target, the speed and acceleration of the target, and so on. Since the movement of the target in a short time can be approximated by a uniformly accelerated linear motion with constant acceleration, in some embodiments, the position, velocity and acceleration of the target at the current moment can be obtained first, and then the position and velocity at the current moment can be obtained And acceleration to get the state of the target at the next moment.
  • the position, velocity, and acceleration of the target at the current time can be estimated and obtained based on the position of the target at the current time, the position of the N-1 time before the current time, and the timestamp.
  • the target current time and the position of the N-1 time before the current time can be obtained by the tracking system 30.
  • any suitable coordinate system may be used.
  • the embodiment of the present invention uses the North East coordinate system (North East Down, NED) as an example.
  • NED coordinate system there are three coordinate axes, namely Z axis, X axis and Y axis.
  • the target positions at N moments obtained by the tracking system 30 are three-dimensional values, that is, the coordinate values on the Z axis, X axis, and Y axis. Estimate the position, velocity and acceleration on the X and Y axes.
  • the following uses one of the axes as an example to explain the estimation process of the target's position, velocity, and acceleration.
  • the estimation methods of the other two axes are the same.
  • the position at each time is f(t)
  • the speed is v(t)
  • the position of the uniformly accelerated linear motion target at the next time is:
  • the speed of the target at the next moment is:
  • v 0 is the speed of the target at the current moment
  • a is the acceleration of the target at the current moment.
  • v 0 and a can be obtained by estimating the position and time stamp of N moments.
  • formula (1) and formula (2) the position and speed of the target at the next moment can be obtained, both of which accelerate linear motion, and the acceleration of the target at the next moment is also a.
  • N can be valued according to the specific application (for example, 8, 9, 10 or less, a larger number), usually the smaller the N, the more sensitive to movement changes, that is, the estimation of the movement state and the actual time delay Small, but poorly robust; conversely, the greater the N, the better the robustness, but the poorer motion sensitivity.
  • the current moment and the next moment are constantly changing. In order to continuously estimate the target's movement state and recalculate the state of the goal at the next moment.
  • the position of N times before the current time needs to be updated.
  • the first N first position output (FIFO) update strategy may be used to update the positions of the first N times, and only the N nearest positions are maintained.
  • the search range is, for example, a part or all of the spherical surface with the target's position at the next moment as the center of the sphere and the initial tracking distance of the drone as the radius.
  • the drone tracks the target
  • the drone only tracks the target over the target.
  • only the upper half of the spherical surface can be taken as the search range, that is The search range is located above the plane where the target is located.
  • the initial tracking distance can be set according to the actual application in advance, and in operation, the tracking system 30 can be provided to the path planning system 50.
  • sampling the position search space may sample the ⁇ angle and the ⁇ angle in a sampling step within the search range to obtain multiple position sampling points.
  • the angle ⁇ is the angle between the line from the position sampling point to the center of the sphere and the Z axis
  • the angle ⁇ is the angle between the line from the position sampling point to the center of the sphere and the X axis.
  • the range of the angle ⁇ is [0, ⁇ /2]
  • the range of the angle ⁇ is [0,2 ⁇ ].
  • the ⁇ angle and the ⁇ angle can be sampled from 0 degrees until the ⁇ angle reaches ⁇ /2 and the ⁇ angle reaches 2 ⁇ .
  • the ⁇ angle is kept at 0 degrees, and the ⁇ angle is sampled from 0 to 2 ⁇ in sampling steps, and then the ⁇ angle is kept at 0 degrees and the sampling step is unchanged, and the ⁇ angle is measured from 0 to 2 ⁇ in sampling steps.
  • Sampling then the angle ⁇ keeps 2 sampling steps unchanged, sampling the angle ⁇ from 0 to 2 ⁇ in sampling steps, and so on, until the angle ⁇ keeps ⁇ /2 unchanged, sampling angle to the angle ⁇ from Sampling from 0 to 2 ⁇ can obtain multiple sampling points.
  • the sampling step size ⁇ s L/d0, where L is the resolution of the environment map and d0 is the initial tracking distance.
  • L the resolution of the environment map
  • d0 the initial tracking distance.
  • a smaller step size can also be used for sampling, so that more discrete location sampling points can be obtained, but more location sampling points will increase the size of the search space and increase the amount of calculation.
  • the environment map refers to an environment map used in the path planning system of the drone.
  • the environment map is a point cloud map of the surrounding environment of the drone.
  • the point cloud map usually includes The location information of each feature point in the surrounding environment of the target, such as the location information of obstacles.
  • the environment map can be obtained by the vision system 40.
  • Select one location sampling point from multiple location sampling points as the relay point of the UAV at the next moment Obtaining a location sampling point from the numerous location sampling points as a flight relay point of the UAV 100 can be selected according to the state of the target and/or the environment map at the next moment. For example, you can obtain the distance between each position sampling point and each obstacle according to the position of each obstacle in the environment map, and then select the position sampling point with the largest distance from the nearest obstacle to the position sampling point as the drone Relay point, which can ensure that the selected location sampling point is as far as possible from the obstacle.
  • the position sampling point may also be selected according to the speed of the target in the target state, for example, a position sampling point closer to the target direction may be selected as the relay point of the drone.
  • the position sampling point may also be selected by comprehensively considering the distance between the position sampling point and the obstacle and the speed of the target.
  • the score of each location sampling point may be calculated based on the above two factors, and then the location sampling point with the highest score is selected as the relay point of the drone. Specifically, in some embodiments, the score of the location sampling point may be calculated using the following formula:
  • S i is the score of the i-th location sampling point
  • d i is used to ensure that the position sampling point is as far as possible from the obstacle; It is used to ensure that the position sampling point is as consistent as possible with the target's estimated speed direction, which is more conducive to tracking; It is used to ensure that the angle between the position sampling point and the Z axis is as close as possible to the pitch angle during initial tracking, which is more conducive to maintaining a stable and consistent tracking state.
  • the location sampling points with the highest scores are obtained from the plurality of location sampling points, and the location sampling points may be searched using a ring search method.
  • a i A 0
  • search for the angle B i and then search for the position of the outer circle distance of the initial position by 1 sampling step (at this time, A i is A 0 Add sampling step)
  • search for the position of the outer circle distance of the initial position is 2 sampling steps (at this time A i is A 0 plus 2 sampling steps), and so on.
  • a i is the angle between the search position to the center of the sphere and the Z axis
  • B i is the angle between the search position to the center of the sphere and the X axis
  • the coordinates of the initial search position are ( ⁇ 0 , ⁇ 0 )
  • ⁇ 0 is the angle between the connection between the drone and the target and the Z axis when the tracking system is activated
  • ⁇ 0 is the connection between the current position of the drone and the target at the next moment The angle between the line and the X axis.
  • the search range is still A i ⁇ [0, ⁇ /2], Bi ⁇ [0,2 ⁇ ].
  • the UAV position can be obtained through the flight control system 20.
  • the state of the target at the next moment and the environment map around the target need to be under the same reference system.
  • the positions of the N times in the tracking system 30 can be converted into N times in the vision system 40 according to the position and angle of the camera device in the tracking system 30 s position.
  • the values of the target's position, velocity, and acceleration at the next moment obtained from the positions at the N moments are also located under the reference system of the visual system 10.
  • the position can be converted into an absolute position in the world coordinate system. Specifically, since the environment map acquired by the vision system 40 takes the drone as the center point, the above position can be converted into an absolute position according to the position of the drone.
  • the embodiment of the present invention only plans the transit relay point at the first moment of the UAV, rather than a path, which simplifies the algorithm, has a small delay, and can solve the problem that the target is easily lost to a certain extent.
  • an embodiment of the present invention further provides a relay point generating device, which can be used in the UAV shown in FIG. 1, and the relay point generating device 500 includes:
  • the prediction module 501 is used to predict the state of the target at the next moment, wherein the state of the target at the next moment includes the position and speed of the target at the next moment;
  • the search range establishing module 502 is configured to establish a search range around the target according to the state of the target at the next moment;
  • the sampling module 503 is used for sampling within the search range to obtain at least two position sampling points;
  • the relay point confirmation module 504 is configured to determine the relay point of the drone at the next moment according to the state of the target at the next moment and the at least two location sampling points.
  • the embodiment of the present invention predicts the state of the target at the next moment, establishes a search range around the target according to the state of the next moment of the target, obtains at least two position sampling points within the search range, and then determines the state and position of the target at the next moment. Said at least two location sampling points to determine the transit relay point of the UAV at the next moment. Planning only the transit relay point at the next moment of the drone, rather than a path, is relatively simple and easy, simplifying the algorithm and reducing the delay.
  • the prediction module 501 is specifically used to:
  • the prediction module 501 is specifically used to:
  • the search range establishment module 502 is specifically used to:
  • the search range is established by taking the position of the target at the next moment as the center of the sphere and the initial tracking distance of the drone as the radius, where the search range is a hemispherical surface and is located where the target is Above the plane.
  • the sampling module 503 is specifically used to:
  • the coordinate system including a Z axis and an X axis perpendicular to the Z axis;
  • the sampling module 503 is specifically used to:
  • the resolution ratio of the environment map refers to the resolution of the environment map used in the path planning system of the drone
  • sampling step is the ratio of the resolution of the environment map to the initial tracking distance.
  • the relay point confirmation module 504 is specifically used to:
  • the relay point confirmation module 504 is specifically used to:
  • the score is calculated using the following formula:
  • d i is the distance from the i-th sampling point to the nearest obstacle
  • d i min(d i , d s )
  • d s is the safety distance threshold
  • v is the speed of the target at the next moment
  • ⁇ i is the angle between the opposite direction of the speed direction of the target and the X axis at the next moment
  • the relay point confirmation module 504 is specifically used to:
  • the coordinates of the initial search position are ( ⁇ 0 ), where, The angle between the connection line of the drone and the target and the Z axis when starting the tracking system, ⁇ 0 is the connection line and X axis of the current position of the drone and the position of the target at the next moment Angle.
  • the above-mentioned device can execute the method provided by the embodiments of the present application, and has functional modules and beneficial effects corresponding to the execution method.
  • the above-mentioned device can execute the method provided by the embodiments of the present application, and has functional modules and beneficial effects corresponding to the execution method.
  • the methods provided in the embodiments of the present application refer to the methods provided in the embodiments of the present application.
  • FIG. 6 is a schematic diagram of the hardware structure of the controller 51 in the path planning system 50 in an embodiment of the drone of the present invention. As shown in FIG. 6, the controller 51 includes:
  • One or more processors 51a and a memory 51b, one processor 51a is taken as an example in FIG. 6.
  • the processor 51a and the memory 51b may be connected by a bus or other means.
  • a bus or other means.
  • FIG. 6 the connection by a bus is used as an example.
  • the memory 51b is a non-volatile computer-readable storage medium that can be used to store non-volatile software programs, non-volatile computer executable programs, and modules, as corresponding to the relay point generation method in the embodiments of the present application
  • Program instructions/modules for example, the prediction module 501, search range establishment module 502, sampling module 503, and relay point confirmation module 504 shown in FIG. 5
  • the processor 51a executes various functional applications and data processing of the controller by running the non-volatile software programs, instructions, and modules stored in the memory 51b, that is, the relay point generation method of the foregoing method embodiment is implemented.
  • the memory 51b may include a storage program area and a storage data area, where the storage program area may store an operating system and application programs required for at least one function; the storage data area may store data created according to the use of the controller, and the like.
  • the memory 51b may include a high-speed random access memory, and may also include a non-volatile memory, such as at least one magnetic disk storage device, a flash memory device, or other non-volatile solid-state storage devices.
  • the memory 51b may optionally include memories remotely provided with respect to the processor 51a, and these remote memories may be connected to the relay point generating device through a network. Examples of the aforementioned network include, but are not limited to, the Internet, intranet, local area network, mobile communication network, and combinations thereof.
  • the one or more modules are stored in the memory 51b, and when executed by the one or more processors 51a, execute the relay point generation method in any of the above method embodiments, for example, execute the above-described diagram Steps 101 to 104 of the method in 3; implement the functions of the modules 501-504 in FIG.
  • An embodiment of the present application provides a non-volatile computer-readable storage medium that stores computer-executable instructions, which are executed by one or more processors, for example, in FIG. 6
  • a processor 51a may enable the one or more processors to execute the relay point generation method in any of the above method embodiments, for example, to perform the method steps 101 to 104 in FIG. 3 described above;
  • the device embodiments described above are only schematics, wherein the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, may be located One place, or it can be distributed to multiple network elements. Some or all of the modules may be selected according to actual needs to achieve the purpose of the solution of this embodiment.
  • each embodiment can be implemented by means of software plus a general hardware platform, and of course, it can also be implemented by hardware.
  • a person of ordinary skill in the art may understand that all or part of the processes in the method of the foregoing embodiments may be completed by instructing relevant hardware through a computer program.
  • the program may be stored in a computer-readable storage medium. When executed, it may include the processes of the foregoing method embodiments.
  • the storage medium may be a magnetic disk, an optical disk, a read-only memory (Read-Only Memory, ROM), or a random access memory (Random Access Memory, RAM), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

一种中继点生成方法、装置和无人机，该方法包括：预测目标在下一时刻的状态（步骤101）；根据该目标在该下一时刻的状态，在该目标周围建立搜索范围（步骤102）；在该搜索范围内采样，以获得至少两个位置采样点（步骤103）；根据该目标在该下一时刻的状态和该至少两个位置采样点，确定该无人机在该下一时刻的中继点（步骤104）。该方法仅规划无人机下一时刻的经行中继点，而非一段路径，简单易行，简化了算法、延时较小。

Description

一种中继点生成方法、装置和无人机 技术领域
本发明实施例涉及无人飞行器技术领域，特别涉及一种中继点生成方法、装置和无人机。
背景技术
利用无人机对运动目标进行识别和跟踪已得到广泛应用，利用无人机对目标进行跟踪时，需要根据目标的位置和状态，在保持跟踪的前提下避开障碍物飞行。目前，多采用根据目标的实时位置进行路径规划，然后按照规划的路径飞行，由于在跟踪的过程中，目标在不断变化，因此无人机需不断进行路径规划，以保持跟踪状态。
在实现本发明过程中，发明人发现上述根据目标实时位置规划路径的方法算法复杂，延时较大。
发明内容
本发明实施例的目的是提供一种算法简单的中继点生成方法、装置和无人机。
第一方面，本发明实施例提供了一种中继点生成方法，所述方法用于无人机，所述方法包括：
预测目标在下一时刻的状态，其中，所述目标在所述下一时刻的状态包括所述目标在所述下一时刻的位置和速度；
根据所述目标在所述下一时刻的状态，在所述目标周围建立搜索范围；
在所述搜索范围内采样，以获得至少两个位置采样点；
根据所述目标在所述下一时刻的状态和所述至少两个位置采样点， 确定所述无人机在所述下一时刻的中继点。
在一些实施例中，所述预测目标下一时刻的状态，包括：
获取所述目标在当前时刻的速度和加速度；
根据所述目标在当前时刻的速度和加速度，估计所述目标在所述下一时刻的状态。
在一些实施例中，所述获取所述目标在当前时刻的速度和加速度，包括：
获取所述目标在当前时刻的位置、在所述当前时刻前至少两个时刻的位置和时间戳；
根据所述目标在当前时刻的位置、在所述当前时刻前至少两个时刻的位置和时间戳，获取所述目标在当前时刻的速度和加速度。
在一些实施例中，所述根据所述目标在所述下一时刻的状态，在所述目标周围建立搜索范围，包括：
获取所述无人机的初始跟踪距离；
以所述目标在所述下一时刻的位置为球心，以所述无人机的初始跟踪距离为半径建立所述搜索范围，其中，所述搜索范围为半球面，且位于所述目标所在平面的上方。
在一些实施例中，所述在所述搜索范围内采样，以获得至少两个位置采样点，包括：
确定采样步长；
对所述搜索范围建立坐标系，所述坐标系包括Z轴和与所述Z轴垂直的X轴；
分别在与所述Z轴呈φ角和与所述X轴呈θ角的范围内，以所述采样步长进行采样，以获得所述至少两个位置采样点，其中，φ∈[0,π/2]，θ∈[0,2π]。
在一些实施例中，所述确定所述采样步长，包括：
获取环境地图的分辨率，其中，所述环境地图的分别率是指在所述无人机的路径规划***中使用的环境地图的分辨率；
获取所述无人机的初始跟踪距离；
确定所述采样步长为所述环境地图的分辨率与所述初始跟踪距离 的比值。
在一些实施例中，所述根据所述目标在所述下一时刻的状态和所述至少两个位置采样点，确定所述无人机在所述下一时刻的中继点，包括：
计算所述至少两个位置采样点中，每一个位置采样点的得分；
确定得分最高的位置采样点为所述中继点。
在一些实施例中，所述计算所述至少两个位置采样点中，每一个位置采样点的得分，包括；
采用以下公式计算所述得分：
Figure PCTCN2019128061-appb-000001
其中，d i为第i个位置采样点距离最近的障碍物的距离，d i＝min(d i,d s)，d s为安全距离阈值，v为所述目标在下一时刻的速度，θ i为所述目标在下一时刻的速度方向的反方向与X轴的夹角，
Figure PCTCN2019128061-appb-000002
是第i个位置采样点与Z轴的夹角，
Figure PCTCN2019128061-appb-000003
为所述无人机的相机在初始跟踪时的俯仰角。
在一些实施例中，所述确定得分最高的位置采样点为所述中继点，包括：
确定初始搜索位置；
以所述初始搜索位置为圆心，分别以所述采样步长的整数倍为半径在所述搜索范围内进行环形搜索，以得到所述得分最高的位置采样点。
在一些实施例中，所述初始搜索位置的坐标为(
Figure PCTCN2019128061-appb-000004
θ 0)，其中，
Figure PCTCN2019128061-appb-000005
为启动跟踪***时所述无人机与所述目标的连线与Z轴的夹角，θ 0为所述无人机的当前位置与所述目标在下一时刻的位置的连线与X轴的夹角。
第二方面，本发明实施例提供了一种中继点生成装置，所述装置用于无人机，所述装置包括：
预测模块，用于预测目标在下一时刻的状态，其中，所述目标在所述下一时刻的状态包括所述目标在所述下一时刻的位置和速度；
搜索范围建立模块，用于根据所述目标在所述下一时刻的状态，在所述目标周围建立搜索范围；
采样模块，用于在所述搜索范围内采样，以获得至少两个位置采样 点；
中继点确认模块，用于根据所述目标在所述下一时刻的状态和所述至少两个位置采样点，确定所述无人机在所述下一时刻的中继点。
在一些实施例中，所述预测模块具体用于：
获取所述目标在当前时刻的速度和加速度；
根据所述目标在当前时刻的速度和加速度，估计所述目标在所述下一时刻的状态。
在一些实施例中，所述预测模块具体用于：
获取所述目标在当前时刻的位置、在所述当前时刻前至少两个时刻的位置和时间戳；
根据所述目标在当前时刻的位置、在所述当前时刻前至少两个时刻的位置和时间戳，获取所述目标在当前时刻的速度和加速度。
在一些实施例中，所述搜索范围建立模块具体用于：
获取所述无人机的初始跟踪距离；
以所述目标在所述下一时刻的位置为球心，以所述无人机的初始跟踪距离为半径建立所述搜索范围，其中，所述搜索范围为半球面，且位于所述目标所在平面的上方。
在一些实施例中，所述采样模块具体用于：
确定采样步长；
对所述搜索范围建立坐标系，所述坐标系包括Z轴和与所述Z轴垂直的X轴；
分别在与所述Z轴呈φ角和与所述X轴呈θ角的范围内，以所述采样步长进行采样，以获得所述至少两个位置采样点，其中，φ∈[0,π/2]，θ∈[0,2π]。
在一些实施例中，所述采样模块具体用于：
获取环境地图的分辨率，其中，所述环境地图的分别率是指在所述无人机的路径规划***中使用的环境地图的分辨率；
获取所述无人机的初始跟踪距离；
确定所述采样步长为所述环境地图的分辨率与所述初始跟踪距离的比值。
在一些实施例中，所述中继点确认模块具体用于：
计算所述至少两个位置采样点中，每一个位置采样点的得分；
确定得分最高的位置采样点为所述中继点。
在一些实施例中，所述中继点确认模块具体用于：
采用以下公式计算所述得分：
Figure PCTCN2019128061-appb-000006
其中，d i为第i个位置采样点距离最近的障碍物的距离，d i＝min(d i,d s)，d s为安全距离阈值，v为所述目标在下一时刻的速度，θ i为所述目标在下一时刻的速度方向的反方向与X轴的夹角，
Figure PCTCN2019128061-appb-000007
是第i个位置采样点与Z轴的夹角，
Figure PCTCN2019128061-appb-000008
为所述无人机的相机在初始跟踪时的俯仰角。
在一些实施例中，所述中继点确认模块具体用于：
确定初始搜索位置；
以所述初始搜索位置为圆心，分别以所述采样步长的整数倍为半径在所述搜索范围内进行环形搜索，以得到所述得分最高的位置采样点。
在一些实施例中，所述初始搜索位置的坐标为(
Figure PCTCN2019128061-appb-000009
θ 0)，其中，
Figure PCTCN2019128061-appb-000010
为启动跟踪***时所述无人机与所述目标的连线与Z轴的夹角，θ 0为所述无人机的当前位置与所述目标在下一时刻的位置的连线与X轴的夹角。
第三方面，本发明实施例提供了一种无人机，所述无人机包括机身、与所述机身相连的机臂、设于所述机臂的动力***、设置于所述机身的跟踪***、飞控***、视觉***和路径规划***；其中，所述路径规划***包括控制器，所述控制器包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。
第四方面，本发明实施例提供了一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所 述计算机可执行指令被无人机执行时，使所述无人机执行上述的方法。
本发明实施例的中继点生成方法、装置和无人机，通过预测目标下一时刻的状态，并根据目标下一时刻的状态在目标周围建立搜索范围、获得搜索范围内的至少两个位置采样点，然后根据目标下一时刻的状态和所述至少两个位置采样点，确定无人机在下一时刻的经行中继点。仅规划无人机下一时刻的经行中继点，而非一段路径，相对来说简单易行，简化了算法、延时较小。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是本发明实施例中继点生成方法和装置的应用场景示意图；
图2是本发明无人机的一个实施例的结构示意图；
图3是本发明中继点生成方法的一个实施例的流程示意图；
图4是本发明中继点生成方法的一个实施例中搜索范围示意图；
图5是本发明中继点生成装置的一个实施例的结构示意图；
图6是本发明无人机的一个实施例中路径规划***的控制器的硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供的中继点生成方法和装置可以应用于如图1所示的应用场景，在图1所示的应用场景中，包括无人机100和目标300。 无人机100可以用于跟踪目标300，在无人机100跟踪目标300的过程中，有可能会遇到障碍物400。无人机100需跟踪目标300的同时躲避障碍物400实现正常飞行。
其中，无人机100可以为合适的无人飞行器包括固定翼无人飞行器和旋转翼无人飞行器，例如直升机、四旋翼机和具有其它数量的旋翼和/或旋翼配置的飞行器。无人机100还可以是其他可移动物体，例如载人飞行器、航模、无人飞艇和无人热气球等。目标300可以为任何合适的可移动或不可移动物体，包括交通工具、人、动物、建筑物、山川河流等。障碍物400例如建筑物、山体、树木、森林、信号塔或其他可移动或不可移动物体(图1中只示出了一个障碍物，实际应用中可能会有更多障碍物或者没有障碍物)。
其中，在一些实施例中，请参照图2，无人机100包括机身10、与所述机身10相连的机臂(图中未示出)、设于机臂的动力***(图中未示出)和设于机身10的控制***。动力***用于提供无人机100飞行的推力、升力等，控制***是无人机100的中枢神经，可以包括多个功能性单元，例如飞控***20、跟踪***30、路径规划***50、视觉***40以及其他具有特定功能的***。跟踪***30和视觉***40均包括摄像装置和控制芯片，跟踪***30用于获得跟踪目标的位置、跟踪距离(即无人机100距目标的距离)等，视觉***40用于提供环境地图等。飞控***20包括各类传感器(例如陀螺仪、加速计等)，飞控***20用于获得实时的无人机位置以及控制无人机飞行姿态等。路径规划***50用于对路径进行规划，并指示飞控***20控制无人机100的飞行姿态以使无人机100按指定路径飞行。
实际应用时，飞控***20、路径规划***50可以设置于机身10内部，跟踪***30和视觉***40可以设置于机身10外部并固定于机身10上。摄像装置可以为高清数码相机或其他摄像装置，摄像装置可以设置于任何利于拍摄的合适位置，在一些实施例中，跟踪***30的摄像装置通过云台安装于机身10的底部，视觉***40的摄像装置设置于机身10的前部和/或下部。其中，各个***可以分别设置，在一些实施例中，上述***中的部分或全部也可以集成在一个或多于一个的装置中。
在一些实施例中，无人机100根据目标特征对目标进行跟踪，其中，在部分实施例中，目标特征事先存储于无人机100中，在部分实施例中，目标特征通过其他途径获得。在无人机100的一些应用场景中还包括电子设备200，目标特征可以通过电子设备200发送给无人机100。具体的，电子设备200可以显示无人机100拍摄的图片，由用户对图片中的目标进行框选，用户框选的目标图片上传无人机100后，无人机100可以根据该框选的目标图片提取目标特征。无人机100和电子设备200之间，可以通过分别设置在各自内部的无线通信模块(例如信号接收器、信号发送器等)建立通信连接，上传或者下发数据/指令。其中，电子设备200例如智能手机、平板电脑、电脑、遥控器等。
在一些实施例中，无人机100在规划路径时，路径规划***50先预测目标下一时刻的状态(例如位置、速度、加速度等)，根据目标下一时刻的状态在目标周围建立搜索范围、获得搜索范围内的至少两个位置采样点，然后根据目标下一时刻的状态和所述至少两个位置采样点，确定无人机100在下一时刻合适的经行中继点，飞控***40根据路径规划***50确定的经行中继点控制无人机100飞往该经行中继点。路径规划***50仅规划无人机100下一时刻的经行中继点，而非一段路径，相对来说简单易行，简化了算法。其中，下一时刻例如距现时时刻1秒、0.5秒或0.1秒后，或者经过其他更短或更长的时间。
图3为本发明实施例提供的一种中继点生成方法的流程示意图，所述方法可以由图1中无人机100执行(具体的，在一些实施例中，所述方法由无人机100中的路径规划***执行)，如图3所示，所述方法包括：
101：预测目标在下一时刻的状态。
其中，在一些实施例中，可以根据预设的时长间隔获得各个时刻，例如预设时长间隔为0.5秒，则各个相邻时刻的间隔为0.5秒。预设时长间隔可以根据具体应用情况取值。本发明实施例中的下一时刻用于表示现时时刻的下一时刻，所述下一时刻的具体值为现时时刻加上预设时长间隔。
其中，所述目标的状态例如目标的位置、目标的速度和加速度等。由于目标在短时间内的运动可以近似为加速度不变的匀加速直线运动，在一些实施例中，可以先获取所述目标在当前时刻的位置、速度和加速度，再根据当前时刻的位置、速度和加速度，获得目标下一时刻的状态。
其中，在一些实施例中，目标在当前时刻的位置、速度和加速度可以根据目标当前时刻的位置、当前时刻前面的N-1个时刻的位置和时间戳估计获得。其中，目标当前时刻以及当前时刻前N-1个时刻的位置可以通过跟踪***30获取。
在实际计算时，可以采用任何合适的坐标系，本发明实施例以北东地坐标系(North East Down，NED)为例说明。在NED坐标系中，有三个坐标轴，分别是Z轴、X轴和Y轴。跟踪***30获得的N个时刻的目标位置为三维值，即Z轴、X轴和Y轴上的坐标值，可以根据N个时刻目标在各轴的坐标值分别对目标当前时刻在Z轴、X轴和Y轴上的位置、速度和加速度进行估计。再根据目标当前时刻在Z轴、X轴和Y轴上的位置、速度和加速度获得目标下一时刻在Z轴、X轴和Y轴上的位置和速度，最终获得目标在下一时刻的三维位置、速度、加速度等值。
以下以其中一轴为例说明目标的位置、速度、加速度的估计过程，其他两轴的估计方法与此相同。
设当前时刻为t i-1，下一时刻为t i，各时刻的位置为f(t)、速度为v(t)，由匀加速直线运动目标在下一时刻的位置为：
Figure PCTCN2019128061-appb-000011
目标在下一时刻的速度为：
Figure PCTCN2019128061-appb-000012
其中，v 0为目标在当前时刻的速度，a为目标在当前时刻的加速度。
其中，v 0和a可以通过N个时刻的位置和时间戳估计获得。通过跟踪***30获得当前时刻以及当前N-1个时刻的位置f(tk),其中k＝i-1,i-2,…,i-N，将所述N个时刻的目标位置f(tk)(k＝i-1,i-2,…,i-N)和时间戳i-1,i-2,…,i-N代入式(1)，利用最小二乘法解超定方程，可以得到参数v 0和a。然后通过式(1)和式(2)，可以获得目标下 一时刻的位置和速度，由均加速直线运动，目标在下一时刻的加速度亦为a。
其中，N可以根据具体应用情况进行取值(例如8、9、10或更小、更大的数)，通常N越小，对运动变化越灵敏，即对运动状态的估计和实际的时间延迟小，但鲁棒性差；反之，N越大，鲁棒性越好，但运动灵敏性差。运动过程中，当前时刻和下一时刻是不断变化的，为了持续的对目标运动状态进行估计，并重新计算下一时刻目标的状态。需要对当前时刻前N个时刻的位置进行更新。在一些实施例中，对前N个时刻的位置进行更新可以采用先进先出(First Input First Output，FIFO)的更新策略，只保持N个最近位置。
102：根据所述目标在所述下一时刻的状态，在所述目标周围建立搜索范围。
所述搜索范围例如以目标在下一时刻的位置为球心、以无人机的初始跟踪距离为半径的球表面的一部分或全部。在一些无人机跟踪目标的实例中，无人机仅在目标上空对目标进行跟踪，在这样的实施例中，如图4所示，可以仅取球表面的上半部分作为搜索范围，即所述搜索范围位于所述目标所在平面的上方。其中，初始跟踪距离可以预先根据实际应用情况进行设置，在工作中，可以由跟踪***30提供给路径规划***50。
103：在所述搜索范围内采样，以获得至少两个位置采样点。
以搜索范围为球面为例，对位置搜索空间的采样可以在所述搜索范围内对φ角和θ角以采样步长进行采样，获得多个位置采样点。其中，φ角为位置采样点至球心连线与Z轴的夹角，θ角为位置采样点至球心连线与X轴的夹角。在上述无人机在目标上空进行跟踪的实施例中，φ角的范围为[0,π/2],θ角的范围为[0,2π]。
在实际采样过程中，φ角和θ角可以均从0度开始采样，直至φ角到达π/2、θ角到达2π。例如，首先φ角保持0度不变，以采样步长对θ角从0到2π进行采样，然后φ角保持0度加采样步长不变，以采样步长对θ角从0到2π进行采样，然后φ角保持2个采样步长不变，以采样步长对θ角从0到2π进行采样，以此类推，直到φ角保持π/2 不变，以采样步长对θ角从0到2π进行采样，如此可以获得多个位置采样点。
其中，在一些实施例中，所述采样步长θ s＝L/d0，其中，L为环境地图的分辨率，d0为所述初始跟踪距离。在另一些实施例中，也可以使用更小的步长进行采样，这样可以获得更多离散的位置采样点，但更多的位置采样点会增加搜索空间的大小，增加计算量。
其中，环境地图是指在所述无人机的路径规划***中使用的环境地图，在一些实施例中，所述环境地图为无人机周围环境的点云地图，所述点云地图通常包括目标周围环境中各个特征点的位置信息，例如障碍物的位置信息。所述环境地图可以由视觉***40获得。
104：根据所述目标在所述下一时刻的状态和所述至少两个位置采样点，确定所述无人机在所述下一时刻的中继点。
从多个位置采样点中选择一个位置采样点作为所述无人机在下一时刻的中继点。从众多的位置采样点中获取一个位置采样点作为无人机100的飞行中继点，可以根据下一时刻目标的状态和/或环境地图进行选择。例如，可以根据环境地图中各个障碍物的位置获得各个位置采样点与各个障碍物的距离，然后选择位置采样点与距该位置采样点最近的障碍物的距离最大的位置采样点作为无人机的中继点，这样可以保证选择的位置采样点距离障碍物尽量远。
在另一些实施例中，还可以根据目标状态中目标的速度选择位置采样点，例如选择更接近目标方向的位置采样点作为无人机的中继点。
在另一些实施例中，还可以综合考虑位置采样点与障碍物的距离以及所述目标的速度选择位置采样点。在其中一些实施例中，可以综合上述两个因素对各位置采样点的得分进行计算，然后选择得分最高的位置采样点作为所述无人机的中继点。具体的，在一些实施例中，可以采用如下公式计算所述位置采样点的得分：
Figure PCTCN2019128061-appb-000013
其中，S i为第i个位置采样点的得分，d i是第i个位置采样点距最近的障碍物的距离与预设安全距离阈值中较小的值，即d i＝min(D i,d s)，D i为第i个位置采样点距最近的障碍物的距离，d s为预设安全距离阈值， v是所述目标于所述下一时刻的预估速度，θ i是所述预估速度方向的反方向在所述X轴方向上的夹角，
Figure PCTCN2019128061-appb-000014
是第i个位置采样点至球心连线与所述Z轴方向的夹角，
Figure PCTCN2019128061-appb-000015
是初始跟踪俯仰角，即所述无人机的相机在初始跟踪时的俯仰角。
其中，式(3)中，d i用于保证位置采样点距离障碍物尽量远；
Figure PCTCN2019128061-appb-000016
用于保证位置采样点尽量与目标的预估速度方向一致，这样更有利于跟踪；
Figure PCTCN2019128061-appb-000017
用于保证位置采样点与Z轴夹角尽量与初始跟踪时俯仰角一致，这样更有利于保持稳定一致的跟踪状态。
具体的，从众多位置采样点中获得得分最高的位置采样点，可以采用环形搜索方法搜索位置采样点。假设初始搜索位置为A i＝A 0，保持A i＝A 0不变，针对B i角进行搜索，之后搜索初始位置外圈距离为1个采样步长的位置(此时A i为A 0加采样步长)，然后搜索初始位置外圈距离为2个采样步长(此时A i为A 0加2个采样步长)的位置，依次类推。保留得分最大的位置采样点作为最终的中继点。其中，A i为搜索位置至球心连线与Z轴的夹角,B i为搜索位置至球心连线与X轴的夹角,初始搜索位置的坐标为(φ 0,θ 0)，其中，φ 0为启动跟踪***时所述无人机与所述目标的连线与Z轴的夹角，θ 0为所述无人机的当前位置与所述目标在下一时刻的位置的连线与X轴的夹角。在图4所示的实施例中，搜索范围仍为A i∈[0,π/2]、Bi∈[0,2π]。其中，所述无人机位置可以通过飞控***20获得。
在实际应用中，目标下一时刻的状态和目标周围的环境地图需位于同一参考体系下。在一些实施例中，在跟踪***30获得N个时刻的位置后，可以根据跟踪***30中摄像装置的位置、角度将跟踪***30中N个时刻的位置转换成视觉***40体系下N个时刻的位置。以此N个时刻的位置获得的目标下一时刻的位置、速度和加速等值也同样是位于视觉***10参考体系下的。进一步的，可以将该位置转换成世界坐标系下的绝对位置。具体的，由于视觉***40获取的环境地图以无人机为中心点，根据无人机的位置可以将上述位置转换成绝对位置。
本发明实施例仅规划无人机第一时刻的经行中继点，而非一段路径， 简化了算法、延时较小，且能在一定程度上解决目标容易丢失的问题。
相应的，如图5所示，本发明实施例还提供了一种中继点生成装置，所述装置可以用于图1所示的无人机，中继点生成装置500包括：
预测模块501，用于预测目标在下一时刻的状态，其中，所述目标在所述下一时刻的状态包括所述目标在所述下一时刻的位置和速度；
搜索范围建立模块502，用于根据所述目标在所述下一时刻的状态，在所述目标周围建立搜索范围；
采样模块503，用于在所述搜索范围内采样，以获得至少两个位置采样点；
中继点确认模块504，用于根据所述目标在所述下一时刻的状态和所述至少两个位置采样点，确定所述无人机在所述下一时刻的中继点。
本发明实施例通过预测目标下一时刻的状态，并根据目标下一时刻的状态在目标周围建立搜索范围、获得搜索范围内的至少两个位置采样点，然后根据目标下一时刻的状态和所述至少两个位置采样点，确定无人机在下一时刻的经行中继点。仅规划无人机下一时刻的经行中继点，而非一段路径，相对来说简单易行，简化了算法、延时较小。
在其中一些实施例中，预测模块501具体用于：
获取所述目标在当前时刻的位置、速度和加速度；
根据所述目标在当前时刻的位置、速度和加速度，估计所述目标在所述下一时刻的状态。
在其中一些实施例中，预测模块501具体用于：
获取所述目标在当前时刻的位置、在所述当前时刻前至少两个时刻的位置和时间戳；
根据所述目标在当前时刻的位置、在所述当前时刻前至少两个时刻的位置和时间戳，获取所述目标在当前时刻的速度和加速度。
在其中一些实施例中，搜索范围建立模块502具体用于：
获取所述无人机的初始跟踪距离；
以所述目标在所述下一时刻的位置为球心，以所述无人机的初始跟踪距离为半径建立所述搜索范围，其中，所述搜索范围为半球面，且位 于所述目标所在平面的上方。
在其中一些实施例中，采样模块503具体用于：
确定采样步长；
对所述搜索范围建立坐标系，所述坐标系包括Z轴和与所述Z轴垂直的X轴；
分别在与所述Z轴呈φ角和与所述X轴呈θ角的范围内，以所述采样步长进行采样，以获得所述至少两个位置采样点，其中，φ∈[0,π/2]，θ∈[0,2π]。
在其中一些实施例中，采样模块503具体用于：
获取环境地图的分辨率，其中，所述环境地图的分别率是指在所述无人机的路径规划***中使用的环境地图的分辨率；
获取所述无人机的初始跟踪距离；
确定所述采样步长为所述环境地图的分辨率与所述初始跟踪距离的比值。
在其中一些实施例中，中继点确认模块504具体用于：
计算所述至少两个位置采样点中，每一个位置采样点的得分；
确定得分最高的位置采样点为所述中继点。
在其中一些实施例中，中继点确认模块504具体用于：
采用以下公式计算所述得分：
Figure PCTCN2019128061-appb-000018
其中，d i为第i个位置采样点距离最近的障碍物的距离，d i＝min(d i,d s)，d s为安全距离阈值，v为所述目标在下一时刻的速度，θ i为所述目标在下一时刻的速度方向的反方向与X轴的夹角，
Figure PCTCN2019128061-appb-000019
是第i个位置采样点与Z轴的夹角，
Figure PCTCN2019128061-appb-000020
为所述无人机的相机在初始跟踪时的俯仰角。
在其中一些实施例中，中继点确认模块504具体用于：
确定初始搜索位置；
以所述初始搜索位置为圆心，分别以所述采样步长的整数倍为半径在所述搜索范围内进行环形搜索，以得到所述得分最高的位置采样点。
在其中一些实施例中，所述初始搜索位置的坐标为(
Figure PCTCN2019128061-appb-000021
θ 0)，其中，
Figure PCTCN2019128061-appb-000022
为启动跟踪***时所述无人机与所述目标的连线与Z轴的夹角，θ 0为所述无人机的当前位置与所述目标在下一时刻的位置的连线与X轴的夹角。
需要说明的是，上述装置可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在装置实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
图6是本发明无人机的一个实施例中路径规划***50中控制器51的硬件结构示意图，如图6所示，控制器51包括：
一个或多个处理器51a以及存储器51b，图6中以一个处理器51a为例。
处理器51a和存储器51b可以通过总线或者其他方式连接，图6中以通过总线连接为例。
存储器51b作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的中继点生成方法对应的程序指令/模块(例如，附图5所示的预测模块501、搜索范围建立模块502、采样模块503和中继点确认模块504)。处理器51a通过运行存储在存储器51b中的非易失性软件程序、指令以及模块，从而执行控制器的各种功能应用以及数据处理，即实现上述方法实施例的中继点生成方法。
存储器51b可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储根据控制器的使用所创建的数据等。此外，存储器51b可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器51b可选包括相对于处理器51a远程设置的存储器，这些远程存储器可以通过网络连接至中继点生成装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
所述一个或者多个模块存储在所述存储器51b中，当被所述一个或 者多个处理器51a执行时，执行上述任意方法实施例中的中继点生成方法，例如，执行以上描述的图3中的方法步骤101至步骤104；实现图5中的模块501-504的功能。
上述产品可执行本申请实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本申请实施例所提供的方法。
本申请实施例提供了一种非易失性计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个处理器执行，例如图6中的一个处理器51a，可使得上述一个或多个处理器可执行上述任意方法实施例中的中继点生成方法，例如，执行以上描述的图3中的方法步骤101至步骤104；实现图5中的模块501-504的功能。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
通过以上的实施例的描述，本领域普通技术人员可以清楚地了解到各实施例可借助软件加通用硬件平台的方式来实现，当然也可以通过硬件。本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(RandomAccessMemory,RAM)等。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；在本发明的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，步骤可以以任意顺序实现，并存在如上所述的 本发明的不同方面的许多其它变化，为了简明，它们没有在细节中提供；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (22)

  1. 一种中继点生成方法，所述方法用于无人机，其特征在于，所述方法包括：
    预测目标在下一时刻的状态，其中，所述目标在所述下一时刻的状态包括所述目标在所述下一时刻的位置和速度；
    根据所述目标在所述下一时刻的状态，在所述目标周围建立搜索范围；
    在所述搜索范围内采样，以获得至少两个位置采样点；
    根据所述目标在所述下一时刻的状态和所述至少两个位置采样点，确定所述无人机在所述下一时刻的中继点。
  2. 根据权利要求1所述的方法，其特征在于，所述预测目标下一时刻的状态，包括：
    获取所述目标在当前时刻的位置、速度和加速度；
    根据所述目标在当前时刻的位置、速度和加速度，估计所述目标在所述下一时刻的状态。
  3. 根据权利要求2所述的方法，其特征在于，所述获取所述目标在当前时刻的位置、速度和加速度，包括：
    获取所述目标在当前时刻的位置、在所述当前时刻前至少两个时刻的位置和时间戳；
    根据所述目标在当前时刻的位置、在所述当前时刻前至少两个时刻的位置和时间戳，获取所述目标在当前时刻的速度和加速度。
  4. 根据权利要求1-3中任一项所述的方法，其特征在于，所述根据所述目标在所述下一时刻的状态，在所述目标周围建立搜索范围，包括：
    获取所述无人机的初始跟踪距离；
    以所述目标在所述下一时刻的位置为球心，以所述无人机的初始跟踪距离为半径建立所述搜索范围，其中，所述搜索范围为半球面，且位于所述目标所在平面的上方。
  5. 根据权利要求4所述的方法，其特征在于，所述在所述搜索范围内采样，以获得至少两个位置采样点，包括：
    确定采样步长；
    对所述搜索范围建立坐标系，所述坐标系包括Z轴和与所述Z轴垂直的X轴；
    分别在与所述Z轴呈φ角和与所述X轴呈θ角的范围内，以所述采样步长进行采样，以获得所述至少两个位置采样点，其中，φ∈[0,π/2]，θ∈[0,2π]。
  6. 根据权利要求5所述的方法，其特征在于，所述确定所述采样步长，包括：
    获取环境地图的分辨率，其中，所述环境地图的分别率是指在所述无人机的路径规划***中使用的环境地图的分辨率；
    获取所述无人机的初始跟踪距离；
    确定所述采样步长为所述环境地图的分辨率与所述初始跟踪距离的比值。
  7. 根据权利要求5或6所述的方法，其特征在于，所述根据所述目标在所述下一时刻的状态和所述至少两个位置采样点，确定所述无人机在所述下一时刻的中继点，包括：
    计算所述至少两个位置采样点中，每一个位置采样点的得分；
    确定得分最高的位置采样点为所述中继点。
  8. 根据权利要求7所述的方法，其特征在于，所述计算所述至少两个位置采样点中，每一个位置采样点的得分，包括；
    采用以下公式计算所述得分：
    Figure PCTCN2019128061-appb-100001
    其中，d i为第i个位置采样点距离最近的障碍物的距离，d i＝min(d i,d s)，d s为安全距离阈值，v为所述目标在下一时刻的速度，θ i为所述目标在下一时刻的速度方向的反方向与X轴的夹角，
    Figure PCTCN2019128061-appb-100002
    是第i个位置采样点与Z轴的夹角，
    Figure PCTCN2019128061-appb-100003
    为所述无人机的相机在初始跟踪时的俯仰角。
  9. 根据权利要求7或8所述的方法，其特征在于，所述确定得分最高的位置采样点为所述中继点，包括：
    确定初始搜索位置；
    以所述初始搜索位置为圆心，分别以所述采样步长的整数倍为半径在所述搜索范围内进行环形搜索，以得到所述得分最高的位置采样点。
  10. 根据权利要求9所述的方法，其特征在于，所述初始搜索位置的坐标为
    Figure PCTCN2019128061-appb-100004
    其中，
    Figure PCTCN2019128061-appb-100005
    为启动跟踪***时所述无人机与所述目标的连线与Z轴的夹角，θ 0为所述无人机的当前位置与所述目标在下一时刻的位置的连线与X轴的夹角。
  11. 一种中继点生成装置，所述装置用于无人机，其特征在于，所述装置包括：
    预测模块，用于预测目标在下一时刻的状态，其中，所述目标在所述下一时刻的状态包括所述目标在所述下一时刻的位置和速度；
    搜索范围建立模块，用于根据所述目标在所述下一时刻的状态，在所述目标周围建立搜索范围；
    采样模块，用于在所述搜索范围内采样，以获得至少两个位置采样点；
    中继点确认模块，用于根据所述目标在所述下一时刻的状态和所述至少两个位置采样点，确定所述无人机在所述下一时刻的中继点。
  12. 根据权利要求11所述的装置，其特征在于，所述预测模块具体用于：
    获取所述目标在当前时刻的位置、速度和加速度；
    根据所述目标在当前时刻的位置、速度和加速度，估计所述目标在所述下一时刻的状态。
  13. 根据权利要求12所述的装置，其特征在于，所述预测模块具体用于：
    获取所述目标在当前时刻的位置、在所述当前时刻前至少两个时刻的位置和时间戳；
    根据所述目标在当前时刻的位置、在所述当前时刻前至少两个时刻的位置和时间戳，获取所述目标在当前时刻的速度和加速度。
  14. 根据权利要求11-13中任一项所述的装置，其特征在于，所述搜索范围建立模块具体用于：
    获取所述无人机的初始跟踪距离；
    以所述目标在所述下一时刻的位置为球心，以所述无人机的初始跟踪距离为半径建立所述搜索范围，其中，所述搜索范围为半球面，且位于所述目标所在平面的上方。
  15. 根据权利要求14所述的装置，其特征在于，所述采样模块具体用于：
    确定采样步长；
    对所述搜索范围建立坐标系，所述坐标系包括Z轴和与所述Z轴垂直的X轴；
    分别在与所述Z轴呈φ角和与所述X轴呈θ角的范围内，以所述采样步长进行采样，以获得所述至少两个位置采样点，其中，φ∈[0,π/2]，θ∈[0,2π]。
  16. 根据权利要求15所述的装置，其特征在于，所述采样模块具 体用于：
    获取环境地图的分辨率，其中，所述环境地图的分别率是指在所述无人机的路径规划***中使用的环境地图的分辨率；
    获取所述无人机的初始跟踪距离；
    确定所述采样步长为所述环境地图的分辨率与所述初始跟踪距离的比值。
  17. 根据权利要求15或16所述的装置，其特征在于，所述中继点确认模块具体用于：
    计算所述至少两个位置采样点中，每一个位置采样点的得分；
    确定得分最高的位置采样点为所述中继点。
  18. 根据权利要求17所述的装置，其特征在于，所述中继点确认模块具体用于：
    采用以下公式计算所述得分：
    Figure PCTCN2019128061-appb-100006
    其中，d i为第i个位置采样点距离最近的障碍物的距离，d i＝min(d i,d s)，d s为安全距离阈值，v为所述目标在下一时刻的速度，θ i为所述目标在下一时刻的速度方向的反方向与X轴的夹角，
    Figure PCTCN2019128061-appb-100007
    是第i个位置采样点与Z轴的夹角，
    Figure PCTCN2019128061-appb-100008
    为所述无人机的相机在初始跟踪时的俯仰角。
  19. 根据权利要求17或18所述的装置，其特征在于，所述中继点确认模块具体用于：
    确定初始搜索位置；
    以所述初始搜索位置为圆心，分别以所述采样步长的整数倍为半径在所述搜索范围内进行环形搜索，以得到所述得分最高的位置采样点。
  20. 根据权利要求19所述的装置，其特征在于，所述初始搜索位 置的坐标为
    Figure PCTCN2019128061-appb-100009
    其中，
    Figure PCTCN2019128061-appb-100010
    为启动跟踪***时所述无人机与所述目标的连线与Z轴的夹角，θ 0为所述无人机的当前位置与所述目标在下一时刻的位置的连线与X轴的夹角。
  21. 一种无人机，其特征在于，所述无人机包括机身、与所述机身相连的机臂、设于所述机臂的动力***、设置于所述机身的跟踪***、飞控***、视觉***和路径规划***；其中，所述路径规划***包括控制器，所述控制器包括：
    至少一个处理器；以及，
    与所述至少一个处理器通信连接的存储器；其中，
    所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-10任一项所述的方法。
  22. 一种非易失性计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，当所述计算机可执行指令被无人机执行时，使所述无人机执行如权利要求1-10任一项所述的方法。
PCT/CN2019/128061 2018-12-24 2019-12-24 一种中继点生成方法、装置和无人机 WO2020135449A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP19906126.8A EP3893078A4 (en) 2018-12-24 2019-12-24 RELAY POINT GENERATION METHOD AND APPARATUS, AND UNMANNED AERIAL VEHICLE
US17/356,682 US11982758B2 (en) 2018-12-24 2021-06-24 Relay point generation method and apparatus, and unmanned aerial vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811583143.4A CN109508036B (zh) 2018-12-24 2018-12-24 一种中继点生成方法、装置和无人机
CN201811583143.4 2018-12-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/356,682 Continuation US11982758B2 (en) 2018-12-24 2021-06-24 Relay point generation method and apparatus, and unmanned aerial vehicle

Publications (1)

Publication Number Publication Date
WO2020135449A1 true WO2020135449A1 (zh) 2020-07-02

Family

ID=65754470

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/128061 WO2020135449A1 (zh) 2018-12-24 2019-12-24 一种中继点生成方法、装置和无人机

Country Status (4)

Country Link
US (1) US11982758B2 (zh)
EP (1) EP3893078A4 (zh)
CN (1) CN109508036B (zh)
WO (1) WO2020135449A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109508036B (zh) 2018-12-24 2020-12-18 深圳市道通智能航空技术有限公司 一种中继点生成方法、装置和无人机
CN110262567B (zh) * 2019-06-27 2022-04-15 深圳市道通智能航空技术股份有限公司 一种路径中继点空间生成方法、装置和无人机
CN114442674A (zh) * 2020-11-04 2022-05-06 北京猎户星空科技有限公司 目标跟踪方法、装置、电子设备和计算机可读存储介质
CN114189872B (zh) * 2021-12-08 2022-11-29 香港中文大学（深圳） 无人机中继服务位置的确定方法与装置
CN117119471B (zh) * 2023-10-25 2024-01-23 香港中文大学（深圳） 一种在多用户位置未知环境下的中继无人机部署方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168378A (zh) * 2016-03-08 2017-09-15 张立秀 一种自动寻找目标物的***及方法
CN107992068A (zh) * 2017-11-29 2018-05-04 天津聚飞创新科技有限公司 目标跟踪方法、装置及飞行器
US20180158197A1 (en) * 2016-12-01 2018-06-07 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
CN108445908A (zh) * 2018-05-09 2018-08-24 中国海洋大学 基于时间最优的无人机跟踪水上目标的方法
CN108549410A (zh) * 2018-01-05 2018-09-18 灵动科技（北京）有限公司 主动跟随方法、装置、电子设备及计算机可读存储介质
CN109508036A (zh) * 2018-12-24 2019-03-22 深圳市道通智能航空技术有限公司 一种中继点生成方法、装置和无人机

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2632072B1 (fr) * 1985-08-02 1990-11-16 Thomson Csf Procede et dispositif de detection de prochaine interposition de masque entre un avion et une cible, notamment dans un systeme de tir aux armes guidees par laser
RU2236707C1 (ru) * 2003-01-13 2004-09-20 Сухолитко Валентин Афанасьевич Способ управления воздушным движением
CN103149939B (zh) * 2013-02-26 2015-10-21 北京航空航天大学 一种基于视觉的无人机动态目标跟踪与定位方法
CN104881650A (zh) * 2015-05-29 2015-09-02 成都通甲优博科技有限责任公司 一种基于无人机动平台的车辆跟踪方法
US10140719B2 (en) * 2016-12-22 2018-11-27 TCL Research America Inc. System and method for enhancing target tracking via detector and tracker fusion for unmanned aerial vehicles
US20180357343A1 (en) * 2017-06-12 2018-12-13 General Electric Company Optimization methods for physical models
CN108010052A (zh) * 2017-10-13 2018-05-08 西安天和防务技术股份有限公司 复杂场景中的目标跟踪方法及***、存储介质及电子终端
CN108986138A (zh) * 2018-05-24 2018-12-11 北京飞搜科技有限公司 目标跟踪方法及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107168378A (zh) * 2016-03-08 2017-09-15 张立秀 一种自动寻找目标物的***及方法
US20180158197A1 (en) * 2016-12-01 2018-06-07 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
CN107992068A (zh) * 2017-11-29 2018-05-04 天津聚飞创新科技有限公司 目标跟踪方法、装置及飞行器
CN108549410A (zh) * 2018-01-05 2018-09-18 灵动科技（北京）有限公司 主动跟随方法、装置、电子设备及计算机可读存储介质
CN108445908A (zh) * 2018-05-09 2018-08-24 中国海洋大学 基于时间最优的无人机跟踪水上目标的方法
CN109508036A (zh) * 2018-12-24 2019-03-22 深圳市道通智能航空技术有限公司 一种中继点生成方法、装置和无人机

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3893078A4 *

Also Published As

Publication number Publication date
CN109508036A (zh) 2019-03-22
CN109508036B (zh) 2020-12-18
EP3893078A4 (en) 2022-01-26
EP3893078A1 (en) 2021-10-13
US20210325503A1 (en) 2021-10-21
US11982758B2 (en) 2024-05-14

Similar Documents

Publication Publication Date Title
WO2020135449A1 (zh) 一种中继点生成方法、装置和无人机
US11604479B2 (en) Methods and system for vision-based landing
US20210065400A1 (en) Selective processing of sensor data
US20210072745A1 (en) Systems and methods for uav flight control
US10565732B2 (en) Sensor fusion using inertial and image sensors
KR102010568B1 (ko) 다수의 무인비행체 시스템과 군집 지능을 사용한 현실 ３ｄ 공간 탐색 시스템 및 방법
WO2016187757A1 (en) Sensor fusion using inertial and image sensors
WO2020103034A1 (zh) 一种无人机路径规划方法、装置及无人机
WO2016187759A1 (en) Sensor fusion using inertial and image sensors
US10409293B1 (en) Gimbal stabilized components for remotely operated aerial vehicles
EP3734394A1 (en) Sensor fusion using inertial and image sensors
WO2018120350A1 (zh) 对无人机进行定位的方法及装置
WO2020048365A1 (zh) 飞行器的飞行控制方法、装置、终端设备及飞行控制***
WO2022126397A1 (zh) 传感器的数据融合方法、设备及存储介质
WO2020062255A1 (zh) 拍摄控制方法和无人机
CN110262567B (zh) 一种路径中继点空间生成方法、装置和无人机
JP7031997B2 (ja) 飛行体システム、飛行体、位置測定方法、プログラム
CN111601037A (zh) 一种跟拍***、方法、装置及存储介质
WO2022094808A1 (zh) 拍摄控制方法、装置、无人机、设备及可读存储介质
CN118092465A (zh) 一种无人机航行控制方法及***

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19906126

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019906126

Country of ref document: EP

Effective date: 20210708