WO2022160101A1 - 朝向估计方法、装置、可移动平台及可读存储介质 - Google Patents

朝向估计方法、装置、可移动平台及可读存储介质 Download PDF

Info

Publication number
WO2022160101A1
WO2022160101A1 PCT/CN2021/073835 CN2021073835W WO2022160101A1 WO 2022160101 A1 WO2022160101 A1 WO 2022160101A1 CN 2021073835 W CN2021073835 W CN 2021073835W WO 2022160101 A1 WO2022160101 A1 WO 2022160101A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
target area
vanishing point
point
target object
Prior art date
Application number
PCT/CN2021/073835
Other languages
English (en)
French (fr)
Inventor
栗培梁
蒋卓键
陈晓智
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to PCT/CN2021/073835 priority Critical patent/WO2022160101A1/zh
Publication of WO2022160101A1 publication Critical patent/WO2022160101A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • the present application relates to the technical field of target detection, and in particular, to an orientation estimation method, device, movable platform and readable storage medium.
  • the orientation estimation of the target object is one of the sub-tasks of target detection. It is mainly used to estimate the orientation of surrounding objects. In the field of automatic driving, the motion state of the object can be determined by the orientation of the surrounding objects, which is convenient for intelligent driving vehicles to perform path planning and obstacle avoidance. .
  • the orientation estimation task of the target object is mainly realized through the end-to-end regression of the detection network.
  • the end-to-end regression of the detection network depends on the mapping of the object shape established in the network training phase to the continuous orientation angle, which is strongly dependent on the training samples. The ability and robustness are poor, and the orientation of the target object cannot be accurately estimated if it encounters a special scene or a special-shaped target.
  • the embodiments of the present application provide an orientation estimation method, apparatus, movable platform, and readable storage medium, which aim to achieve accurate orientation estimation for special scenes or special-shaped targets.
  • an embodiment of the present application provides an orientation estimation method, including:
  • a target orientation of the target object is determined from the plurality of orientations.
  • an embodiment of the present application further provides an orientation estimation apparatus, where the orientation estimation apparatus includes a memory and a processor;
  • the memory is used to store computer programs
  • the processor is configured to execute the computer program and implement the following steps when executing the computer program:
  • a target orientation of the target object is determined from the plurality of orientations.
  • an embodiment of the present application further provides a movable platform, wherein the movable platform includes:
  • a power system arranged on the platform body, for providing moving power for the movable platform
  • a photographing device arranged on the platform body, for collecting images
  • the above-mentioned orientation estimation device is provided in the platform body, and is used for estimating the orientation of the target object.
  • an embodiment of the present application further provides a computer-readable storage medium, where the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the processor implements the above-mentioned Steps towards the estimation method.
  • the embodiments of the present application provide an orientation estimation method, device, movable platform, and readable storage medium.
  • acquiring a target area corresponding to a target object on a feature map and determining multiple orientations corresponding to the target area, then determining each Facing the vanishing point in the feature map, and determining multiple line segments between each vanishing point and the target area, and finally determining the target object from multiple orientations according to the multiple line segments between each vanishing point and the target area.
  • the orientation of the target can be accurately estimated in a special scene or a special-shaped target, and the accuracy of the orientation estimation can be improved.
  • FIG. 1 is a schematic diagram of a scenario in which an orientation estimation direction provided by an embodiment of the present application is implemented
  • FIG. 2 is a schematic diagram of another scenario for implementing the method for determining state information provided by an embodiment of the present application
  • FIG. 3 is a schematic flowchart of steps of an orientation estimation method provided by an embodiment of the present application.
  • FIG. 4 is a schematic diagram of a target area of a target object in an embodiment of the present application.
  • FIG 5 is another schematic diagram of the target area of the target object in the embodiment of the present application.
  • FIG. 6 is a schematic diagram of a line segment toward a corresponding vanishing point and a target object in an embodiment of the present application
  • FIG. 7 is a schematic diagram of a line segment between a vanishing point and a target area in an embodiment of the present application.
  • FIG. 8 is another schematic diagram of the line segment between the vanishing point and the target area in the embodiment of the present application.
  • FIG. 9 is a schematic flowchart of sub-steps of the orientation estimation method in FIG. 3;
  • FIG. 10 is another schematic diagram of the line segment between the vanishing point and the target area in the embodiment of the present application.
  • FIG. 11 is a schematic diagram of a first response graph in an embodiment of the present application.
  • Fig. 12 is another schematic diagram of the first response graph in the embodiment of the present application.
  • FIG. 13 is a schematic diagram of first probability distribution information in an embodiment of the present application.
  • FIG. 15 is a schematic block diagram of the structure of an orientation estimation apparatus provided by an embodiment of the present application.
  • FIG. 16 is a schematic structural block diagram of a movable platform provided by an embodiment of the present application.
  • the orientation estimation of the target object is one of the sub-tasks of target detection. It is mainly used to estimate the orientation of surrounding objects. In the field of automatic driving, the motion state of the object can be determined by the orientation of the surrounding objects, which is convenient for intelligent driving vehicles to perform path planning and obstacle avoidance. .
  • the orientation estimation task of the target object is mainly realized through the end-to-end regression of the detection network.
  • the end-to-end regression of the detection network depends on the mapping of the object shape established in the network training phase to the continuous orientation angle, which is strongly dependent on the training samples. The ability and robustness are poor, and the orientation of the target object cannot be accurately estimated if it encounters a special scene or a special-shaped target.
  • the embodiments of the present application provide an orientation estimation method, device, movable platform, and readable storage medium. , and then determine the vanishing point of each orientation in the feature map, and determine multiple line segments between each vanishing point and the target area, and finally, according to the multiple line segments between each vanishing point and the target area, from multiple orientations
  • the target orientation of the target object is determined in the middle, so that the orientation of the special scene or the special-shaped target can be accurately estimated, and the accuracy of the orientation estimation can be improved.
  • the orientation estimation method can be applied to a movable platform, and the movable platform includes a drone, a robot, an unmanned ship, an intelligent driving car, and the like.
  • FIG. 1 is a schematic diagram of a scenario for implementing the orientation estimation direction provided by the embodiment of the present application.
  • the intelligent driving car 100 includes a car body 110 , a sensor 120 provided on the car body 110 , and a power system 130 provided on the car body 110 .
  • the sensor 120 is used for sensing objects around the intelligent driving car 100 to generate sensing data including image data
  • the power system 130 is used for providing the moving power for the intelligent driving car 100 .
  • the sensor 120 includes a vision sensor, a radar device, an inertial measurement unit, and an odometer.
  • the radar device may include a lidar and a millimeter-wave radar.
  • the vision sensor may be a monocular vision sensor or a multi-eye vision sensor.
  • the intelligent driving vehicle 100 may include one or more radar devices. Taking lidar as an example, lidar can obtain laser point clouds by emitting laser beams to detect the position, speed and other information of objects in an environment. Lidar can transmit detection signals to the environment including the target object, and then receive the reflected signal reflected from the target object, and obtain laser light according to the reflected detection signal, the received reflected signal, and data parameters such as the interval time between sending and receiving. point cloud.
  • the laser point cloud can include N points, and each point can include parameters such as x, y, z coordinates and intensity (reflectivity).
  • the intelligent driving car 100 further includes an orientation estimation device (not shown in FIG. 1 ), and the orientation estimation device is used to obtain a target area corresponding to the target object on the feature map, and to determine multiple orientations corresponding to the target area; Determine the vanishing point of each direction in the feature map, and determine a plurality of line segments between each vanishing point and the target area; according to the plurality of line segments between each vanishing point and the target area, from the plurality of directions Determine the target orientation of the target object, so as to realize the accurate estimation of the orientation of special scenes or special-shaped targets, improve the accuracy of orientation estimation, and enable the intelligent driving car to plan its own driving based on the accurate orientation of the surrounding target objects, thereby ensuring that Safe driving of intelligent driving car 100.
  • an orientation estimation device not shown in FIG. 1
  • the orientation estimation device is used to obtain a target area corresponding to the target object on the feature map, and to determine multiple orientations corresponding to the target area; Determine the vanishing point of each direction in the feature map, and determine
  • the target area refers to an area containing at least part of the target object, for example, it may be a frame selection area.
  • the feature map is a two-dimensional image
  • the target area is a two-dimensional frame selection area.
  • FIG. 2 is a schematic diagram of another scenario for implementing the method for determining state information provided by an embodiment of the present application.
  • the drone 200 includes a body 210 , a sensor 220 arranged on the body 210 and a power system 230 arranged on the body 210 .
  • the sensor 220 is used to sense the target around the drone 200 to generate Sensing data
  • the power system 230 is used to provide flight power for the drone 200 .
  • one or more of the power systems 230 in the horizontal direction may rotate in a clockwise direction, and one or more of the power systems 230 in the horizontal direction may rotate in a counterclockwise direction.
  • the rotational rate of each power system 230 in the horizontal direction can be varied independently to achieve the lift and/or push operation caused by each power system 230 to adjust the spatial orientation, velocity and/or acceleration of the UAV 200 (eg, relative to up to three degrees of freedom for rotation and translation).
  • the power system 230 enables the drone 200 to take off from the ground vertically, or to land vertically on the ground, without any horizontal movement of the drone 200 (eg, without taxiing on a runway).
  • the power system 230 may allow the drone 200 to preset positions and/or turn the steering wheel in the air.
  • One or more of the power systems 230 may be controlled independently of the other power systems 230 .
  • one or more power systems 230 may be controlled simultaneously.
  • the drone 200 may have multiple horizontally oriented power systems 230 to track the lift and/or push of the target.
  • the horizontally oriented power system 230 may be actuated to provide the ability of the drone 200 to take off vertically, land vertically, and hover.
  • the UAV 200 further includes an orientation estimation device (not shown in FIG. 1 ), and the orientation estimation device is used to obtain a target area corresponding to the target object on the feature map, and to determine multiple orientations corresponding to the target area; Determine the vanishing point of each direction in the feature map, and determine a plurality of line segments between each vanishing point and the target area; according to the plurality of line segments between each vanishing point and the target area, from the plurality of directions Determine the target orientation of the target object, so as to accurately estimate the orientation of special scenes or alien targets, improve the accuracy of orientation estimation, and enable the UAV to plan its own flight based on the accurate orientation of surrounding target objects, thereby ensuring Safe flight of drones.
  • an orientation estimation device not shown in FIG. 1
  • the orientation estimation device is used to obtain a target area corresponding to the target object on the feature map, and to determine multiple orientations corresponding to the target area; Determine the vanishing point of each direction in the feature map, and determine a plurality of line segments between each vanishing
  • the orientation estimation method provided by the embodiments of the present application will be described in detail with reference to the scenario in FIG. 1 or FIG. 2 .
  • the scenario in FIG. 1 is only used to explain the orientation estimation method provided by the embodiment of the present application, but does not constitute a limitation on the application scenario of the orientation estimation method provided by the embodiment of the present application.
  • FIG. 3 is a schematic flowchart of steps of an orientation estimation method provided by an embodiment of the present application.
  • the orientation estimation method is used to accurately estimate the orientation of a special scene or an alien target.
  • the orientation estimation method may include steps S101 to S103.
  • Step S101 obtaining the target area corresponding to the target object on the feature map, and determining multiple orientations corresponding to the target area;
  • Step S102 determining the vanishing point of each of the orientations in the feature map, and determining a plurality of line segments between each of the vanishing points and the target area;
  • Step S103 Determine a target orientation of the target object from the multiple orientations according to multiple line segments between each of the vanishing points and the target area.
  • the orientation of the target object refers to the angle of the target object relative to the movable platform.
  • the target area corresponding to the target object on the feature map may include the entire target object or at least part of the target object.
  • the target object may include vehicles, Pedestrians, roads, etc.
  • an image corresponding to the target object is obtained; a feature map corresponding to the image is obtained, and a target area of the target object on the feature map is obtained. Further, a target area corresponding to at least a partial area of the target object on the feature map is obtained.
  • the image corresponding to the target object is input into the preset target detection model, and a feature map corresponding to the image can be obtained, the feature map includes the target area of the target object, the image can include at least part of the target object, and the target object is in the feature map.
  • the target area corresponding to the above can include the entire target object, or at least part of the target object.
  • the target object corresponding to the target area on the feature map can be one or multiple.
  • the preset target detection model is pre-trained Convolutional Neural Networks. As shown in FIG. 4 , the target area 12 of the target object 11 includes the entire target object 11 , and as shown in FIG. 5 , the target area 14 of the target object 13 includes a partial area of the target object 13 .
  • the target area is input into a pre-trained deep neural network to optimize the target area; multiple orientations corresponding to the optimized target area are determined; Determine the vanishing point of each orientation in the feature map, and determine multiple line segments between each vanishing point and the optimized target area; according to the multiple line segments between each vanishing point and the optimized target area, from The target direction of the target object is determined from among the plurality of directions.
  • the manner of determining the multiple orientations corresponding to the target area may be: determining multiple orientations corresponding to the target area from a preset angle range, wherein the angle difference between adjacent orientations in the multiple orientations is same.
  • the preset angle range includes at least one of the following: 0° to 180° and 0 to 360°.
  • the preset angle range may also include other angle ranges, and the sampling angle between adjacent orientations may be set based on the actual situation , which is not specifically limited in this application.
  • the preset angle range is 0° to 180°, and the sampling angle is 6°
  • 30 orientations corresponding to the target area can be obtained, and these 30 orientations are 0°, 6°, 12°, 18°, 24°, 30°, ..., 168°, 174°, 180°.
  • the preset angle range is 0° to 180°, and the sampling angle is 3°
  • 60 orientations corresponding to the target area can be obtained, and the 60 orientations are 0°, 3°, 6°, and 9° respectively.
  • 12°, ..., 171°, 174°, 177°, 180° In order to improve the accuracy of orientation estimation, multiple orientations corresponding to the target area can be enumerated as much as possible.
  • the vanishing point may include a first vanishing point and a second vanishing point, the first vanishing point is the vanishing point corresponding to the first line segment on the target object, and the second vanishing point is the second line segment of the target object.
  • the length of the first line segment is greater than the length of the second line segment, and the first line segment is substantially perpendicular to the second line segment.
  • the determined vanishing point includes the first vanishing point and the second vanishing point
  • the determined vanishing point only includes the first vanishing point or the second vanishing point vanishing point. As shown in FIG.
  • the first line segment of the target object 11 is the line segment between the endpoint 22 and the endpoint 23
  • the first vanishing point corresponding to the first line segment is the endpoint 21
  • the second line segment of the target object 11 is the endpoint 23
  • the line segment between the end point 24, and the second vanishing point corresponding to the second line segment is the end point 25, that is, the first line segment is the line segment corresponding to the long sides of the left and right sides of the target object
  • the second line segment is the short side of the front and rear sides of the target object.
  • the line segment corresponding to the edge is the first line segment of the edge.
  • the method of determining the vanishing point of each orientation in the feature map may be: obtaining the focal length of the photographing device, the pixel coordinates of the optical center, and the pitch angle of the photographing device; The angle and the corresponding angle of each orientation determine the vanishing point of each orientation in the feature map.
  • the focal length of the photographing device, the pixel coordinates of the optical center and the pitch angle of the photographing device can be calibrated in advance and stored in the movable platform.
  • the direction toward the corresponding first vanishing point can be expressed as:
  • the direction toward the corresponding second vanishing point can be expressed as:
  • f is the focal length of the photographing device
  • pitch is the pitch angle of the photographing device
  • orien is the corresponding angle toward the direction
  • cx and cy are the pixel coordinates of the optical center of the photographing device, and it can be seen from the expression formula of the vanishing point that the vanishing point is only It is related to the orientation of the target object and has nothing to do with the position and size of the target object.
  • the manner of determining the plurality of line segments between the vanishing point and the target area may be: determining a target boundary from the target area according to the pixel coordinates of the vanishing point, and the target boundary includes a first corner point and a second corner point; Starting from the first corner point, select sampling points on the boundary ray where the target boundary is located, until the line segment between the selected sampling point and the vanishing point passes through the third corner point of the target area; Points are connected to obtain multiple line segments between the vanishing point and the target area.
  • the constraint relationship between the first corner point, the second corner point and the third angle includes: the distance between the first corner point and the vanishing point is smaller than the distance between the second corner point and the vanishing point, and the first corner point
  • the ordinate is the same as the ordinate of the second corner point
  • the multiple line segments corresponding to each vanishing point can cover the target area
  • the distance between the second corner point and the vanishing point is greater than the distance between the third corner point and the vanishing point
  • the abscissa of the second corner point is the same as the abscissa of the third corner point
  • the sampling distances of adjacent sampling points in the selected multiple sampling points are equal.
  • a sampling point is selected on the boundary ray where the target boundary is located at a preset sampling distance, until the line segment between the selected sampling point and the vanishing point passes through the third corner point of the target area.
  • the sampling distance may be set based on the actual situation, which is not specifically limited in this embodiment of the present application.
  • the sampling points on the boundary ray where the target boundary is located can be enumerated as much as possible, that is, as many line segments between the vanishing point and the target area as possible can be enumerated.
  • the target area 14 of the target object 13 includes a partial area of the target object 13 , which can be calculated from FIG. 7 .
  • the distance between the vanishing point 31 and each corner point of the target area 14 may also be Knowing the pixel coordinates of each corner of the target area 14, based on the calculated distance, the pixel coordinates of each corner, and the above constraints, the first corner 32, the second corner 33, and the third angle 34 can be determined.
  • the boundary between a corner point 32 and the second angle 33 is the target boundary, and the boundary ray takes the first corner point 32 as the starting point, and the line segment between the selected sampling point 35 and the vanishing point 31 passes through the third corner of the target area 14 point 34, therefore, the selected multiple sampling points include the sampling points between the first corner point 32 and the sampling point 35, then each selected sampling point is connected with the vanishing point, and the vanishing point 31 and the target area can be obtained. 15 line segments between 14.
  • the target object includes a vehicle
  • the plurality of line segments between the vanishing point and the target area includes at least one line segment corresponding to a first line segment corresponding to a grounding line segment in the direction of the vehicle.
  • the line segment between the vanishing point 31 and the sampling point 36 corresponds to the first line segment 37
  • the first line segment 37 corresponds to the direction of the vehicle
  • the direction of the ground line segment corresponds.
  • step S103 may include sub-steps S1031 to S1033.
  • Sub-step S1031 Determine the response value of the line segment according to some of the line segments located in the target area and the feature map.
  • multiple sampling points are selected from some sub-line segments, and the response value of each sampling point is obtained from the feature map; and the response value of the line segment is determined according to the response value of each sampling point.
  • the sampling distance between adjacent sampling points in the plurality of sampling points is equal, and the sampling distance may be set based on the actual situation, which is not specifically limited in this embodiment of the present application.
  • an average response value may be calculated based on the response value of each sampling point, and the calculated average response value may be determined as the response value of the line segment.
  • part of the sub-line segment located in the target area 14 is the solid line part of the line segment, and between the vanishing point 31 and the sampling point 36 5 sampling points are selected on the molecular line segment located inside the target area 14 in the line segment of the for the remaining line segments.
  • Sub-step S1032 Determine probability distribution information of the multiple orientations according to the response value of each of the line segments.
  • a response map of the target object is generated according to the response value of each line segment; according to the response map, target probability distribution information of multiple orientations is determined.
  • the target probability distribution information is used to describe the probability or confidence that each of the multiple orientations is the final orientation.
  • the response graph includes the response value corresponding to the line segment, the vanishing point corresponding to the line segment, and the intersection point with the line segment and the ray boundary of the target area.
  • the multiple line segments between the vanishing point and the target area include multiple line segments corresponding to the first vanishing point and multiple line segments corresponding to the second vanishing point, and based on the response value of each line segment, the target object is generated.
  • the manner of the response graph may include: generating a first response graph of the target object according to the response values of the plurality of line segments corresponding to the first vanishing point; generating a second response graph of the target object according to the response values of the plurality of line segments corresponding to the second vanishing point. Response graph.
  • the first response graph may be as shown in FIG. 11
  • the second response graph may be as shown in FIG. 12 .
  • the method of determining the target probability distribution information of multiple orientations may be: determining the first probability distribution information of multiple orientations according to the first response map; second probability distribution information of multiple orientations; and determining target probability distribution information of multiple orientations according to the first probability distribution information and the second probability distribution information.
  • the first probability distribution information of multiple orientations obtained based on the first response map may be shown in FIG. 13
  • the second probability distribution information of multiple orientations obtained based on the second response map may be shown in FIG. 14 .
  • the method of determining the target probability distribution information of multiple orientations may be: weighting the first probability distribution information and the second probability distribution information, Obtain the target probability distribution information of multiple orientations, that is, determine the first product between the first probability distribution information and the first weighting coefficient, and determine the second product between the second probability distribution information and the second weighting coefficient, and determine the first product between the first probability distribution information and the second weighting coefficient.
  • the first product and the second product are summed to obtain target probability distribution information of multiple orientations.
  • the sum of the first weighting coefficient and the second weighting coefficient is 1, and the first weighting coefficient and the second weighting coefficient may be set based on the actual situation, which is not specifically limited in this embodiment of the present application.
  • Sub-step S1033 Determine a target orientation of the target object from the multiple orientations according to the target probability distribution information.
  • a direction with the highest probability is determined from a plurality of directions, and the direction with the highest probability is determined as the target direction of the target object.
  • the first probability distribution information or the second probability distribution information may be determined as the target probability distribution information of multiple orientations, so that the orientation estimation is not Displays the estimation that depends on the long side or the short side, that is, when the target area includes part of the target object, the orientation estimation can also be performed accurately.
  • the target area corresponding to the target object on the feature map is obtained, and multiple orientations corresponding to the target area are determined, and then the vanishing point of each orientation in the feature map is determined, and each vanishing point is determined.
  • There are multiple line segments between the point and the target area and finally, according to the multiple line segments between each vanishing point and the target area, the target orientation of the target object is determined from multiple orientations, so that the orientation of special scenes or alien targets can be realized. Accurate estimation to improve the accuracy of orientation estimation.
  • FIG. 15 is a schematic block diagram of the structure of an orientation estimation apparatus provided by an embodiment of the present application.
  • the orientation estimation apparatus 300 includes a processor 310 and a memory 320, and the processor 310 and the memory 320 are connected by a bus 330, such as an I2C (Inter-integrated Circuit) bus.
  • a bus 330 such as an I2C (Inter-integrated Circuit) bus.
  • the processor 310 may be a micro-controller unit (Micro-controller Unit, MCU), a central processing unit (Central Processing Unit, CPU), or a digital signal processor (Digital Signal Processor, DSP) or the like.
  • MCU Micro-controller Unit
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the memory 320 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, a mobile hard disk, and the like.
  • ROM Read-Only Memory
  • the memory 320 may be a Flash chip, a read-only memory (ROM, Read-Only Memory) magnetic disk, an optical disk, a U disk, a mobile hard disk, and the like.
  • the processor 310 is configured to run the computer program stored in the memory 320, and implement the following steps when executing the computer program:
  • a target orientation of the target object is determined from the plurality of orientations.
  • the plurality of line segments corresponding to each of the vanishing points can cover the target area.
  • the target area refers to an area containing at least part of the target object, for example, it may be a frame selection area.
  • the feature map is a two-dimensional image
  • the target area is a two-dimensional frame selection area.
  • the vanishing point includes a first vanishing point and a second vanishing point
  • the first vanishing point is a vanishing point corresponding to a first line segment on the target object
  • the second vanishing point is The vanishing point corresponding to the second line segment of the target object
  • the length of the first line segment is greater than the length of the second line segment
  • the first line segment is substantially perpendicular to the second line segment.
  • the processor determines the vanishing point of each of the orientations in the feature map, the processor is configured to:
  • the focal length the pixel coordinates of the optical center, the pitch angle and the angle corresponding to each orientation, the vanishing point of each orientation in the feature map is determined.
  • the processor determines the target orientation of the target object from the plurality of orientations according to a plurality of line segments between each of the vanishing points and the target area, the processor is configured to: accomplish:
  • the target direction of the target object is determined from the plurality of directions.
  • the processor when the processor determines the response value of the line segment according to some sub-line segments in the line segment located in the target area and the feature map, the processor is configured to:
  • the response value of the line segment is determined.
  • the sampling distances between adjacent sampling points in the plurality of sampling points are equal.
  • the processor when the processor determines the probability distribution information of the multiple orientations according to the response value of each of the line segments, the processor is configured to:
  • target probability distribution information of the plurality of orientations is determined.
  • the plurality of line segments between the vanishing point and the target area include a plurality of line segments corresponding to the first vanishing point and a plurality of line segments corresponding to the second vanishing point.
  • the processor when the processor generates the response graph of the target object according to the response value of each line segment, the processor is configured to:
  • a second response graph of the target object is generated according to the response values of the plurality of line segments corresponding to the second vanishing point.
  • the processor when the processor determines the target probability distribution information of the multiple orientations according to the response map, the processor is configured to:
  • target probability distribution information of the multiple orientations is determined.
  • the processor when the processor determines the target probability distribution information of the multiple orientations according to the first probability distribution information and the second probability distribution information, the processor is configured to:
  • the processor when the processor determines the target orientation of the target object from the plurality of orientations according to the target probability distribution information, the processor is configured to:
  • a direction with the highest probability is determined from the plurality of directions, and the direction with the highest probability is determined as the target direction of the target object.
  • the processor before obtaining the target area corresponding to the target object on the feature map, the processor is further configured to:
  • the processor When obtaining the target area corresponding to the target object on the feature map, the processor is used to achieve:
  • a feature map corresponding to the image is acquired, and a target area of the target object on the feature map is acquired.
  • the processor when the processor acquires the feature map corresponding to the image, it is configured to:
  • the preset target detection model Inputting the image into a preset target detection model to obtain a feature map, where the feature map includes a target area of the target object, and the preset target detection model is a pre-trained convolutional neural network.
  • the image includes at least a partial area of the target object.
  • the processor is further configured to:
  • the processor determines the multiple orientations corresponding to the target area, the processor is configured to:
  • a plurality of orientations corresponding to the optimized target area are determined.
  • the processor when the processor determines multiple orientations corresponding to the target area, the processor is configured to:
  • a plurality of orientations corresponding to the target area are determined from a preset angle range, wherein the angle difference between adjacent orientations in the multiple orientations is the same.
  • the preset angle range includes at least one of the following: 0° to 180°, and 0 to 360°.
  • the processor when the processor determines a plurality of line segments between the vanishing point and the target area, the processor is configured to:
  • the distance between the first corner point and the vanishing point is smaller than the distance between the second corner point and the vanishing point, and the ordinate of the first corner point is the same as the The ordinate of the second corner point is the same.
  • the distance between the second corner point and the vanishing point is greater than the distance between the third corner point and the vanishing point, and the abscissa of the second corner point is the same as the third corner point.
  • the abscissas of the triangle points are the same.
  • the sampling distances of adjacent sampling points among the plurality of selected sampling points are equal.
  • the processor when the processor acquires the target area corresponding to the target object on the feature map, the processor is configured to:
  • the target object includes a vehicle, and a plurality of line segments between the vanishing point and the target area includes at least one line segment corresponding to a first line segment, and the first line segment corresponds to the vehicle.
  • the direction of the ground line segment corresponds to.
  • FIG. 16 is a schematic structural block diagram of a movable platform provided by an embodiment of the present application.
  • the movable platform 400 includes:
  • the power system 420 is arranged on the platform body 410 and is used to provide moving power for the movable platform 400;
  • the photographing device 430 is arranged on the platform body 410 and is used for collecting images
  • the orientation estimation device 440 is provided in the platform body, and is used for estimating the orientation of the target object.
  • the orientation estimation apparatus 440 may be the orientation estimation apparatus in FIG. 15 , and the orientation estimation apparatus is also used to control the movable platform.
  • Embodiments of the present application further provide a computer-readable storage medium, where a computer program is stored in the computer-readable storage medium, the computer program includes program instructions, and the processor executes the program instructions, so as to realize the provision of the above embodiments.
  • the steps of the orientation estimation method are described in detail below.
  • the computer-readable storage medium may be an internal storage unit of the removable platform described in any of the foregoing embodiments, such as a hard disk or a memory of the removable platform.
  • the computer-readable storage medium can also be an external storage device of the removable platform, such as a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital) equipped on the removable platform , SD) card, flash memory card (Flash Card), etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

一种朝向估计方法、装置、可移动平台及可读存储介质，其中该方法包括：获取目标对象在特征图上对应的目标区域，并确定所述目标区域对应的多个朝向(S101)；确定每个所述朝向在所述特征图中的灭点，并确定每个所述灭点与所述目标区域之间的多个线段(S102)；根据每个所述灭点与所述目标区域之间的多个线段，从所述多个朝向中确定所述目标对象的目标朝向(S103)。该方法能够实现对特殊场景或者异形目标的朝向准确估计。

Description

朝向估计方法、装置、可移动平台及可读存储介质 技术领域
本申请涉及目标检测技术领域，尤其涉及一种朝向估计方法、装置、可移动平台及可读存储介质。
背景技术
目标对象的朝向估计是目标检测的子任务之一，主要用于估计周围物体的朝向，在自动驾驶领域，通过周围物体的朝向可以确定物体的运动状态，便于智能驾驶汽车进行路径规划和避障。目前，目标对象的朝向估计任务主要是通过检测网络的端到端回归实现，检测网络的端到端回归依赖于网络训练阶段建立的物体外形到连续朝向角度的映射，强依赖于训练样本，泛化能力和鲁棒性较差，如果遇到特殊场景或者异形目标，无法准确的估计目标对象的朝向。
发明内容
基于此，本申请实施例提供了一种朝向估计方法、装置、可移动平台及可读存储介质，旨在实现对特殊场景或者异形目标的朝向准确估计。
第一方面，本申请实施例提供了一种朝向估计方法，包括：
获取目标对象在特征图上对应的目标区域，并确定所述目标区域对应的多个朝向；
确定每个所述朝向在所述特征图中的灭点，并确定每个所述灭点与所述目标区域之间的多个线段；
根据每个所述灭点与所述目标区域之间的多个线段，从所述多个朝向中确定所述目标对象的目标朝向。
第二方面，本申请实施例还提供了一种朝向估计装置，所述朝向估计装置包括存储器和处理器；
所述存储器用于存储计算机程序；
所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
获取目标对象在特征图上对应的目标区域，并确定所述目标区域对应的多个朝向；
确定每个所述朝向在所述特征图中的灭点，并确定每个所述灭点与所述目 标区域之间的多个线段；
根据每个所述灭点与所述目标区域之间的多个线段，从所述多个朝向中确定所述目标对象的目标朝向。
第三方面，本申请实施例还提供了一种可移动平台，其特征在于，所述可移动平台包括：
平台本体：
动力***，设于所述平台本体上，用于为所述可移动平台提供移动动力；
拍摄装置，设于所述平台本体上，用于采集图像；
如上所述的朝向估计装置，设于所述平台本体内，用于估计目标对象的朝向。
第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如上所述的朝向估计方法的步骤。
本申请实施例提供了一种朝向估计方法、装置、可移动平台及可读存储介质，通过获取目标对象在特征图上对应的目标区域，并确定目标区域对应的多个朝向，然后确定每个朝向在特征图中的灭点，并确定每个灭点与目标区域之间的多个线段，最后根据每个灭点与目标区域之间的多个线段，从多个朝向中确定目标对象的目标朝向，从而可以实现对特殊场景或者异形目标的朝向准确估计，提高朝向估计的准确性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是实施本申请实施例提供的朝向估计方向的一场景示意图；
图2是实施本申请实施例提供的状态信息确定方法的另一场景示意图；
图3是本申请实施例提供的一种朝向估计方法的步骤示意流程图；
图4是本申请实施例中目标对象的目标区域的一示意图；
图5是本申请实施例中目标对象的目标区域的另一示意图；
图6是本申请实施例中朝向对应的灭点与目标对象上的线段的一示意图；
图7是本申请实施例中灭点与目标区域之间的线段的一示意图；
图8是本申请实施例中灭点与目标区域之间的线段的另一示意图；
图9是图3中的朝向估计方法的子步骤示意流程图；
图10是本申请实施例中灭点与目标区域之间的线段的另一示意图；
图11是本申请实施例中的第一响应图的一示意图；
图12是本申请实施例中的第一响应图的另一示意图；
图13是本申请实施例中的第一概率分布信息的示意图；
图14是本申请实施例中的第二概率分布信息的示意图；
图15是本申请实施例提供的一种朝向估计装置的结构示意性框图；
图16是本申请实施例提供的一种可移动平台的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际执行的顺序有可能根据实际情况改变。
下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
目标对象的朝向估计是目标检测的子任务之一，主要用于估计周围物体的朝向，在自动驾驶领域，通过周围物体的朝向可以确定物体的运动状态，便于智能驾驶汽车进行路径规划和避障。目前，目标对象的朝向估计任务主要是通过检测网络的端到端回归实现，检测网络的端到端回归依赖于网络训练阶段建立的物体外形到连续朝向角度的映射，强依赖于训练样本，泛化能力和鲁棒性较差，如果遇到特殊场景或者异形目标，无法准确的估计目标对象的朝向。
为解决上述问题，本申请实施例提供了一种朝向估计方法、装置、可移动平台及可读存储介质，通过获取目标对象在特征图上对应的目标区域，并确定目标区域对应的多个朝向，然后确定每个朝向在特征图中的灭点，并确定每个灭点与目标区域之间的多个线段，最后根据每个灭点与目标区域之间的多个线 段，从多个朝向中确定目标对象的目标朝向，从而可以实现对特殊场景或者异形目标的朝向准确估计，提高朝向估计的准确性。
在一实施例中，该朝向估计方法可以应用于可移动平台，可移动平台包括无人机、机器人、无人船和智能驾驶汽车等。请参阅图1，图1是实施本申请实施例提供的朝向估计方向的一场景示意图。如图1所示，智能驾驶汽车100包括汽车本体110、设于汽车本体110上的传感器120和设于汽车本体110上的动力***130。传感器120用于感测智能驾驶汽车100周围的目标物，以生成感测数据，该感测数据包括图像数据，动力***130用于为智能驾驶汽车100提供移动动力。
其中，传感器120包括视觉传感器、雷达装置、惯性测量单元和里程计，雷达装置可以包括激光雷达、毫米波雷达，视觉传感器可以为单目视觉传感器，也可以为多目视觉传感器。可选的，智能驾驶汽车100可以包括一个或多个雷达装置。以激光雷达为例，激光雷达可以通过发射激光束探测某个环境中物体的位置、速度等信息，从而获得激光点云。激光雷达可以向包括目标物的环境发射探测信号，然后接受从目标物反射回来的反射信号，根据反射的探测信号、接收到的反射信号，并根据发送和接收的间隔时间等数据参数，获得激光点云。激光点云可以包括N个点，每个点可以包括x,y,z坐标和intensity(反射率)等参数值。
在一实施例中，智能驾驶汽车100还包括朝向估计装置(图1未示出)，朝向估计装置用于获取目标对象在特征图上对应的目标区域，并确定目标区域对应的多个朝向；确定每个朝向在所述特征图中的灭点，并确定每个灭点与目标区域之间的多个线段；根据每个灭点与目标区域之间的多个线段，从多个朝向中确定目标对象的目标朝向，从而可以实现对特殊场景或者异形目标的朝向准确估计，提高朝向估计的准确性，使得智能驾驶汽车能够基于周围目标物体的准确朝向对自身的行驶进行规划，进而可以保证智能驾驶汽车100的安全行驶。
在一些实施例中，该目标区域指的是包含至少部分目标对象的区域，例如，可以是框选区域，当特征图为二维图时，该目标区域为二维框选区域。
请参阅图2，图2是实施本申请实施例提供的状态信息确定方法的另一场景示意图。如图2所示，无人机200包括机体210、设于机体210上的传感器220和设于机体210上的动力***230，传感器220用于感测无人机200周围的目标物，以生成感测数据，动力***230用于为无人机200提供飞行动力。
其中，水平方向的动力***230中的一个或者多个可以顺时针方向旋转，而水平方向的动力***230中的其它一个或者多个可以逆时针方向旋转。例如，顺时针旋转的动力***230与逆时针旋转的动力***230的数量一样。每一个水平方向的动力***230的旋转速率可以独立变化，以实现每个动力***230导致的提升及/或推动操作，从而调整无人机200的空间方位、速度及/或加速度(如相对于多达三个自由度的旋转及平移)。
在一实施例中，动力***230能够使无人机200垂直地从地面起飞，或者垂直地降落在地面上，而不需要无人机200任何水平运动(如不需要在跑道上滑行)。可选的，动力***230可以允许无人机200在空中预设位置和/或方向盘旋。一个或者多个动力***230在受到控制时可以独立于其它的动力***230。可选的，一个或者多个动力***230可以同时受到控制。例如，无人机200可以有多个水平方向的动力***230，以追踪目标的提升及/或推动。水平方向的动力***230可以被致动以提供无人机200垂直起飞、垂直降落、盘旋的能力。
在一实施例中，无人机200还包括朝向估计装置(图1未示出)，朝向估计装置用于获取目标对象在特征图上对应的目标区域，并确定目标区域对应的多个朝向；确定每个朝向在所述特征图中的灭点，并确定每个灭点与目标区域之间的多个线段；根据每个灭点与目标区域之间的多个线段，从多个朝向中确定目标对象的目标朝向，从而可以实现对特殊场景或者异形目标的朝向准确估计，提高朝向估计的准确性，使得无人机能够基于周围目标物体的准确朝向对自身的飞行进行规划，进而可以保证无人机的安全飞行。
以下，将结合图1或图2中的场景对本申请的实施例提供的朝向估计方法进行详细介绍。需知，图1中的场景仅用于解释本申请实施例提供的朝向估计方法，但并不构成对本申请实施例提供的朝向估计方法应用场景的限定。
请参阅图3，图3是本申请实施例提供的一种朝向估计方法的步骤示意流程图。该朝向估计方法用于实现对特殊场景或者异形目标的朝向准确估计。
如图3所示，该朝向估计方法可以包括步骤S101至步骤S103。
步骤S101、获取目标对象在特征图上对应的目标区域，并确定所述目标区域对应的多个朝向；
步骤S102、确定每个所述朝向在所述特征图中的灭点，并确定每个所述灭点与所述目标区域之间的多个线段；
步骤S103、根据每个所述灭点与所述目标区域之间的多个线段，从所述多 个朝向中确定所述目标对象的目标朝向。
其中，目标对象的朝向是指目标对象相对于可移动平台的角度，目标对象在特征图上对应的目标区域可以包括整个目标对象，也可以包括目标对象的至少部分区域，目标对象可以包括车辆、行人、路面等。通过枚举每个朝向对应的灭点与目标对象的目标区域之间的多个线段，可以将目标对象的朝向回归问题转换为线特征分类问题，可以使朝向估计不强依赖于目标对象的目标检测结果，即使目标对象在图像中不完整，通过上述方法也能够准确的进行朝向估计，从而实现对特殊场景或者异形目标的朝向准确估计，提高了朝向估计的鲁棒性和泛化性。
在一实施例中，获取目标对象对应的图像；获取该图像对应的特征图，并获取目标对象在该特征图上的目标区域。进一步地，获取目标对象的至少部分区域在特征图上对应的目标区域。其中，将目标对象对应的图像输入预设目标检测模型，可以得到该图像对应的特征图，该特征图包括目标对象的目标区域，该图像可以包括目标对象的至少部分区域，目标对象在特征图上对应的目标区域可以包括整个目标对象，也可以包括目标对象的至少部分区域，目标对象在特征图上对应的目标区域可以为一个，也可以为多个，预设目标检测模型为预先训练好的卷积神经网络。如图4所示，目标对象11的目标区域12包括整个目标对象11，如图5所示，目标对象13的目标区域14包括目标对象13的部分区域。
在一实施例中，在获取到目标对象在特征图上对应的目标区域之后，将目标区域输入预先训练好的深度神经网络，以优化目标区域；确定优化后的目标区域对应的多个朝向；确定每个朝向在特征图中的灭点，并确定每个灭点与优化后的目标区域之间的多个线段；根据每个灭点与优化后的目标区域之间的多个线段，从多个朝向中确定目标对象的目标朝向。通过对目标区域进行优化，可以进一步的提高朝向估计的准确性。
在一实施例中，确定目标区域对应的多个朝向的方式可以为：从预设角度范围内确定目标区域对应的多个朝向，其中，多个朝向中的相邻朝向之间的角度差值相同。预设角度范围包括以下至少一种：0°至180°、0至360°，当然，预设角度范围还可以包括其余的角度范围，且相邻朝向之间的采样角度可以基于实际情况进行设置，本申请对此不做具体限定。
例如，预设角度范围为0°至180°，且采样角度为6°，则可以得到目标区域对应的30个朝向，且这30个朝向分别为0°、6°、12°、18°、24°、30°、......、 168°、174°、180°。又例如，预设角度范围为0°至180°，且采样角度为3°，则可以得到目标区域对应的60个朝向，且这60个朝向分别为0°、3°、6°、9°、12°、......、171°、174°、177°、180°。为了提高朝向估计的准确性，可以尽可能的枚举目标区域对应的多个朝向。
在一实施例中，该灭点可以包括第一灭点和第二灭点，第一灭点为目标对象上的第一线段对应的灭点，第二灭点为目标对象的第二线段对应的灭点，第一线段的长度大于第二线段的长度，且第一线段与第二线段大致垂直。其中，对于包含整个目标对象的目标区域，确定的灭点包括第一灭点和第二灭点，对于包含目标对象的部分区域的目标区域，确定的灭点仅包括第一灭点或第二灭点。如图6所示，目标对象11的第一线段为端点22与端点23之间的线段，且第一线段对应的第一灭点为端点21，目标对象11的第二线段为端点23与端点24之间的线段，且第二线段对应的第二灭点为端点25，也即第一线段为目标对象左右侧面的长边对应的线段，第二线段为目标对象前后侧面的短边对应的线段。
在一实施例中，确定每个朝向在特征图中的灭点的方式可以为：获取拍摄装置的焦距、光心的像素坐标和拍摄装置的俯仰角；根据焦距、光心的像素坐标、俯仰角和每个朝向对应的角度，确定每个朝向在特征图中的灭点。拍摄装置的焦距、光心的像素坐标和拍摄装置的俯仰角可以提前标定好，并存储在可移动平台中。
示例性的，朝向对应的第一灭点可以表示为：
Figure PCTCN2021073835-appb-000001
示例性的，朝向对应的第二灭点可以表示为：
Figure PCTCN2021073835-appb-000002
其中，f为拍摄装置的焦距，pitch为拍摄装置的俯仰角，orien为朝向对应的角度，cx和cy为拍摄装置的光心的像素坐标，通过灭点的表示公式可以看出，灭点仅与目标对象的朝向有关，与目标对象的位置和大小无关。
在一实施例中，确定灭点与目标区域之间的多个线段的方式可以为：根据灭点的像素坐标从目标区域中确定目标边界，目标边界包括第一角点和第二角点；从第一角点开始，在目标边界所处的边界射线上选择采样点，直至选择的采样点与灭点之间的线段经过目标区域的第三角点；将选择得到的每个采样点与灭点进行连接，得到灭点与所述目标区域之间的多个线段。
其中，第一角点、第二角点和第三角度之间的约束关系包括：第一角点与灭点之间的距离小于第二角点与灭点之间的距离，第一角点的纵坐标与第二角点的纵坐标相同，每个灭点对应的多个线段均能够覆盖目标区域，第二角点与灭点之间的距离大于第三角点与灭点之间的距离，第二角点的横坐标与第三角点的横坐标相同，选择得到的多个采样点中的相邻采样点的采样距离相等。
可以理解的是，从第一角点开始，以预设的采样距离在目标边界所处的边界射线上选择采样点，直至选择的采样点与灭点之间的线段经过目标区域的第三角点。该采样距离可基于实际情况进行设置，本申请实施例对此不做具体限定。为了提高朝向估计的准确性，可以尽可能的枚举目标边界所处的边界射线上的采样点，也即尽可能多的枚举灭点与目标区域之间的线段。
示例性的，如图7所示，目标对象13的目标区域14包括目标对象13的部分区域，通过图7可以计算得到，灭点31与目标区域14的各角点之间的距离，也可以知晓目标区域14的各角点的像素坐标，基于计算得到的距离、各角点的像素坐标和上面的约束条件，可以确定第一角点32、第二角点33和第三角度34，第一角点32与第二角度33之间的边界为目标边界，且边界射线以第一角点32为起始点，选择的采样点35与灭点31之间的线段经过目标区域14的第三角点34，因此，选择的多个采样点包括第一角点32与采样点35之间的采样点，则将选择得到的每个采样点与灭点进行连接，可以得到灭点31与目标区域14之间的15条线段。
在一实施例中，目标对象包括车辆，灭点与目标区域之间的多个线段包括至少一条线段与第一线段相对应，第一线段与车辆的朝向方向的接地线段相对应。如图8所示，灭点31与目标区域14之间的15条线段中灭点31与采样点36之间的线段与第一线段37相对应，且第一线段37与车辆的朝向方向的接地线段相对应。
在一实施例中，如图9所示，步骤S103可以包括子步骤S1031至S1033。
子步骤S1031、根据所述线段中的位于所述目标区域内的部分子线段和所述特征图，确定所述线段的响应值。
示例性的，从部分子线段中选择多个采样点，并从特征图中获取每个采样点的响应值；根据每个采样点的响应值，确定该线段的响应值。其中，多个采样点中的相邻采样点之间的采样距离相等，且该采样距离可基于实际情况进行设置，本申请实施例对此不做具体限定。进一步地，可以基于每个采样点的响应值，计算平均响应值，并将计算得到的平均响应值确定为该线段的响应值。
示例性的，如图10所示，灭点31与目标区域14之间的线段中的位于目标区域14内的部分子线段为该线段的实线部分，且灭点31与采样点36之间的线段中的位于目标区域14内部分子线段上选择了5个采样点，则可以基于这5个采样点的响应值，确定灭点31与采样点36之间的线段的响应值，类似的，对于其余线段，可以按照类似的方式来确定线段的响应值。
子步骤S1032、根据每个所述线段的响应值，确定所述多个朝向的概率分布信息。
示例性的，根据每个线段的响应值，生成目标对象的响应图；根据该响应图，确定多个朝向的目标概率分布信息。其中，目标概率分布信息用于描述多个朝向中的每个朝向为最终朝向的概率或置信度。通过在该响应图上预测最大值，将朝向回归问题转化为线特征分类问题，可以使朝向估计不强依赖于目标对象的目标检测结果，即使目标对象在图像中不完整，通过上述方法也能够准确的进行朝向估计，从而实现对特殊场景或者异形目标的朝向准确估计，提高了朝向估计的鲁棒性和泛化性。
其中，该响应图包括线段对应的响应值、线段对应的灭点以及与线段与目标区域的射线边界的交点。在一实施例中，灭点与目标区域之间的多个线段包括第一灭点对应的多个线段和第二灭点对应的多个线段，基于每个线段的响应值，生成目标对象的响应图的方式可以包括：根据第一灭点对应的多个线段的响应值，生成目标对象的第一响应图；根据第二灭点对应的多个线段的响应值，生成目标对象的第二响应图。第一响应图可以如图11所示，第二响应图可以如图12所示。
在一实施例中，根据响应图，确定多个朝向的目标概率分布信息的方式可以为：根据第一响应图，确定多个朝向的第一概率分布信息；根据第二响应图，确定所述多个朝向的第二概率分布信息；根据第一概率分布信息和第二概率分布信息，确定多个朝向的目标概率分布信息。基于第一响应图得到的多个朝向的第一概率分布信息可以如图13所示，基于第二响应图得到的多个朝向的第二概率分布信息可以如图14所示。通过综合考虑第一概率分布信息和第二概率分布信息，可以提高多个朝向的目标概率分布信息的准确性，从而提高朝向估计的准确性。
在一实施例中，根据第一概率分布信息和第二概率分布信息，确定多个朝向的目标概率分布信息的方式可以为：对第一概率分布信息和所述第二概率分布信息进行加权，得到多个朝向的目标概率分布信息，即确定第一概率分布信 息与第一加权系数之间的第一乘积，并确定第二概率分布信息与第二加权系数之间的第二乘积，对第一乘积与第二乘积进行求和，得到多个朝向的目标概率分布信息。其中，第一加权系数和第二加权系数之和为1，且第一加权系数和第二加权系数可基于实际情况进行设置，本申请实施例对此不做具体限定。
子步骤S1033、根据所述目标概率分布信息，从所述多个朝向中确定所述目标对象的目标朝向。
示例性的，根据该目标概率分布信息，从多个朝向中确定概率最大的朝向，并将该概率最大的朝向确定为所述目标对象的目标朝向。在一实施例中，在仅有第一概率分布信息或第二概率分布信息时，可以将第一概率分布信息或第二概率分布信息确定为多个朝向的目标概率分布信息，使得朝向估计不显示依赖于长边或短边的估计，即在目标区域包括目标对象的部分区域时，也可以准确的进行朝向估计。
上述实施例提供的朝向估计方法，通过获取目标对象在特征图上对应的目标区域，并确定目标区域对应的多个朝向，然后确定每个朝向在特征图中的灭点，并确定每个灭点与目标区域之间的多个线段，最后根据每个灭点与目标区域之间的多个线段，从多个朝向中确定目标对象的目标朝向，从而可以实现对特殊场景或者异形目标的朝向准确估计，提高朝向估计的准确性。
请参阅图15，图15是本申请实施例提供的一种朝向估计装置的结构示意性框图。
如图15所示，该朝向估计装置300包括处理器310和存储器320，处理器310和存储器320通过总线330连接，该总线330比如为I2C(Inter-integrated Circuit)总线。
具体地，处理器310可以是微控制单元(Micro-controller Unit，MCU)、中央处理单元(Central Processing Unit，CPU)或数字信号处理器(Digital Signal Processor，DSP)等。
具体地，存储器320可以是Flash芯片、只读存储器(ROM，Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
其中，所述处理器310用于运行存储在存储器320中的计算机程序，并在执行所述计算机程序时实现如下步骤：
获取目标对象在特征图上对应的目标区域，并确定所述目标区域对应的多个朝向；
确定每个所述朝向在所述特征图中的灭点，并确定每个所述灭点与所述目 标区域之间的多个线段；
根据每个所述灭点与所述目标区域之间的多个线段，从所述多个朝向中确定所述目标对象的目标朝向。
在一实施例中，每个所述灭点对应的所述多个线段均能够覆盖所述目标区域。
在一些实施例中，该目标区域指的是包含至少部分目标对象的区域，例如，可以是框选区域，当特征图为二维图时，该目标区域为二维框选区域。
在一实施例中，所述灭点包括第一灭点和第二灭点，所述第一灭点为所述目标对象上的第一线段对应的灭点，所述第二灭点为所述目标对象的第二线段对应的灭点，所述第一线段的长度大于所述第二线段的长度，且所述第一线段与所述第二线段大致垂直。
在一实施例中，所述处理器在实现确定每个所述朝向在所述特征图中的灭点时，用于实现：
获取拍摄装置的焦距、光心的像素坐标和所述拍摄装置的俯仰角；
根据所述焦距、所述光心的像素坐标、所述俯仰角和每个朝向对应的角度，确定每个所述朝向在所述特征图中的灭点。
在一实施例中，所述处理器在实现根据每个所述灭点与所述目标区域之间的多个线段，从所述多个朝向中确定所述目标对象的目标朝向时，用于实现：
根据所述线段中的位于所述目标区域内的部分子线段和所述特征图，确定所述线段的响应值；
根据每个所述线段的响应值，确定所述多个朝向的概率分布信息；
根据所述目标概率分布信息，从所述多个朝向中确定所述目标对象的目标朝向。
在一实施例中，所述处理器在实现根据所述线段中的位于所述目标区域内的部分子线段和所述特征图，确定所述线段的响应值时，用于实现：
从所述部分子线段中选择多个采样点，并从所述特征图中获取每个所述采样点的响应值；
根据每个所述采样点的响应值，确定所述线段的响应值。
在一实施例中，所述多个采样点中的相邻采样点之间的采样距离相等。
在一实施例中，所述处理器在实现根据每个所述线段的响应值，确定所述多个朝向的概率分布信息时，用于实现：
根据每个所述线段的响应值，生成所述目标对象的响应图；
根据所述响应图，确定所述多个朝向的目标概率分布信息。
在一实施例中，所述灭点与所述目标区域之间的多个线段包括第一灭点对应的多个线段和第二灭点对应的多个线段。
在一实施例中，所述处理器在实现根据每个所述线段的响应值，生成所述目标对象的响应图时，用于实现：
根据第一灭点对应的多个线段的响应值，生成所述目标对象的第一响应图；
根据第二灭点对应的多个线段的响应值，生成所述目标对象的第二响应图。
在一实施例中，所述处理器在实现根据所述响应图，确定所述多个朝向的目标概率分布信息时，用于实现：
根据所述第一响应图，确定所述多个朝向的第一概率分布信息；
根据所述第二响应图，确定所述多个朝向的第二概率分布信息；
根据所述第一概率分布信息和所述第二概率分布信息，确定所述多个朝向的目标概率分布信息。
在一实施例中，所述处理器在实现根据所述第一概率分布信息和所述第二概率分布信息，确定所述多个朝向的目标概率分布信息时，用于实现：
对所述第一概率分布信息和所述第二概率分布信息进行加权，得到所述多个朝向的目标概率分布信息。
在一实施例中，所述处理器在实现根据所述目标概率分布信息，从所述多个朝向中确定所述目标对象的目标朝向时，用于实现：
根据所述目标概率分布信息，从所述多个朝向中确定概率最大的朝向，并将所述概率最大的朝向确定为所述目标对象的目标朝向。
在一实施例中，所述处理器在实现获取目标对象在特征图上对应的目标区域之前，还用于实现：
获取所述目标对象对应的图像；
所述处理器在实现获取目标对象在特征图上对应的目标区域时，用于实现：
获取所述图像对应的特征图，并获取所述目标对象在所述特征图上的目标区域。
在一实施例中，所述处理器在实现获取所述图像对应的特征图时，用于实现：
将所述图像输入预设目标检测模型，得到特征图，所述特征图包括所述目标对象的目标区域，所述预设目标检测模型为预先训练好的卷积神经网络。
在一实施例中，所述图像包括所述目标对象的至少部分区域。
在一实施例中，所述处理器在实现获取目标对象在特征图上对应的目标区域之后，还用于实现：
将所述目标区域输入预先训练好的深度神经网络，以优化所述目标区域；
所述处理器在实现确定所述目标区域对应的多个朝向时，用于实现：
确定优化后的所述目标区域对应的多个朝向。
在一实施例中，所述处理器在实现确定所述目标区域对应的多个朝向时，用于实现：
从预设角度范围内确定所述目标区域对应的多个朝向，其中，所述多个朝向中的相邻朝向之间的角度差值相同。
在一实施例中，所述预设角度范围包括以下至少一种：0°至180°、0至360°。
在一实施例中，所述处理器在实现确定所述灭点与所述目标区域之间的多个线段时，用于实现：
根据所述灭点的像素坐标从所述目标区域中确定目标边界，所述目标边界包括第一角点和第二角点；
从所述第一角点开始，在所述目标边界所处的边界射线上选择采样点，直至选择的采样点与所述灭点之间的线段经过所述目标区域的第三角点；
将选择得到的每个采样点与所述灭点进行连接，得到所述灭点与所述目标区域之间的多个线段。
在一实施例中，所述第一角点与所述灭点之间的距离小于所述第二角点与所述灭点之间的距离，所述第一角点的纵坐标与所述第二角点的纵坐标相同。
在一实施例中，所述第二角点与所述灭点之间的距离大于所述第三角点与所述灭点之间的距离，所述第二角点的横坐标与所述第三角点的横坐标相同。
在一实施例中，选择得到的多个采样点中的相邻采样点的采样距离相等。
在一实施例中，所述处理器在实现获取目标对象在特征图上对应的目标区域时，用于实现：
获取目标对象的至少部分区域在特征图上对应的目标区域。
在一实施例中，所述目标对象包括车辆，所述灭点与所述目标区域之间的多个线段包括至少一条线段与第一线段相对应，所述第一线段与所述车辆的朝向方向的接地线段相对应。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的朝向估计装置的具体工作过程，可以参考前述朝向估计方法实施例中的对应过程，在此不再赘述。
请参阅图16，图16是本申请实施例提供的一种可移动平台的结构示意性框图。
如图16所示，可移动平台400包括：
平台本体410：
动力***420，设于平台本体410上，用于为可移动平台400提供移动动力；
拍摄装置430，设于平台本体上410，用于采集图像；
朝向估计装置440，设于平台本体内，用于估计目标对象的朝向。
其中，朝向估计装置440可以为图15中的朝向估计装置，该朝向估计装置还用于控制可移动平台。
需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的可移动平台的具体工作过程，可以参考前述朝向估计方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序中包括程序指令，所述处理器执行所述程序指令，实现上述实施例提供的朝向估计方法的步骤。
其中，所述计算机可读存储介质可以是前述任一实施例所述的可移动平台的内部存储单元，例如所述可移动平台的硬盘或内存。所述计算机可读存储介质也可以是所述可移动平台的外部存储设备，例如所述可移动平台上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。
应当理解，在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (53)

  1. 一种朝向估计方法，其特征在于，包括：
    获取目标对象在特征图上对应的目标区域，并确定所述目标区域对应的多个朝向；
    确定每个所述朝向在所述特征图中的灭点，并确定每个所述灭点与所述目标区域之间的多个线段；
    根据每个所述灭点与所述目标区域之间的多个线段，从所述多个朝向中确定所述目标对象的目标朝向。
  2. 根据权利要求1所述的朝向估计方法，其特征在于，每个所述灭点对应的所述多个线段均能够覆盖所述目标区域；和/或，
    所述目标区域包括框选区域。
  3. 根据权利要求1所述的朝向估计方法，其特征在于，所述灭点包括第一灭点和第二灭点，所述第一灭点为所述目标对象上的第一线段对应的灭点，所述第二灭点为所述目标对象的第二线段对应的灭点，所述第一线段的长度大于所述第二线段的长度，且所述第一线段与所述第二线段大致垂直。
  4. 根据权利要求1所述的朝向估计方法，其特征在于，所述确定每个所述朝向在所述特征图中的灭点，包括：
    获取拍摄装置的焦距、光心的像素坐标和所述拍摄装置的俯仰角；
    根据所述焦距、所述光心的像素坐标、所述俯仰角和每个朝向对应的角度，确定每个所述朝向在所述特征图中的灭点。
  5. 根据权利要求1所述的朝向估计方法，其特征在于，所述根据每个所述灭点与所述目标区域之间的多个线段，从所述多个朝向中确定所述目标对象的目标朝向，包括：
    根据所述线段中的位于所述目标区域内的部分子线段和所述特征图，确定所述线段的响应值；
    根据每个所述线段的响应值，确定所述多个朝向的概率分布信息；
    根据所述目标概率分布信息，从所述多个朝向中确定所述目标对象的目标朝向。
  6. 根据权利要求5所述的朝向估计方法，其特征在于，所述根据所述线段中的位于所述目标区域内的部分子线段和所述特征图，确定所述线段的响应值，包括：
    从所述部分子线段中选择多个采样点，并从所述特征图中获取每个所述采样点的响应值；
    根据每个所述采样点的响应值，确定所述线段的响应值。
  7. 根据权利要求6所述的朝向估计方法，其特征在于，所述多个采样点中的相邻采样点之间的采样距离相等。
  8. 根据权利要求5所述的朝向估计方法，其特征在于，所述根据每个所述线段的响应值，确定所述多个朝向的概率分布信息，包括：
    根据每个所述线段的响应值，生成所述目标对象的响应图；
    根据所述响应图，确定所述多个朝向的目标概率分布信息。
  9. 根据权利要求1所述的朝向估计方法，其特征在于，所述灭点与所述目标区域之间的多个线段包括第一灭点对应的多个线段和第二灭点对应的多个线段。
  10. 根据权利要求5所述的朝向估计方法，其特征在于，所述根据每个所述线段的响应值，生成所述目标对象的响应图，包括：
    根据第一灭点对应的多个线段的响应值，生成所述目标对象的第一响应图；
    根据第二灭点对应的多个线段的响应值，生成所述目标对象的第二响应图。
  11. 根据权利要求10所述的朝向估计方法，其特征在于，所述根据所述响应图，确定所述多个朝向的目标概率分布信息，包括：
    根据所述第一响应图，确定所述多个朝向的第一概率分布信息；
    根据所述第二响应图，确定所述多个朝向的第二概率分布信息；
    根据所述第一概率分布信息和所述第二概率分布信息，确定所述多个朝向的目标概率分布信息。
  12. 根据权利要求11所述的朝向估计方法，其特征在于，所述根据所述第一概率分布信息和所述第二概率分布信息，确定所述多个朝向的目标概率分布信息，包括：
    对所述第一概率分布信息和所述第二概率分布信息进行加权，得到所述多个朝向的目标概率分布信息。
  13. 根据权利要求5所述的朝向估计方法，其特征在于，所述根据所述目标概率分布信息，从所述多个朝向中确定所述目标对象的目标朝向，包括：
    根据所述目标概率分布信息，从所述多个朝向中确定概率最大的朝向，并将所述概率最大的朝向确定为所述目标对象的目标朝向。
  14. 根据权利要求1-13中任一项所述的朝向估计方法，其特征在于，所述 获取目标对象在特征图上对应的目标区域之前，还包括：
    获取所述目标对象对应的图像；
    所述获取目标对象在特征图上对应的目标区域，包括：
    获取所述图像对应的特征图，并获取所述目标对象在所述特征图上的目标区域。
  15. 根据权利要求14所述的朝向估计方法，其特征在于，所述获取所述图像对应的特征图，包括：
    将所述图像输入预设目标检测模型，得到特征图，所述特征图包括所述目标对象的目标区域，所述预设目标检测模型为预先训练好的卷积神经网络。
  16. 根据权利要求14所述的朝向估计方法，其特征在于，所述图像包括所述目标对象的至少部分区域。
  17. 根据权利要求1-13中任一项所述的朝向估计方法，其特征在于，所述获取目标对象在特征图上对应的目标区域之后，还包括：
    将所述目标区域输入预先训练好的深度神经网络，以优化所述目标区域；
    所述确定所述目标区域对应的多个朝向，包括：
    确定优化后的所述目标区域对应的多个朝向。
  18. 根据权利要求1-13中任一项所述的朝向估计方法，其特征在于，所述确定所述目标区域对应的多个朝向，包括：
    从预设角度范围内确定所述目标区域对应的多个朝向，其中，所述多个朝向中的相邻朝向之间的角度差值相同。
  19. 根据权利要求18所述的朝向估计方法，其特征在于，所述预设角度范围包括以下至少一种：0°至180°、0至360°。
  20. 根据权利要求1-13中任一项所述的朝向估计方法，其特征在于，所述确定所述灭点与所述目标区域之间的多个线段，包括：
    根据所述灭点的像素坐标从所述目标区域中确定目标边界，所述目标边界包括第一角点和第二角点；
    从所述第一角点开始，在所述目标边界所处的边界射线上选择采样点，直至选择的采样点与所述灭点之间的线段经过所述目标区域的第三角点；
    将选择得到的每个采样点与所述灭点进行连接，得到所述灭点与所述目标区域之间的多个线段。
  21. 根据权利要求20所述的朝向估计方法，其特征在于，所述第一角点与所述灭点之间的距离小于所述第二角点与所述灭点之间的距离，所述第一角点 的纵坐标与所述第二角点的纵坐标相同。
  22. 根据权利要求20所述的朝向估计方法，其特征在于，所述第二角点与所述灭点之间的距离大于所述第三角点与所述灭点之间的距离，所述第二角点的横坐标与所述第三角点的横坐标相同。
  23. 根据权利要求20所述的朝向估计方法，其特征在于，选择得到的多个采样点中的相邻采样点的采样距离相等。
  24. 根据权利要求1-13中任一项所述的朝向估计方法，其特征在于，所述获取目标对象在特征图上对应的目标区域，包括：
    获取目标对象的至少部分区域在特征图上对应的目标区域。
  25. 根据权利要求1-13中任一项所述的朝向估计方法，其特征在于，所述目标对象包括车辆，所述灭点与所述目标区域之间的多个线段包括至少一条线段与第一线段相对应，所述第一线段与所述车辆的朝向方向的接地线段相对应。
  26. 一种朝向估计装置，其特征在于，所述朝向估计装置包括存储器和处理器；
    所述存储器用于存储计算机程序；
    所述处理器，用于执行所述计算机程序并在执行所述计算机程序时，实现如下步骤：
    获取目标对象在特征图上对应的目标区域，并确定所述目标区域对应的多个朝向；
    确定每个所述朝向在所述特征图中的灭点，并确定每个所述灭点与所述目标区域之间的多个线段；
    根据每个所述灭点与所述目标区域之间的多个线段，从所述多个朝向中确定所述目标对象的目标朝向。
  27. 根据权利要求26所述的朝向估计装置，其特征在于，每个所述灭点对应的所述多个线段均能够覆盖所述目标区域；和/或，
    所述目标区域包括框选区域。
  28. 根据权利要求26所述的朝向估计装置，其特征在于，所述灭点包括第一灭点和第二灭点，所述第一灭点为所述目标对象上的第一线段对应的灭点，所述第二灭点为所述目标对象的第二线段对应的灭点，所述第一线段的长度大于所述第二线段的长度，且所述第一线段与所述第二线段大致垂直。
  29. 根据权利要求26所述的朝向估计装置，其特征在于，所述处理器在实现确定每个所述朝向在所述特征图中的灭点时，用于实现：
    获取拍摄装置的焦距、光心的像素坐标和所述拍摄装置的俯仰角；
    根据所述焦距、所述光心的像素坐标、所述俯仰角和每个朝向对应的角度，确定每个所述朝向在所述特征图中的灭点。
  30. 根据权利要求26所述的朝向估计装置，其特征在于，所述处理器在实现根据每个所述灭点与所述目标区域之间的多个线段，从所述多个朝向中确定所述目标对象的目标朝向时，用于实现：
    根据所述线段中的位于所述目标区域内的部分子线段和所述特征图，确定所述线段的响应值；
    根据每个所述线段的响应值，确定所述多个朝向的概率分布信息；
    根据所述目标概率分布信息，从所述多个朝向中确定所述目标对象的目标朝向。
  31. 根据权利要求30所述的朝向估计装置，其特征在于，所述处理器在实现根据所述线段中的位于所述目标区域内的部分子线段和所述特征图，确定所述线段的响应值时，用于实现：
    从所述部分子线段中选择多个采样点，并从所述特征图中获取每个所述采样点的响应值；
    根据每个所述采样点的响应值，确定所述线段的响应值。
  32. 根据权利要求31所述的朝向估计装置，其特征在于，所述多个采样点中的相邻采样点之间的采样距离相等。
  33. 根据权利要求30所述的朝向估计装置，其特征在于，所述处理器在实现根据每个所述线段的响应值，确定所述多个朝向的概率分布信息时，用于实现：
    根据每个所述线段的响应值，生成所述目标对象的响应图；
    根据所述响应图，确定所述多个朝向的目标概率分布信息。
  34. 根据权利要求26所述的朝向估计装置，其特征在于，所述灭点与所述目标区域之间的多个线段包括第一灭点对应的多个线段和第二灭点对应的多个线段。
  35. 根据权利要求30所述的朝向估计装置，其特征在于，所述处理器在实现根据每个所述线段的响应值，生成所述目标对象的响应图时，用于实现：
    根据第一灭点对应的多个线段的响应值，生成所述目标对象的第一响应图；
    根据第二灭点对应的多个线段的响应值，生成所述目标对象的第二响应图。
  36. 根据权利要求35所述的朝向估计装置，其特征在于，所述处理器在实 现根据所述响应图，确定所述多个朝向的目标概率分布信息时，用于实现：
    根据所述第一响应图，确定所述多个朝向的第一概率分布信息；
    根据所述第二响应图，确定所述多个朝向的第二概率分布信息；
    根据所述第一概率分布信息和所述第二概率分布信息，确定所述多个朝向的目标概率分布信息。
  37. 根据权利要求36所述的朝向估计装置，其特征在于，所述处理器在实现根据所述第一概率分布信息和所述第二概率分布信息，确定所述多个朝向的目标概率分布信息时，用于实现：
    对所述第一概率分布信息和所述第二概率分布信息进行加权，得到所述多个朝向的目标概率分布信息。
  38. 根据权利要求30所述的朝向估计装置，其特征在于，所述处理器在实现根据所述目标概率分布信息，从所述多个朝向中确定所述目标对象的目标朝向时，用于实现：
    根据所述目标概率分布信息，从所述多个朝向中确定概率最大的朝向，并将所述概率最大的朝向确定为所述目标对象的目标朝向。
  39. 根据权利要求26-38中任一项所述的朝向估计装置，其特征在于，所述处理器在实现获取目标对象在特征图上对应的目标区域之前，还用于实现：
    获取所述目标对象对应的图像；
    所述处理器在实现获取目标对象在特征图上对应的目标区域时，用于实现：
    获取所述图像对应的特征图，并获取所述目标对象在所述特征图上的目标区域。
  40. 根据权利要求39所述的朝向估计装置，其特征在于，所述处理器在实现获取所述图像对应的特征图时，用于实现：
    将所述图像输入预设目标检测模型，得到特征图，所述特征图包括所述目标对象的目标区域，所述预设目标检测模型为预先训练好的卷积神经网络。
  41. 根据权利要求39所述的朝向估计装置，其特征在于，所述图像包括所述目标对象的至少部分区域。
  42. 根据权利要求26-38中任一项所述的朝向估计装置，其特征在于，所述处理器在实现获取目标对象在特征图上对应的目标区域之后，还用于实现：
    将所述目标区域输入预先训练好的深度神经网络，以优化所述目标区域；
    所述处理器在实现确定所述目标区域对应的多个朝向时，用于实现：
    确定优化后的所述目标区域对应的多个朝向。
  43. 根据权利要求26-38中任一项所述的朝向估计装置，其特征在于，所述处理器在实现确定所述目标区域对应的多个朝向时，用于实现：
    从预设角度范围内确定所述目标区域对应的多个朝向，其中，所述多个朝向中的相邻朝向之间的角度差值相同。
  44. 根据权利要求43所述的朝向估计装置，其特征在于，所述预设角度范围包括以下至少一种：0°至180°、0至360°。
  45. 根据权利要求26-38中任一项所述的朝向估计装置，其特征在于，所述处理器在实现确定所述灭点与所述目标区域之间的多个线段时，用于实现：
    根据所述灭点的像素坐标从所述目标区域中确定目标边界，所述目标边界包括第一角点和第二角点；
    从所述第一角点开始，在所述目标边界所处的边界射线上选择采样点，直至选择的采样点与所述灭点之间的线段经过所述目标区域的第三角点；
    将选择得到的每个采样点与所述灭点进行连接，得到所述灭点与所述目标区域之间的多个线段。
  46. 根据权利要求45所述的朝向估计装置，其特征在于，所述第一角点与所述灭点之间的距离小于所述第二角点与所述灭点之间的距离，所述第一角点的纵坐标与所述第二角点的纵坐标相同。
  47. 根据权利要求45所述的朝向估计装置，其特征在于，所述第二角点与所述灭点之间的距离大于所述第三角点与所述灭点之间的距离，所述第二角点的横坐标与所述第三角点的横坐标相同。
  48. 根据权利要求45所述的朝向估计装置，其特征在于，选择得到的多个采样点中的相邻采样点的采样距离相等。
  49. 根据权利要求26-38中任一项所述的朝向估计装置，其特征在于，所述处理器在实现获取目标对象在特征图上对应的目标区域时，用于实现：
    获取目标对象的至少部分区域在特征图上对应的目标区域。
  50. 根据权利要求26-38中任一项所述的朝向估计装置，其特征在于，所述目标对象包括车辆，所述灭点与所述目标区域之间的多个线段包括至少一条线段与第一线段相对应，所述第一线段与所述车辆的朝向方向的接地线段相对应。
  51. 一种可移动平台，其特征在于，所述可移动平台包括：
    平台本体：
    动力***，设于所述平台本体上，用于为所述可移动平台提供移动动力；
    拍摄装置，设于所述平台本体上，用于采集图像；
    权利要求26-50中任一项所述的朝向估计装置，设于所述平台本体内，用于估计目标对象的朝向。
  52. 根据权利要求51的可移动平台，其特征在于，所述可移动平台包括如下至少一种：智能驾驶汽车、无人机。
  53. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-25中任一项所述的朝向估计方法的步骤。
PCT/CN2021/073835 2021-01-26 2021-01-26 朝向估计方法、装置、可移动平台及可读存储介质 WO2022160101A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/073835 WO2022160101A1 (zh) 2021-01-26 2021-01-26 朝向估计方法、装置、可移动平台及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/073835 WO2022160101A1 (zh) 2021-01-26 2021-01-26 朝向估计方法、装置、可移动平台及可读存储介质

Publications (1)

Publication Number Publication Date
WO2022160101A1 true WO2022160101A1 (zh) 2022-08-04

Family

ID=82652970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/073835 WO2022160101A1 (zh) 2021-01-26 2021-01-26 朝向估计方法、装置、可移动平台及可读存储介质

Country Status (1)

Country Link
WO (1) WO2022160101A1 (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012146146A (ja) * 2011-01-12 2012-08-02 Denso It Laboratory Inc 移動物体検出装置
CN109033927A (zh) * 2017-06-09 2018-12-18 株式会社理光 检测道路分割物的方法和装置以及计算机可读存储介质
CN110310335A (zh) * 2018-03-27 2019-10-08 杭州海康威视数字技术股份有限公司 一种相机角度确定方法、装置、设备及***
CN110930459A (zh) * 2019-10-29 2020-03-27 北京经纬恒润科技有限公司 灭点提取方法、相机标定方法以及存储介质
CN111179337A (zh) * 2018-10-24 2020-05-19 中国科学院自动化研究所 空间直线朝向测量方法、装置、计算机设备和存储介质
CN111220143A (zh) * 2018-11-26 2020-06-02 北京图森智途科技有限公司 一种成像设备的位置和姿态确定方法及装置
CN111862206A (zh) * 2019-12-31 2020-10-30 滴图(北京)科技有限公司 一种视觉定位方法、装置、电子设备及可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012146146A (ja) * 2011-01-12 2012-08-02 Denso It Laboratory Inc 移動物体検出装置
CN109033927A (zh) * 2017-06-09 2018-12-18 株式会社理光 检测道路分割物的方法和装置以及计算机可读存储介质
CN110310335A (zh) * 2018-03-27 2019-10-08 杭州海康威视数字技术股份有限公司 一种相机角度确定方法、装置、设备及***
CN111179337A (zh) * 2018-10-24 2020-05-19 中国科学院自动化研究所 空间直线朝向测量方法、装置、计算机设备和存储介质
CN111220143A (zh) * 2018-11-26 2020-06-02 北京图森智途科技有限公司 一种成像设备的位置和姿态确定方法及装置
CN110930459A (zh) * 2019-10-29 2020-03-27 北京经纬恒润科技有限公司 灭点提取方法、相机标定方法以及存储介质
CN111862206A (zh) * 2019-12-31 2020-10-30 滴图(北京)科技有限公司 一种视觉定位方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
US11915502B2 (en) Systems and methods for depth map sampling
US10152059B2 (en) Systems and methods for landing a drone on a moving base
US10909411B2 (en) Information processing apparatus, information processing method, and computer program product
Weon et al. Object Recognition based interpolation with 3d lidar and vision for autonomous driving of an intelligent vehicle
JP2021089724A (ja) 構造的制約及び物理的制約を伴う３ｄ自動ラベル付け
RU2767949C2 (ru) Способ (варианты) и система для калибровки нескольких лидарных датчиков
US11842440B2 (en) Landmark location reconstruction in autonomous machine applications
EP3370216B1 (en) Information processing device, information processing method, computer-readable medium, and moving object
CN114119724A (zh) 一种调整用于自动驾驶的高度图的网格间距的方法
US11645762B2 (en) Obstacle detection
US20240151855A1 (en) Lidar-based object tracking
WO2022160101A1 (zh) 朝向估计方法、装置、可移动平台及可读存储介质
US10249056B2 (en) Vehicle position estimation system
WO2022083529A1 (zh) 一种数据处理方法及装置
WO2022037370A1 (zh) 一种运动估计方法及装置
WO2022133911A1 (zh) 目标检测方法、装置、可移动平台及计算机可读存储介质
WO2022033139A1 (zh) 一种自运动估计方法及相关装置
US20230341558A1 (en) Distance measurement system
CN116758385A (zh) 三维目标检测方法、装置、设备和存储介质
CN114155413A (zh) 一种基于单目视觉和测距信息融合的无人机避障方法
CN117519124A (zh) 自移动设备的避障方法、自移动设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21921721

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21921721

Country of ref document: EP

Kind code of ref document: A1