CN109767452A - 一种目标定位方法和装置、无人机 - Google Patents
一种目标定位方法和装置、无人机 Download PDFInfo
- Publication number
- CN109767452A CN109767452A CN201811581024.5A CN201811581024A CN109767452A CN 109767452 A CN109767452 A CN 109767452A CN 201811581024 A CN201811581024 A CN 201811581024A CN 109767452 A CN109767452 A CN 109767452A
- Authority
- CN
- China
- Prior art keywords
- target
- point cloud
- original point
- coordinate
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 78
- 230000004807 localization Effects 0.000 title claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims description 60
- 230000007704 transition Effects 0.000 claims description 41
- 238000001914 filtration Methods 0.000 claims description 13
- 230000033001 locomotion Effects 0.000 abstract description 10
- 238000012800 visualization Methods 0.000 abstract description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000009499 grossing Methods 0.000 description 6
- 230000004888 barrier function Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000004040 coloring Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U2101/00—UAVs specially adapted for particular uses or applications
- B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Radar, Positioning & Navigation (AREA)
- Electromagnetism (AREA)
- Computer Networks & Wireless Communication (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Astronomy & Astrophysics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Mechanical Engineering (AREA)
- Optics & Photonics (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
本发明涉及一种目标定位方法和装置、无人机,该方法包括:通过图像获取装置获取目标图像;根据目标图像,获取目标在目标图像中的位置信息;通过深度传感器获取无人机前方环境的原始点云;根据原始点云和目标在目标图像中的位置信息,获取原始点云中与目标对应的点云;根据与目标对应的点云,获取目标在三维空间中的位置信息。本发明通过对目标三维空间位置信息的确定既得到了目标的深度信息,也可以为目标跟踪提供稳定性和精度更高的运动估算模型,减少误识别和跟踪丢失的概率,可以实现更准确的三维路径规划和实时三维重建的可视化,同时还可以利用具有目标物体的三维地图进行避障。
Description
技术领域
本发明涉及视觉跟踪技术领域,更具体地说,涉及一种目标定位方法和装置、无人机。
背景技术
视觉跟踪算法广泛的用于机器人或无人机中,算法大多基于二维图像或视频,识别跟踪目标在平面图像中的位置。跟踪时不能直观的预测或感知跟踪目标的三维位置,现有方法可通过固定目标初始化高度或平面假设等方法来估算目标的三维空间位置,以便构造空间运动模型预测目标下一时刻的运动。但该方法有鲁棒性,适用场景少的缺点,而在路径规划中,三维目标点的位置准确性也直接影响了规划结果。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种目标定位方法和装置、无人机。
本发明解决其技术问题所采用的技术方案是:提供一种目标定位方法,用于无人机,所述无人机包括图像获取装置和深度传感器,该方法包括:
通过所述图像获取装置获取目标图像;
根据所述目标图像,获取所述目标在所述目标图像中的位置信息;
通过所述深度传感器获取所述无人机前方环境的原始点云;
根据所述原始点云和所述目标在所述目标图像中的位置信息,获取所述原始点云中与所述目标对应的点云;
根据所述与所述目标对应的点云,获取所述目标在三维空间中的位置信息。
在其中一个实施例中,所述目标在所述目标图像中的位置信息包括所述目标在所述目标图像中的最小外接框坐标,则所述根据所述原始点云和所述目标在所述目标图像中的位置信息,获取所述原始点云中与所述目标对应的点云,包括:
将所述原始点云投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在的平面的坐标;
确定所述原始点云中,坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
在其中一个实施例中,所述将所述原始点云投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在的平面的坐标,包括:
将所述原始点云在所述深度传感器坐标系下的坐标转换为所述原始点云在所述图像获取装置坐标系下的坐标;
将所述原始点云在所述图像获取装置坐标系下的坐标投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在平面的坐标。
在其中一个实施例中,所述原始点云在所述图像获取装置坐标系下的坐标满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取装置坐标系下的坐标,(x,y,z)为所述原始点云在所述深度传感器坐标系下的坐标,T为所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵。
在其中一个实施例中,所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵T满足:
T=T2 T×T1;
其中,T1为所述深度传感器坐标系至所述无人机机身坐标系的转换矩阵,T2为所述图像获取装置坐标系至所述无人机机身坐标系的转换矩阵。
在其中一个实施例中,所述原始点云在所述目标图像所在平面的坐标(u,v)满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取装置坐标系下的坐标,d为所述原始点云的深度,k为所述图像获取装置的内参矩阵。
在其中一个实施例中,在所述根据所述原始点云和所述目标在所述目标图像中的位置信息,获取所述原始点云中与所述目标对应的点云之前,该方法还包括:
对坐标落入所述最小外接框内的所述原始点云进行滤波,以去除不属于所述目标的点云。
在其中一个实施例中,所述根据所述与所述目标对应的点云,获取所述目标在所述三维空间中的位置信息,包括:
根据所述无人机前方环境的原始点云,建立所述无人机前方环境的三维地图;
对与所述目标对应的点云的三维坐标取平均值,其中,所述平均值用于表示所述目标在所述三维地图中的位置。
在其中一个实施例中,所述深度传感器包括以下中的至少一种:
双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
本发明还提供一种目标定位装置,用于无人机,包括:
图像获取模块,用于获取目标图像和根据所述目标图像获取所述目标在所述目标图像中的位置信息;
原始点云获取模块,用于获取所述无人机前方环境的原始点云;以及
目标位置获取模块,用于:
根据所述原始点云和所述目标在所述目标图像中的位置信息,获取所述原始点云中与所述目标对应的点云;
根据所述与所述目标对应的点云,获取所述目标在三维空间中的位置信息。
在其中一个实施例中,所述目标位置获取模块具体用于:
将所述原始点云投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在的平面的坐标;
确定所述原始点云中,坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
在其中一个实施例中,所述目标位置获取模块具体用于:
将所述原始点云在所述原始点云获取模块坐标系下的坐标转换为所述原始点云在所述图像获取模块坐标系下的坐标;
将所述原始点云在所述图像获取模块坐标系下的坐标投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在平面的坐标。
在其中一个实施例中,所述原始点云在所述图像获取模块坐标系下的坐标满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取模块坐标系下的坐标,(x,y,z)为所述原始点云在所述原始点云获取模块坐标系下的坐标,T为所述原始点云获取模块坐标系至所述图像获取模块坐标系的转换矩阵。
在其中一个实施例中,所述原始点云获取模块坐标系至所述图像获取模块坐标系的转换矩阵T满足:
T=T2 T×T1;
其中,T1为所述原始点云获取模块坐标系至所述无人机机身坐标系的转换矩阵,T2为所述图像获取模块坐标系至所述无人机机身坐标系的转换矩阵。
在其中一个实施例中,所述原始点云在所述目标图像所在平面的坐标(u,v)满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取模块坐标系下的坐标,d为所述原始点云的深度,k为所述图像获取模块的内参矩阵。
在其中一个实施例中,该装置还包括点云滤波模块,所述点云滤波模块用于:
对坐标落入所述最小外接框内的所述原始点云进行滤波,以去除不属于所述目标的点云。
在其中一个实施例中,所述目标位置获取模块具体用于:
根据所述无人机前方环境的原始点云,建立所述无人机前方环境的三维地图;
对与所述目标对应的点云的三维坐标取平均值,其中,所述平均值用于表示所述目标在所述三维地图中的位置。
在其中一个实施例中,所述原始点云获取模块为深度传感器,所述深度传感器包括以下中的至少一种:
双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
本发明还提供一种无人机,包括:
机身;
机臂,与所述机身相连;
动力装置,设于所述机臂,用于提供所述无人机飞行所需的动力;
深度传感器,设于所述机身,用于获取所述无人机前方环境的原始点云;
图像获取装置,设于所述机身,用于获取目标图像并根据所述目标图像,获取所述目标在所述目标图像中的位置信息;以及
视觉芯片,设于所述机身,所述深度传感器与所述图像获取装置均与所述视觉芯片通信连接;
所述视觉芯片用于:
根据所述原始点云和所述目标在所述目标图像中的位置信息,获取所述原始点云中与所述目标对应的点云;
根据所述与所述目标对应的点云,获取所述目标在三维空间中的位置信息。
在其中一个实施例中,所述视觉芯片具体用于:
将所述原始点云投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在的平面的坐标;
确定所述原始点云中,坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
在其中一个实施例中,所述视觉芯片具体用于:
将所述原始点云在所述深度传感器坐标系下的坐标转换为所述原始点云在所述图像获取装置坐标系下的坐标;
将所述原始点云在所述图像获取装置坐标系下的坐标投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在平面的坐标。
在其中一个实施例中,所述原始点云在所述图像获取装置坐标系下的坐标满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取装置坐标系下的坐标,(x,y,z)为所述原始点云在所述深度传感器坐标系下的坐标,T为所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵。
在其中一个实施例中,所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵T满足:
T=T2 T×T1;
其中,T1为所述深度传感器坐标系至所述机身坐标系的转换矩阵,T2为所述图像获取装置坐标系至所述机身坐标系的转换矩阵。
在其中一个实施例中,所述原始点云在所述目标图像所在平面的坐标(u,v)满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取装置坐标系下的坐标,d为所述原始点云的深度,k为所述图像获取装置的内参矩阵。
在其中一个实施例中,所述视觉芯片还用于:
对坐标落入所述最小外接框内的所述原始点云进行滤波,以去除不属于所述目标的点云。
在其中一个实施例中,所述视觉芯片具体用于:
根据所述无人机前方环境的原始点云,建立所述无人机前方环境的三维地图;
对与所述目标对应的点云的三维坐标取平均值,其中,所述平均值用于表示所述目标在所述三维地图中的位置。
在其中一个实施例中,所述深度传感器包括以下中的至少一种:
双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
实施本发明的目标定位方法,具有以下有益效果:本发明通过图像获取装置获取目标图像,并根据目标图像获得目标在该目标图像中的位置信息,以及通过深度传感器获取无人机前方环境的原始点云,进而根据原始点云和目标在目标图像中的位置信息,获得原始点云中与目标对应的点云,再由所获得的与目标对应的点云得到目标在三维空间中的位置信息,从而由所获得的目标在三维空间中的位置信息准确地确定目标在当前时刻的实时位置,既得到了目标的深度信息,也可以为目标跟踪提供稳定性和精度更高的运动估算模型,减少误识别和跟踪丢失的概率,可以实现更准确的三维路径规划和实时三维重建的可视化,同时还可以利用具有目标物体的三维地图进行避障,可避免路径规划将目标误认为障碍物。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例提供的一种目标定位方法的流程示意图;
图2是本发明实施例中的目标在目标图像中的最小外接框的示意图;
图3是本发明实施例中的目标定位示意图;
图4是本发明实施例提供的一种目标定位装置的原理框图;
图5是本发明实施例提供的一种无人机的原理框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参考图1,本发明实施例提供了一种目标定位方法。该方法可以供无人机实时获取目标在三维空间中的位置信息,还可以根据所获取的在三维空间中的位置信息进行三维运动模型构建,预测目标下一时刻的运动,或者可以根据所获取的在三维空间中的位置信息进行三维重建,建立具有目标的三维地图,利用具有目标的三维地图进行避障和路径规划,且还可以避免路径规划将目标误认为障碍物。
如图1所示,为本发明实施例提供的一种目标定位方法的流程示意图。
该目标定位方法包括以下步骤:
步骤S1、通过所述图像获取装置122获取目标图像。
本发明实施例中,图像获取装置122可以为彩色相机,其所获取的是目标在二维平面的图像,即图像获取装置122所获取的目标图像为二维图像。其可以包括图像的二维坐标信息、颜色信息等。其中,本发明实施例对所采用的彩色相机的参数和位置不作具体限制,只要已知彩色相机的标定参数即可;或者也可以设计为活动结构以达到随目标位置而旋转,即只要可以获取彩色相机相对于无人机10的机身12的转换关系即可。
步骤S2、根据所述目标图像,获取所述目标在所述目标图像中的位置信息。
可以理解地,本发明实施例中,目标在目标图像中的位置信息可以包括:目标在所述目标图像中的最小外接框坐标。其中,目标在目标图像中的最小外接框为包括目标在内的最小外接矩形区域,如图2中的100所示。
步骤S3、通过所述深度传感器121获取所述无人机10前方环境的原始点云。
本发明实施例中,对于深度传感器121的种类、数量和位置本发明实施例不作具体限制,可以根据实际的跟随需求进行选择设定。例如,深度传感器121包括双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达中的至少一种。为了保证深度相机可以在任意时刻都观测到目标物体,可以采用多组深度相机多向或全向排列;或者将深度相机设计为活动结构以达到随目标位置而旋转等,即只要可以获得深度相机相对于机身12的转换关系即可。
本发明实施例中,无人机10前方环境为无人机10行进方向上的环境。
步骤S4、根据所述原始点云和所述目标在所述目标图像中的位置信息,获取所述原始点云中与所述目标对应的点云。
可以理解地,目标在目标图像中的位置信息可以为目标在目标图像中的最小外接框坐标。此时,步骤S4具体可以包括:
步骤S41、将所述原始点云投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在的平面的坐标。
本发明实施例中,步骤S41具体可以包括:
步骤S411、将所述原始点云在所述深度传感器121坐标系下的坐标转换为所述原始点云在所述图像获取装置122坐标系下的坐标。
可选的,本发明实施例中,所述原始点云在所述图像获取装置122坐标系下的坐标满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取装置122坐标系下的坐标,(x,y,z)为所述原始点云在所述深度传感器121坐标系下的坐标,T为所述深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵。通过(1)式,可以快速获得原始点云在图像获取装置122坐标系下的坐标(x′,y′,z′)。
由于无人机10的深度传感器121和图像获取装置122往往会在运动过程中旋转,所以两个坐标系转换举矩阵往往不能直接得到。在一些实施例中,深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T可以用深度传感器121至无人机10机身12坐标系的转换矩阵T1以及图像获取装置122至无人机10机身12坐标系的转换举矩阵T2求出。
其中,深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T满足:
T=T2 T×T1 (2)。
其中,T1为所述深度传感器121坐标系至所述无人机10机身12坐标系的转换矩阵,T2为所述图像获取装置122坐标系至所述无人机10机身12坐标系的转换矩阵。
通过(2)式可以快速获得深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T,进而通过(1)式快速计算出原始点云在图像获取装置122坐标系下的坐标(x′,y′,z′)。
步骤S412、将所述原始点云在所述图像获取装置122坐标系下的坐标投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在平面的坐标。
可选的,本发明实施例中,原始点云在所述目标图像所在平面的坐标(u,v)满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取装置122坐标系下的坐标,d为所述原始点云的深度,k为所述图像获取装置122的内参矩阵。
因此,在获得原始点云在图像获取装置122坐标系下的坐标(x′,y′,z′)后,再根据(3)式和(4)式可以快速地计算出原始点云在所述目标图像所在平面的坐标(u,v)。
步骤S42、确定所述原始点云中,坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
具体的,通过上述方法获得原始点云在目标图像所在平面的所有坐标后,将所获得的每一个原始点云在目标图像所在平面的坐标与最小外接框进行比较判断,进而确定所有坐标落在所述最小外接框内平面坐标,其中,在目标图像所在平面的坐标落在最小外接框内的原始点云即为与所述目标对应的点云。
进一步地,在执行步骤S4之前,该目标定位方法还包括以下步骤:
对坐标落入所述最小外接框内的所述原始点云进行滤波,以去除不属于所述目标的点云。
可选的,对坐标落入最小外接框内的原始点云进行滤波可以采用预设滤波法进行滤波,其中,预设滤波法包括但不限于高斯滤波法、半径滤波法、聚类法、平滑法、连通域法等。
以高斯滤波法为例进行说明,设坐标落入最小外接框内的原始点云总数为n,计算距离第i个原始点云与距离其最近的m个相邻原始点云的平均距离di,则d1~dn可构成高斯分布,即di~(μ,σ),计算期望μ与方差σ,根据高斯分布性质,若di>M*σ,则该原始点云不属于矩形区域,需滤除。其中,M可取2.0~3.0,m根据深度相机分辨率与总原始点云的数量级而定,一般可以取正整数30~50。
同理,采用半径滤波法、聚类法、平滑法、连通域法等方法也可以达到相同效果。
步骤S5、根据所述与所述目标对应的点云,获取所述目标在三维空间中的位置信息。
可选的,步骤S5具体可以包括:
步骤S51、根据所述无人机10前方环境的原始点云,建立所述无人机10前方环境的三维地图。
具体的,将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云转换至世界坐标系下,并在世界坐标系下将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云合并及后处理,得到无人机10前方环境的三维地图。
可选的,将在世界坐标系下将深度传感器121获取到的所有的原始点云和目标点云进行合并后,进一步可以采用体素滤波、或者八叉树等方法将所有点云进行后处理,最终得到包括目标在内的三维地图。其中,三维地图的表示可以用八叉树、体素、网格图以及直接点云图等进行表示,只要可以表示三维空间关系即可,本发明不作具体限定。当然,可以理解地,在其他一些实施例中,为了减小计算量,可以将地图降维成二维地图。
步骤S52、对与所述目标对应的点云的三维坐标取平均值,其中,所述平均值用于表示所述目标在所述三维地图中的位置。
具体的,本发明实施例中,该目标定位方法的定位示意图如图3所示,其中,深度传感器121传感器和图像获取装置122均设置在无人机10的机身12上。
本发明的目标定位方法,通过设置在无人机10上的深度传感器121和图像获取装置122分别获取的数据整合的方法,既保留了传统平面视频和图像跟踪的算法,同时又得到了目标的深度,可为目标跟踪提供稳定性和精度更高的运动估算模型,有效减少误识别和跟踪丢失的概率。而且,由于目标识别在二维彩色图像中,不可获得目标的深度,本发明利用转换关系将深度传感器121的点云投影至图像获取装置122坐标系,再将所有点云反向投影至二维平面,并找出符合要求的点云,这里,符合要求的点云为坐标落在最小外接框内的原始点云。例如,设深度传感器121在某一帧得到的所有第一三维坐标(原始点云)为A(x1,y1,z1)、B(x2,y2,z2)、C(x3,y3,z3)、D(x4,y4,z4),所图像获取装置122坐标系下的坐标为A(u‘1,v‘1)、B(u‘2,v‘2)、C(u‘3,v‘3)、D(u‘4,v‘4),而在最小外接框内的坐标为A(u‘1,v‘1)、C(u‘3,v‘3),则符合要求的点云即为A(u‘1,v‘1)、C(u‘3,v‘3)所对应的A(x1,y1,z1)和C(x3,y3,z3)。
另外,本发明还可以在三维地图中准确标注目标的大小和位置,实现更准确的三维路径规划和实时三维重建的可视化。同时标注移动目标的点云可避免路径规划将目标物误认为障碍物。
参考图4,为本发明实施例提供的一种目标定位装置的原理框图。该目标定位装置可以用于实现前述的目标定位方法。
如图4所示,该目标定位装置,用于无人机10,具体可以包括:图像获取模块401、原始点云获取模块402和目标位置获取模块403。
图像获取模块401,用于获取目标图像和根据所述目标图像获取所述目标在所述目标图像中的位置信息。
本发明实施例中,图像获取装置122可以为彩色相机,其所获取的是目标在二维平面的图像,即图像获取装置122所获取的目标图像为二维图像。其可以包括图像的二维坐标信息、颜色信息等。其中,本发明实施例对所采用的彩色相机的参数和位置不作具体限制,只要已知彩色相机的标定参数即可;或者也可以设计为活动结构以达到随目标位置而旋转,即只要可以获取彩色相机相对于无人机10的机身12的转换关系即可。
可以理解地,本发明实施例中,目标在目标图像中的位置信息可以包括:目标在所述目标图像中的最小外接框坐标。其中,目标在目标图像中的最小外接框为包括目标在内的最小外接矩形区域,如图2中的100所示。
原始点云获取模块402,用于获取所述无人机10前方环境的原始点云。
可选的,本发明实施例的原始点云获取模块402可以包括深度传感器121,通过深度传感器121可以获取无人机10前方环境的原始点云。其中,本发明实施例对于深度传感器121的种类、数量和位置本发明实施例不作具体限制,可以根据实际的跟随需求进行选择设定。例如,深度传感器121包括双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达中的至少一种。为了保证深度相机可以在任意时刻都观测到目标物体,可以采用多组深度相机多向或全向排列;或者将深度相机设计为活动结构以达到随目标位置而旋转等,即只要可以获得深度相机相对于机身12的转换关系即可。
本发明实施例中,无人机10前方环境为无人机10行进方向上的环境。
目标位置获取模块403,用于:
根据所述原始点云和所述目标在所述目标图像中的位置信息,获取所述原始点云中与所述目标对应的点云。
根据所述与所述目标对应的点云,获取所述目标在三维空间中的位置信息。
本发明实施例中,目标在目标图像中的位置信息可以为目标在目标图像中的最小外接框坐标。此时,目标位置获取模块403具体用于:将所述原始点云投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在的平面的坐标。
具体的,先将所述原始点云在所述深度传感器121坐标系下的坐标转换为所述原始点云在所述图像获取装置122坐标系下的坐标;然后将所述原始点云在所述图像获取装置122坐标系下的坐标投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在平面的坐标;
可选的,本发明实施例中,所述原始点云在所述图像获取装置122坐标系下的坐标满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取装置122坐标系下的坐标,(x,y,z)为所述原始点云在所述深度传感器121坐标系下的坐标,T为所述深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵。通过(1)式,可以快速获得原始点云在图像获取装置122坐标系下的坐标(x′,y′,z′)。
由于无人机10的深度传感器121和图像获取装置122往往会在运动过程中旋转,所以两个坐标系转换举矩阵往往不能直接得到。在一些实施例中,深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T可以用深度传感器121至无人机10机身12坐标系的转换矩阵T1以及图像获取装置122至无人机10机身12坐标系的转换举矩阵T2求出。
其中,深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T满足:
T=T2 T×T1 (2)。
其中,T1为所述深度传感器121坐标系至所述无人机10机身12坐标系的转换矩阵,T2为所述图像获取装置122坐标系至所述无人机10机身12坐标系的转换矩阵。
通过(2)式可以快速获得深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T,进而通过(1)式快速计算出原始点云在图像获取装置122坐标系下的坐标(x′,y′,z′)。
可选的,本发明实施例中,原始点云在所述目标图像所在平面的坐标(u,v)满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取装置122坐标系下的坐标,d为所述原始点云的深度,k为所述图像获取装置122的内参矩阵。
因此,在获得原始点云在图像获取装置122坐标系下的坐标(x′,y′,z′)后,再根据(3)式和(4)式可以快速地计算出原始点云在所述目标图像所在平面的坐标(u,v)。
进一步地,目标位置获取模块403还具体用于:确定所述原始点云中,坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
具体的,通过上述方法获得原始点云在目标图像所在平面的所有坐标后,将所获得的每一个原始点云在目标图像所在平面的坐标与最小外接框进行比较判断,进而确定所有坐标落在所述最小外接框内平面坐标,其中,在目标图像所在平面的坐标落在最小外接框内的原始点云即为与所述目标对应的点云。
进一步地,该目标定位装置还包括点云滤波模块,所述点云滤波模块用于:
对坐标落入所述最小外接框内的所述原始点云进行滤波,以去除不属于所述目标的点云。
可选的,对坐标落入最小外接框内的原始点云进行滤波可以采用预设滤波法进行滤波,其中,预设滤波法包括但不限于高斯滤波法、半径滤波法、聚类法、平滑法、连通域法等。
以高斯滤波法为例进行说明,设坐标落入最小外接框内的原始点云总数为n,计算距离第i个原始点云与距离其最近的m个相邻原始点云的平均距离di,则d1~dn可构成高斯分布,即di~(μ,σ),计算期望μ与方差σ,根据高斯分布性质,若di>M*σ,则该原始点云不属于矩形区域,需滤除。其中,M可取2.0~3.0,m根据深度相机分辨率与总原始点云的数量级而定,一般可以取正整数30~50。
同理,采用半径滤波法、聚类法、平滑法、连通域法等方法也可以达到相同效果。
进一步地,本发明实施例的目标位置获取模块403具体用于:根据所述无人机10前方环境的原始点云,建立所述无人机10前方环境的三维地图。
具体的,将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云转换至世界坐标系下,并在世界坐标系下将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云合并及后处理,得到无人机10前方环境的三维地图。
可选的,将在世界坐标系下将深度传感器121获取到的所有的原始点云和目标点云进行合并后,进一步可以采用体素滤波、或者八叉树等方法将所有点云进行后处理,最终得到包括目标在内的三维地图。其中,三维地图的表示可以用八叉树、体素、网格图以及直接点云图等进行表示,只要可以表示三维空间关系即可,本发明不作具体限定。当然,可以理解地,在其他一些实施例中,为了减小计算量,可以将地图降维成二维地图。
进一步地,本发明实施例的目标位置获取模块403具体用于:对与所述目标对应的点云的三维坐标取平均值,其中,所述平均值用于表示所述目标在所述三维地图中的位置。
本发明实施例中,目标位置获取模块403可以为视觉芯片123。
参考图5,为本发明实施例提供的一种无人机10的原理框图。可以理解地,本发明实施例提供的无人机10可以用于实现前述的目标定位方法。该无人机10可以准确地确定目标在当前时刻的实时位置,既得到了目标的深度信息,也可以为目标跟踪提供稳定性和精度更高的运动估算模型,减少误识别和跟踪丢失的概率,可以实现更准确的三维路径规划和实时三维重建的可视化,同时还可以利用具有目标物体的三维地图进行避障,可避免路径规划将目标误认为障碍物。
如图5所示,本发明实施例的无人机10包括:机身12、与机身12相连的机臂11、设于机臂11的动力装置111、设于机身12的深度传感器121、设于机身12的图像获取装置122以及设于机身12的视觉芯片123
本发明实施例中,动力装置111用于提供无人机10飞行所需的动力。可选的,动力装置111可以包括设于机臂11的电机和与电机相连的螺旋桨,电机带动螺旋桨高速旋转以提供无人机飞行所需的动力。
本发明实施例中,深度传感器121用于获取所述无人机10前方环境的原始点云。
可选的,本发明实施例的原始点云获取模块402可以包括深度传感器121,通过深度传感器121可以获取无人机10前方环境的原始点云。其中,本发明实施例对于深度传感器121的种类、数量和位置本发明实施例不作具体限制,可以根据实际的跟随需求进行选择设定。例如,深度传感器121包括双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达中的至少一种。为了保证深度相机可以在任意时刻都观测到目标物体,可以采用多组深度相机多向或全向排列;或者将深度相机设计为活动结构以达到随目标位置而旋转等,即只要可以获得深度相机相对于机身12的转换关系即可。
本发明实施例中,无人机10前方环境为无人机10行进方向上的环境。
本发明实施例中,图像获取装置122用于获取目标图像并根据所述目标图像,获取所述目标在所述目标图像中的位置信息。
本发明实施例中,图像获取装置122可以为彩色相机,其所获取的是目标在二维平面的图像,即图像获取装置122所获取的目标图像为二维图像。其可以包括图像的二维坐标信息、颜色信息等。其中,本发明实施例对所采用的彩色相机的参数和位置不作具体限制,只要已知彩色相机的标定参数即可;或者也可以设计为活动结构以达到随目标位置而旋转,即只要可以获取彩色相机相对于无人机10的机身12的转换关系即可。
可以理解地,本发明实施例中,目标在目标图像中的位置信息可以包括:目标在所述目标图像中的最小外接框坐标。其中,目标在目标图像中的最小外接框为包括目标在内的最小外接矩形区域,如图2中的100所示。
可选的,目标在目标图像的位置信息包括目标在目标图像的最小外接框坐标。
本发明实施例中,视觉芯片123与深度传感器121和所述图像获取装置122通信连接。
具体的,视觉芯片123用于:
根据所述原始点云和所述目标在所述目标图像中的位置信息,获取所述原始点云中与所述目标对应的点云。
根据所述与所述目标对应的点云,获取所述目标在三维空间中的位置信息。
本发明实施例中,目标在目标图像中的位置信息可以为目标在目标图像中的最小外接框坐标。此时,视觉芯片123具体用于:将所述原始点云投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在的平面的坐标。
具体的,先将所述原始点云在所述深度传感器121坐标系下的坐标转换为所述原始点云在所述图像获取装置122坐标系下的坐标;然后将所述原始点云在所述图像获取装置122坐标系下的坐标投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在平面的坐标;
可选的,本发明实施例中,所述原始点云在所述图像获取装置122坐标系下的坐标满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取装置122坐标系下的坐标,(x,y,z)为所述原始点云在所述深度传感器121坐标系下的坐标,T为所述深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵。通过(1)式,可以快速获得原始点云在图像获取装置122坐标系下的坐标(x′,y′,z′)。
由于无人机10的深度传感器121和图像获取装置122往往会在运动过程中旋转,所以两个坐标系转换举矩阵往往不能直接得到。在一些实施例中,深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T可以用深度传感器121至无人机10机身12坐标系的转换矩阵T1以及图像获取装置122至无人机10机身12坐标系的转换举矩阵T2求出。
其中,深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T满足:
T=T2 T×T1 (2)。
其中,T1为所述深度传感器121坐标系至所述无人机10机身12坐标系的转换矩阵,T2为所述图像获取装置122坐标系至所述无人机10机身12坐标系的转换矩阵。
通过(2)式可以快速获得深度传感器121坐标系至所述图像获取装置122坐标系的转换矩阵T,进而通过(1)式快速计算出原始点云在图像获取装置122坐标系下的坐标(x′,y′,z′)。
可选的,本发明实施例中,原始点云在所述目标图像所在平面的坐标(u,v)满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取装置122坐标系下的坐标,d为所述原始点云的深度,k为所述图像获取装置122的内参矩阵。
因此,在获得原始点云在图像获取装置122坐标系下的坐标(x′,y′,z′)后,再根据(3)式和(4)式可以快速地计算出原始点云在所述目标图像所在平面的坐标(u,v)。
进一步地,视觉芯片123具体还用于:确定所述原始点云中,坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
具体的,通过上述方法获得原始点云在目标图像所在平面的所有坐标后,将所获得的每一个原始点云在目标图像所在平面的坐标与最小外接框进行比较判断,进而确定所有坐标落在所述最小外接框内平面坐标,其中,在目标图像所在平面的坐标落在最小外接框内的原始点云即为与所述目标对应的点云。
进一步地,该视觉芯片123还用于:
对坐标落入所述最小外接框内的所述原始点云进行滤波,以去除不属于所述目标的点云。
可选的,对坐标落入最小外接框内的原始点云进行滤波可以采用预设滤波法进行滤波,其中,预设滤波法包括但不限于高斯滤波法、半径滤波法、聚类法、平滑法、连通域法等。
以高斯滤波法为例进行说明,设坐标落入最小外接框内的原始点云总数为n,计算距离第i个原始点云与距离其最近的m个相邻原始点云的平均距离di,则d1~dn可构成高斯分布,即di~(μ,σ),计算期望μ与方差σ,根据高斯分布性质,若di>M*σ,则该原始点云不属于矩形区域,需滤除。其中,M可取2.0~3.0,m根据深度相机分辨率与总原始点云的数量级而定,一般可以取正整数30~50。
同理,采用半径滤波法、聚类法、平滑法、连通域法等方法也可以达到相同效果。
进一步地,该视觉芯片123具体用于:
根据所述无人机10前方环境的原始点云,建立所述无人机10前方环境的三维地图。
具体的,将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云转换至世界坐标系下,并在世界坐标系下将深度传感器121获取到的无人机10前方环境的原始点云和与所述目标对应的点云合并及后处理,得到无人机10前方环境的三维地图。
可选的,将在世界坐标系下将深度传感器121获取到的所有的原始点云和目标点云进行合并后,进一步可以采用体素滤波、或者八叉树等方法将所有点云进行后处理,最终得到包括目标在内的三维地图。其中,三维地图的表示可以用八叉树、体素、网格图以及直接点云图等进行表示,只要可以表示三维空间关系即可,本发明不作具体限定。当然,可以理解地,在其他一些实施例中,为了减小计算量,可以将地图降维成二维地图。
对与所述目标对应的点云的三维坐标取平均值,其中,所述平均值用于表示所述目标在所述三维地图中的位置。
以上实施例只为说明本发明的技术构思及特点,其目的在于让熟悉此项技术的人士能够了解本发明的内容并据此实施,并不能限制本发明的保护范围。凡跟本发明权利要求范围所做的均等变化与修饰,均应属于本发明权利要求的涵盖范围。
应当理解的是,对本领域普通技术人员来说,可以根据上述说明加以改进或变换,而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
Claims (27)
1.一种目标定位方法,用于无人机,所述无人机包括图像获取装置和深度传感器,其特征在于,该方法包括:
通过所述图像获取装置获取目标图像;
根据所述目标图像,获取所述目标在所述目标图像中的位置信息;
通过所述深度传感器获取所述无人机前方环境的原始点云;
根据所述原始点云和所述目标在所述目标图像中的位置信息,获取所述原始点云中与所述目标对应的点云;
根据所述与所述目标对应的点云,获取所述目标在三维空间中的位置信息。
2.根据权利要求1所述的目标定位方法,其特征在于,所述目标在所述目标图像中的位置信息包括所述目标在所述目标图像中的最小外接框坐标,则所述根据所述原始点云和所述目标在所述目标图像中的位置信息,获取所述原始点云中与所述目标对应的点云,包括:
将所述原始点云投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在的平面的坐标;
确定所述原始点云中,坐标落在所述最小外接框内的原始点云为所述与所述目标对应的点云。
3.根据权利要求2所述的目标定位方法,其特征在于,所述将所述原始点云投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在的平面的坐标,包括:
将所述原始点云在所述深度传感器坐标系下的坐标转换为所述原始点云在所述图像获取装置坐标系下的坐标;
将所述原始点云在所述图像获取装置坐标系下的坐标投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在平面的坐标。
4.根据权利要求3所述的目标定位方法,其特征在于,所述原始点云在所述图像获取装置坐标系下的坐标满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取装置坐标系下的坐标,(x,y,z)为所述原始点云在所述深度传感器坐标系下的坐标,T为所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵。
5.根据权利要求4所述的方法,其特征在于,所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵T满足:
T=T2 T×T1;
其中,T1为所述深度传感器坐标系至所述无人机机身坐标系的转换矩阵,T2为所述图像获取装置坐标系至所述无人机机身坐标系的转换矩阵。
6.根据权利要求2-5中任一项所述的方法,其特征在于,所述原始点云在所述目标图像所在平面的坐标(u,v)满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取装置坐标系下的坐标,d为所述原始点云的深度,k为所述图像获取装置的内参矩阵。
7.根据权利要求2-6中任一项所述的方法,其特征在于,在所述根据所述原始点云和所述目标在所述目标图像中的位置信息,获取所述原始点云中与所述目标对应的点云之前,该方法还包括:
对坐标落入所述最小外接框内的所述原始点云进行滤波,以去除不属于所述目标的点云。
8.根据权利要求1-7中任一项所述的方法,其特征在于,所述根据所述与所述目标对应的点云,获取所述目标在所述三维空间中的位置信息,包括:
根据所述无人机前方环境的原始点云,建立所述无人机前方环境的三维地图;
对与所述目标对应的点云的三维坐标取平均值,其中,所述平均值用于表示所述目标在所述三维地图中的位置。
9.根据权利要求1-8中任一项所述的方法,其特征在于,所述深度传感器包括以下中的至少一种:
双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
10.一种目标定位装置,用于无人机,其特征在于,包括:
图像获取模块,用于获取目标图像和根据所述目标图像获取所述目标在所述目标图像中的位置信息;
原始点云获取模块,用于获取所述无人机前方环境的原始点云;以及
目标位置获取模块,用于:
根据所述原始点云和所述目标在所述目标图像中的位置信息,获取所述原始点云中与所述目标对应的点云;
根据所述与所述目标对应的点云,获取所述目标在三维空间中的位置信息。
11.根据权利要求10所述的装置,其特征在于,所述目标位置获取模块具体用于:
将所述原始点云投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在的平面的坐标;
确定所述原始点云中,坐标落在最小外接框内的原始点云为所述与所述目标对应的点云。
12.根据权利要求11所述的装置,其特征在于,所述目标位置获取模块具体用于:
将所述原始点云在所述原始点云获取模块坐标系下的坐标转换为所述原始点云在所述图像获取模块坐标系下的坐标;
将所述原始点云在所述图像获取模块坐标系下的坐标投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在平面的坐标。
13.根据权利要求12所述的装置,其特征在于,所述原始点云在所述图像获取模块坐标系下的坐标满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取模块坐标系下的坐标,(x,y,z)为所述原始点云在所述原始点云获取模块坐标系下的坐标,T为所述原始点云获取模块坐标系至所述图像获取模块坐标系的转换矩阵。
14.根据权利要求13所述的装置,其特征在于,所述原始点云获取模块坐标系至所述图像获取模块坐标系的转换矩阵T满足:
T=T2 T×T1;
其中,T1为所述原始点云获取模块坐标系至所述无人机机身坐标系的转换矩阵,T2为所述图像获取模块坐标系至所述无人机机身坐标系的转换矩阵。
15.根据权利要求11-14中任一项所述的装置,其特征在于,所述原始点云在所述目标图像所在平面的坐标(u,v)满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取模块坐标系下的坐标,d为所述原始点云的深度,k为所述图像获取模块的内参矩阵。
16.根据权利要求11-15中任一项所述的装置,其特征在于,该装置还包括点云滤波模块,所述点云滤波模块用于:
对坐标落入所述最小外接框内的所述原始点云进行滤波,以去除不属于所述目标的点云。
17.根据权利要求10-16中任一项所述的装置,其特征在于,所述目标位置获取模块具体用于:
根据所述无人机前方环境的原始点云,建立所述无人机前方环境的三维地图;
对与所述目标对应的点云的三维坐标取平均值,其中,所述平均值用于表示所述目标在所述三维地图中的位置。
18.根据权利要求10-17中任一项所述的装置,其特征在于,所述原始点云获取模块为深度传感器,所述深度传感器包括以下中的至少一种:
双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
19.一种无人机,其特征在于,包括:
机身;
机臂,与所述机身相连;
动力装置,设于所述机臂,用于提供所述无人机飞行所需的动力;
深度传感器,设于所述机身,用于获取所述无人机前方环境的原始点云;
图像获取装置,设于所述机身,用于获取目标图像并根据所述目标图像,获取所述目标在所述目标图像中的位置信息;以及
视觉芯片,设于所述机身,所述深度传感器与所述图像获取装置均与所述视觉芯片通信连接;
所述视觉芯片用于:
根据所述原始点云和所述目标在所述目标图像中的位置信息,获取所述原始点云中与所述目标对应的点云;
根据所述与所述目标对应的点云,获取所述目标在三维空间中的位置信息。
20.根据权利要求19所述的无人机,其特征在于,所述视觉芯片具体用于:
将所述原始点云投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在的平面的坐标;
确定所述原始点云中,坐标落在最小外接框内的原始点云为所述与所述目标对应的点云。
21.根据权利要求20所述的无人机,其特征在于,所述视觉芯片具体用于:
将所述原始点云在所述深度传感器坐标系下的坐标转换为所述原始点云在所述图像获取装置坐标系下的坐标;
将所述原始点云在所述图像获取装置坐标系下的坐标投影至所述目标图像所在的平面,以获取所述原始点云在所述目标图像所在平面的坐标。
22.根据权利要求21所述的无人机,其特征在于,所述原始点云在所述图像获取装置坐标系下的坐标满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取装置坐标系下的坐标,(x,y,z)为所述原始点云在所述深度传感器坐标系下的坐标,T为所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵。
23.根据权利要求22所述的无人机,其特征在于,所述深度传感器坐标系至所述图像获取装置坐标系的转换矩阵T满足:
T=T2 T×T1;
其中,T1为所述深度传感器坐标系至所述机身坐标系的转换矩阵,T2为所述图像获取装置坐标系至所述机身坐标系的转换矩阵。
24.根据权利要求20-23中任一项所述的无人机,其特征在于,所述原始点云在所述目标图像所在平面的坐标(u,v)满足:
其中,(x′,y′,z′)为所述原始点云在所述图像获取装置坐标系下的坐标,d为所述原始点云的深度,k为所述图像获取装置的内参矩阵。
25.根据权利要求20-24中任一项所述的无人机,其特征在于,所述视觉芯片还用于:
对坐标落入所述最小外接框内的所述原始点云进行滤波,以去除不属于所述目标的点云。
26.根据权利要求19-25中任一项所述的无人机,其特征在于,所述视觉芯片具体用于:
根据所述无人机前方环境的原始点云,建立所述无人机前方环境的三维地图;
对与所述目标对应的点云的三维坐标取平均值,其中,所述平均值用于表示所述目标在所述三维地图中的位置。
27.根据权利要求19-26中任一项所述的无人机,其特征在于,所述深度传感器包括以下中的至少一种:
双目相机、结构光相机、TOF(Time Of Flight)相机和激光雷达。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811581024.5A CN109767452A (zh) | 2018-12-24 | 2018-12-24 | 一种目标定位方法和装置、无人机 |
PCT/CN2019/128057 WO2020135446A1 (zh) | 2018-12-24 | 2019-12-24 | 一种目标定位方法和装置、无人机 |
US17/357,346 US12008824B2 (en) | 2018-12-24 | 2021-06-24 | Target positioning method and device, and unmanned aerial vehicle |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811581024.5A CN109767452A (zh) | 2018-12-24 | 2018-12-24 | 一种目标定位方法和装置、无人机 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN109767452A true CN109767452A (zh) | 2019-05-17 |
Family
ID=66452101
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811581024.5A Pending CN109767452A (zh) | 2018-12-24 | 2018-12-24 | 一种目标定位方法和装置、无人机 |
Country Status (3)
Country | Link |
---|---|
US (1) | US12008824B2 (zh) |
CN (1) | CN109767452A (zh) |
WO (1) | WO2020135446A1 (zh) |
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110553628A (zh) * | 2019-08-28 | 2019-12-10 | 华南理工大学 | 一种基于深度相机的捕捉飞行物体的方法 |
CN110570463A (zh) * | 2019-09-11 | 2019-12-13 | 深圳市道通智能航空技术有限公司 | 一种目标状态估计方法、装置和无人机 |
CN110599546A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种获取三维空间数据的方法、***、装置和存储介质 |
CN110631586A (zh) * | 2019-09-26 | 2019-12-31 | 珠海市一微半导体有限公司 | 基于视觉slam的地图构建的方法、导航***及装置 |
CN110873565A (zh) * | 2019-11-21 | 2020-03-10 | 北京航空航天大学 | 用于城市场景重建的无人机实时路径规划方法 |
CN110909585A (zh) * | 2019-08-15 | 2020-03-24 | 北京致行慕远科技有限公司 | 一种路线确定方法、可行进设备、和存储介质 |
CN111311709A (zh) * | 2020-02-05 | 2020-06-19 | 北京三快在线科技有限公司 | 一种生成高精地图的方法及装置 |
WO2020135446A1 (zh) * | 2018-12-24 | 2020-07-02 | 深圳市道通智能航空技术有限公司 | 一种目标定位方法和装置、无人机 |
CN111857168A (zh) * | 2020-07-03 | 2020-10-30 | 北京二郎神科技有限公司 | 无人机定位方法、装置与无人机停放姿态调整方法、装置 |
WO2020258073A1 (zh) * | 2019-06-26 | 2020-12-30 | 深圳市大疆创新科技有限公司 | 可移动平台的交互方法、***、可移动平台及存储介质 |
CN112200851A (zh) * | 2020-12-09 | 2021-01-08 | 北京云测信息技术有限公司 | 一种基于点云的目标检测方法、装置及其电子设备 |
CN112561997A (zh) * | 2020-12-10 | 2021-03-26 | 之江实验室 | 一种面向机器人的行人定位方法、装置、电子设备及介质 |
CN112816967A (zh) * | 2021-02-03 | 2021-05-18 | 成都康烨科技有限公司 | 图像距离测量方法、装置、测距设备和可读存储介质 |
CN113436318A (zh) * | 2021-06-30 | 2021-09-24 | 北京市商汤科技开发有限公司 | 场景重建方法、装置、电子设备和计算机存储介质 |
CN113916213A (zh) * | 2020-07-08 | 2022-01-11 | 北京猎户星空科技有限公司 | 定位方法、装置、电子设备和计算机可读存储介质 |
WO2022077190A1 (zh) * | 2020-10-12 | 2022-04-21 | 深圳市大疆创新科技有限公司 | 数据处理方法、控制设备及存储介质 |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112396654A (zh) * | 2020-11-17 | 2021-02-23 | 闪耀现实(无锡)科技有限公司 | 用于在图像跟踪过程中确定跟踪对象的位姿的方法及装置 |
CN113409399B (zh) * | 2021-06-10 | 2023-04-11 | 武汉库柏特科技有限公司 | 一种双相机联合标定方法、***及装置 |
CN113776540B (zh) * | 2021-11-09 | 2022-03-22 | 北京艾克利特光电科技有限公司 | 基于视觉导航定位的车载系留无人机实时跟踪移动车辆的控制方法 |
CN114170173B (zh) * | 2021-11-30 | 2022-11-04 | 中科九创智能科技(北京)有限公司 | 上甑机器人的检测方法、检测模块及检测*** |
CN115100264B (zh) * | 2022-05-12 | 2024-04-02 | 北京控制与电子技术研究所 | 一种基于三维点云的地形和目标实时检测及定位方法 |
CN115076049A (zh) * | 2022-07-04 | 2022-09-20 | 无锡海纳智能科技有限公司 | 一种风机偏航角的确定方法、装置、存储介质及电子设备 |
CN115661245B (zh) * | 2022-10-24 | 2023-04-18 | 东北林业大学 | 一种基于无人机的大尺度火线瞬时定位方法 |
CN116228854B (zh) * | 2022-12-29 | 2023-09-08 | 中科微至科技股份有限公司 | 一种基于深度学习的包裹自动分拣方法 |
CN116152635B (zh) * | 2023-01-30 | 2023-07-21 | 中国人民解放军96901部队 | 一种基于区块链的无人飞行器联合航拍信息共享方法 |
CN117647795A (zh) * | 2023-11-28 | 2024-03-05 | 无锡中科光电技术有限公司 | 一种用于激光雷达标定的质控装置及其方法 |
CN117974747B (zh) * | 2024-04-01 | 2024-07-09 | 北京理工大学长三角研究院(嘉兴) | 360度点云2d深度盘三角剖分构图方法、装置及*** |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512646A (zh) * | 2016-01-19 | 2016-04-20 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及终端 |
CN106097444A (zh) * | 2016-05-30 | 2016-11-09 | 百度在线网络技术(北京)有限公司 | 高精地图生成方法和装置 |
CN107274447A (zh) * | 2017-07-14 | 2017-10-20 | 梅卡曼德(北京)机器人科技有限公司 | 深度图像获取装置和深度图像获取方法 |
CN108509918A (zh) * | 2018-04-03 | 2018-09-07 | 中国人民解放军国防科技大学 | 融合激光点云与图像的目标检测与跟踪方法 |
CN108858199A (zh) * | 2018-07-27 | 2018-11-23 | 中国科学院自动化研究所 | 基于视觉的服务机器人抓取目标物体的方法 |
CN108932475A (zh) * | 2018-05-31 | 2018-12-04 | 中国科学院西安光学精密机械研究所 | 一种基于激光雷达和单目视觉的三维目标识别***及方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9933264B2 (en) * | 2015-04-06 | 2018-04-03 | Hrl Laboratories, Llc | System and method for achieving fast and reliable time-to-contact estimation using vision and range sensor data for autonomous navigation |
CN105775150B (zh) * | 2016-03-17 | 2017-12-22 | 英华达(上海)科技有限公司 | 无人飞行载具及其降落方法 |
CN106384353A (zh) * | 2016-09-12 | 2017-02-08 | 佛山市南海区广工大数控装备协同创新研究院 | 一种基于rgbd的目标定位方法 |
US10378906B2 (en) * | 2016-10-04 | 2019-08-13 | Walmart Apollo, Llc | Systems and methods for autonomous drone navigation |
CN106932780A (zh) * | 2017-03-14 | 2017-07-07 | 北京京东尚科信息技术有限公司 | 物体定位方法、装置和*** |
US20180350086A1 (en) * | 2017-05-31 | 2018-12-06 | Qualcomm Incorporated | System And Method Of Dynamically Filtering Depth Estimates To Generate A Volumetric Map Of A Three-Dimensional Environment Having An Adjustable Maximum Depth |
US11127202B2 (en) * | 2017-12-18 | 2021-09-21 | Parthiv Krishna | Search and rescue unmanned aerial system |
CN108229548A (zh) * | 2017-12-27 | 2018-06-29 | 华为技术有限公司 | 一种物体检测方法及装置 |
CN109767452A (zh) * | 2018-12-24 | 2019-05-17 | 深圳市道通智能航空技术有限公司 | 一种目标定位方法和装置、无人机 |
CN110570463B (zh) * | 2019-09-11 | 2023-04-07 | 深圳市道通智能航空技术股份有限公司 | 一种目标状态估计方法、装置和无人机 |
-
2018
- 2018-12-24 CN CN201811581024.5A patent/CN109767452A/zh active Pending
-
2019
- 2019-12-24 WO PCT/CN2019/128057 patent/WO2020135446A1/zh active Application Filing
-
2021
- 2021-06-24 US US17/357,346 patent/US12008824B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105512646A (zh) * | 2016-01-19 | 2016-04-20 | 腾讯科技(深圳)有限公司 | 一种数据处理方法、装置及终端 |
CN106097444A (zh) * | 2016-05-30 | 2016-11-09 | 百度在线网络技术(北京)有限公司 | 高精地图生成方法和装置 |
CN107274447A (zh) * | 2017-07-14 | 2017-10-20 | 梅卡曼德(北京)机器人科技有限公司 | 深度图像获取装置和深度图像获取方法 |
CN108509918A (zh) * | 2018-04-03 | 2018-09-07 | 中国人民解放军国防科技大学 | 融合激光点云与图像的目标检测与跟踪方法 |
CN108932475A (zh) * | 2018-05-31 | 2018-12-04 | 中国科学院西安光学精密机械研究所 | 一种基于激光雷达和单目视觉的三维目标识别***及方法 |
CN108858199A (zh) * | 2018-07-27 | 2018-11-23 | 中国科学院自动化研究所 | 基于视觉的服务机器人抓取目标物体的方法 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020135446A1 (zh) * | 2018-12-24 | 2020-07-02 | 深圳市道通智能航空技术有限公司 | 一种目标定位方法和装置、无人机 |
US12008824B2 (en) | 2018-12-24 | 2024-06-11 | Autel Robotics Co., Ltd. | Target positioning method and device, and unmanned aerial vehicle |
US11922583B2 (en) | 2019-06-26 | 2024-03-05 | SZ DJI Technology Co., Ltd. | Interactive method and system of movable platform, movable platform, and storage medium |
WO2020258073A1 (zh) * | 2019-06-26 | 2020-12-30 | 深圳市大疆创新科技有限公司 | 可移动平台的交互方法、***、可移动平台及存储介质 |
CN110909585A (zh) * | 2019-08-15 | 2020-03-24 | 北京致行慕远科技有限公司 | 一种路线确定方法、可行进设备、和存储介质 |
CN110553628A (zh) * | 2019-08-28 | 2019-12-10 | 华南理工大学 | 一种基于深度相机的捕捉飞行物体的方法 |
CN110599546A (zh) * | 2019-08-28 | 2019-12-20 | 贝壳技术有限公司 | 一种获取三维空间数据的方法、***、装置和存储介质 |
CN110570463A (zh) * | 2019-09-11 | 2019-12-13 | 深圳市道通智能航空技术有限公司 | 一种目标状态估计方法、装置和无人机 |
CN110570463B (zh) * | 2019-09-11 | 2023-04-07 | 深圳市道通智能航空技术股份有限公司 | 一种目标状态估计方法、装置和无人机 |
CN110631586A (zh) * | 2019-09-26 | 2019-12-31 | 珠海市一微半导体有限公司 | 基于视觉slam的地图构建的方法、导航***及装置 |
CN110873565A (zh) * | 2019-11-21 | 2020-03-10 | 北京航空航天大学 | 用于城市场景重建的无人机实时路径规划方法 |
CN110873565B (zh) * | 2019-11-21 | 2021-06-04 | 北京航空航天大学 | 用于城市场景重建的无人机实时路径规划方法 |
CN111311709A (zh) * | 2020-02-05 | 2020-06-19 | 北京三快在线科技有限公司 | 一种生成高精地图的方法及装置 |
CN111311709B (zh) * | 2020-02-05 | 2023-06-20 | 北京三快在线科技有限公司 | 一种生成高精地图的方法及装置 |
CN111857168A (zh) * | 2020-07-03 | 2020-10-30 | 北京二郎神科技有限公司 | 无人机定位方法、装置与无人机停放姿态调整方法、装置 |
CN113916213B (zh) * | 2020-07-08 | 2024-07-23 | 北京猎户星空科技有限公司 | 定位方法、装置、电子设备和计算机可读存储介质 |
CN113916213A (zh) * | 2020-07-08 | 2022-01-11 | 北京猎户星空科技有限公司 | 定位方法、装置、电子设备和计算机可读存储介质 |
WO2022077190A1 (zh) * | 2020-10-12 | 2022-04-21 | 深圳市大疆创新科技有限公司 | 数据处理方法、控制设备及存储介质 |
CN112200851A (zh) * | 2020-12-09 | 2021-01-08 | 北京云测信息技术有限公司 | 一种基于点云的目标检测方法、装置及其电子设备 |
CN112200851B (zh) * | 2020-12-09 | 2021-02-26 | 北京云测信息技术有限公司 | 一种基于点云的目标检测方法、装置及其电子设备 |
CN112561997A (zh) * | 2020-12-10 | 2021-03-26 | 之江实验室 | 一种面向机器人的行人定位方法、装置、电子设备及介质 |
CN112816967A (zh) * | 2021-02-03 | 2021-05-18 | 成都康烨科技有限公司 | 图像距离测量方法、装置、测距设备和可读存储介质 |
CN113436318A (zh) * | 2021-06-30 | 2021-09-24 | 北京市商汤科技开发有限公司 | 场景重建方法、装置、电子设备和计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
US20210319575A1 (en) | 2021-10-14 |
WO2020135446A1 (zh) | 2020-07-02 |
US12008824B2 (en) | 2024-06-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109767452A (zh) | 一种目标定位方法和装置、无人机 | |
Jörgensen et al. | Monocular 3d object detection and box fitting trained end-to-end using intersection-over-union loss | |
CN110246159A (zh) | 基于视觉和雷达信息融合的3d目标运动分析方法 | |
EP3407294B1 (en) | Information processing method, device, and terminal | |
CN110221603A (zh) | 一种基于激光雷达多帧点云融合的远距离障碍物检测方法 | |
CN102774325B (zh) | 一种后视倒车辅助***和形成后视障碍图像的方法 | |
EP2209091B1 (en) | System and method for object motion detection based on multiple 3D warping and vehicle equipped with such system | |
CN114667437A (zh) | 用于自主驾驶应用的地图创建和定位 | |
CN112567201A (zh) | 距离测量方法以及设备 | |
CN106681353A (zh) | 基于双目视觉与光流融合的无人机避障方法及*** | |
US10645365B2 (en) | Camera parameter set calculation apparatus, camera parameter set calculation method, and recording medium | |
EP2863365A2 (en) | Image processing apparatus and method | |
JP5023186B2 (ja) | 3dワーピング手法と固有対象物運動(pom)の検出の組み合わせに基づく対象物の動き検出システム | |
CN110969064B (zh) | 一种基于单目视觉的图像检测方法、装置及存储设备 | |
CN108474658A (zh) | 地面形态检测方法及***、无人机降落方法和无人机 | |
CN110148177A (zh) | 用于确定相机的姿态角的方法、装置、计算设备、计算机可读存储介质以及采集实体 | |
CN114821507A (zh) | 一种用于自动驾驶的多传感器融合车路协同感知方法 | |
DE112021006101T5 (de) | Systeme und Verfahren zur Objektdetektion mit LiDAR-Dekorrelation | |
CN109583312A (zh) | 车道线识别方法、装置、设备及存储介质 | |
CN114295139A (zh) | 一种协同感知定位方法及*** | |
CN112907757A (zh) | 一种导航提示方法、装置、电子设备及存储介质 | |
CN112381876B (zh) | 一种交通标志标注方法、装置及计算机设备 | |
Giosan et al. | Superpixel-based obstacle segmentation from dense stereo urban traffic scenarios using intensity, depth and optical flow information | |
CN114384486A (zh) | 一种数据处理方法及装置 | |
CN116630931A (zh) | 障碍物检测方法、***、农业机械、电子设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |