CN110135485A - 单目相机与毫米波雷达融合的物体识别与定位方法和*** - Google Patents
单目相机与毫米波雷达融合的物体识别与定位方法和*** Download PDFInfo
- Publication number
- CN110135485A CN110135485A CN201910369508.1A CN201910369508A CN110135485A CN 110135485 A CN110135485 A CN 110135485A CN 201910369508 A CN201910369508 A CN 201910369508A CN 110135485 A CN110135485 A CN 110135485A
- Authority
- CN
- China
- Prior art keywords
- radar
- millimetre
- monocular camera
- wave radar
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000004807 localization Effects 0.000 title claims abstract description 9
- 238000013528 artificial neural network Methods 0.000 claims abstract description 28
- 230000004927 fusion Effects 0.000 claims abstract description 17
- 241000208340 Araliaceae Species 0.000 claims abstract description 15
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims abstract description 15
- 235000003140 Panax quinquefolius Nutrition 0.000 claims abstract description 15
- 235000008434 ginseng Nutrition 0.000 claims abstract description 15
- 230000011218 segmentation Effects 0.000 claims abstract description 15
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 12
- 230000000007 visual effect Effects 0.000 claims description 12
- 238000013527 convolutional neural network Methods 0.000 claims description 11
- 238000013526 transfer learning Methods 0.000 claims description 10
- 239000011159 matrix material Substances 0.000 claims description 5
- 230000008447 perception Effects 0.000 claims description 5
- 230000004888 barrier function Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000007797 corrosion Effects 0.000 description 1
- 238000005260 corrosion Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Multimedia (AREA)
- Radar Systems Or Details Thereof (AREA)
Abstract
本发明公开了单目相机与毫米波雷达融合的物体识别与定位方法和***，属于多传感器融合技术领域。方法包括以下步骤：步骤一：传感器数据采集与帧同步；1a.毫米波雷达与单目相机数据采集；1b.基于帧同步的数据序列匹配；步骤二：基于神经网络处理图像识别物体与边界；2a.提前训练基于Mask‑RCNN的实例分割神经网络；2b.利用神经网络完成物体识别和图像实例分割；步骤三：坐标系转换与数据融合；3a.已知传感器间外参，雷达点云转换至图像坐标系；3b.基于实例分割结果，完成物体匹配信息融合；3c.在三维坐标系下展示物体类别与物体空间位置。本发明更加稳定，能克服恶劣天气对数据采集的影响。
Description
技术领域
本发明涉及多传感器融合技术领域，尤其涉及一种单目相机与毫米波雷达融合的物体识别与定位方法和***，利用单目相机与毫米波雷达进行数据融合，完成对物体识别与定位。
背景技术
智能机器人对周围环境和物体的感知技术一直是机器人研究领域的核心问题。随着深度学习技术的快速发展与广泛应用，对传感器数据的处理能力也取得了巨大进步。目前，基于神经网络对图像信息进行推断，已经能够高准确率地实现对障碍物的识别，甚至得到精确的物体轮廓边界。考虑到单一视觉传感器获得的环境信息有限，同时也易受到环境等因素的干扰，因此融合其他传感器作为信息补充能够切实提高机器人的感知能力。
雷达提供的点云信息，能够弥补单目相机对于深度探测能力的不足。通过外参变换，点云的坐标系与图像坐标系顺利连接起来，使雷达和相机的数据互相匹配，图像中的物体就获得了对应的深度信息。
相比激光雷达，毫米波雷达具有可靠性好、环境鲁棒性强、成本合理等优势，在智能机器人与无人驾驶领域均取得了广泛的关注。但由于雷达***对横向和垂直方向信息的探测能力不如在纵向上准确，导致角度分辨率较低，无法用于判断物体类别，得到物体的尺寸。而单目相机可以弥补毫米波雷达点云稀疏的问题，利用神经网络对相机图像进行实例分割，可以在识别物体的同时得到物体边界轮廓。通过传感器信息之间的匹配与融合，能够完成物体的识别和定位。
目前已有一些利用相机与雷达完成物体识别定位的方法，如对二值图像进行形态学腐蚀与膨胀处理，与雷达数据、无人机三维倾角数据融合后得到障碍物三维信息。也有技术人员选择用激光雷达、毫米波雷达和相机分别完成物体的识别与定位，再通过在不同距离、天气下信任不同传感器的方法，进行最终融合。因此对传感器性能都有较高的要求，同时毫米波雷达的识别准确率与相机的测距精度也会面临较大的挑战。还有使用毫米波雷达点云的像素投影点来获取感兴趣区域，再通过图像检测确定障碍物是否为车辆。尽管减少了图像处理的区域和时间，有效完成了车辆检测任务，但是在物体识别与定位方面没有应用。
发明内容
本发明要解决的问题是提供一种利用单目相机与毫米波雷达数据融合完成的物体识别与定位方法和***，结合毫米波雷达对环境鲁棒性强的特性，开发出一套简便且高效的环境感知***，快速、准确地对所需目标完成识别与定位。与此同时，为物体跟踪，语义地图建立等更深层次的需求和功能提供基础。
为了解决上述技术问题，本发明提供一种单目相机与毫米波雷达融合***，包括传感器数据采集与帧同步，基于神经网络处理图像识别物体与边界，坐标系转换与数据融合等具体步骤。
本发明采用单目相机获取周围环境的图像信息，采用毫米波雷达获取物体的深度信息，通过帧同步与外参转换后，将两传感器数据匹配融合，最终完成物体的识别与定位。其中，利用卷积神经网络对视觉信息进行实例分割，得到较高置信度的物体类别与像素轮廓，再搭配毫米波雷达感知得到的物体距离和位置。克服了毫米波雷达点云角分辨率过低，密度不足以识别物体的缺点，同时也克服了单目相机快速获得物体深度的难题。充分展现了两种传感器各自的优势，将多维信息有机融合，快速、准确地实现了对物体的识别与定位功能。
一种基于单目相机与毫米波雷达融合的物体识别与定位方法，其特征在于包括以下步骤：
步骤一：传感器数据采集与帧同步；
1a.毫米波雷达与单目相机数据采集；
1b.基于帧同步的数据序列匹配；
步骤二：基于神经网络处理图像识别物体与边界；
2a.提前训练基于Mask-RCNN的实例分割神经网络；
2b.利用神经网络完成物体识别和图像实例分割；
步骤三：坐标系转换与数据融合；
3a.已知传感器间外参，雷达点云转换至图像坐标系，点云与像素相关联；
3b.基于实例分割结果，完成物体在雷达坐标系与图像坐标系下的信息匹配融合；
3c.在三维坐标系雷达坐标系下展示物体类别与物体空间位置：最终在雷达坐标系下，表示出所识别的物体类别及其投影轮廓，完成基于单目相机与毫米波雷达融合的物体识别与定位。
进一步的，所述的步骤1a中，在固定毫米波雷达和单目相机的相对位置之后，保持两者方向一致，视野重叠，开始进行场景感知数据的采集。
进一步的，所述的1b中，开启数据采集之后，毫米波雷达与单目相机会分别产生系列点云和像素数据，采用时间戳做差值，以低帧率传感器优先的方式，寻找对应差值最低的高帧率传感器数据帧，从而完成传感器数据间的帧同步匹配。
进一步的，所述的步骤2a中，根据实际的应用场景，决定所需识别的物体种类，处理训练数据集，并对预训练的卷积神经网络进迁移学习(Fine-tune)。
进一步的，所述的步骤2b中将图像放入迁移学习得到的专用卷积神经网络，正向传播完成推断后识别出视野中各物体的种类与置信度，同时得到各物体的像素边界轮廓。
进一步的，所述的步骤3a中，雷达点云转换至图像坐标系的方法如下：
以下公式描述了雷达坐标系中点云坐标(x,y,z)与图像坐标系下对应像素点(u,v)之间的转换关系，
其中，相机的内参矩阵相机与雷达间的外参是已知参数；匹配上雷达三维点云对应的像素点后，得到像素点对应的空间中实际物体深度zc。
进一步的，所述的步骤3b中，根据雷达点云匹配的像素点所在区域，与步骤二中得到的图像实例分割结果比较，落在物体像素轮廓内的结果匹配为同一物体，从而得到雷达点云所表示的物体类别；同时，赋予物体像素轮廓深度信息后，转换至雷达坐标系下，得到物体三维投影轮廓，得到物体的精确定位。
一种基于单目相机与毫米波雷达融合的物体识别与定位***，包括：
传感器数据采集与帧同步模块，利用毫米波雷达与单目相机采集数据；进行基于帧同步的数据序列匹配；
基于神经网络处理图像识别物体与边界模块，提前训练基于Mask-RCNN的实例分割神经网络，利用神经网络完成物体识别和图像实例分割；
坐标系转换与数据融合模块，已知传感器间外参，雷达点云转换至图像坐标系，点云与像素相关联；基于实例分割结果，完成物体在雷达坐标系与图像坐标系下的信息匹配融合；在三维坐标系雷达坐标系下展示物体类别与物体空间位置。
进一步的，所述的传感器数据采集与帧同步模块包括：
毫米波雷达与单目相机数据采集模块：在固定毫米波雷达和单目相机的相对位置之后，保持两者方向一致，视野重叠，开始进行场景感知数据的采集。
基于帧同步的数据序列匹配模块：开启数据采集之后，毫米波雷达与单目相机会分别产生系列点云和像素数据；采用时间戳做差值，以低帧率传感器优先的方式，寻找对应差值最低的高帧率传感器数据帧，从而完成传感器数据间的帧同步匹配。
进一步的，所述的基于神经网络处理图像识别物体与边界模块包括：
基于Mask-RCNN的实例分割神经网络模块：根据实际的应用场景，决定所需识别的物体种类，处理训练数据集，并对预训练的卷积神经网络进迁移学习(Fine-tune)。
物体识别和图像实例分割模块：将图像放入迁移学习得到的专用卷积神经网络，正向传播完成推断后识别出视野中各物体的种类与置信度，同时可以得到各物体的像素边界轮廓。
所述坐标系转换与数据融合模块包括：
雷达点云转换至图像坐标系模块，已知传感器间外参，以下公式描述了雷达坐标系中点云坐标(x,y,z)与图像坐标系下对应像素点(u,v)之间的转换关系，
其中，相机的内参矩阵相机与雷达间的外参是已知参数；匹配上雷达三维点云对应的像素点后，得到像素点对应的空间中实际物体深度zc；
物体匹配信息融合模块：根据雷达点云匹配的像素点所在区域，与步骤二中得到的图像实例分割结果比较，落在物体像素轮廓内的结果匹配为同一物体，从而得到雷达点云所表示的物体类别；同时，赋予物体像素轮廓深度信息后，转换至雷达坐标系下，得到物体三维投影轮廓，得到物体的精确定位。
展示物体类别与物体空间位置模块：最终在雷达坐标系下，表示出所识别的物体类别及其投影轮廓，完成基于单目相机与毫米波雷达融合的物体识别与定位。
本发明的有益效果是：
一，选用了单目相机与毫米波雷达的组合进行数据融合，***成本具有优势。单目相机的距离探测能力与抗恶劣天气能力较弱，这两点均可由毫米波雷达进行弥补。二，选用了个性化训练后的神经网络用于图像实例分割，针对场景选择不同的数据集训练出的卷积神经网络能更快速更精确地识别出特定种类地物体，在有限的计算资源下达到更好的效果。三、选择可以输出物体像素轮廓的实例分割神经网络，坐标转换后得到物体三维投影轮廓，有利于增加物体的定位精度，克服毫米波雷达点云稀疏不稳定的缺点。四，采用帧同步方法对雷达点云序列与图像序列进行匹配，在传感器帧率不一致的情况下依然能够匹配到最接近的场景数据。
附图说明
图1是本发明中单目相机与毫米波雷达用于物体识别和定位的流程示意图。
具体实施方式
下面结合附图对本发明的具体实施方式作进一步详细说明。参照图1对本发明中的物体识别与定位方法做进一步说明。
基于单目相机与毫米波雷达融合的物体识别与定位方法，具体包括以下步骤：
步骤一：传感器数据采集与帧同步；
1a.毫米波雷达与单目相机数据采集：在固定毫米波雷达和单目相机的相对位置之后，保持两者方向一致，视野重叠，开始进行场景感知数据的采集。
1b.基于帧同步的数据序列匹配：开启数据采集之后，毫米波雷达与单目相机会分别产生系列点云和像素数据。考虑到该方法的适用性，假定雷达与相机的帧率不相同并且不稳定，此时传感器***移动过程中帧间数据差异较大，会对传感器帧匹配提出要求。采用时间戳做差值，以低帧率传感器优先的方式，寻找对应差值最低的高帧率传感器数据帧，从而完成传感器数据间的帧同步匹配。
步骤二：基于神经网络处理图像识别物体与边界；
2a.提前训练基于Mask-RCNN的实例分割神经网络：根据实际的应用场景，决定所需识别的物体种类，处理训练数据集，并对预训练的卷积神经网络进迁移学习(Fine-tune)。训练后得到的实例分割神经网络可以更快速、更准确地识别出特定物体，并分割像素点，指出物体轮廓所在的像素边界。
2b.利用神经网络完成物体识别和图像实例分割：将图像放入迁移学习得到的专用卷积神经网络，正向传播完成推断后识别出视野中各物体的种类与置信度，同时可以得到各物体的像素边界轮廓。
步骤三：坐标系转换与数据融合；
3a.已知传感器间外参，雷达点云转换至图像坐标系，点云与像素相关联；
以下公式描述了雷达坐标系中点云坐标(x,y,z)与图像坐标系下对应像素点(u,v)之间的转换关系，
其中，相机的内参矩阵相机与雷达间的外参是已知参数。
匹配上雷达三维点云对应的像素点后，得到像素点对应的空间中实际物体深度zc。
3b.基于实例分割结果，完成物体在雷达坐标系与图像坐标系下的信息匹配融合；根据雷达点云匹配的像素点所在区域，与步骤二中得到的图像实例分割结果比较，落在物体像素轮廓内的结果匹配为同一物体，从而得到雷达点云所表示的物体类别。同时，赋予物体像素轮廓深度信息后，经步骤3a中转换公式(1)计算得其三维坐标，得到物体三维投影轮廓，以及物体的精确定位。
3c.在三维坐标系雷达坐标系下展示物体类别与物体空间位置：最终在雷达坐标系下，表示出所识别的物体类别及其投影轮廓，完成基于单目相机与毫米波雷达融合的物体识别与定位。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰也应视为本发明的保护范围。
Claims (10)
1.基于单目相机与毫米波雷达融合的物体识别与定位方法，其特征在于包括以下步骤：
步骤一：传感器数据采集与帧同步；
1a.毫米波雷达与单目相机数据采集；
1b.基于帧同步的数据序列匹配；
步骤二：基于神经网络处理图像识别物体与边界；
2a.提前训练基于Mask-RCNN的实例分割神经网络；
2b.利用神经网络完成物体识别和图像实例分割；
步骤三：坐标系转换与数据融合；
3a.已知传感器间外参，雷达点云转换至图像坐标系，点云与像素相关联；
3b.基于实例分割结果，完成在雷达坐标系与图像坐标系下的信息匹配融合；
3c.在三维坐标系雷达坐标系下展示物体类别与物体空间位置；最终在雷达坐标系下，表示出所识别的物体类别及其投影轮廓，完成基于单目相机与毫米波雷达融合的物体识别与定位。
2.根据权利要求1所述的一种基于单目相机与毫米波雷达融合的物体识别与定位方法，其特征在于所述的步骤1a中，在固定毫米波雷达和单目相机的相对位置之后，保持两者方向一致，视野重叠，开始进行场景感知数据的采集。
3.根据权利要求1所述的一种基于单目相机与毫米波雷达融合的物体识别与定位方法，其特征在于所述的1b中，开启数据采集之后，毫米波雷达与单目相机会分别产生系列点云和像素数据，采用时间戳做差值，以低帧率传感器优先的方式，寻找对应差值最低的高帧率传感器数据帧，从而完成传感器数据间的帧同步匹配。
4.根据权利要求1所述的一种基于单目相机与毫米波雷达融合的物体识别与定位方法，其特征在于所述的步骤2a中，根据实际的应用场景，决定所需识别的物体种类，处理训练数据集，并对预训练的卷积神经网络进迁移学习。
5.根据权利要求1所述的一种基于单目相机与毫米波雷达融合的物体识别与定位方法，其特征在于所述的步骤2b中将图像放入迁移学习得到的专用卷积神经网络，正向传播完成推断后识别出视野中各物体的种类与置信度，同时得到各物体的像素边界轮廓。
6.根据权利要求1所述的一种基于单目相机与毫米波雷达融合的物体识别与定位方法，其特征在于所述的步骤3a中，雷达点云转换至图像坐标系的方法如下：
以下公式描述了雷达坐标系中点云坐标(x,y,z)与图像坐标系下对应像素点(u,v)之间的转换关系，
其中，相机的内参矩阵相机与雷达间的外参是已知参数；匹配上雷达三维点云对应的像素点后，得到像素点对应的空间中实际物体深度zc。
7.根据权利要求1所述的一种基于单目相机与毫米波雷达融合的物体识别与定位方法，其特征在于所述的步骤3b中，根据雷达点云匹配的像素点所在区域，与步骤二中得到的图像实例分割结果比较，落在物体像素轮廓内的结果匹配为同一物体，从而得到雷达点云所表示的物体类别；同时，赋予物体像素轮廓深度信息后，转换至雷达坐标系下，得到物体三维投影轮廓，得到物体的精确定位。
8.一种基于单目相机与毫米波雷达融合的物体识别与定位***，其特征在于包括：
传感器数据采集与帧同步模块，利用毫米波雷达与单目相机采集数据；进行基于帧同步的数据序列匹配；
基于神经网络处理图像识别物体与边界模块，提前训练基于Mask-RCNN的实例分割神经网络，利用神经网络完成物体识别和图像实例分割；
坐标系转换与数据融合模块，已知传感器间外参，雷达点云转换至图像坐标系，点云与像素相关联；基于实例分割结果，完成物体在雷达坐标系与图像坐标系下的信息匹配融合，在三维坐标系雷达坐标系下展示物体类别与物体空间位置。
9.根据权利要求8所述的一种基于单目相机与毫米波雷达融合的物体识别与定位***，其特征在于：
所述的传感器数据采集与帧同步模块包括：
毫米波雷达与单目相机数据采集模块：在固定毫米波雷达和单目相机的相对位置之后，保持两者方向一致，视野重叠，开始进行场景感知数据的采集；
基于帧同步的数据序列匹配模块：开启数据采集之后，毫米波雷达与单目相机会分别产生系列点云和像素数据；采用时间戳做差值，以低帧率传感器优先的方式，寻找对应差值最低的高帧率传感器数据帧，从而完成传感器数据间的帧同步匹配。
10.根据权利要求8所述的一种基于单目相机与毫米波雷达融合的物体识别与定位***，其特征在于：
所述的基于神经网络处理图像识别物体与边界模块包括：
基于Mask-RCNN的实例分割神经网络模块：根据实际的应用场景，决定所需识别的物体种类，处理训练数据集，并对预训练的卷积神经网络进迁移学习；
物体识别和图像实例分割模块：将图像放入迁移学习得到的专用卷积神经网络，正向传播完成推断后识别出视野中各物体的种类与置信度，同时可以得到各物体的像素边界轮廓；
所述坐标系转换与数据融合模块包括：
雷达点云转换至图像坐标系模块，已知传感器间外参，以下公式描述了雷达坐标系中点云坐标(x,y,z)与图像坐标系下对应像素点(u,v)之间的转换关系，
其中，相机的内参矩阵相机与雷达间的外参是已知参数；匹配上雷达三维点云对应的像素点后，得到像素点对应的空间中实际物体深度zc；
物体匹配信息融合模块：根据雷达点云匹配的像素点所在区域，与步骤二中得到的图像实例分割结果比较，落在物体像素轮廓内的结果匹配为同一物体，从而得到雷达点云所表示的物体类别；同时，赋予物体像素轮廓深度信息后，转换至雷达坐标系下，得到物体三维投影轮廓，得到物体的精确定位；
展示物体类别与物体空间位置模块：最终在雷达坐标系下，表示出所识别的物体类别及其投影轮廓，完成基于单目相机与毫米波雷达融合的物体识别与定位。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910369508.1A CN110135485A (zh) | 2019-05-05 | 2019-05-05 | 单目相机与毫米波雷达融合的物体识别与定位方法和*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910369508.1A CN110135485A (zh) | 2019-05-05 | 2019-05-05 | 单目相机与毫米波雷达融合的物体识别与定位方法和*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110135485A true CN110135485A (zh) | 2019-08-16 |
Family
ID=67576228
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910369508.1A Pending CN110135485A (zh) | 2019-05-05 | 2019-05-05 | 单目相机与毫米波雷达融合的物体识别与定位方法和*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110135485A (zh) |
Cited By (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111079333A (zh) * | 2019-12-19 | 2020-04-28 | 华南理工大学 | 柔性触觉传感器深度学习感知方法 |
| CN111368706A (zh) * | 2020-03-02 | 2020-07-03 | 南京航空航天大学 | 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法 |
| CN111439594A (zh) * | 2020-03-09 | 2020-07-24 | 兰剑智能科技股份有限公司 | 基于3d视觉引导的拆垛方法和*** |
| CN111812649A (zh) * | 2020-07-15 | 2020-10-23 | 西北工业大学 | 基于单目相机与毫米波雷达融合的障碍物识别与定位方法 |
| CN111814769A (zh) * | 2020-09-02 | 2020-10-23 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种信息采集方法、装置、终端设备及存储介质 |
| CN111815717A (zh) * | 2020-07-15 | 2020-10-23 | 西北工业大学 | 一种多传感器融合外参联合半自主标定方法 |
| CN111856441A (zh) * | 2020-06-09 | 2020-10-30 | 北京航空航天大学 | 一种基于视觉与毫米波雷达融合的列车定位方法 |
| CN111898530A (zh) * | 2020-07-29 | 2020-11-06 | 山东洛杰斯特物流科技有限公司 | 融合点云信息的深度学习实例分割方法、装置及设备 |
| CN111967373A (zh) * | 2020-08-14 | 2020-11-20 | 东南大学 | 一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法 |
| CN111998772A (zh) * | 2020-08-05 | 2020-11-27 | 浙江大学 | 一种基于激光与单目视觉融合的像素级目标定位方法 |
| CN112085801A (zh) * | 2020-09-08 | 2020-12-15 | 清华大学苏州汽车研究院（吴江） | 基于神经网络的三维点云和二维图像融合的校准方法 |
| CN112132853A (zh) * | 2020-11-30 | 2020-12-25 | 湖北亿咖通科技有限公司 | 地面导向箭头的构建方法及其装置、电子设备及存储介质 |
| CN112433193A (zh) * | 2020-11-06 | 2021-03-02 | 山东产研信息与人工智能融合研究院有限公司 | 一种基于多传感器的模位置定位方法及*** |
| CN112565343A (zh) * | 2020-11-13 | 2021-03-26 | 杭州捷尚智能电网技术有限公司 | 一种毫米波雷达融合视频分析的变电站作业轨迹管控方法 |
| CN112801928A (zh) * | 2021-03-16 | 2021-05-14 | 昆明理工大学 | 一种基于注意力机制的毫米波雷达与视觉传感器融合方法 |
| CN112861653A (zh) * | 2021-01-20 | 2021-05-28 | 上海西井信息科技有限公司 | 融合图像和点云信息的检测方法、***、设备及存储介质 |
| CN113192363A (zh) * | 2021-04-29 | 2021-07-30 | 杭州电子科技大学 | 一种基于人工智能算法的视频数据边缘计算方法 |
| CN113192182A (zh) * | 2021-04-29 | 2021-07-30 | 山东产研信息与人工智能融合研究院有限公司 | 一种基于多传感器的实景重建方法及*** |
| CN113222968A (zh) * | 2021-05-28 | 2021-08-06 | 上海西井信息科技有限公司 | 融合毫米波和图像的检测方法、***、设备及存储介质 |
| CN113240670A (zh) * | 2021-06-16 | 2021-08-10 | 亿嘉和科技股份有限公司 | 带电作业场景下针对待作业物体的图像分割方法 |
| CN113452952A (zh) * | 2020-03-25 | 2021-09-28 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、路况监测方法及装置和*** |
| CN113496249A (zh) * | 2020-03-18 | 2021-10-12 | 通用汽车环球科技运作有限责任公司 | 使用低水平相机雷达融合的物体检测 |
| US20210406618A1 (en) * | 2019-05-31 | 2021-12-30 | Lg Electronics Inc. | Electronic device for vehicle and method of operating electronic device for vehicle |
| CN114295139A (zh) * | 2021-12-14 | 2022-04-08 | 武汉依迅北斗时空技术股份有限公司 | 一种协同感知定位方法及*** |
| CN114529610A (zh) * | 2022-01-11 | 2022-05-24 | 浙江零跑科技股份有限公司 | 一种基于rgb-d相机的毫米波雷达数据标注方法 |
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| CN115440094A (zh) * | 2022-07-21 | 2022-12-06 | 南京航空航天大学 | 用于直升机近地告警的障碍物探测方法、装置和存储介质 |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| TWI823491B (zh) * | 2022-07-22 | 2023-11-21 | 鴻海精密工業股份有限公司 | 深度估計模型的優化方法、裝置、電子設備及存儲介質 |
| US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| WO2024011408A1 (zh) * | 2022-07-12 | 2024-01-18 | 阿波罗智能技术(北京)有限公司 | 同步采集数据的方法和同步确定方法、装置、自动驾驶车 |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| CN117611638A (zh) * | 2023-12-07 | 2024-02-27 | 北京擎锋精密科技有限公司 | 一种基于图像处理的车辆行人多目标跟踪方法 |
| US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609522A (zh) * | 2017-09-19 | 2018-01-19 | 东华大学 | 一种基于激光雷达和机器视觉的信息融合车辆检测*** |
| CN109143241A (zh) * | 2018-07-26 | 2019-01-04 | 清华大学苏州汽车研究院（吴江） | 雷达数据和图像数据的融合方法及*** |
| CN109444911A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
| CN109636837A (zh) * | 2018-12-21 | 2019-04-16 | 浙江大学 | 一种单目相机与毫米波雷达外参标定准确性的评价方法 |
-
2019
- 2019-05-05 CN CN201910369508.1A patent/CN110135485A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107609522A (zh) * | 2017-09-19 | 2018-01-19 | 东华大学 | 一种基于激光雷达和机器视觉的信息融合车辆检测*** |
| CN109143241A (zh) * | 2018-07-26 | 2019-01-04 | 清华大学苏州汽车研究院（吴江） | 雷达数据和图像数据的融合方法及*** |
| CN109444911A (zh) * | 2018-10-18 | 2019-03-08 | 哈尔滨工程大学 | 一种单目相机和激光雷达信息融合的无人艇水面目标检测识别与定位方法 |
| CN109636837A (zh) * | 2018-12-21 | 2019-04-16 | 浙江大学 | 一种单目相机与毫米波雷达外参标定准确性的评价方法 |
Non-Patent Citations (1)
| Title |
|---|
| NINGBO LONG 等: "Unifying obstacle detection, recognition, and fusion based on millimeter wave radar and RGB-depth sensors for the visually impaired", 《REVIEW OF SCIENTIFIC INSTRUMENTS》 * |
Cited By (67)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US12020476B2 (en) | 2017-03-23 | 2024-06-25 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11797304B2 (en) | 2018-02-01 | 2023-10-24 | Tesla, Inc. | Instruction set architecture for a vector computational unit |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11983630B2 (en) | 2018-09-03 | 2024-05-14 | Tesla, Inc. | Neural networks for embedded devices |
| US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11908171B2 (en) | 2018-12-04 | 2024-02-20 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
| US11507789B2 (en) * | 2019-05-31 | 2022-11-22 | Lg Electronics Inc. | Electronic device for vehicle and method of operating electronic device for vehicle |
| US20210406618A1 (en) * | 2019-05-31 | 2021-12-30 | Lg Electronics Inc. | Electronic device for vehicle and method of operating electronic device for vehicle |
| CN111079333B (zh) * | 2019-12-19 | 2024-03-12 | 华南理工大学 | 柔性触觉传感器深度学习感知方法 |
| CN111079333A (zh) * | 2019-12-19 | 2020-04-28 | 华南理工大学 | 柔性触觉传感器深度学习感知方法 |
| CN111368706A (zh) * | 2020-03-02 | 2020-07-03 | 南京航空航天大学 | 基于毫米波雷达和机器视觉的数据融合动态车辆检测方法 |
| CN111439594A (zh) * | 2020-03-09 | 2020-07-24 | 兰剑智能科技股份有限公司 | 基于3d视觉引导的拆垛方法和*** |
| CN113496249B (zh) * | 2020-03-18 | 2024-04-05 | 通用汽车环球科技运作有限责任公司 | 使用低水平相机雷达融合的物体检测 |
| CN113496249A (zh) * | 2020-03-18 | 2021-10-12 | 通用汽车环球科技运作有限责任公司 | 使用低水平相机雷达融合的物体检测 |
| CN113452952A (zh) * | 2020-03-25 | 2021-09-28 | 阿里巴巴集团控股有限公司 | 一种数据处理方法、路况监测方法及装置和*** |
| CN113452952B (zh) * | 2020-03-25 | 2023-08-18 | 阿里巴巴集团控股有限公司 | 一种路况监测方法及装置和*** |
| CN111856441A (zh) * | 2020-06-09 | 2020-10-30 | 北京航空航天大学 | 一种基于视觉与毫米波雷达融合的列车定位方法 |
| CN111856441B (zh) * | 2020-06-09 | 2023-04-25 | 北京航空航天大学 | 一种基于视觉与毫米波雷达融合的列车定位方法 |
| CN111812649A (zh) * | 2020-07-15 | 2020-10-23 | 西北工业大学 | 基于单目相机与毫米波雷达融合的障碍物识别与定位方法 |
| CN111815717A (zh) * | 2020-07-15 | 2020-10-23 | 西北工业大学 | 一种多传感器融合外参联合半自主标定方法 |
| CN111898530B (zh) * | 2020-07-29 | 2023-01-24 | 山东洛杰斯特物流科技有限公司 | 融合点云信息的深度学习实例分割方法、装置及设备 |
| CN111898530A (zh) * | 2020-07-29 | 2020-11-06 | 山东洛杰斯特物流科技有限公司 | 融合点云信息的深度学习实例分割方法、装置及设备 |
| CN111998772A (zh) * | 2020-08-05 | 2020-11-27 | 浙江大学 | 一种基于激光与单目视觉融合的像素级目标定位方法 |
| CN111998772B (zh) * | 2020-08-05 | 2021-11-16 | 浙江大学 | 一种基于激光与单目视觉融合的像素级目标定位方法 |
| CN111967373B (zh) * | 2020-08-14 | 2021-03-30 | 东南大学 | 一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法 |
| CN111967373A (zh) * | 2020-08-14 | 2020-11-20 | 东南大学 | 一种基于摄像头和激光雷达的自适应强化融合实时实例分割方法 |
| CN111814769A (zh) * | 2020-09-02 | 2020-10-23 | 深圳市城市交通规划设计研究中心股份有限公司 | 一种信息采集方法、装置、终端设备及存储介质 |
| CN112085801B (zh) * | 2020-09-08 | 2024-03-19 | 清华大学苏州汽车研究院（吴江） | 基于神经网络的三维点云和二维图像融合的校准方法 |
| CN112085801A (zh) * | 2020-09-08 | 2020-12-15 | 清华大学苏州汽车研究院（吴江） | 基于神经网络的三维点云和二维图像融合的校准方法 |
| CN112433193A (zh) * | 2020-11-06 | 2021-03-02 | 山东产研信息与人工智能融合研究院有限公司 | 一种基于多传感器的模位置定位方法及*** |
| CN112433193B (zh) * | 2020-11-06 | 2023-04-07 | 山东产研信息与人工智能融合研究院有限公司 | 一种基于多传感器的模位置定位方法及*** |
| CN112565343A (zh) * | 2020-11-13 | 2021-03-26 | 杭州捷尚智能电网技术有限公司 | 一种毫米波雷达融合视频分析的变电站作业轨迹管控方法 |
| CN112132853A (zh) * | 2020-11-30 | 2020-12-25 | 湖北亿咖通科技有限公司 | 地面导向箭头的构建方法及其装置、电子设备及存储介质 |
| CN112861653A (zh) * | 2021-01-20 | 2021-05-28 | 上海西井信息科技有限公司 | 融合图像和点云信息的检测方法、***、设备及存储介质 |
| WO2022156175A1 (zh) * | 2021-01-20 | 2022-07-28 | 上海西井信息科技有限公司 | 融合图像和点云信息的检测方法、***、设备及存储介质 |
| CN112861653B (zh) * | 2021-01-20 | 2024-01-23 | 上海西井科技股份有限公司 | 融合图像和点云信息的检测方法、***、设备及存储介质 |
| CN112801928A (zh) * | 2021-03-16 | 2021-05-14 | 昆明理工大学 | 一种基于注意力机制的毫米波雷达与视觉传感器融合方法 |
| CN113192363A (zh) * | 2021-04-29 | 2021-07-30 | 杭州电子科技大学 | 一种基于人工智能算法的视频数据边缘计算方法 |
| CN113192182A (zh) * | 2021-04-29 | 2021-07-30 | 山东产研信息与人工智能融合研究院有限公司 | 一种基于多传感器的实景重建方法及*** |
| CN113222968A (zh) * | 2021-05-28 | 2021-08-06 | 上海西井信息科技有限公司 | 融合毫米波和图像的检测方法、***、设备及存储介质 |
| CN113222968B (zh) * | 2021-05-28 | 2023-04-18 | 上海西井信息科技有限公司 | 融合毫米波和图像的检测方法、***、设备及存储介质 |
| CN113240670A (zh) * | 2021-06-16 | 2021-08-10 | 亿嘉和科技股份有限公司 | 带电作业场景下针对待作业物体的图像分割方法 |
| CN114295139A (zh) * | 2021-12-14 | 2022-04-08 | 武汉依迅北斗时空技术股份有限公司 | 一种协同感知定位方法及*** |
| CN114529610A (zh) * | 2022-01-11 | 2022-05-24 | 浙江零跑科技股份有限公司 | 一种基于rgb-d相机的毫米波雷达数据标注方法 |
| WO2024011408A1 (zh) * | 2022-07-12 | 2024-01-18 | 阿波罗智能技术(北京)有限公司 | 同步采集数据的方法和同步确定方法、装置、自动驾驶车 |
| CN115440094B (zh) * | 2022-07-21 | 2023-11-07 | 南京航空航天大学 | 用于直升机近地告警的障碍物探测方法、装置和存储介质 |
| CN115440094A (zh) * | 2022-07-21 | 2022-12-06 | 南京航空航天大学 | 用于直升机近地告警的障碍物探测方法、装置和存储介质 |
| TWI823491B (zh) * | 2022-07-22 | 2023-11-21 | 鴻海精密工業股份有限公司 | 深度估計模型的優化方法、裝置、電子設備及存儲介質 |
| CN117611638A (zh) * | 2023-12-07 | 2024-02-27 | 北京擎锋精密科技有限公司 | 一种基于图像处理的车辆行人多目标跟踪方法 |
| CN117611638B (zh) * | 2023-12-07 | 2024-05-17 | 北京擎锋精密科技有限公司 | 一种基于图像处理的车辆行人多目标跟踪方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135485A (zh) | 单目相机与毫米波雷达融合的物体识别与定位方法和*** | |
| US20230260151A1 (en) | Simultaneous Localization and Mapping Method, Device, System and Storage Medium | |
| CN110675418B (zh) | 一种基于ds证据理论的目标轨迹优化方法 | |
| Bertozzi et al. | Pedestrian detection for driver assistance using multiresolution infrared vision | |
| CN111201451A (zh) | 基于场景的激光数据和雷达数据进行场景中的对象检测的方法及装置 | |
| CN110738121A (zh) | 一种前方车辆检测方法及检测*** | |
| CN112949633B (zh) | 一种基于改进YOLOv3的红外目标检测方法 | |
| CN105160649A (zh) | 基于核函数非监督聚类的多目标跟踪方法及*** | |
| CN113592905B (zh) | 基于单目摄像头的车辆行驶轨迹预测方法 | |
| CN110533720A (zh) | 基于联合约束的语义slam***及方法 | |
| CN110544268B (zh) | 一种基于结构光及SiamMask网络的多目标跟踪方法 | |
| Wen et al. | Hybrid semi-dense 3D semantic-topological mapping from stereo visual-inertial odometry SLAM with loop closure detection | |
| CN114088081B (zh) | 一种基于多段联合优化的用于精确定位的地图构建方法 | |
| Shan et al. | LiDAR-based stable navigable region detection for unmanned surface vehicles | |
| CN104517289A (zh) | 一种基于混合摄像机的室内场景定位方法 | |
| Peršić et al. | Online multi-sensor calibration based on moving object tracking | |
| Li et al. | A feature pyramid fusion detection algorithm based on radar and camera sensor | |
| Xu et al. | Object detection based on fusion of sparse point cloud and image information | |
| CN114140527A (zh) | 一种基于语义分割的动态环境双目视觉slam方法 | |
| Liu et al. | DS Augmentation: Density-semantics augmentation for 3-D object detection | |
| Chai et al. | 3D gesture recognition method based on faster R-CNN network | |
| Chen et al. | GIoU-CLOCs: Import Generalized Intersection Over Union-Involved Object-Detection Tasks Based on Lidar and Camera | |
| Shen et al. | YCANet: Target Detection for Complex Traffic Scenes Based on Camera-LiDAR Fusion | |
| Rasyidy et al. | A Framework for Road Boundary Detection based on Camera-LIDAR Fusion in World Coordinate System and Its Performance Evaluation Using Carla Simulator | |
| CN114359861B (zh) | 基于视觉和激光雷达的智能车辆障碍物识别深度学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190816 |