CN112395961B - 一种洒水车的视觉主动行人避让及水压自适应控制方法 - Google Patents

一种洒水车的视觉主动行人避让及水压自适应控制方法 Download PDF

Info

Publication number
CN112395961B
CN112395961B CN202011198244.7A CN202011198244A CN112395961B CN 112395961 B CN112395961 B CN 112395961B CN 202011198244 A CN202011198244 A CN 202011198244A CN 112395961 B CN112395961 B CN 112395961B
Authority
CN
China
Prior art keywords
image
pedestrian
pixel
value
water pressure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011198244.7A
Other languages
English (en)
Other versions
CN112395961A (zh
Inventor
续欣莹
杨斌超
谢刚
程兰
张喆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202011198244.7A priority Critical patent/CN112395961B/zh
Publication of CN112395961A publication Critical patent/CN112395961A/zh
Application granted granted Critical
Publication of CN112395961B publication Critical patent/CN112395961B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/22—Improving land use; Improving water use or availability; Controlling erosion

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

一种洒水车视觉主动行人避让及水压自适应控制方法，包括步骤：一、双目摄像头采集实时视频处理后得到采集图像L和采集图像R；二、通过采集图像L和采集图像R进行双目立体匹配获得视觉差图；三、将采集图像L和采集图像R分别送入神经网络矩形行人检测并将检测结果进行行人目标一致性检验；四、行人目标一致性检验与视觉差得到行人深度信息；五、利用行人深度信息送入PID算法进行水压实时自适应控制；六、发送相关数据到监控单元。本发明实施例的技术方案实现了实时对视频进行处理、检测行人与定位、自适应控制水压，实现主动避让行人功能，其设计解决当前洒水车主动行人避让及水压自适应控制问题，便于推广使用。

Description

一种洒水车的视觉主动行人避让及水压自适应控制方法
技术领域
本发明属于智能洒水车喷洒***的技术领域，具体涉及一种洒水车的视觉主动行人避让及水压自适应控制方法。
背景技术
现有的洒水车在城市街道、工厂园区等多用于路面清洁、防尘等工作，已达到控制污染、清洁环境的目的，是当今社会不可缺少的道路清洁工具。但洒水车运行过程中经常要面对有突然出现的行人而导致误喷洒，引发冲突甚至引起法律问题。且由于洒水车的控制方式还未智能化，导致水资源浪费严重。
在目标的检测与定位的技术实现有很多方式，例如激光雷达、双目立体视觉等。其中，双目立体视觉的成本低、实用性强、精度高、应用性广，双目视觉的检测目标与定位已经有了长足的发展，以手机的面部解锁应用最为广泛。摄像头检测到目标后进行分析、识别，利用视觉差进行目标定位，可得到具体的目标坐标位置，但由于其计算量大、效率低下等，一直未有广泛的工业领域应用。在基于图像的行人检测领域，早期的基于特征点匹配检测的方式会受到光线影响、人体行动产生视觉畸变等诸多不足导致识别率低下等问题。后来发展的机器学习中深度学习建立神经网络模型的方式很好的解决了识别率低、效率不高、依赖人为设置参数等诸多问题，但由于神经网络模型通常过于复杂、参数量巨大、过拟合问题等导致其低成本、实时性使用受到影响。传统的洒水车水泵控制通常为通断的控制方式，控制方式单一，且司机室控制端未智能化，不便于操作和实时观察周边环境及洒水车水泵工作情况。
因此，现如今缺少一种结构简单、体积小、成本低、设计合理、智能化、实时性好、响应快的洒水车的视觉主动行人避让及水压自适应控制方法，通过在洒水车安装双目摄像头、控制室设备、水泵控制设备等实现基于视觉主动行人避让及水压自适应控制。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种洒水车的视觉主动行人避让及水压自适应控制方法，其设计解决当前洒水车主动行人避让及水压自适应控制问题，它实时性好,响应快,便于推广使用。
为解决上述技术问题，本发明采用的技术方案是：嵌入式设备由硬件和软件组成,是能够独立进行运作的器件
一种洒水车的视觉主动行人避让及水压自适应控制方法,对双目摄像头进行极限约束校正后均匀采集视频图像帧进行图像分析，并分别将采集图像L和采集图像R，L和R分别为双目相机的左、右原图像，进行归一化处理获得采集图像；
基于归一化处理后的采集图像L和采集图像R转化为R、G、B三个通道(分别为红、绿、蓝三个颜色通道)，分别计算三个通道的采集图像L的每一个像素点和采集图像R的每一个像素点的绝对差值后得到绝对差均值；
基于归一化处理后的采集图像L和采集图像R转化为灰度图像，对灰度图像按矩形分割为若干局部图像，在每个局部图像中以矩形中心点像素值为阈值对其他每个像素值进行对比编码得到局部区域比特串后计算比比特串差值；
对得到的绝对差均值和比特串差值进行加权求和，得到双目图像匹配代价；
基于归一化处理后的采集图像L和采集图像R转化为CIELAB空间和二维坐标下的五维特征向量，对五维特征向量建立距离度量范围，对像素点进行局部聚类并建立约束条件进行聚类优化，得到采集图像L和采集图像R的超像素分割块；
对于得到的双目图像的匹配代价进行优化，通过最小化全局优化函数得到最佳匹配效果，全局优化函数的权重由像素点是否属于同一个超像素分割块决定；
属于同一像素块的W2权值为W1，不属于同一像素块的W2权值为W3,W3与超像素分割的像素灰度差值动态调整，W1、W2、W3为不同像素块的权重系数，均为实数；
基于神经网络的行人检测方法，所述神经网络包括：主干网络、融合网络、决策单元；
所述主干网络为特征提取网络，获得若干大小的特征图；
所述融合网络将获得的若干大小的多尺度特征图像张量相加得到多尺度融合特征图像；
所述决策单元包括目标边界框预测、坐标预测、行人预测。边界框预测通过逻辑回归预测至少2个边界框，通过计算预测边界框与真实标注框的交并比值最大的预测边界框作为最终预测边界框，通过计算最终预测边界框的中心点坐标值得到坐标预测值，通过二元交叉熵损失得到行人类别预测；
神经网络的损失函数为坐标预测值方差、边界框预测值方差、包含行人的置信度方差、不包含行人的置信度方差、行人类别概率方差的方差和；
所述输出图像为若干T*T(T为实数)大小的特征图像，每个单元格负责检测网格内的行人目标，通过原始图像分别进行下采样得到。每层预测边界框数量为2；
神经网络中图像的张量尺寸变换通过改变神经网络卷积核的步长是实现；
所述神经网络卷积核为为1*3、3*1或1*5、5*1的形式；
对采集图像L和采集图像R中预测的行人框图进行一致性检验，当预测的行人框图交并比大于0.8时得到正确的预测结果，反之则误，根据预测框图推算出该预测框图的二维坐标轴值、视觉差，与双目摄像头内部参数得出行人的三维坐标。
基于所得到的三维坐标值，将该坐标值进行中位值滤波算法，采集若干次距离进行排序滤波得到准确的深度信息；
基于所得到的深度信息送入PID算法得到控制变频器的输入，通过变频器控制同步永磁电机水泵来控制水压。
同时，本发明还公开了一种方法步骤简单、设计合理、可监控洒水车周边环境的一种电子设备，所述电子设备包括：
一个或多个处理器，一组或多组双目摄像头，存储有指令的一个或多个机器可读介质，一个或多个水压控制单元，一个或多个监控控制设备；
所述一组或多组双目摄像头，存储有指令的一个或多个机器可读介质，一个或多个水压控制单元，一个或多个监控控制设备均连接至一个或多个处理器。
所述一个或多个处理器为当其工作时，使得所述电子设备执行一种洒水车的视觉主动行人避让及水压自适应控制方法；
所述一组或多组双目摄像头为视频图像的采集单元，采集获得采集图像L和采集图像R，L和R分别为双目相机的左、右原图像；
所述一个或多个机器可读介质存储了执行一种洒水车的视觉主动行人避让及水压自适应控制方法的指令；
所述一个或多个水压控制单元包括同步永磁电机水泵、变频器、电磁阀等以控制水压；
所述一个或多个监控控制设备包括控制面板、显示界面等，控制面板控制水泵开关、行人检测工作开关等功能，显示界面显示通过串口方式传输的实时视频、行人检测相关参数等控制参数信息。
本发明与现有技术相比具有以下优点：
1、本发明采用的一种洒水车视觉主动行人避让及水压自适应控制方法，联合优化实时性双目视觉图像立体匹配定位算法、神经网络提取的图像进行行人检测、计算行人的三维坐标和深度信息经过滤波处理后通过PID算法实时控制水压并将实时参数传入控制端为一体的方法，填补了洒水车行人主动避让及水压自适应控制方法的工业应用领域的空白；
2、本发明采用的实时性双目视觉图像立体匹配定位算法，优化了双目立体匹配算法的匹配代价及其聚合方式，计算量低，实时性好，便于在工业嵌入式平台使用。
3、本发明采用的检测行人的神经网络使用残差结构的特征融合方式提高检测精度，调整卷积核的大小使训练量参数减少，优化结构及预测边界框数量使模型简单，一致性检验使用交并比的方式降低误检率提高运算速度，所述神经网络计算量小、准确率高，便于推广使用。
4、本发明采用行人的三维坐标和深度信息经过滤波处理后通过PID算法实时控制水压，洒水距离与行人距离自适应调节，以主动避让行人，最大限度提高喷洒面积，设计新颖合理。
5、本发明采用的电子设备提供监控***，便于驾驶人员监视与控制，提高作业效率。
综上所述，本发明设计创新合理，实用性强，填补工业应用领域空白，便于推广使用。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明一种洒水车视觉主动行人避让及水压自适应控制方法的总体流程示意图。
图2为本发明实施例的一种洒水车视觉主动行人避让及水压自适应控制方法的具体实施例示意图。
图3为本发明的电子设备安装示意图。
图4为本发明的局部区域比特串的第三种情况获得方式示意图。
图5为本发明的卷积核结构示意图。
图6为本发明的主干网络示意图。
图7为本发明输入到输出采样示意图。
附图标记说明:
1—双目视觉设备；3—监控单元；4—喷洒单元；
10—蓄水罐；11—装载车；14—洒水喷口。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。
如图1所示的是本发明一种洒水车视觉主动行人避让及水压自适应控制方法的总体流程示意图；
如图2所示，一种洒水车视觉主动行人避让及水压自适应控制方法，包括如下步骤：
步骤S1：分别对采集图像L和采集图像R进行归一化处理得到416*416大小的图像；其中，所述采集图像L和采集图像R是在同一场景下从双目摄像头拍摄得到的视频中按一定帧数均匀采集获得的图像；
步骤S2：计算采集图像L和采集图像R的RGB三个通道的像素点绝对差均值和采集图像L和采集图像R的局部灰度值编码的比特串差值，将绝对差均值和比特串差值加权求和后得到匹配代价；
步骤S3：最小化全局优化函数进行代价聚合获得最佳视觉差，得到视觉差图像；其中全局优化函数的权值由约束条件条件下的超像素分割结果决定；
步骤S4：得到归一化处理的图像分别送入神经网络模型进行行人预测；其中，所述的神经网络模型是在相关数据集训练下得到的最佳行人检测模型；
步骤S5：主干网络通过若干一定大小的卷积核提取若干大小的特征图层，融合网络将若干大小的特征图层通过上采样融合获得若干融合特征图，决策单元根据融合特征图预测行人目标、目标边界框及坐标；
步骤S6：分别对采集图像L和采集图像R预测的行人目标边界框进行一致性检验，交并比大于一定阈值则为准确结果，得到行人的二维坐标；
步骤S7：深度信息送入PID算法得到控制水压的参数，实时控制水压大小实现主动避让行人和水压自适应控制；
步骤S8：行人检测结果和实时视频以及相关控制参数通过串口传输方式发送到驾驶室的监控设备，相关控制操作通过监控设备以串口传输方式发送到水压控制单元；
本实例描述的洒水车视觉主动行人避让及水压自适应控制方法适用于采用双目视觉设备实时采集的图像进行双目立体匹配、行人检测以及采用同步永磁电机水泵设备控制水压，这里的同步永磁电机水泵可以通过变频器线性控制水压大小，以达到自适应控制主动避让行人。这里不限定双目视觉设备的种类，采集的图像在后续算法中会进行归一化处理为统一像素大小；也不限定同步永磁电机水泵的种类，不同种类的同步永磁电机水本与水压大小的控制关系的相关参数可设置以适应不同环境。
如步骤S1所所述，分别对采集图像L和采集图像R进行归一化处理得到416*416大小的图像，后续所述使用的采集图像L和采集图像R均为归一化处理后的图像；其中，所述采集图像L和采集图像R是在同一场景下从双目摄像头拍摄得到的视频中按一定帧数均匀采集获得的图像。
在本实施例中，需先在洒水车上安装相关设备，结合参考图3所示的安装方式示意图，这里不限于具体的车身安装位置和数量，可以安装在车身前侧、中侧、后侧或者车身双侧。
在本实施例中，电子设备安装在车身后侧，1双目视觉设备距离地面高度1.2米，3监控单元安装在11装载车内，4喷洒单元将10蓄水罐的水源通过14洒水喷口进行喷洒作业。
所述采集图像L和采集图像R是在同一场景下分别从同一双目摄像头的左侧摄像头和右侧摄像头拍摄得到的视频中按一定帧数均匀采集获得的图像；其中，双目摄像头的左侧摄像头和右侧摄像头拍摄得到的视频中按一定帧数均匀采集之前，该摄像头已经进行极线校正。在将所述采集图像L作为基准图像，所述采集图像R作为目标图像。
步骤S2：计算采集图像L和采集图像R的RGB三个通道的像素点绝对差均值和采集图像L和采集图像R的局部灰度值编码的比特串差值，将绝对差均值和比特串差值加权求和后得到匹配代价。
在本实例中，计算匹配代价的目的是为了寻找待匹配像素与候选像素之间最佳相关性，假设视觉差的取值范围为[0，D]，在该取值范围下，计算待匹配像素与候选像素之间的相关性，其相关性由匹配代价公式得出。
具体地，在本步骤包括：
步骤S21：根据采集图像L和采集图像R转化为RGB三个通道的图层，分别计算三个通道的图层像素差的绝对值后求平均值。CAV为采集图像L和采集图像R的RGB三个通道的像素点绝对差均值，M为当前像素点的像素值，p为当前像素点，i为当前三个通道的图层，d为视觉差的取值范围为[0，D]中的当前取值，求取像素点绝对差均值，计算公式如下所示：
Figure BDA0002754620580000081
步骤S22：根据采集图像L和采集图像R转化为灰度图像，分别进行局部区域分割，其局部区域大小n*m的矩形，对该矩形内的每一个像素点灰度值进行比较编码计算，通过比较编码计算得出采集图像L和采集图像R的局部区域的比特串，对获得的比特串作异或运算并统计异或计算结果为1的数量得到差值CBIT，u、v为当前局部区域的像素点坐标值，n’为不大于n的一半的最大整数，m’为不大于m的一半的最大整数，
Figure BDA0002754620580000082
为比特位的逐位连接运算，Cbit为局部区域比特串，Xor(x,y)为对比特串x与比特串y作异或运算后累加异或运算结果为1的个数，计算公式如下所示：
Figure BDA0002754620580000091
Figure BDA0002754620580000092
ξ运算则由下公式定义：
Figure BDA0002754620580000093
在实施应用中，对于局部区域比特串的获得方式根据不同需求可以有多种该选择，在本实施例中，提供以下三种局部区域比特串的处理情况。
第一种：
当局部区域n*m中n和m的值均为奇数时，则选择局部区域中心像素点作为基准像素点，基准像素点的灰度值大小作为灰度阈值，对局部区域的每一个像素点的灰度值以遍历的方式进行大小比较，像素点的灰度值比灰度阈值大则为0，反之为1，n*m大小的局部区域则得出n*m-1个二进制比特串。
第二种：
当局部区域n*m中n和m的值均为偶数时，则选择局部区域中心四个像素点作为基准像素块，基准像素块的灰度值大小均值作为灰度阈值，对局部区域的每一个像素点的灰度值以遍历的方式进行大小比较，像素点的灰度值比灰度阈值大则为0，反之为1，n*m大小的局部区域则得出n*m-4个二进制比特串。
第三种：
当局部区域n*m中n和m的值中有一个为偶数，一个为奇数时，则选择局部区域中心两个像素点作为基准像素块，基准像素块的灰度值大小均值作为灰度阈值，对局部区域的每一个像素点的灰度值以遍历的方式进行大小比较，像素点的灰度值比灰度阈值大则为0，反之为1，n*m大小的局部区域则得出n*m-2个二进制比特串。
在本实施例中，参考图4所示，为局部区域比特串的第三种情况获得方式，局部区域大小为4*4，虚线框内为基准像素块，得到差值CBIT为8。
步骤S23：经过加权值VAV和VBIT计算得到双目图像匹配代价CSUM，其计算公式如下。
CSUM(p,d)＝ρ(CBIT(p,d),VBIT)+ρ(CAV(p,d),VAV)
Figure BDA0002754620580000101
在本实施例中，以采集图像L为基准图像，通过依序遍历图像的像素点按照步骤S21至S23的方法计算得到匹配代价。
采用所述方法可以得到视觉差范围下每一个视差响应的匹配代价，从而得到一系列匹配代价值。
但是，基于所述的计算匹配代价并没有找到最佳的匹配代价，其结果为若干个，并不准确，具体视觉差图像无法判断，必须通过匹配代价聚合找到最佳的匹配代价从而得到唯一的视觉差图像。
如步骤S3所述，最小化全局优化函数进行代价聚合获得最佳视觉差，得到视觉差图像；其中全局优化函数的权值由约束条件条件下的超像素分割结果决定。
具体地，本步骤包括：
步骤S31：对全局图像的每一个像素的视觉差得到最优化视觉差，全局优化函数由双目图像匹配代价CSUM、第一项参数、第二项参数求和组成；其中第一项参数为当前像素点的视觉差值与周围像素点的视觉差值为1的情况则权值为W1，第二项参数为当前像素点的视觉差值与周围像素点的视觉差值大于1的情况则权值为W2，其公式如下：
Figure BDA0002754620580000102
Figure BDA0002754620580000103
Figure BDA0002754620580000104
其中，F(D)为全局优化函数，Dp为采集图像L当前像素点p的视觉差值，α为布尔运算，Np为采集图像L当前像素点p的周围若干个像素点。
步骤S32：全局优化函数通过超像素分割得到先验权值，对采集图像L和采集图像R的分别进行超像素分割，属于同一像素块的W2权值为W1，不属于同一像素块的W2权值为W3,W3与超像素分割的像素灰度差值动态调整。
具体地，超像素分割为基于约束条件超像素分割聚类搜索，对图像像素进行局部聚类，是将具有相似特征的相邻像素点构成像素块，其像素块大小由约束条件限制，具体步骤如下：
步骤S321：将采集图像L和采集图像R转化为CIELAB颜色空间和XY坐标下的五维特征向量，初始化聚类数，初始化聚类中心点，并在初始化的聚类中心点周围若干像素点中选择梯度值最小的点作为新的聚类中心点，以避免聚类中心点在纹理边缘处。
步骤S322：对五维特征向量构造距离度量标准，包括颜色距离和空间距离，对每一个搜索到的像素点计算与聚类中心点的距离，其计算公式如下：
Figure BDA0002754620580000111
Figure BDA0002754620580000112
Figure BDA0002754620580000113
其中，DC代表颜色距离，DS代表空间距离，NS是聚类内最大空间距离,为图像总像素点数与初始化的聚类数的商的平方根，NC为聚类内最大颜色距离，设置为一常数。
步骤S323：每一个像素点会被若干种子点搜索到，则每一个像素点都有若干个与种子点的距离，取其最小距离值对应的种子点作为该像素点的聚类中心点，通过迭代计算得到聚类结果。
但是，由于得到的聚类结果包含有像素块过小、多连通等情况，需要进行自适应聚类优化得到合理的聚类像素块。
步骤S324：对于每个超像素聚类的中心周围若干个方向的像素点进行约束条件下的聚类搜索。对于每个聚类的中心点，搜索其像素点周围若干个方向的像素点，然后对于满足约束条件的像素点进行聚类。
以像素点左侧为例，判断当前超像素聚类中心点d1和左侧中心点d2的空间距离是否小于阈值s1，若小于，则搜索当前中心点若干个方向的颜色差值低于阈值c1的像素点并聚合，但约束条件为其空间距离不得大于阈值s2，其计算公式如下。
Dspace(d1,d2)＜s1,
Dcolour(d1,d2)＜c1,(Dspace＜s2)
其中，Dspace为两个像素点的空间距离，Dcolour为两个像素点的颜色差值。
根据所述步骤S321至S324得到采集图像L和采集图像R的超像素分割结果。
步骤S33：基于全局优化函数，选择每个像素点的匹配代价聚合最小的视觉差并优化后0得到最佳视觉差值，构成最佳视觉差图像。
如步骤S4所述，得到归一化处理的图像分别送入神经网络模型进行行人预测；其中，所述的神经网络模型是在相关数据集训练下得到的最佳行人检测模型。
具体地,本步骤包括：
步骤S41：收集并标记图像数据集。
其中，所述训练集由道路、园区等环境下有行人的图片进行归一化处理后构成，使用标注工具对图片进行标注，包括标注划分行人区域、行人区域的宽度和高度、行人中心点二维坐标值等。
步骤S42：对检测行人的神经网络进行预训练，得到可检测行人的神经网络。
其中，所述神经网络包括包括主干网络、两个以上的融合网络、决策单元。其中，所述网络的损失函数为：
其中，所述神经网络在训练时，其损失函数公式为：
Figure BDA0002754620580000131
其中，S2表示网格数T*T,这里是13*13或26*26，B表示每个单元格预测框的个数，这里是2，Iij为是否有行人，这里取值为0和1。
所述损失函数分别为位置预测、宽度和高度、两个置信度、类别概率的损失函数累加，即坐标预测值方差、边界框预测值方差、包含行人的置信度方差、不包含行人的置信度方差、行人类别概率方差的方差和。
如步骤S5所述，主干网络通过若干一定大小的卷积核提取若干大小的特征图层，融合网络将若干大小的特征图层通过上采样融合获得若干融合特征图，决策单元根据融合特征图预测行人目标、目标边界框及坐标。
具体地，本步骤包括：
步骤S51：输入图像的像素值转化为R、G、B三个通道的数据。
步骤S52：主干网络通过干一定大小的卷积核提取若干大小的特征图层，卷积核大小为1*n，n*1，如图5所示，为卷积核结构示意图，这种卷积核结构在参数变量不变或者减少的情况下可以有效增加模型深度、减少尺寸、缩短训练时间。
其中，主干网络由104层卷积层、1层平均池化层、1层全连接层、一层Softmax层组成，其构成如图6所示。
步骤S53：通过卷积操作提取一系列图像特征，得到多尺度特征图。如图5中的Scale1、Scale2为尺度不同的特征图，在网络中分别输出2层特征图。
步骤S54：基于不同尺度的特征图输出到融合网络进行处理，得到多尺度融合特征图。如图5所示，得到两个尺度特征图Scale1、Scale2，特征图Scale1通过卷积层、正则化层、激活函数层、两倍矩阵上采样后利用张量相加与Scale2特征融合，再通过卷积层、正则化层、激活函数层得到第二特征图像，特征图Scale1通过卷积层、正则化层、激活函数层得到第一特征图像。
步骤S55：决策单元对于得到的多尺度融合特征图进行预测，最后得到预测结果。
具体地，第一特征图像、第二特征图像分别通过卷积层、正则化层、激活函数层后得到第一输出特征图像、第二输出特征图像。其尺度大小为原始分别进行32倍、16倍下采样得到，其大小为13*13、26*26，如图7所示，为输入到输出采样示意图；其中，第一输出特征图像、第二输出特征图像预测值分别为13*13*2*(4+1+1)、26*26*2*(4+1+1)大小的张量，其中2指每层预测边界框数量，4为边界框大小(x，y，w，h),1为置信度,1为行人类别。
其中，所述决策单元包括目标边界框预测、坐标预测、行人预测。边界框预测通过逻辑回归预测两个边界框，通过计算预测边界框与真实标注框的交并比值最大的预测边界框作为最终预测边界框，通过计算最终预测边界框的中心点坐标值得到坐标预测值，通过二元交叉熵损失得到行人类别预测。
如步骤S6所述，分别对采集图像L和采集图像R预测的行人目标边界框进行一致性检验，交并比大于一定阈值则为准确结果，得到行人的二维坐标。
具体地，由于步骤S4分别对采集图像L和采集图像R进行行人检测，在采集图像L和采集图像R都获得了行人预测边界框，将采集图像L的行人预测边界框二维坐标减去视觉差图像对应的视觉差值，得到行人比较边界框，行人比较边界框与采集图像R的行人预测边界框比较计算交并比，若交并比大于0.8则认为该行人预测准确，反之，则抛弃预测结果。
如步骤S7所述，深度信息送入PID算法得到控制水压的参数，实时控制水压大小实现主动避让行人和水压自适应控制。
具体地，本步骤包括：
步骤S71：将行人的二维坐标和视觉差图像得到的视差转化为行人的三维坐标信息，并提取其深度信息进行中位值滤波算法，采集若干次距离进行排序滤波得到准确的深度信息。
步骤S72：将所述的深度信息送入PID算法实时自适应控制水压大小，通过控制水压的大小以主动避让行人，实现喷洒面积的最大化。
其中，深度信息送入PID算法后得到输出值作为变频器的输入值，变频器的输出值作为永磁同步电机水泵的输入值，从而通过永磁同步电机水泵控制水压大小，其变频器输出的频率与永磁同步电机水泵的转速之间的关系、永磁同步电机水泵的转速与水压大小的关系、水压大小与喷射距离的关系由不同设备的特性曲线进行调整。
如步骤S8所述，行人检测结果和实时视频以及相关控制参数通过串口传输方式发送到驾驶室的监控设备，相关控制操作通过监控设备以串口传输方式发送到水压控制单元。
具体地，所述控制参数包括如实时视频信号、行人深度信息、水泵工作信号、电源信号等，所述监控设备包括图像显示设备、按键控制等。
综上，本公开提出的一种洒水车视觉主动行人避让及水压自适应控制方法，可以根据用户要求，完成城乡道路、工厂园区等环境下的路面清洁，实现主动避让行人、喷洒面积最大化、节约水资源等功能。
以上所述，仅是本发明的较佳实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (2)

1.一种洒水车视觉主动行人避让及水压自适应控制方法，其特征在于包括如下步骤：
S1：分别对双目视觉设备的左侧摄像头的采集图像L和右侧摄像头的采集图像R进行归一化处理得到Q1*Q1像素大小的图像,Q1为实数；其中，所述左侧摄像头的采集图像L和右侧摄像头的采集图像R是在同一场景下从双目摄像头拍摄得到的视频中按照大于30帧进行均匀采集获得的图像；
S2：计算双目图像匹配代价，通过左侧摄像头的采集图像L和右侧摄像头的采集图像R的RGB三个通道的像素点绝对差均值CAV和左侧摄像头的采集图像L和右侧摄像头的采集图像R的局部区域n*m灰度值编码计算的比特串差值CBIT，将绝对差均值和比特串差值加权求和后得到双目图像匹配代价CSUM；
Figure FDA0003709573860000011
Figure FDA0003709573860000012
Figure FDA0003709573860000013
CSUM(p，d)＝ρ(CBIT(p，d)，VBIT)+ρ(CAV(p，d)，VAV)
Figure FDA0003709573860000014
其中，VAV、VBIT为加权值，n、m、VAV、VBIT均为实数；p为左侧摄像头的采集图像L当前像素点，d为是视觉差，M为当前像素点的像素值，Xor(x,y)为对x、y进行异或运算并统计为1的个数，u、v为当前局部区域的像素坐标，n′为局部区域n/2向下取整，m′为m/2向下取整，Cbit为左侧摄像头的采集图像L和右侧摄像头的采集图像R局部区域n*m的灰度值进行编码计算局部区域比特串；
Figure FDA0003709573860000015
为比特位的逐位连接运算,ξ运算则由下公式定义：
Figure FDA0003709573860000021
S3：计算双目匹配代价聚合，通过最小化全局优化函数进行代价聚合获得最佳视觉差，得到视觉差图像；其中全局优化函数的权值由约束条件条件下的超像素分割结果决定；计算双目匹配代价聚合的步骤：
ⅰ、对于最小化全局优化函数F(D)，一个像素的视觉差得到最优化视觉差，全局优化函数通过超像素分割得到先验权值，对左侧摄像头的采集图像L和右侧摄像头的采集图像R的分别进行超像素分割，属于同一像素块的W2权值为W1，不属于同一像素块的W2权值为W3,W3与超像素分割的像素灰度差值动态调整，W1、W2、W3为不同像素块的权重系数，均为实数；
Figure FDA0003709573860000022
Figure FDA0003709573860000023
Figure FDA0003709573860000024
其中，F(D)为全局优化函数，Dp为采集图像L当前像素点p的视觉差值，α为布尔运算，Np为左侧摄像头的采集图像L当前像素点p的周围8个像素点；
ⅱ、对于每个超像素聚类的中心周围若干个方向的像素点进行约束条件下的聚类搜索；对于每个聚类的中心点，搜索其像素点周围若干个方向的像素点，然后对于满足约束条件的像素点进行聚类；以像素点左侧为例，判断当前超像素聚类中心点d1和左侧中心点d2的空间距离是否小于阈值s1，s1为设定的像素空间距离阈值，是实数，中心点K个方向的颜色差值低于阈值c1且空间距离小于s2的像素点并聚合，c1是实数；
Dspace(d1,d2)＜s1,
Dcolor(d1,d2)＜c1,
Dspace＜s2
其中，Dspace(d1,d2)和Dcolor(d1,d2)分别为d1和d2两个像素点的空间距离和颜色差值；
S4：得到归一化处理的图像分别送入神经网络模型进行行人预测；其中，所述的神经网络模型是在相关数据集训练下得到的最佳行人检测神经网络模型；
S5:行人检测神经网络的主干网络通过若干一定大小的卷积核提取若干大小的特征图层，融合网络将若干大小的特征图层通过上采样融合获得若干融合特征图，决策单元根据融合特征图预测行人目标、目标边界框及坐标；
S6：分别对左侧摄像头的采集图像L和右侧摄像头的采集图像R预测的行人目标边界框进行一致性检验，交并比大于一定阈值则为准确结果，得到行人的二维坐标；
S7:将行人的二维坐标和视觉差图像得到的视差转化为行人的三维坐标信息，并提取其深度信息进行中位值滤波算法，采集若干次距离进行排序滤波得到准确的深度信息；将所述的深度信息送入PID算法实时自适应控制水压大小；
S8：行人检测结果和实时视频以及相关控制参数通过串口传输方式发送到驾驶室的监控设备，相关控制操作通过监控设备以串口传输方式发送到水压控制单元。
2.根据权利要求1所述的一种洒水车视觉主动行人避让及水压自适应控制方法，其特征在于所述神经网络模型包括：
A、行人检测神经网络是在相关数据集训练下得到的最佳行人检测模型；神经网络结构包括主干网络、两个以上的融合网络、决策单元，各个融合网络的参数独立；
B、主干网络提取输入图像的像素值转化为R、G、B分别为红、绿、蓝三个颜色通道，三个颜色通道的数据，通过卷积操作提取一系列图像特征，得到多尺度特征图像，并将不同尺度的特征图输出到融合网络进行处理，得到多尺度融合特征图像，决策单元对于得到的多尺度融合特征图进行预测，最后得到预测结果；
C、决策单元包括目标边界框预测、坐标预测、行人预测，边界框预测通过逻辑回归预测至少2个边界框，通过计算预测边界框与真实标注框的交并比值最大的预测边界框作为最终预测边界框，通过计算最终预测边界框的中心点坐标值得到坐标预测值，通过二元交叉熵损失得到行人类别预测；
D、神经网络的损失函数为坐标预测值方差、边界框预测值方差、包含行人的置信度方差、不包含行人的置信度方差、行人类别概率方差的方差和；
E、所述输入图像分割为T*T个网格，T值为13或26，每个单元格负责检测网格内的行人目标，在网络中分别输出2层特征图，通过原始图像分别进行32倍、16倍下采样得到，其大小为13*13或26*26；总的预测特征图为2个特征图通过矩阵上采样算法的特征融合，每层预测值为T*T*2*(4+1+1)大小的张量，其中2指每层预测边界框数量，其边界框大小由K-means聚类算法得到，4为边框大小x，y，w，h，其中x，y，w，h均为实数,1为置信度,1为行人类别；
F、神经网络卷积核为1*3、3*1或1*5，5*1的形式，以加快训练速度和减少参数变量，同时增加网络层数。
CN202011198244.7A 2020-10-31 2020-10-31 一种洒水车的视觉主动行人避让及水压自适应控制方法 Active CN112395961B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011198244.7A CN112395961B (zh) 2020-10-31 2020-10-31 一种洒水车的视觉主动行人避让及水压自适应控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011198244.7A CN112395961B (zh) 2020-10-31 2020-10-31 一种洒水车的视觉主动行人避让及水压自适应控制方法

Publications (2)

Publication Number Publication Date
CN112395961A CN112395961A (zh) 2021-02-23
CN112395961B true CN112395961B (zh) 2022-08-09

Family

ID=74597818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011198244.7A Active CN112395961B (zh) 2020-10-31 2020-10-31 一种洒水车的视觉主动行人避让及水压自适应控制方法

Country Status (1)

Country Link
CN (1) CN112395961B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113298869B (zh) * 2021-04-23 2023-08-04 南方电网数字电网科技(广东)有限公司 距离测定方法、装置、计算机设备和存储介质
CN113188000B (zh) * 2021-05-14 2022-07-01 太原理工大学 一种湖边落水人员识别救援***及方法
CN113205068B (zh) * 2021-05-27 2024-06-14 苏州魔视智能科技有限公司 洒水车喷头监控方法、电子设备及车辆
CN113263859A (zh) * 2021-06-23 2021-08-17 四川国鼎建筑设计有限公司 一种生态节能雕塑树
CN114394100B (zh) * 2022-01-12 2024-04-05 深圳力维智联技术有限公司 一种无人巡逻车控制***及无人车
CN117252926B (zh) * 2023-11-20 2024-02-02 南昌工控机器人有限公司 基于视觉定位的手机壳辅料智能装配控制***

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101741433B1 (ko) * 2015-06-09 2017-05-30 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
US11493348B2 (en) * 2017-06-23 2022-11-08 Direct Current Capital LLC Methods for executing autonomous rideshare requests
CN108049355A (zh) * 2017-12-13 2018-05-18 徐剑霞 一种自动避让行人的环保洒水车
CN109507923A (zh) * 2018-11-29 2019-03-22 南宁思飞电子科技有限公司 一种基于周围温度与行人位置自动控制洒水车***及其控制方法
CN109457654A (zh) * 2018-12-21 2019-03-12 吉林大学 一种基于行人检测的洒水车防误喷***
CN110136202A (zh) * 2019-05-21 2019-08-16 杭州电子科技大学 一种基于ssd与双摄像头的多目标识别与定位方法
CN211210874U (zh) * 2019-07-31 2020-08-11 中科云谷科技有限公司 智能洒水***及智能洒水车
CN211773246U (zh) * 2019-11-28 2020-10-27 南京信息工程大学 一种太阳能道路自动洒水装置
CN111553252B (zh) * 2020-04-24 2022-06-07 福建农林大学 一种基于深度学习及u-v视差算法的道路行人自动识别定位方法
CN111709336B (zh) * 2020-06-08 2024-04-26 杭州像素元科技有限公司 一种高速公路行人检测方法、设备及可读存储介质
CN111833393A (zh) * 2020-07-05 2020-10-27 桂林电子科技大学 一种基于边缘信息的双目立体匹配方法

Also Published As

Publication number Publication date
CN112395961A (zh) 2021-02-23

Similar Documents

Publication Publication Date Title
CN112395961B (zh) 一种洒水车的视觉主动行人避让及水压自适应控制方法
Mehra et al. ReViewNet: A fast and resource optimized network for enabling safe autonomous driving in hazy weather conditions
CN108921875B (zh) 一种基于航拍数据的实时车流检测与追踪方法
CN108573276B (zh) 一种基于高分辨率遥感影像的变化检测方法
CN111626128B (zh) 一种基于改进YOLOv3的果园环境下行人检测方法
CN111639564B (zh) 一种基于多注意力异构网络的视频行人重识别方法
CN109801297B (zh) 一种基于卷积实现的图像全景分割预测优化方法
CN110246151B (zh) 一种基于深度学习和单目视觉的水下机器人目标跟踪方法
CN112560619B (zh) 一种基于多聚焦图像融合的多距离鸟类精准识别方法
CN112215074A (zh) 基于无人机视觉的实时目标识别与检测追踪***及方法
CN112446436A (zh) 基于生成对抗网络的抗模糊无人驾驶车辆多目标跟踪方法
CN110991444A (zh) 面向复杂场景的车牌识别方法及装置
CN114119586A (zh) 一种基于机器视觉的飞机蒙皮缺陷智能检测方法
CN114943893B (zh) 一种土地覆盖分类的特征增强方法
CN116222577B (zh) 闭环检测方法、训练方法、***、电子设备及存储介质
CN114882222A (zh) 改进YOLOv5目标检测模型构建方法及用于茶嫩芽识别与采摘点定位方法
CN116469007A (zh) 森林火灾识别方法
CN112560865A (zh) 一种室外大场景下点云的语义分割方法
CN115810149A (zh) 基于超像素与图卷积的高分辨率遥感图像建筑物提取方法
CN117237884A (zh) 一种基于泊位定位的互动式巡检机器人
CN116402690A (zh) 一种基于多头自注意力机制的高分辨率遥感影像中道路提取方法、***、设备及介质
Li et al. Multiple linear regression haze-removal model based on dark channel prior
CN110532892B (zh) 一种非结构化道路单幅图像道路消失点检测方法
CN112528988A (zh) 一种车牌角度矫正方法
Tiwari Comparison and analysis of deep learning for Dehazing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant