CN111667514A - 一种快速准确的车辆跟踪*** - Google Patents
一种快速准确的车辆跟踪*** Download PDFInfo
- Publication number
- CN111667514A CN111667514A CN202010444401.1A CN202010444401A CN111667514A CN 111667514 A CN111667514 A CN 111667514A CN 202010444401 A CN202010444401 A CN 202010444401A CN 111667514 A CN111667514 A CN 111667514A
- Authority
- CN
- China
- Prior art keywords
- vehicle
- module
- target
- tracking
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种快速准确的车辆跟踪***，包括：多点视频拍摄输入单元、数据集留单元、车辆智能跟踪单元和数据接收存储单元；所述多点视频拍摄输入单元用于采集车辆监控视频，并将多点采集到的视频信息发送至所述数据集留单元进行中转处理；所述数据集留单元用于对接收到的所述视频信息进行矫正并轮循输出；所述车辆智能跟踪单元用于对所述图像中的目标车辆进行自动跟踪并对车型及颜色进行判断；所述数据接收存储单元用于接收所述跟踪判断结果和存储所述数据集留单元接收到的所述视频信息以及对跟踪车辆的轨迹进行绘制分析，本发明跟踪更加精确可靠，有较好的跟踪效果且提高了实时运算速度。
Description
技术领域
本发明涉及车辆跟踪技术领域，尤其涉及到一种快速准确的车辆跟踪***。
背景技术
随着社会的发展,车辆的增多给交通带来了便利,同时也给交通部门带来了新的挑战，对车辆进行有效的检测跟踪对案件侦破和交通事故分析有很大的帮助，目前的车辆跟踪***多采用视频辅助分析的方式，但由于环境和路面光照等因素变化时会影响视频分析算法的准确性，常用的跟踪算法有：变换域法、特征提取法、卡尔曼滤波法和图像匹配法等，由于需要对视频进行实时处理，所以计算量较大，如何保证跟踪效果的同时提高计算效率十分值得研究。
综上所述，提供一种跟踪更加精确可靠，有较好的跟踪效果且提高了实时运算速度的快速准确的车辆跟踪***，是本领域技术人员急需解决的问题。
发明内容
本方案针对上文提到的问题和需求，提出一种快速准确的车辆跟踪***，其由于采取了如下技术方案而能够解决上述技术问题。
为了达到上述目的，本发明提供如下技术方案：一种快速准确的车辆跟踪***包括：多点视频拍摄输入单元、数据集留单元、车辆智能跟踪单元和数据接收存储单元；
所述多点视频拍摄输入单元用于采集车辆监控视频，并将多点采集到的视频信息发送至所述数据集留单元进行中转处理，所述多点视频拍摄输入单元包括多个摄像头采集模块和摄像头自适应光补偿模块；
所述数据集留单元用于对接收到的所述视频信息进行矫正并轮循输出，所述数据集留单元包括数据接收模块、图像处理模块和数据输出模块；
所述车辆智能跟踪单元用于对所述图像中的目标车辆进行自动跟踪并对车型及颜色进行判断，所述车辆智能跟踪单元包括目标检测分割模块、目标跟踪模块和车辆类型判断模块，所述车辆类型判断模块将跟踪判断结果发送至所述数据接收存储单元为车辆识别及车牌识别做准备；
所述数据接收存储单元用于接收所述跟踪判断结果和存储所述数据集留单元接收到的所述视频信息以及对跟踪车辆的轨迹进行绘制分析，所述数据接收存储单元包括图形绘制模块、云端服务器和存储数据库，所述存储数据库与所述云服务器相连接，所述图形绘制模块与所述存储数据相连接。
进一步地，所述多个摄像头采集模块包括多个拍摄摄像头，所述摄像头自适应光补偿模块对所述多个拍摄摄像头进行自动光线补偿和焦距调整。
更进一步地，所述多个摄像头采集模块将监控区域拍到的不同角度的视频图像发送至所述数据接收模块，所述数据接收模块对接收到视频进行标号区分再按照一定周期轮循输出至所述图像处理模块，所述图像处理模块对接收到对应标号的视频流信息进行处理得到连续的视频序列图像，将所述视频序列图像发送至所述数据输出模块，所述数据输出模块对所述视频序列图像进行畸变矫正，并将矫正后的图像发送至所述目标检测分割模块。
更进一步地，所述图像处理模块对接收到对应标号的视频流信息进行解压转换处理得到连续的视频序列图像。
更进一步地，所述数据输出模块采用基于双线性差值的镜头矫正算法对所述视频序列图像进行畸变矫正。
更进一步地，所述目标检测分割模块接收到矫正后的视频序列图像后采用差分法得到背景图像模型和前景图像，然后把图像从RGB空间变换到HSV空间，获得背景图像和当前图像帧的H、S、V三个分量，并采用基于HSV空间的阴影检测算法测出目标阴影区域,根据公式:N(x，y，k)＝q*F(x，y，k-1)+(1-q)*N(x，y，k-1)采用动态背景更新算法更新背景，其中，q为更新的权值,第k帧的背景与当前帧图像和前一帧的背景相关；所述目标跟踪模块利用卡尔曼滤波估计出目标质心位置及其区域大小后，结合局部运动估计的方法，将目标匹配限定在局部有效的区域的块区域内进行搜索，对第k帧中的运动车辆i和第k+1帧中的运动车辆j，定义如下函数进行匹配：u(i,j)＝l*D(i,j)+c*Z(i,j),其中，D(i,j)和Z(i,j),分别表示目标的质心距离函数和目标区域的长宽差异函数，
其中，l，c为权重，满足l+c＝1,u(i,j)越小则两个目标的相似性越大，设相似函数的阀值为t，若在搜索范围内匹配出的结果的最小值u(i,j)＜t，则第k+l帧中的目标是第k帧中目标i的后续,用第k+1帧的第j个目标的特征值作为运动模型估计下一帧的输入递推得到运动目标的轨迹。
更进一步地，所述基于HSV空间的阴影检测算法是将阴影的像素值同背景的该点像素值相比较,如果其包含的相应色彩值和灰度值都在设定的阈值之下,那么就认为该点是阴影。
进一步地，所述车辆类型判断模块对跟踪车辆的轮廓进行边缘检测进而车型判断，根据目标车辆图像提取车辆颜色特征，首先将RGB颜色通道进行分量映射，然后做颜色直方图计算，通过该方法将多摄像头下的相同车辆进行颜色特征提取。
进一步地，所述目标跟踪模块通过所述车辆类型判断模块将跟踪判断结果发送至所述图形绘制模块，所述图形绘制模块根据目标车辆的运动轨迹数据进行轨迹绘制分析，所述图形绘制模块将轨迹绘制分析结果存储至所述存储数据库，所述云端服务器接收所述多个摄像头采集模块采集的视频信息并存储至云端。
本发明的有益效果是，该发明对视频图像的车辆跟踪更加精确可靠，有较好的跟踪效果且提高了实时运算速度，适应性高。
下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。
附图说明
为了更清楚地说明本发明实施例的技术方案，下文中将对本发明实施例的附图进行简单介绍。其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。
图1为本发明一种快速准确的车辆跟踪***的组成结构示意图。
图2为本实施例中目标检测分割流程图示意图。
图3为本实施例中车辆跟踪流程具体步骤示意图。
图4为本实施例中视频数据传输过程的具体步骤示意图。
具体实施方式
为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供了一种对视频图像的车辆跟踪更加精确可靠，有较好的跟踪效果且提高了实时运算速度，适应性高的车辆跟踪***。如附图1至附图4所示，该快速准确的车辆跟踪***包括：多点视频拍摄输入单元、数据集留单元、车辆智能跟踪单元和数据接收存储单元。所述多点视频拍摄输入单元用于采集车辆监控视频，并将多点采集到的视频信息发送至所述数据集留单元进行中转处理，所述多点视频拍摄输入单元包括多个摄像头采集模块和摄像头自适应光补偿模块，其中，所述多个摄像头采集模块包括多个拍摄摄像头，所述摄像头自适应光补偿模块对所述多个拍摄摄像头进行自动光线补偿和焦距调整。所述数据集留单元用于对接收到的所述视频信息进行矫正并轮循输出，所述数据集留单元包括数据接收模块、图像处理模块和数据输出模块。
所述车辆智能跟踪单元用于对所述图像中的目标车辆进行自动跟踪并对车型及颜色进行判断，所述车辆智能跟踪单元包括目标检测分割模块、目标跟踪模块和车辆类型判断模块，所述车辆类型判断模块将跟踪判断结果发送至所述数据接收存储单元为车辆识别及车牌识别做准备。所述车辆类型判断模块对跟踪车辆的轮廓进行边缘检测进而车型判断，根据目标车辆图像提取车辆颜色特征，首先将RGB颜色通道进行分量映射，然后做颜色直方图计算，通过该方法将多摄像头下的相同车辆进行颜色特征提取。如图2的目标检测分割流程图和图3车辆跟踪流程图所示，车辆跟踪流程具体包括：S10:所述目标检测分割模块接收到矫正后的视频序列图像后采用差分法得到背景图像模型和前景图像，然后把图像从RGB空间变换到HSV空间，获得背景图像和当前图像帧的H、S、V三个分量；S20:并采用基于HSV空间的阴影检测算法测出目标阴影区域,根据公式:N(x，y，k)＝q*F(x，y，k-1)+(1-q)*N(x，y，k-1)采用动态背景更新算法更新背景，其中，q为更新的权值,第k帧的背景与当前帧图像和前一帧的背景相关；S30:所述目标跟踪模块利用卡尔曼滤波估计出目标质心位置及其区域大小后，结合局部运动估计的方法，将目标匹配限定在局部有效的区域的块区域内进行搜索，对第k帧中的运动车辆i和第k+1帧中的运动车辆j，定义如下函数进行匹配：u(i,j)＝l*D(i,j)+c*Z(i,j),其中，D(i,j)和Z(i,j),分别表示目标的质心距离函数和目标区域的长宽差异函数，
其中，l，c为权重，满足l+c＝1,u(i,j)越小则两个目标的相似性越大；S40:设相似函数的阀值为t，若在搜索范围内匹配出的结果的最小值u(i,j)＜t，则第k+l帧中的目标是第k帧中目标i的后续,用第k+1帧的第j个目标的特征值作为运动模型估计下一帧的输入递推得到运动目标的轨迹。其中，所述基于HSV空间的阴影检测算法是将阴影的像素值同背景的该点像素值相比较,如果其包含的相应色彩值和灰度值都在设定的阈值之下,那么就认为该点是阴影。
所述数据接收存储单元用于接收所述跟踪判断结果和存储所述数据集留单元接收到的所述视频信息以及对跟踪车辆的轨迹进行绘制分析，所述数据接收存储单元包括图形绘制模块、云端服务器和存储数据库，所述存储数据库与所述云服务器相连接，所述图形绘制模块与所述存储数据相连接。所述目标跟踪模块通过所述车辆类型判断模块将跟踪判断结果发送至所述图形绘制模块，所述图形绘制模块根据目标车辆的运动轨迹数据进行轨迹绘制分析，所述图形绘制模块将轨迹绘制分析结果存储至所述存储数据库，所述云端服务器接收所述多个摄像头采集模块采集的视频信息并存储至云端。
如图4所示，视频数据传输的具体过程包括：1.所述多个摄像头采集模块将监控区域拍到的不同角度的视频图像发送至所述数据接收模块；2.所述数据接收模块对接收到视频进行标号区分再按照一定周期轮循输出至所述图像处理模块；3.所述图像处理模块对接收到对应标号的视频流信息进行处理得到连续的视频序列图像，其中，所述图像处理模块对接收到对应标号的视频流信息进行解压转换处理得到连续的视频序列图像；4.将所述视频序列图像发送至所述数据输出模块，所述数据输出模块对所述视频序列图像进行畸变矫正，并将矫正后的图像发送至所述目标检测分割模块，其中，所述数据输出模块采用基于双线性差值的镜头矫正算法对所述视频序列图像进行畸变矫正。
应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。
Claims (9)
1.一种快速准确的车辆跟踪***，其特征在于，包括：多点视频拍摄输入单元、数据集留单元、车辆智能跟踪单元和数据接收存储单元；
所述多点视频拍摄输入单元用于采集车辆监控视频，并将多点采集到的视频信息发送至所述数据集留单元进行中转处理，所述多点视频拍摄输入单元包括多个摄像头采集模块和摄像头自适应光补偿模块；
所述数据集留单元用于对接收到的所述视频信息进行矫正并轮循输出，所述数据集留单元包括数据接收模块、图像处理模块和数据输出模块；
所述车辆智能跟踪单元用于对所述图像中的目标车辆进行自动跟踪并对车型及颜色进行判断，所述车辆智能跟踪单元包括目标检测分割模块、目标跟踪模块和车辆类型判断模块，所述车辆类型判断模块将跟踪判断结果发送至所述数据接收存储单元为车辆识别及车牌识别做准备；
所述数据接收存储单元用于接收所述跟踪判断结果和存储所述数据集留单元接收到的所述视频信息以及对跟踪车辆的轨迹进行绘制分析，所述数据接收存储单元包括图形绘制模块、云端服务器和存储数据库，所述存储数据库与所述云服务器相连接，所述图形绘制模块与所述存储数据相连接。
2.据权利要求1所述的快速准确的车辆跟踪***，其特征在于，所述多个摄像头采集模块包括多个拍摄摄像头，所述摄像头自适应光补偿模块对所述多个拍摄摄像头进行自动光线补偿和焦距调整。
3.根据权利要求2所述的快速准确的车辆跟踪***，其特征在于，所述多个摄像头采集模块将监控区域拍到的不同角度的视频图像发送至所述数据接收模块，所述数据接收模块对接收到视频进行标号区分再按照一定周期轮循输出至所述图像处理模块，所述图像处理模块对接收到对应标号的视频流信息进行处理得到连续的视频序列图像，将所述视频序列图像发送至所述数据输出模块，所述数据输出模块对所述视频序列图像进行畸变矫正，并将矫正后的图像发送至所述目标检测分割模块。
4.根据权利要求3所述的快速准确的车辆跟踪***，其特征在于，所述图像处理模块对接收到对应标号的视频流信息进行解压转换处理得到连续的视频序列图像。
5.根据权利要求3所述的快速准确的车辆跟踪***，其特征在于，所述数据输出模块采用基于双线性差值的镜头矫正算法对所述视频序列图像进行畸变矫正。
6.根据权利要求3所述的快速准确的车辆跟踪***，其特征在于，所述目标检测分割模块接收到矫正后的视频序列图像后采用差分法得到背景图像模型和前景图像，然后把图像从RGB空间变换到HSV空间，获得背景图像和当前图像帧的H、S、V三个分量，并采用基于HSV空间的阴影检测算法测出目标阴影区域,根据公式:N(x，y，k)＝q*F(x，y，k-1)+(1-q)*N(x，y，k-1)采用动态背景更新算法更新背景，其中，q为更新的权值,第k帧的背景与当前帧图像和前一帧的背景相关；所述目标跟踪模块利用卡尔曼滤波估计出目标质心位置及其区域大小后，结合局部运动估计的方法，将目标匹配限定在局部有效的区域的块区域内进行搜索，对第k帧中的运动车辆i和第k+1帧中的运动车辆j，定义如下函数进行匹配：u(i,j)＝l*D(i,j)+c*Z(i,j),其中，D(i,j)和Z(i,j),分别表示目标的质心距离函数和目标区域的长宽差异函数，
其中，l，c为权重，满足l+c＝1,u(i,j)越小则两个目标的相似性越大，设相似函数的阀值为t，若在搜索范围内匹配出的结果的最小值u(i,j)<t，则第k+l帧中的目标是第k帧中目标i的后续,用第k+1帧的第j个目标的特征值作为运动模型估计下一帧的输入递推得到运动目标的轨迹。
7.根据权利要求6所述的快速准确的车辆跟踪***，其特征在于，所述基于HSV空间的阴影检测算法是将阴影的像素值同背景的该点像素值相比较,如果其包含的相应色彩值和灰度值都在设定的阈值之下,那么就认为该点是阴影。
8.根据权利要求1所述的快速准确的车辆跟踪***，其特征在于，所述车辆类型判断模块对跟踪车辆的轮廓进行边缘检测进而车型判断，根据目标车辆图像提取车辆颜色特征，首先将RGB颜色通道进行分量映射，然后做颜色直方图计算，通过该方法将多摄像头下的相同车辆进行颜色特征提取。
9.根据权利要求1所述的快速准确的车辆跟踪***，其特征在于，所述目标跟踪模块通过所述车辆类型判断模块将跟踪判断结果发送至所述图形绘制模块，所述图形绘制模块根据目标车辆的运动轨迹数据进行轨迹绘制分析，所述图形绘制模块将轨迹绘制分析结果存储至所述存储数据库，所述云端服务器接收所述多个摄像头采集模块采集的视频信息并存储至云端。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010444401.1A CN111667514A (zh) | 2020-05-22 | 2020-05-22 | 一种快速准确的车辆跟踪*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010444401.1A CN111667514A (zh) | 2020-05-22 | 2020-05-22 | 一种快速准确的车辆跟踪*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111667514A true CN111667514A (zh) | 2020-09-15 |
Family
ID=72384350
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010444401.1A Withdrawn CN111667514A (zh) | 2020-05-22 | 2020-05-22 | 一种快速准确的车辆跟踪*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111667514A (zh) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112507905A (zh) * | 2020-12-14 | 2021-03-16 | Oppo广东移动通信有限公司 | 车辆防跟踪方法及装置、计算机可读存储介质与电子设备 |
| CN112836699A (zh) * | 2020-11-30 | 2021-05-25 | 爱泊车美好科技有限公司 | 一种基于长时多目标跟踪的泊位出入场事件分析方法 |
| CN112887587A (zh) * | 2021-01-08 | 2021-06-01 | 浙江工贸职业技术学院 | 一种可进行无线连接的自适应图像数据快速传输方法 |
| CN113104046A (zh) * | 2021-04-28 | 2021-07-13 | 中国第一汽车股份有限公司 | 一种基于云服务器的开门预警方法及装置 |
| CN113257003A (zh) * | 2021-05-12 | 2021-08-13 | 上海天壤智能科技有限公司 | 交通道路车道级车流计数***及其方法、设备、介质 |
| CN113593250A (zh) * | 2021-07-12 | 2021-11-02 | 浙江工贸职业技术学院 | 一种基于视觉识别的违章停车检测*** |
| CN113702068A (zh) * | 2021-08-31 | 2021-11-26 | 中汽院(重庆)汽车检测有限公司 | 商用车盲区监视***的评价***及评价方法 |
-
2020
- 2020-05-22 CN CN202010444401.1A patent/CN111667514A/zh not_active Withdrawn
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112836699A (zh) * | 2020-11-30 | 2021-05-25 | 爱泊车美好科技有限公司 | 一种基于长时多目标跟踪的泊位出入场事件分析方法 |
| CN112507905A (zh) * | 2020-12-14 | 2021-03-16 | Oppo广东移动通信有限公司 | 车辆防跟踪方法及装置、计算机可读存储介质与电子设备 |
| CN112887587A (zh) * | 2021-01-08 | 2021-06-01 | 浙江工贸职业技术学院 | 一种可进行无线连接的自适应图像数据快速传输方法 |
| CN113104046A (zh) * | 2021-04-28 | 2021-07-13 | 中国第一汽车股份有限公司 | 一种基于云服务器的开门预警方法及装置 |
| CN113257003A (zh) * | 2021-05-12 | 2021-08-13 | 上海天壤智能科技有限公司 | 交通道路车道级车流计数***及其方法、设备、介质 |
| CN113593250A (zh) * | 2021-07-12 | 2021-11-02 | 浙江工贸职业技术学院 | 一种基于视觉识别的违章停车检测*** |
| CN113702068A (zh) * | 2021-08-31 | 2021-11-26 | 中汽院(重庆)汽车检测有限公司 | 商用车盲区监视***的评价***及评价方法 |
| CN113702068B (zh) * | 2021-08-31 | 2023-11-07 | 中汽院(重庆)汽车检测有限公司 | 商用车盲区监视***的评价***及评价方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111667514A (zh) | 一种快速准确的车辆跟踪*** | |
| CN106447680B (zh) | 动态背景环境下雷达与视觉融合的目标检测与跟踪方法 | |
| CN105023278B (zh) | 一种基于光流法的运动目标跟踪方法及*** | |
| Chuang et al. | Automatic fish segmentation via double local thresholding for trawl-based underwater camera systems | |
| CN109099929B (zh) | 基于场景指纹的智能车定位装置及方法 | |
| CN109859246B (zh) | 一种结合相关滤波与视觉显著性的低空慢速无人机跟踪方法 | |
| CN112966631A (zh) | 一种无限制安防场景下的车牌检测识别***及其方法 | |
| CN111709968B (zh) | 一种基于图像处理的低空目标探测跟踪方法 | |
| CN109271927B (zh) | 一种空基多平台的协同监视方法 | |
| CN110084830B (zh) | 一种视频运动目标检测与跟踪方法 | |
| CN104615986A (zh) | 利用多检测器对场景变化的视频图像进行行人检测的方法 | |
| CN110674886B (zh) | 一种融合多层级特征的视频目标检测方法 | |
| CN111241987B (zh) | 基于代价敏感的三支决策的多目标模型视觉追踪方法 | |
| CN112419364A (zh) | 基于图像特征匹配的目标跟踪方法及*** | |
| CN111856445B (zh) | 一种目标检测方法、装置、设备及*** | |
| Singh et al. | Online traffic density estimation and vehicle classification management system | |
| CN116862832A (zh) | 一种基于三维实景模型的作业人员定位方法 | |
| CN107730535B (zh) | 一种可见光红外级联视频跟踪方法 | |
| CN115797397A (zh) | 一种机器人全天候自主跟随目标人员的方法及*** | |
| Huang et al. | Motion characteristics estimation of animals in video surveillance | |
| CN115331151A (zh) | 一种视频测速方法、装置、电子设备和存储介质 | |
| Pai et al. | An adaptive windowing prediction algorithm for vehicle speed estimation | |
| del-Blanco et al. | Target detection through robust motion segmentation and tracking restrictions in aerial flir images | |
| CN113688819A (zh) | 一种基于标记点的目标物期望点跟踪匹配方法 | |
| CN114187328A (zh) | 一种物体检测方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20200915 |