CN111914592B - 多相机联合取证方法、装置及*** - Google Patents

多相机联合取证方法、装置及*** Download PDF

Info

Publication number
CN111914592B
CN111914592B CN201910380772.5A CN201910380772A CN111914592B CN 111914592 B CN111914592 B CN 111914592B CN 201910380772 A CN201910380772 A CN 201910380772A CN 111914592 B CN111914592 B CN 111914592B
Authority
CN
China
Prior art keywords
monitoring target
target
close
camera
appointed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910380772.5A
Other languages
English (en)
Other versions
CN111914592A (zh
Inventor
房世光
顾简
刘旭
毛敏霞
葛露萍
冯波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910380772.5A priority Critical patent/CN111914592B/zh
Publication of CN111914592A publication Critical patent/CN111914592A/zh
Application granted granted Critical
Publication of CN111914592B publication Critical patent/CN111914592B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/46Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请实施例提供了多相机联合取证方法、装置及***,该方法包括:获取枪机采集的全景视频流,判断全景视频流中是否存在监控目标触发了预设检测事件;若存在监控目标触发了预设检测事件,获取全景视频流中指定监控目标触发预设检测事件的视频帧,得到全景证据图像,其中,指定监控目标为触发预设检测事件的监控目标;预测预设时段后指定监控目标在枪机图像中的预测位置;根据预先建立的枪机图像中各位置与球机PT坐标的关联关系,确定预测位置对应的球机的目标PT坐标;通过球机获取目标PT坐标处的特写证据图像。本申请实施例的多相机联合取证方法可以在获取全景证据图像的同时获取特写证据图像。

Description

多相机联合取证方法、装置及***
技术领域
本申请涉及视频监控技术领域,特别是涉及多相机联合取证方法、装置及***。
背景技术
随着智能交通的迅猛发展,基于视频监控技术的取证方式广泛应用于交通场景中。特别是针对十字路口、弯道及事故多发地带,布控摄像机能够起到威慑作用,同时便于事后取证。
相关技术中,在指定监控点布设枪机对监控场景进行全面监控,但是由于枪机视角大,在枪机图像局部细节放大时容易失真,导致对于违规细节捕捉不够到位,因此可能会出现误判,或违规后证据不足等情况,因此,希望能够获取特写证据图像。
发明内容
本申请实施例的目的在于提供一种多相机联合取证方法、装置及***,以实现在获取全景证据图像的同时获取特写证据图像。具体技术方案如下:
第一方面,本申请实施例提供了一种多摄像机联合取证方法,所述方法包括:
获取枪机采集的全景视频流,判断所述全景视频流中是否存在监控目标触发了预设检测事件;
若存在监控目标触发了所述预设检测事件,获取所述全景视频流中指定监控目标触发所述预设检测事件的视频帧,得到全景证据图像,其中,所述指定监控目标为触发所述预设检测事件的监控目标;
预测预设时段后所述指定监控目标在枪机图像中的预测位置;
根据预先建立的枪机图像中各位置与球机PT坐标的关联关系,确定所述预测位置对应的球机的目标PT坐标;
通过所述球机获取所述目标PT坐标处的特写证据图像。
第二方面,本申请实施例提供了一种多摄像机联合取证装置,所述装置包括:
视频流检测模块,用于获取枪机采集的全景视频流,判断所述全景视频流中是否存在监控目标触发了预设检测事件;
全景证据获取模块,用于若存在监控目标触发了所述预设检测事件,获取所述全景视频流中指定监控目标触发所述预设检测事件的视频帧,得到全景证据图像,其中,所述指定监控目标为触发所述预设检测事件的监控目标;
位置预测模块,用于预测预设时段后所述指定监控目标在枪机图像中的预测位置;
目标坐标确定模块,用于根据预先建立的枪机图像中各位置与球机PT坐标的关联关系,确定所述预测位置对应的球机的目标PT坐标;
特写证据获取模块,用于通过所述球机获取所述目标PT坐标处的特写证据图像。
第三方面,本申请实施例提了一种多相机联合取证***,所述***包括:枪机及球机;所述枪机在运行时实现上述第一方面任一所述的多摄像机联合取证方法。
第四方面,本申请实施例提了一种多相机联合取证***,所述***包括:服务器、枪机及球机;所述服务器在运行时实现上述第一方面任一所述的多摄像机联合取证方法。
本申请实施例提供的多相机联合取证方法、装置及***,获取枪机采集的全景视频流,判断全景视频流中是否存在监控目标触发了预设检测事件;若存在监控目标触发了预设检测事件,获取全景视频流中指定监控目标触发预设检测事件的视频帧,得到全景证据图像,其中,指定监控目标为触发预设检测事件的监控目标;预测预设时段后指定监控目标在枪机图像中的预测位置;根据预先建立的枪机图像中各位置与球机PT坐标的关联关系,确定预测位置对应的球机的目标PT坐标;通过球机获取目标PT坐标处的特写证据图像。可以在获取全景证据图像的同时获取特写证据图像,并且预测预设时段后目标的预测位置,保证了球机的联动时间,从而提高特写证据图像采集的成功率。当然,实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的多摄像机联合取证方法的第一种示意图;
图2为本申请实施例的坐标转换的水平方向转换示意图;
图3为本申请实施例的坐标转换的竖直方向转换示意图;
图4为本申请实施例的多摄像机联合取证方法的第一种示意图;
图5为本申请实施例的合成证据图像的一种示意图;
图6为本申请实施例的多摄像机联合取证***的第一种示意图;
图7为本申请实施例的多摄像机联合取证***的第二种示意图;
图8为本申请实施例的多摄像机联合取证装置的一种示意图;
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了获取违规事件的特写证据图像,本申请实施例提供了一种多摄像机联合取证方法,参见图1,该方法包括:
S101,获取枪机采集的全景视频流,判断上述全景视频流中是否存在监控目标触发了预设检测事件。
本申请实施例中的多摄像机联合取证方法可以通过电子设备实现,该电子设备包括处理器及存储器,其中,存储器用于保存计算机程序,处理器在执行存储器上保存的计算机程序时,实现本申请实施例的多摄像机联合取证方法。具体的,该电子设备可以为服务器、硬盘录像机或枪机等。
电子设备实时获取枪机采集的全景视频流,利用计算机视觉技术(例如预先训练的卷积神经网络等)对全景视频流进行分析,判断是否存在监控目标触发了预设检测事件。监控目标及预设检测事件可以按照实际情况进行设定,例如监控目标为行人,预设检测事件为闯红灯或横穿马路等。
可选的,上述全景视频流中包括车道线信息及车道方向信息,上述监控目标为车辆,上述预设检测事件包括:违停、逆行、压线、掉头、机动车占用非机动车道及违规变道中的一种或多种。电子设备可以通过预先训练的卷积神经网络对全景视频流进行分析,从而判断全景视频流中是否有车辆触发了预设检测事件。
S102,若存在监控目标触发了上述预设检测事件,获取上述全景视频流中指定监控目标触发上述预设检测事件的视频帧,得到全景证据图像,其中,上述指定监控目标为触发上述预设检测事件的监控目标。
若在全景视频流中检测到存在监控目标触发了预设检测事件,针对触发预设检测事件的监控目标(以下称为指定监控目标),在全景视频流中提取出该指定监控目标触发预设检测事件的视频帧,一般情况下,提取出的为多帧连续的视频帧,可以将这些视频帧均作为全景证据图像,也可以在这些视频帧中提取指定数量的关键帧作为全景证据图像。
S103,预测预设时段后上述指定监控目标在枪机图像中的预测位置。
电子设备根据全景视频流中指定监控目标的运动情况,通过深度学习技术或相关的轨迹预测算法等,预测预设时段后指定监控目标在采集全景视频流的枪机的枪机图像中的位置。预设时段根据实际情况中球机的联动时间进行设定,预设时段要大于球机的联动时间,从而保证球机有足够的时间调转到指定监控区域,并且预设时段不宜设置的太长,以免降低预测位置的准确度。
可选的,上述预测预设时段后上述指定监控目标在上述枪机图像中的预测位置,包括:
S1031,根据上述全景视频流,确定上述指定监控目标的行驶参数,其中,上述行驶参数包括运动轨迹、速度及加速度。
根据指定监控目标在全景视频流中的运动情况,计算指定监控目标的行驶参数,包括指定监控目标的运动轨迹、速度及加速度。
S1032,按照上述指定监控目标的行驶参数,预测上述监控目标预设时段后在上述枪机图像中的预测位置。
例如,在指定监控目标为车辆时,根据车辆的运动轨迹、速度及加速度,并结合车道信息、车道方向等,预测车辆在预设时段后在枪机画面中到达的位置,即预测位置。
可选的,上述按照上述指定监控目标的行驶参数,预测上述监控目标预设时段后在上述枪机图像中的预测位置,包括:
S10321,按照上述指定监控目标的运动轨迹进行判断,若上述指定监控目标直线行驶,根据上述指定监控目标的速度及加速度,预测上述指定监控目标预设时段后在直线方向上的预测位置;
S10322,按照上述指定监控目标的运动轨迹进行判断,若上述指定监控目标存在变道动作,根据上述指定监控目标的速度及加速度,预测上述指定监控目标预设时段后在变道后车道中的预测位置;
S10323,按照上述指定监控目标的速度及加速度进行判断,若上述指定监控目标将在预设第一距离阈值内停止,根据上述指定监控目标的运动轨迹,将上述指定监控目标当前位置前方预设第二距离处作为预测位置。
预判逻辑可以总结为:如果车辆一直以某个方向前进,则车辆在预设时段后在相同方向上的位置点;如果检测到车辆存在变道动作,则预判车辆在预设时段后再变道后的车道上的位置;如果车辆速度趋于停止,则将预测位置提前或者将预测位置定在车辆当前位置附近,进行主动捕获。
同时还可以结合车道线进行位置修正预判,车辆的位置不会超出车道区域。可选的,本申请实施例的多摄像机联合取证方法还包括:按照车道线信息对上述预测位置进行修正。
S104,根据预先建立的枪机图像中各位置与球机PT坐标的关联关系,确定上述预测位置对应的球机的目标PT坐标。
球机坐标系通常为PTZ(Pan/Tilt/Zoom,云台左右/上下移动及镜头变倍、变焦控制)坐标系。可以通过关键点映射的方式,预先建立枪机图像中各位置与球机PT坐标的关联关系。例如,将枪机图像中标定点位置和球机的PT坐标进行关联,通过对多个标定点进行关联,可以推算出枪机图像中任意位置与球机PT坐标的关联关系。一个枪机可以同多个球机进行标定,建立起枪机图像中位置同多个球机PT坐标的关联关系。
可选的,预先建立枪机图像中各位置与球机PT坐标的关联关系的步骤包括:
步骤一,获取上述球机架设位置的GPS(Global Positioning System,全球定位***)坐标及上述球机的架设高度。
步骤二,针对上述枪机图像中的任一位置,确定该位置在实际场景中的实际位置的GPS坐标,根据上述实际位置的GPS坐标及上述球机的GPS坐标,计算上述球机与上述实际位置的经纬度距离。
GPS坐标包括经纬度,实际位置与球机的经度差即为计算得到的经度距离,实际位置与球机的纬度差即为计算得到的纬度距离。
步骤三,根据上述经纬度距离,计算上述实际位置与上述球机的水平距离。
水平距离也就是假设球机与监控目标高度相同的情况下,球机与监控目标的距离。参考图2,一种情况下,可以认为地面是平面,利用如下公式1计算监控目标与球机的水平距离。其中,公式为:
或者,也可以采用Haversine(半正矢)函数计算监控目标与球机的水平距离,参见公式2:
其中,Aw表示监控目标的纬度,Aj表示监控目标的经度,Bw表示球机的纬度,Bj表示球机的经度,L表示监控目标与球机的水平距离,R表示球机所在位置的地球半径。
或者,也可以认为地面为球面,利用球面正余弦公式计算监控目标与球机的水平距离,也就是球面距离。计算监控目标与球机的水平距离的方式有多种,不再一一列举。
步骤四,根据上述经纬度距离,通过三角函数计算上述实际位置与指定方向的水平夹角。
指定方向可以按照实际情况进行设定。可选的,上述指定方向为正北;上述根据上述经纬度距离,通过三角函数计算上述实际位置与指定方向的水平夹角,包括:计算上述经度距离与上述纬度距离的比值,作为上述水平夹角的正切值;通过上述水平夹角的正切值,求解上述水平夹角。参考图2可知,tanθ=经线方向距离/纬线方向距离,θ即为监控目标与正北方向的水平夹角。
可选的,上述指定方向为正东;上述根据上述经纬度距离,通过三角函数计算上述实际位置与指定方向的水平夹角,包括:计算所述纬线方向距离与所述经线方向距离的比值,作为所述水平夹角的正切值;通过所述正切值,求解所述水平夹角。参考图2可知,tanα=纬线方向距离/经线方向距离,α即为即为监控目标与正东方向的水平夹角。
当然指定方向也可以为正西或者正南,具体计算过程类似,不再赘述。
步骤五,根据上述水平夹角,确定上述球机的P坐标。
球机的P坐标可以理解为球机在水平方向的角度,已知球机与指定方向(如正北等)的水平夹角,即可确定球机在水平方向的角度,也就得到了球机的P坐标。
步骤六,根据上述水平距离及上述球机的架设高度,计算上述球机的T坐标,从而得到上述枪机图像中的任一位置与上述球机PT坐标的关联关系。
可选的,上述根据上述水平距离及上述球机的高度,计算上述球机的T坐标,包括:计算上述水平距离与上述球机的高度的比值,作为上述球机的T坐标的正切值;通过上述球机的T坐标的正切值,求解上述上述球机的T坐标。参考图3可知,tanT*h=L,h表示球机的高度,L表示监控目标与球机的水平距离,T表示球机的T坐标。可以根据该算式计算得到球机的T坐标。
在实际情况中,由于GPS精度及测量精度等问题,可能会存在误差。可选的,预先建立枪机图像中各位置与球机PT坐标的关联关系的步骤还包括:若转换得到的上述实际位置在图像坐标系中的坐标与上述实际位置在图像中的实际坐标存在水平误差,则通过调节上述球机的电子罗盘,减少上述水平误差。可选的,预先建立枪机图像中各位置与球机PT坐标的关联关系的步骤还包括:若转换得到的上述实际位置在图像坐标系中的坐标与上述实际位置在图像中的实际坐标存在垂直误差,则通过调节所获取的球机的高度值,减少上述垂直误差。
S105,通过上述球机获取上述目标PT坐标处的特写证据图像。
本申请实施例中的球机可以为仅具备图像采集功能的常规球机,也可以为具备图像特征提取及分析能力的智能球机。
在球机为常规球机时,可选的,上述通过上述球机获取上述目标PT坐标处的特写证据图像,包括:
步骤一,将上述球机调整到上述目标PT坐标的位置,通过上述球机获取上述目标PT坐标位置处的特写视频流。
电子设备向球机发送包含目标PT坐标的消息,以使球机在接收到该消息后调转到目标PT坐标处,并采集目标PT坐标位置的特写视频流,电子设备获取球机采集目标PT坐标位置处的特写视频流。
步骤二,对上述特写视频流进行分析,获取上述特写视频流中包括监控目标的特写证据图像。
电子设备利用计算机视觉技术对特写视频流进行分析,从而获取特写视频流中包括监控目标的特写证据图像。
在球机为智能球机时,可选的,上述通过上述球机获取上述目标PT坐标处的特写证据图像,包括:
步骤一,将上述球机调整到上述目标PT坐标的位置,并触发上述球机启动抓拍模式,以使上述球机抓拍包括监控目标的特写证据图像。
电子设备向球机发送包含目标PT坐标的消息,以使球机在接收到该消息后调转到目标PT坐标处,并采集目标PT坐标位置的特写视频流,球机利用计算机视觉技术对特写视频流进行分析,从而获取特写视频流中包括监控目标的特写证据图像。
步骤二,接收由上述球机发送的上述特写证据图像。
电子设备获取球机采集目标PT坐标位置处的特写证据图像。
在本申请实施例中,利用球机在特写视频流中分析出特写证据图像,可以减轻电子设备的处理负担。
在存在多个球机可以联动时,为了提高指定监控目标的捕获效率,可选的,上述将上述球机调整到上述目标PT坐标的位置,包括:将多个上述球机分别调整到上述目标PT坐标及与上述目标PT坐标相邻的监控位置。
多个球机分别负责监控目标PT坐标处及与目标PT坐标相邻的监控位置,从而提高指定监控目标的捕获效率。各球机的监控区域可以存在部分重叠,从而减少因指定监控目标在球机监控区域边缘而产生的检测失败的情况,当然也可以不重叠,具体情况按照实际情况进行设定。各球机与监控位置的对应关系可以为随机划分的,也可以通过相关的最短路径算法计算,以球机调转到相应监控位置的角度为路径,计算出最短路径时,各球机对应的监控位置。
在本申请实施例中,利用枪机采集全景证据图像,利用球机采集特写证据图像,实现了在获取全景证据图像的同时获取特写证据图像,并且预测预设时段后目标的预测位置,保证了球机的联动时间,从而提高特写证据图像采集的成功率。
发明人在研究中发现,电子设备或球机等仅是针对某种类型的监控目标进行特写证据图像的获取,因此可能会存在采集的特征证据图像并不是指定监控目标的情况。例如,车辆A触发了预设检测事件,电子设备或球机中的检测算法为提取车辆的特写证据图像,并且提取了车辆B的特写证据图像,这样便会造成全景证据图像与特征证据图像匹配错误的情况,有鉴于此,可选的,参见图4,在通过上述球机获取上述目标PT坐标处的特写证据图像之后,本申请实施例的多摄像机联合取证方法还包括:
S106,判断上述特写证据图像中的监控目标与上述指定监控目标是否为同一目标。
电子设备可以通过特征比对等方法,将特写证据图像中的监控目标与指定监控目标进行特征比对,从而判断特写证据图像中的监控目标与指定监控目标是否为同一目标。
可选的,上述判断上述特写证据图像中的监控目标与上述指定监控目标是否为同一目标,包括:
S1061,根据上述特写证据图像的拍摄时间及拍摄上述特写证据图像的球机的PT坐标,判断上述特写证据图像中监控目标的位置与上述指定监控目标在上述全景视频流中的运动轨迹是否吻合。
在监控目标为车辆时,除了发送特写证据图像外,球机还可以向电子设备发送车辆的车牌信息,特写证据图像的抓拍时间,车辆建模结果及球机抓拍特写证据图像时的PT坐标等。其中,车辆建模结果可应用于后续特征匹配,球机抓拍特写证据图像时的PT坐标及特写证据图像的抓拍时间可应用于监控目标的位置与运动轨迹是否吻合的检测。
电子设备将特写证据图像中的监控目标的位置转换为枪机图像中的位置,以下称为映射位置。并将映射位置与指定监控目标在全景视频流中的运动轨迹进行对比。判断特写证据图像中监控目标的位置与指定监控目标在全景视频流中的运动轨迹是否吻合,即判断映射位置是否与指定监控目标在全景视频流中的运动轨迹吻合。
S1062,如果不吻合,判定上述特写证据图像中的监控目标与上述指定监控目标不是同一目标。
S1063,如果吻合,将上述特写证据图像中的监控目标与上述指定监控目标进行特征匹配,在上述特写证据图像中的监控目标与上述指定监控目标特征匹配为同一目标时,判定上述特写证据图像中的监控目标与上述指定监控目标为同一目标。
S1064,在上述特写证据图像中的监控目标与上述指定监控目标特征匹配为不同目标时,判定上述特写证据图像中的监控目标与上述指定监控目标不是同一目标。
因为特征匹配会消耗较多的计算资源,因此在本实施方式中进行运动轨迹的判断,在特写证据图像中监控目标的位置与指定监控目标在全景视频流中的运动轨迹是否吻合时,再进行特征匹配。可以通过运动轨迹判断滤除部分不为同一目标的情况,从而减少特征匹配的次数,以节约计算资源。
S107,在上述特写证据图像中的监控目标与上述指定监控目标为同一监控目标时,将上述全景证据图像与上述特写证据图像上传到报警平台。
在特写证据图像中的监控目标与指定监控目标为同一监控目标时,电子设备将全景证据图像与特写证据图像上传到报警平台。具体的,可以将全景证据图像及特写证据图像进行合成处理,并将合成后的图像上传到报警平台;当然可以不合成,通过预设标定方法标定全景证据图像与特写证据图像均为指定监控目标的证据图像即可。
例如,可以将枪机的多张全景证据图像与球机的一张特写证据图像进行合成,合成格式支持上下合成、左右合成、田字形合成等方式。以三张全景证据图像为例,田字形格式合成图像如图5所示。
除了证据图像外,电子设备还可以将指定监控目标的违法类型、违法时间、车牌信息、车辆特征信息、场景信息等上传给报警平台,从而报警平台可以进行展示、检索、处罚等后期操作。
下面以监控目标为车辆时,对本申请实施例的多摄像机联合取证方法进行具体说明。
在进行取证前,需要对枪机及球机的监控位置进行标定。通过枪机图像中特定位置和一个球机的PTZ位置进行关联,通过对多个点进行关联,可以进而推算出枪机图像中任意位置与球机PTZ的关联关系;一个枪机可以同多个球机设备进行标定,建立起枪机图像中位置同任意球机PTZ的映射关系。设定预设检测事件:枪机画面监控大场景,在枪机画面中增加车道线信息、车道方向等;预设检测事件包括但不限于违停、逆行、压线、掉头、机占非、变道等违法事件。
在取证过程中,保持对枪机的全景视频流进行车辆检测,根据车辆的运行轨迹,结合配置的车道信息、车道方向等来判断画面中的车辆是否触发了预设检测事件;如果一个目标触发了事件,将会进行如下步骤:
把车辆触发的预设检测事件的过程中提取1张或者多张图片,得到全景证据图像,从而记录整个违法过程;联动球机抓拍车辆的高清图片;对目标车辆在画面中的的运行轨迹进行记录,并记录特定轨迹点在画面中的时间;对目标车联刚进行目标建模;目标建模结果用于进行目标对比,目标建模根据车辆类型、车辆颜色等相关特征信息来实现。
在联动球机抓拍车辆的过程中,需要对车辆的运动位置进行预测,当某辆车触发了设备的事件,根据枪机运行的轨迹、速度,并结合配置的车道信息、车道方向等,预判车辆一定时间后在枪机画面中到达的位置,成为目标位置;预判逻辑包含如下:
如果目标一直以某个方向前进,则确定目标一段时间后是相同方向上的位置点;如果检测到目标为变道动作,则预判目标一段时间后位置为变道后的车道前方位置;并结合车道线进行位置修正预判,车辆预判位置不会超出车道区域;如果目标速度趋于停止,则主动将预判位置提前或者将预研位置直接定在目标车辆附近,进行主动捕获;联动球机抓拍根据目标位置来决定联动一个或者多个球机到对应位置附近,并把球机变倍到合适的倍率进行抓拍;联动多个球机能够时检测的横向截面更宽,能够提高球机捕获车辆的成功率;在车辆到达目标位置前,枪机还可以根据目标最新的轨迹,不断的修正目标位置,重新联动球机,保证最新的球机位置精准。
通过球机抓拍特写证据图像:联动球机以后,球机进入车辆抓拍模式,进入车辆抓拍模式后,能够对过往的车辆进行抓拍,并分析出车辆的车牌信息;将抓拍期间各车辆的报警信息给电子设备,报警信息中除了车辆图片(特征证据图像)外还可以包括:车牌信息、抓拍时间、车辆建模结果及球机当前的PTZ位置等。
将全景证据图像及特写证据图像进行关联。电子设备接收球机返回的报警信息,根据报警信息中抓拍时间与球机的PTZ位置,与枪机图像中目标车辆的轨迹节点进行对比,如果不吻合,则抛弃报警;如果吻合,则再使用球机的车辆建模结果与枪机图像的车辆建模结果进行对比,如果建模结果吻合,则认为球机抓拍的车辆与枪机抓拍的目标车辆为同一车辆。
将全景证据图像及特写证据图像合成处理。上传图像时,可以将多张全景证据图像与球机的一张特写证据图像进行合成,合成格式支持上下合成、左右合成、田字形合成等方式。参见图5,以3张全景证据图像为例,最终将4张图像合成田字形格式,当然全景证据图像及特写证据图像也可以不合成。将报警图片、违法类型、违法时间、车牌信息、车辆特征信息、场景信息等合并为一个报警信息发送给报警平台,从而报警平台可以进行展示、检索、处罚等后期操作。
在本申请实施例中,使用联动球机方式,解决了车辆发生掉头、停止动作后无法取证的问题;使用联动球机方式,能够只使用一台球机配合枪机联动,兼顾整个大场景取证;使用预判方式,是的联动球机更加精准,提高球机捕获目标车辆的成功几率;使用轨迹匹配、建模匹配,提高多设备间目标匹配成功的精准性;使用联动多台球机的方式,能够配合枪机覆盖更宽广区域的取证,并能够提高目标车辆捕获的成功几率。
本申请实施例还提供了一种多相机联合取证***,参见图6,该***包括:枪机601及球机602;其中,球机602的数量可以为一个,也可以为多个。枪机601在运行时实现如下步骤:
获取枪机采集的全景视频流,判断所述全景视频流中是否存在监控目标触发了预设检测事件;
若存在监控目标触发了所述预设检测事件,获取所述全景视频流中指定监控目标触发所述预设检测事件的视频帧,得到全景证据图像,其中,所述指定监控目标为触发所述预设检测事件的监控目标;
预测预设时段后所述指定监控目标在枪机图像中的预测位置;
根据预先建立的枪机图像中各位置与球机PT坐标的关联关系,确定所述预测位置对应的球机的目标PT坐标;
通过所述球机获取所述目标PT坐标处的特写证据图像。
可选的,上述枪机601在运行时还能够实现上述任一多摄像机联合取证方法。
本申请实施例还提供了一种多相机联合取证***,参见图7,该***包括:服务器701、枪机702及球机703;其中,球机703的数量可以为一个,也可以为多个。
上述服务器701在运行时实现如下步骤:
获取枪机采集的全景视频流,判断所述全景视频流中是否存在监控目标触发了预设检测事件;
若存在监控目标触发了所述预设检测事件,获取所述全景视频流中指定监控目标触发所述预设检测事件的视频帧,得到全景证据图像,其中,所述指定监控目标为触发所述预设检测事件的监控目标;
预测预设时段后所述指定监控目标在枪机图像中的预测位置;
根据预先建立的枪机图像中各位置与球机PT坐标的关联关系,确定所述预测位置对应的球机的目标PT坐标;
通过所述球机获取所述目标PT坐标处的特写证据图像。
可选的,上述服务器701在运行时还能够实现上述任一多摄像机联合取证方法。
本申请实施例还提供了一种多摄像机联合取证装置,参见图8,该装置包括:
视频流检测模块801,用于获取枪机采集的全景视频流,判断上述全景视频流中是否存在监控目标触发了预设检测事件;
全景证据获取模块802,用于若存在监控目标触发了上述预设检测事件,获取上述全景视频流中指定监控目标触发上述预设检测事件的视频帧,得到全景证据图像,其中,上述指定监控目标为触发上述预设检测事件的监控目标;
位置预测模块803,用于预测预设时段后上述指定监控目标在枪机图像中的预测位置;
目标坐标确定模块804,用于根据预先建立的枪机图像中各位置与球机PT坐标的关联关系,确定上述预测位置对应的球机的目标PT坐标;
特写证据获取模块805,用于通过上述球机获取上述目标PT坐标处的特写证据图像。
可选的,本申请实施例的多摄像机联合取证装置还包括:坐标关联关系建立模块;上述坐标关联关系建立模块,包括:
架设参数获取子模块,用于获取上述球机架设位置的GPS坐标及上述球机的架设高度;
经纬度距离计算子模块,用于针对上述枪机图像中的任一位置,确定该位置在实际场景中的实际位置的GPS坐标,根据上述实际位置的GPS坐标及上述球机的GPS坐标,计算上述球机与上述实际位置的经纬度距离;
水平距离计算子模块,用于根据上述经纬度距离,计算上述实际位置与上述球机的水平距离;
水平夹角计算子模块,用于根据上述经纬度距离,通过三角函数计算上述实际位置与指定方向的水平夹角;
P坐标确定子模块,用于根据上述水平夹角,确定上述球机的P坐标;
T坐标确定子模块,用于根据上述水平距离及上述球机的架设高度,计算上述球机的T坐标,从而得到上述枪机图像中的任一位置与上述球机PT坐标的关联关系。
可选的,上述全景视频流中包括车道线信息及车道方向信息,上述指定监控目标为车辆,上述预设检测事件包括:违停、逆行、压线、掉头、机动车占用非机动车道及违规变道中的一种或多种。
可选的,上述位置预测模块803,包括:
行驶参数确定子模块,用于根据上述全景视频流,确定上述指定监控目标的行驶参数,其中,上述行驶参数包括运动轨迹、速度及加速度;
预测位置确定子模块,用于按照上述指定监控目标的行驶参数,预测上述监控目标预设时段后在上述枪机图像中的预测位置。
可选的,上述预测位置确定子模块,包括:
第一位置预测单元,用于按照上述指定监控目标的运动轨迹进行判断,若上述指定监控目标直线行驶,根据上述指定监控目标的速度及加速度,预测上述指定监控目标预设时段后在直线方向上的预测位置;
第二位置预测单元,用于按照上述指定监控目标的运动轨迹进行判断,若上述指定监控目标存在变道动作,根据上述指定监控目标的速度及加速度,预测上述指定监控目标预设时段后在变道后车道中的预测位置;
第三位置预测单元,用于按照上述指定监控目标的速度及加速度进行判断,若上述指定监控目标将在预设第一距离阈值内停止,根据上述指定监控目标的运动轨迹,将上述指定监控目标当前位置前方预设第二距离处作为预测位置。
可选的,上述特写证据获取模块805,包括:
球机位置调整子模块,用于将上述球机调整到上述目标PT坐标的位置;
特写视频流获取子模块,用于通过上述球机获取上述目标PT坐标位置处的特写视频流;
特写视频流分析子模块,用于对上述特写视频流进行分析,获取上述特写视频流中包括监控目标的特写证据图像。
可选的,上述特写证据获取模块805,包括:
球机位置调整子模块,用于将上述球机调整到上述目标PT坐标的位置;
抓拍模式触发子模块,用于触发上述球机启动抓拍模式,以使上述球机抓拍包括监控目标的特写证据图像;
特写证据图像接收子模块,用于接收由上述球机发送的上述特写证据图像。
可选的,上述球机位置调整子模块,具体用于:将多个上述球机分别调整到上述目标PT坐标及与上述目标PT坐标相邻的监控位置。
可选的,本申请实施例的多摄像机联合取证装置装置还包括:
相同目标判断模块,用于判断上述特写证据图像中的监控目标与上述指定监控目标是否为同一目标;
证据图像上传模块,用于在上述特写证据图像中的监控目标与上述指定监控目标为同一监控目标时,将上述全景证据图像与上述特写证据图像上传到报警平台。
可选的,上述相同目标判断模块,包括:
运动轨迹判断子模块,用于根据上述特写证据图像的拍摄时间及拍摄上述特写证据图像的球机的PT坐标,判断上述特写证据图像中监控目标的位置与上述指定监控目标在上述全景视频流中的运动轨迹是否吻合;
第一判定子模块,用于如果不吻合,判定上述特写证据图像中的监控目标与上述指定监控目标不是同一目标;
特征配置子模块,用于如果吻合,将上述特写证据图像中的监控目标与上述指定监控目标进行特征匹配,在上述特写证据图像中的监控目标与上述指定监控目标特征匹配为同一目标时,判定上述特写证据图像中的监控目标与上述指定监控目标为同一目标;
第二判定子模块,用于在上述特写证据图像中的监控目标与上述指定监控目标特征匹配为不同目标时,判定上述特写证据图像中的监控目标与上述指定监控目标不是同一目标。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、***、电子设备及存储介质的实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本申请的较佳实施例而已,并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本申请的保护范围内。

Claims (11)

1.一种多摄像机联合取证方法,其特征在于,所述方法包括:
获取枪机采集的全景视频流,判断所述全景视频流中是否存在监控目标触发了预设检测事件;
若存在监控目标触发了所述预设检测事件,获取所述全景视频流中指定监控目标触发所述预设检测事件的视频帧,得到全景证据图像,其中,所述指定监控目标为触发所述预设检测事件的监控目标;
根据所述全景视频流,确定所述指定监控目标的行驶参数,其中,所述行驶参数包括运动轨迹、速度及加速度;按照所述指定监控目标的运动轨迹进行判断,若所述指定监控目标直线行驶,根据所述指定监控目标的速度及加速度,预测所述指定监控目标预设时段后在直线方向上的预测位置;按照所述指定监控目标的运动轨迹进行判断,若所述指定监控目标存在变道动作,根据所述指定监控目标的速度及加速度,预测所述指定监控目标预设时段后在变道后车道中的预测位置;按照所述指定监控目标的速度及加速度进行判断,若所述指定监控目标将在预设第一距离阈值内停止,根据所述指定监控目标的运动轨迹,将所述指定监控目标当前位置前方预设第二距离处作为预测位置;
根据预先建立的枪机图像中各位置与球机PT坐标的关联关系,确定所述预测位置对应的球机的目标PT坐标;
通过所述球机获取所述目标PT坐标处的特写证据图像。
2.根据权利要求1所述的方法,其特征在于,预先建立枪机图像中各位置与球机PT坐标的关联关系的步骤包括:
获取所述球机架设位置的GPS坐标及所述球机的架设高度;
针对所述枪机图像中的任一位置,确定该位置在实际场景中的实际位置的GPS坐标,根据所述实际位置的GPS坐标及所述球机的GPS坐标,计算所述球机与所述实际位置的经纬度距离;
根据所述经纬度距离,计算所述实际位置与所述球机的水平距离;
根据所述经纬度距离,通过三角函数计算所述实际位置与指定方向的水平夹角;
根据所述水平夹角,确定所述球机的P坐标;
根据所述水平距离及所述球机的架设高度,计算所述球机的T坐标,从而得到所述枪机图像中的任一位置与所述球机PT坐标的关联关系。
3.根据权利要求1所述的方法,其特征在于,所述全景视频流中包括车道线信息及车道方向信息,所述指定监控目标为车辆,所述预设检测事件包括:违停、逆行、压线、掉头、机动车占用非机动车道及违规变道中的一种或多种。
4.根据权利要求1所述的方法,其特征在于,所述通过所述球机获取所述目标PT坐标处的特写证据图像,包括:
将所述球机调整到所述目标PT坐标的位置,通过所述球机获取所述目标PT坐标位置处的特写视频流;
对所述特写视频流进行分析,获取所述特写视频流中包括监控目标的特写证据图像。
5.根据权利要求1所述的方法,其特征在于,所述通过所述球机获取所述目标PT坐标处的特写证据图像,包括:
将所述球机调整到所述目标PT坐标的位置,并触发所述球机启动抓拍模式,以使所述球机抓拍包括监控目标的特写证据图像;
接收由所述球机发送的所述特写证据图像。
6.根据权利要求4或5所述的方法,其特征在于,所述将所述球机调整到所述目标PT坐标的位置,包括:
将多个所述球机分别调整到所述目标PT坐标及与所述目标PT坐标相邻的监控位置。
7.根据权利要求1所述的方法,其特征在于,在所述通过所述球机获取所述目标PT坐标处的特写证据图像之后,所述方法还包括:
判断所述特写证据图像中的监控目标与所述指定监控目标是否为同一目标;
在所述特写证据图像中的监控目标与所述指定监控目标为同一监控目标时,将所述全景证据图像与所述特写证据图像上传到报警平台。
8.根据权利要求7所述的方法,其特征在于,所述判断所述特写证据图像中的监控目标与所述指定监控目标是否为同一目标,包括:
根据所述特写证据图像的拍摄时间及拍摄所述特写证据图像的球机的PT坐标,判断所述特写证据图像中监控目标的位置与所述指定监控目标在所述全景视频流中的运动轨迹是否吻合;
如果不吻合,判定所述特写证据图像中的监控目标与所述指定监控目标不是同一目标;
如果吻合,将所述特写证据图像中的监控目标与所述指定监控目标进行特征匹配,在所述特写证据图像中的监控目标与所述指定监控目标特征匹配为同一目标时,判定所述特写证据图像中的监控目标与所述指定监控目标为同一目标;
在所述特写证据图像中的监控目标与所述指定监控目标特征匹配为不同目标时,判定所述特写证据图像中的监控目标与所述指定监控目标不是同一目标。
9.一种多摄像机联合取证装置,其特征在于,所述装置包括:
视频流检测模块,用于获取枪机采集的全景视频流,判断所述全景视频流中是否存在监控目标触发了预设检测事件;
全景证据获取模块,用于若存在监控目标触发了所述预设检测事件,获取所述全景视频流中指定监控目标触发所述预设检测事件的视频帧,得到全景证据图像,其中,所述指定监控目标为触发所述预设检测事件的监控目标;
位置预测模块,用于根据所述全景视频流,确定所述指定监控目标的行驶参数,其中,所述行驶参数包括运动轨迹、速度及加速度;按照所述指定监控目标的运动轨迹进行判断,若所述指定监控目标直线行驶,根据所述指定监控目标的速度及加速度,预测所述指定监控目标预设时段后在直线方向上的预测位置;按照所述指定监控目标的运动轨迹进行判断,若所述指定监控目标存在变道动作,根据所述指定监控目标的速度及加速度,预测所述指定监控目标预设时段后在变道后车道中的预测位置;按照所述指定监控目标的速度及加速度进行判断,若所述指定监控目标将在预设第一距离阈值内停止,根据所述指定监控目标的运动轨迹,将所述指定监控目标当前位置前方预设第二距离处作为预测位置;
目标坐标确定模块,用于根据预先建立的枪机图像中各位置与球机PT坐标的关联关系,确定所述预测位置对应的球机的目标PT坐标;
特写证据获取模块,用于通过所述球机获取所述目标PT坐标处的特写证据图像。
10.一种多相机联合取证***,其特征在于,所述***包括:枪机及球机;所述枪机在运行时实现权利要求1-8任一所述的方法步骤。
11.一种多相机联合取证***,其特征在于,所述***包括:服务器、枪机及球机;所述服务器在运行时实现权利要求1-8任一所述的方法步骤。
CN201910380772.5A 2019-05-08 2019-05-08 多相机联合取证方法、装置及*** Active CN111914592B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910380772.5A CN111914592B (zh) 2019-05-08 2019-05-08 多相机联合取证方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910380772.5A CN111914592B (zh) 2019-05-08 2019-05-08 多相机联合取证方法、装置及***

Publications (2)

Publication Number Publication Date
CN111914592A CN111914592A (zh) 2020-11-10
CN111914592B true CN111914592B (zh) 2023-09-05

Family

ID=73242545

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910380772.5A Active CN111914592B (zh) 2019-05-08 2019-05-08 多相机联合取证方法、装置及***

Country Status (1)

Country Link
CN (1) CN111914592B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112911231B (zh) * 2021-01-22 2023-03-07 杭州海康威视数字技术股份有限公司 监控相机的联动方法及***
CN113591651A (zh) * 2021-07-22 2021-11-02 浙江大华技术股份有限公司 抓取图像的方法、图像展示方法、装置和存储介质
CN114677841B (zh) * 2022-02-10 2023-12-29 浙江大华技术股份有限公司 一种车辆变道检测方法及车辆变道检测***
CN115760910A (zh) * 2022-10-20 2023-03-07 浙江大华技术股份有限公司 枪球联动设备的目标跟踪方法、装置、终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716594A (zh) * 2014-01-08 2014-04-09 深圳英飞拓科技股份有限公司 基于运动目标检测的全景拼接联动方法及装置
CN105072414A (zh) * 2015-08-19 2015-11-18 浙江宇视科技有限公司 一种目标检测和跟踪方法及***
CN105979210A (zh) * 2016-06-06 2016-09-28 深圳市深网视界科技有限公司 一种基于多枪多球摄像机阵列的行人识别***
CN108447091A (zh) * 2018-03-27 2018-08-24 北京颂泽科技有限公司 目标定位方法、装置、电子设备及存储介质
CN109309809A (zh) * 2017-07-28 2019-02-05 阿里巴巴集团控股有限公司 跨区域目标轨迹跟踪的方法及数据处理方法、装置和***
CN109584309A (zh) * 2018-11-16 2019-04-05 厦门博聪信息技术有限公司 一种枪球联动的双镜头应急布控球

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6970102B2 (en) * 2003-05-05 2005-11-29 Transol Pty Ltd Traffic violation detection, recording and evidence processing system
US7742077B2 (en) * 2004-02-19 2010-06-22 Robert Bosch Gmbh Image stabilization system and method for a video camera

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103716594A (zh) * 2014-01-08 2014-04-09 深圳英飞拓科技股份有限公司 基于运动目标检测的全景拼接联动方法及装置
CN105072414A (zh) * 2015-08-19 2015-11-18 浙江宇视科技有限公司 一种目标检测和跟踪方法及***
CN105979210A (zh) * 2016-06-06 2016-09-28 深圳市深网视界科技有限公司 一种基于多枪多球摄像机阵列的行人识别***
CN109309809A (zh) * 2017-07-28 2019-02-05 阿里巴巴集团控股有限公司 跨区域目标轨迹跟踪的方法及数据处理方法、装置和***
CN108447091A (zh) * 2018-03-27 2018-08-24 北京颂泽科技有限公司 目标定位方法、装置、电子设备及存储介质
CN109584309A (zh) * 2018-11-16 2019-04-05 厦门博聪信息技术有限公司 一种枪球联动的双镜头应急布控球

Also Published As

Publication number Publication date
CN111914592A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111914592B (zh) 多相机联合取证方法、装置及***
KR101647370B1 (ko) 카메라 및 레이더를 이용한 교통정보 관리시스템
US10229588B2 (en) Method and device for obtaining evidences for illegal parking of a vehicle
US8098290B2 (en) Multiple camera system for obtaining high resolution images of objects
KR101496390B1 (ko) 차량번호인식 시스템
CN106571039A (zh) 一种高速公路违章行为自动抓拍***
US20130307981A1 (en) Apparatus and method for processing data of heterogeneous sensors in integrated manner to classify objects on road and detect locations of objects
KR101032495B1 (ko) 디지털 팬, 틸트 및 줌에 의한 영역감시, 방범 및 주정차단속 다기능 단속시스템 및 이를 이용한 단속방법
KR101678004B1 (ko) 노드-링크 기반 카메라 네트워크 통합 감시 시스템 및 감시 방법
CN113676702B (zh) 基于视频流的目标追踪监测方法、***、装置及存储介质
CN106503622A (zh) 一种车辆反跟踪方法及装置
KR102061264B1 (ko) C-its 기반 차량위치정보를 이용한 돌발 상황 감지시스템
KR100820952B1 (ko) 단일 카메라를 이용한 불법 주정차 무인 자동 단속방법 및그 시스템
KR101832274B1 (ko) 영상 촬영에 의한 지능형 방범 시스템 및 그 수행 방법
CN111275957A (zh) 一种交通事故信息采集方法、***及摄像机
CN111696365A (zh) 一种车辆跟踪***
WO2020211593A1 (zh) 交通道路的数字化重建方法、装置和***
KR102107957B1 (ko) 건물 외벽 침입감지를 위한 cctv 모니터링 시스템 및 방법
CN111290001A (zh) 一种基于gps坐标的目标统筹方法、装置及设备
KR101033237B1 (ko) 360도 초광역 영상에 의한 영역감시, 방범 및 주정차단속 다기능 시스템 및 단속방법
KR102434154B1 (ko) 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법
KR20150019230A (ko) 복수의 카메라를 이용한 객체 추적 방법 및 장치
CN201142737Y (zh) 用于ip网络视频监控***的前端监控装置
CN111182269B (zh) 一种具有智能违法警示功能的安防摄像设备及方法
CN103595958A (zh) 一种视频追踪分析方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant