CN110070724A - 一种视频监控方法、装置、摄像机及图像信息监管*** - Google Patents
一种视频监控方法、装置、摄像机及图像信息监管*** Download PDFInfo
- Publication number
- CN110070724A CN110070724A CN201810070740.0A CN201810070740A CN110070724A CN 110070724 A CN110070724 A CN 110070724A CN 201810070740 A CN201810070740 A CN 201810070740A CN 110070724 A CN110070724 A CN 110070724A
- Authority
- CN
- China
- Prior art keywords
- image
- region
- imaging sensor
- mobile target
- calibration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明实施例一种视频监控方法、装置、摄像机及图像信息监管***,涉及智能交通及安防技术领域,能有效解决现有技术中拍摄盲点多的问题。所述方法包括:获取第一图像传感器拍摄的移动目标的前部图像;获取第二图像传感器拍摄的移动目标的全景图像;获取第三图像传感器拍摄的移动目标的背部图像;根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像;将确定出的同一移动目标的前部图像、全景图像及背部图像关联显示。本发明适用于交通违章抓拍、道路卡口、专用车道、路侧停车及加油站等地点的视频监控。
Description
技术领域
本发明涉及智能交通及安防技术领域,尤其涉及一种视频监控方法、装置、摄像机及图像信息监控***。
背景技术
图像及视频监控作为现代智能交通及安防监控的有效手段,可以对违法、违章人员或车辆动向进行有效监控,已经成为各重要场所或交通路口监控的行之有效的监管手段,尤其是在城市路口智能交通监控中,更是发挥着重要的辅助监管作用。
目前在智能交通领域中,普遍采用单目一体摄像机***作为图像及视频监控设备,其在智能交通监管中起着重要的作用,广泛应用于城市十字交叉路口、人行道口、限时道路、主辅路进出口、公交专用道等处。现有的单目一体摄像机***一般在需要监控的路口或场所通道内前后各设置一个单目摄像机,将所述单目摄像机与第三方数据处理平台连接,通过前后两个单目相机对双方向来往车辆或行人进行抓拍,然后将抓拍的数据发送给所述第三方数据处理平台集中进行相关处理,并将此处理的信息与交管中心的数据库连接,分析并获取来往违法或违章车辆或行人。
发明人在实现本发明的过程中发现,现有技术至少存在如下技术问题:现有的单目一体摄像机***由于拍摄方向单一,拍摄盲点多。
发明内容
有鉴于此,本发明实施例提供一种视频监控方法、装置、摄像机及图像信息监控***,能有效解决现有技术中拍摄盲点多的问题。
为达到上述目的,本发明采用如下技术方案:
本发明实施例提供一种视频监控方法,包括:
获取第一图像传感器拍摄的移动目标的前部图像;
获取第二图像传感器拍摄的移动目标的全景图像;
获取第三图像传感器拍摄的移动目标的背部图像;
根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像;
将确定出的同一移动目标的前部图像、全景图像及背部图像关联显示。
可选地,所述第一图像传感器拍摄的区域与所述第二图像传感器拍摄的区域有重叠区域,所述第二图像传感器与所述第三图像传感器拍摄的区域有重叠区域;其中,
所述根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像包括:
确定第二图像传感器在第一时段拍摄的全景图像中的移动目标所处的实际地理位置;
判断所述实际地理位置是否处于第一标定区域;所述第一标定区域为预先在所述第二图像传感器的视场范围内标定的一物理区域;
若所述实际地理位置处于第一标定区域,则确定第一图像传感器在所述第一时段拍摄的前部图像中的移动目标是否处于第二标定区域;所述第二标定区域为预先在所述第一图像传感器的视场范围内标定的一物理区域,所述第二标定区域所标定的物理区域与所述第一标定区域所述标定的物理区域为同一物理区域;
若所述第一图像传感器在所述第一时段拍摄的前部图像中的移动目标处于第二标定区域,则确定在所述第一时段,所述第一图像传感器拍摄的前部图像、所述第二图像传感器拍摄的全景图像,为同一目标物的图像。
可选地,所述根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像包括:
确定第二图像传感器在第二时段拍摄的全景图像中的移动目标所处的实际地理位置;
判断所述实际地理位置是否处于第三标定区域;所述第三标定区域为预先在所述第二图像传感器的视场范围内标定的一物理区域,且所述第三标定区域所标定的物理区域与所述第一标定区域所标定的物理区域分别为两个不同的物理区域;
若所述实际地理位置处于第三标定区域,则确定第三图像传感器在所述第二时段拍摄的背部图像中的移动目标是否处于第四标定区域;所述第四标定区域为预先在所述第三图像传感器的视场范围内标定的一物理区域,所述第四标定区域所标定的物理区域与所述第三标定区域所述标定的物理区域为同一物理区域;
若所述第三图像传感器在所述第二时段拍摄的背部图像中的移动目标处于第四标定区域,则确定在所述第二时段,所述第三图像传感器拍摄的背部图像、所述第二图像传感器拍摄的全景图像,为同一目标物的图像。
可选地,所述将确定出的同一移动目标的前部图像、全景图像及背部图像关联显示包括:
将确定出的同一移动目标的前部图像、全景图像及背部图像并排显示。
可选地,所述移动目标为车辆;所述方法还包括:
根据第一图像传感器拍摄的移动目标的前部图像,对所述车辆的车型、车身颜色、车牌号码和/或驾驶员的图像进行识别,并将识别结果进行显示。
可选地,所述移动目标为车辆;所述方法还包括:
根据第三图像传感器拍摄的移动目标的背部图像,对所述车辆的车型、车身颜色和/或车牌号码进行识别,并将识别结果进行显示。
第二方面,本发明实施例提供一种视频监控装置,包括:
第一图像获取单元,用于获取第一图像传感器拍摄的移动目标的前部图像;
第二图像获取单元,获取第二图像传感器拍摄的移动目标的全景图像;
第三图像获取单元,获取第三图像传感器拍摄的移动目标的背部图像;
目标确定单元,根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像;
关联显示单元,将确定出的同一移动目标的前部图像、全景图像及背部图像关联显示。
可选地,所述第一图像传感器拍摄的区域与所述第二图像传感器拍摄的区域有重叠区域,所述第二图像传感器与所述第三图像传感器拍摄的区域有重叠区域;其中,
所述目标确定单元包括:
第一目标位置确定模块,用于确定第二图像传感器在第一时段拍摄的全景图像中的移动目标所处的实际地理位置;
第一目标位置判断模块,用于判断所述实际地理位置是否处于第一标定区域;所述第一标定区域为预先在所述第二图像传感器的视场范围内标定的一物理区域;
若所述实际地理位置处于第一标定区域,则确定第一图像传感器在所述第一时段拍摄的前部图像中的移动目标是否处于第二标定区域;所述第二标定区域为预先在所述第一图像传感器的视场范围内标定的一物理区域,所述第二标定区域所标定的物理区域与所述第一标定区域所述标定的物理区域为同一物理区域;
若所述第一图像传感器在所述第一时段拍摄的前部图像中的移动目标处于第二标定区域,则确定在所述第一时段,所述第一图像传感器拍摄的前部图像、所述第二图像传感器拍摄的全景图像,为同一目标物的图像。
可选地,所述目标确定单元还包括:
第二目标位置确定模块,用于确定第二图像传感器在第二时段拍摄的全景图像中的移动目标所处的实际地理位置;
第二目标位置判断模块,用于判断所述实际地理位置是否处于第三标定区域;所述第三标定区域为预先在所述第二图像传感器的视场范围内标定的一物理区域,且所述第三标定区域所标定的物理区域与所述第一标定区域所标定的物理区域分别为两个不同的物理区域;
若所述实际地理位置处于第三标定区域,则确定第三图像传感器在所述第二时段拍摄的背部图像中的移动目标是否处于第四标定区域;所述第四标定区域为预先在所述第三图像传感器的视场范围内标定的一物理区域,所述第四标定区域所标定的物理区域与所述第三标定区域所述标定的物理区域为同一物理区域;
若所述第三图像传感器在所述第二时段拍摄的背部图像中的移动目标处于第四标定区域,则确定在所述第二时段,所述第三图像传感器拍摄的背部图像、所述第二图像传感器拍摄的全景图像,为同一目标物的图像。
可选地,所述关联显示单元包括:
显示单元,用于将确定出的同一移动目标的前部图像、全景图像及背部图像并排显示。
可选地,所述移动目标为车辆;所述装置还包括:
第一目标识别单元,用于根据第一图像传感器拍摄的移动目标的前部图像,对所述车辆的车型、车身颜色、车牌号码和/或驾驶员的图像进行识别,并将识别结果进行显示。
可选地,所述移动目标为车辆;所述装置还包括:
第二目标识别单元,用于根据第三图像传感器拍摄的移动目标的背部图像,对所述车辆的车型、车身颜色和/或车牌号码进行识别,并将识别结果进行显示。
第三方面,本发明实施例提供一种摄像机,包括:外壳及设置于所述外壳内的第一图像传感器、第二图像传感器及第三图像传感器,所述第一图像传感器及第三图像传感器分别设置于所述第二图像传感器的两侧,所述第一图像传感器与第三图像传感器拍摄方向相反;
所述第一图像传感器,用于拍摄移动目标的前部图像;
所述第二图像传感器,用于拍摄移动目标的全景图像;
所述第三图像传感器,用于拍摄移动目标的背部图像。
可选地,所述摄像机还包括图像处理器,所述图像处理器设于所述外壳内,所述图像处理器分别与所述第一图像传感器、第二图像传感器及第三图像传感器电连接,用于获取所述移动目标的前部图像、背部图像及全景图像,并根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像,将所述确定出的各个图像关联显示。
第四方面,本发明实施例提供一种图像信息监管***,包括显示单元及摄像机,所述摄像机与所述显示单元电连接;
所述摄像机为第三方面任一所述的摄像机;
所述显示单元用于将同一移动目标的前部图像、全景图像及背部图像进行关联显示。
本发明实施例一种视频监控方法及装置,通过获取第一图像传感器拍摄的移动目标的前部图像;获取第二图像传感器拍摄的移动目标的全景图像;获取第三图像传感器拍摄的移动目标的背部图像;再根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像;将确定出的同一移动目标的前部图像、全景图像及背部图像关联显示;能够实现全方向拍摄移动目标,从而能减少拍摄方向单一导致的拍摄图像盲点多的问题。
本发明实施例还提供一种摄像机,通过将所述第一图像传感器、第二图像传感器、第三图像传感器及图像处理器设计成一体式结构,实现单点独立处理图像,与现有的发送至第三方图像处理平台进行多点、多任务集中处理方式相比,处理任务量小,处理速度快。
本发明实施例还提供一种图像信息监管***,通过将摄像机从各个方向拍摄的图像发送至该中心***显示单元进行关联显示,能解决或部分解决由于存在拍摄盲点导致的算法跟踪链断裂而处理图像失败的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1为本发明实施例一视频监控方法流程示意图;
图2为本发明实施例二视频监控方法流程示意图;
图3为本发明实施例三视频监控模块电路框图;
图4为本发明实施例四摄像机结构示意框图;
图5为本发明实施例四摄像机拍摄区域示意图;
图6为本发明实施例五图像信息监管***结构示意框图。
具体实施方式
下面结合附图对本发明实施例进行详细描述。
应当明确,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例一
参看图1所示,本发明实施例一种视频监控方法,主要用于智能交通及安防技术领域,具体可用于交通路口违章抓拍、道路卡口、专用车道、路侧停车及加油站等地点的视频监控;包括:
步骤101、获取第一图像传感器拍摄的移动目标的前部图像;
步骤102、获取第二图像传感器拍摄的移动目标的全景图像;
步骤103、获取第三图像传感器拍摄的移动目标的背部图像;
步骤104、根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像;
步骤105、将确定出的同一移动目标的前部图像、全景图像及背部图像关联显示。
本实施例中,可以理解的是,所述获取图像的执行主体可以是摄像机,所述摄像机同时对三个方向进行拍摄;所述移动目标为监控对象,根据该方法适用的场景不同,其所代指的内容也不同,例如,当该方法用于交通路口电子抓拍违章车辆时,所述移动目标为车辆;当该方法用于抓拍路口行人时,所述移动目标为人。凡进入本实施例方法监控视野的对象均属于所述移动目标的范畴。
本实施例中,所述图像传感器,又称感光元件,是一种将光学图像转换成电子信号的设备,广泛用于摄像机中。所述第一图像传感器及第三图像传感器可以为特写图像传感器,即专门拍摄移动目标的某些部位;所述前部图像及背部图像也根据移动目标的不同而有所不同,例如,当移动目标为车辆时,前部图像即为车头的图像,背部图像即为车尾的图像。所述第二图像传感器为广角图像传感器,用于拍摄移动目标的全景图像,例如车辆的全部图像;通过设置不同的图像传感器,进行全方向拍摄移动目标图像,能够避免拍摄方向单一,导致拍摄盲点多的问题。
可以理解的是,所述确定出同一移动目标的前部图像、全景图像及背部图像,也就是识别出所述获取的前部图像、全景图像及背部图像是否为同一移动目标的图像;具体的确定方法例如为图像特征识别法,例如,将抓拍的车辆前部特征车牌号,车辆后部特征车牌号等车辆本身所具有的固定不变的特征,与抓拍的车辆全景图像相应特征进行匹配,若一致则为同一车辆。
所述关联显示的方式可以为在同一大屏幕上并排显示上述前部、全景及背部图像,还可以为在第一排显示前部图像不同时段拍摄的图像,对应的在第二排及第三排显示全景图像及背部图像不同时段拍摄的图像;或者成对角线显示,具体显示方式还可以根据视频监控者的观察需要进行设置;优选地,所述将确定出的同一移动目标的前部图像、全景图像及背部图像关联显示包括:将确定出的同一移动目标的前部图像、全景图像及背部图像并排显示。其中,所述关联显示还可以是在一个地方登录监控中心***查看监控的部分内容,另外一部分相关内容也会自动显示,或者在另一个地方登录后也能看到相关的监控内容。
本发明实施例一种视频监控方法,通过获取第一图像传感器拍摄的移动目标的前部图像;获取第二图像传感器拍摄的移动目标的全景图像;获取第三图像传感器拍摄的移动目标的背部图像;再根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像;将确定出的同一移动目标的前部图像、全景图像及背部图像关联显示;能够实现全方向拍摄移动目标,从而能减少拍摄方向单一导致的拍摄图像盲点多的问题。
为了使公众便于理解本发明实施例技术方案及其有益效果,现以某十字交通路口做为电子警察应用场景为例进行说明;
将第一图像传感器、第二图像传感器及第三图像传感器分别安装于十字交通路口附近,对该交通路口的过往车辆进行拍摄图像,当有车辆驶入该路口,对所述车辆从多个方向拍摄,其中,第一图像传感器着重拍摄车辆的前部图像,提取车辆前部图像中的特征,例如车牌号,第三图像传感器着重拍摄车辆的背部图像,同样提取背部图像的特征,车牌号,第二图像传感器对车辆的全景进行拍摄,然后采用图像识别算法,比如特征识别,识别出具有同样车牌号的车辆前部图像及车辆后部图像,还有车辆全部图像,根据识别出的车牌信息的一致性来确定是否为同一车辆的前部、背部及全景图像,还可以获取驾乘人员的图像,通过人脸识别的算法识别出与驾乘人员的面貌特征等,然后将获取的同一车辆的前部、背部及全景图像及该车辆上的驾乘人员等信息数据发送至交管所数据监管中心***,数据监管中心***确定出的属于同一车辆的前部、背部及全景图像,将所述图像以关联的显示方式显示出来以判断车辆或驾乘人员是否有违章或违法驾驶行为,通过该方法能够实现全方向拍摄移动目标,从而能减少拍摄方向单一导致的拍摄图像盲点多的问题,以提高道路交通路口的有效监管。
实施例二
参看图2所示,本发明实施例一种视频监控方法,与实施例一所述方法基本相同,不同之处在于,所述第一图像传感器拍摄的区域与所述第二图像传感器拍摄的区域有重叠区域,所述第二图像传感器与所述第三图像传感器拍摄的区域有重叠区域;其中,
所述步骤104、所述根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像具体可以包括步骤:
104a、确定第二图像传感器在第一时段拍摄的全景图像中的移动目标所处的实际地理位置;
本步骤中,可以理解的是,所述第一时段指的是一个时间段,并不是指某一特定时间,而且所述拍摄移动目标的过程是连续进行的。
104b、判断所述实际地理位置是否处于第一标定区域;所述第一标定区域为预先在所述第二图像传感器的视场范围内标定的一物理区域;
本步骤中,可以理解的是,用于判断所述实际地理位置是否处于第一标定区域的具体方法可以为:预先在标定的物理区域(第一标定区域)与相同的图像区域内建立移动目标在物理区域与图像区域内的对应位置映射关系,根据预设的映射关系来判断移动目标当前所处的实际地理位置是否处于第一标定区域内。
104c、若所述实际地理位置处于第一标定区域,则确定第一图像传感器在所述第一时段拍摄的前部图像中的移动目标是否处于第二标定区域;所述第二标定区域为预先在所述第一图像传感器的视场范围内标定的一物理区域,所述第二标定区域所标定的物理区域与所述第一标定区域所述标定的物理区域为同一物理区域;
本步骤中,具体判断移动目标处于第二标定区域的方法与步骤103中采用的判断所处第一标定区域的方法相同或类似,在此就不再赘述,可相互参照。
104d、若所述第一图像传感器在所述第一时段拍摄的前部图像中的移动目标处于第二标定区域,则确定在所述第一时段,所述第一图像传感器拍摄的前部图像、所述第二图像传感器拍摄的全景图像,为同一目标物的图像。
本步骤中,确定是否为同一目标的图像的具体方法为:预先在第一图像传感器拍摄的视场范围内的移动目标在图像上位置与第二图像传感器拍摄的视场范围内的移动目标在图像上的位置,第一标定区域与第二标定区域之间建立了图像位置与物理位置映射关系,判断其在相同物理位置对应的图像位置的位置重合度,即可根据所述映射关系,判断是否为同一目标物的图像。
本实施例中作为一可选实施例,所述第一标定区域与第二标定区域优选为在所述第一图像传感器与第二图像传感器拍摄重叠区域内标定的物理区域。
本实施例中,通过将第一标定区域标定与第二标定区域为同一物理区域,根据在第一标定区域与第二标定区域对应的图像位置重合度,来确定拍摄的图像是否为同一目标物的图像,从而提高识别确定的精准度。
本实施例中,作为一可选实施例,所述根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像包括:确定第二图像传感器在第二时段拍摄的全景图像中的移动目标所处的实际地理位置;判断所述实际地理位置是否处于第三标定区域;所述第三标定区域为预先在所述第二图像传感器的视场范围内标定的一物理区域,且所述第三标定区域所标定的物理区域与所述第一标定区域所标定的物理区域分别为两个不同的物理区域;若所述实际地理位置处于第三标定区域,则确定第三图像传感器在所述第二时段拍摄的背部图像中的移动目标是否处于第四标定区域;所述第四标定区域为预先在所述第三图像传感器的视场范围内标定的一物理区域,所述第四标定区域所标定的物理区域与所述第三标定区域所述标定的物理区域为同一物理区域;若所述第三图像传感器在所述第二时段拍摄的背部图像中的移动目标处于第四标定区域,则确定在所述第二时段,所述第三图像传感器拍摄的背部图像、所述第二图像传感器拍摄的全景图像,为同一目标物的图像。
可以理解的是,本实施例中,所述方法与前述判断第一图像与第二图像为同一目标物的图像的具体原理相同,可相互参照,在此就不再赘述。
本实施例中作为一可选实施例,所述第二标定区域与第三标定区域优选为在所述第二图像传感器与第三图像传感器形成的重叠区域内标定的物理区域。
本实施例中,作为一可选实施例,所述移动目标为车辆;所述方法还包括:
根据第一图像传感器拍摄的移动目标的前部图像,对所述车辆的车型、车身颜色、车牌号码和/或驾驶员的图像进行识别,并将识别结果进行显示。
本实施例中,所述对车辆的特征的识别可以用图像灰度识别方法、机器学习算法或深度学习算法进行图像的识别,通过采用深度学习算法进行图像可实现高精度物体检测,所述高精度指误差不大于20cm;当需要对人进行识别时,可以采用人脸识别技术,例如对车上驾驶人员或副驾驶人员是否有违章或违法驾驶行为进行确定;另外,由于所列举的图像识别算法和人脸识别作为已有技术应用,在此就不再详细介绍。
实施例三
参看图3所示,本发明实施例提供一种视频监控装置,包括:
第一图像获取单元,用于获取第一图像传感器拍摄的移动目标的前部图像;
第二图像获取单元,获取第二图像传感器拍摄的移动目标的全景图像;
第三图像获取单元,获取第三图像传感器拍摄的移动目标的背部图像;
目标确定单元,根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像;
关联显示单元,将确定出的同一移动目标的前部图像、全景图像及背部图像关联显示。
本发明实施例一种视频监控装置,通过第一图像获取单元获取第一图像传感器拍摄的移动目标的前部图像;第二图像获取单元获取第二图像传感器拍摄的移动目标的全景图像;第三图像获取单元获取第三图像传感器拍摄的移动目标的背部图像;目标确定单元根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像;关联显示单元将确定出的同一移动目标的前部图像、全景图像及背部图像关联显示;能够实现全方向拍摄移动目标,从而能减少拍摄方向单一导致的拍摄图像盲点多的问题。
本实施例中,作为一可选实施例,所述第一图像传感器拍摄的区域与所述第二图像传感器拍摄的区域有重叠区域,所述第二图像传感器与所述第三图像传感器拍摄的区域有重叠区域;其中,
所述目标确定单元包括:
第一目标位置确定模块,用于确定第二图像传感器在第一时段拍摄的全景图像中的移动目标所处的实际地理位置;
第一目标位置判断模块,用于判断所述实际地理位置是否处于第一标定区域;所述第一标定区域为预先在所述第二图像传感器的视场范围内标定的一物理区域;
若所述实际地理位置处于第一标定区域,则确定第一图像传感器在所述第一时段拍摄的前部图像中的移动目标是否处于第二标定区域;所述第二标定区域为预先在所述第一图像传感器的视场范围内标定的一物理区域,所述第二标定区域所标定的物理区域与所述第一标定区域所述标定的物理区域为同一物理区域;
若所述第一图像传感器在所述第一时段拍摄的前部图像中的移动目标处于第二标定区域,则确定在所述第一时段,所述第一图像传感器拍摄的前部图像、所述第二图像传感器拍摄的全景图像,为同一目标物的图像。
本实施例中,作为一可选实施例,所述目标确定单元还包括:
第二目标位置确定模块,用于确定第二图像传感器在第二时段拍摄的全景图像中的移动目标所处的实际地理位置;
第二目标位置判断模块,用于判断所述实际地理位置是否处于第三标定区域;所述第三标定区域为预先在所述第二图像传感器的视场范围内标定的一物理区域,且所述第三标定区域所标定的物理区域与所述第一标定区域所标定的物理区域分别为两个不同的物理区域;
若所述实际地理位置处于第三标定区域,则确定第三图像传感器在所述第二时段拍摄的背部图像中的移动目标是否处于第四标定区域;所述第四标定区域为预先在所述第三图像传感器的视场范围内标定的一物理区域,所述第四标定区域所标定的物理区域与所述第三标定区域所述标定的物理区域为同一物理区域;
若所述第三图像传感器在所述第二时段拍摄的背部图像中的移动目标处于第四标定区域,则确定在所述第二时段,所述第三图像传感器拍摄的背部图像、所述第二图像传感器拍摄的全景图像,为同一目标物的图像。
本实施例中,作为一可选实施例,所述关联显示单元包括:
显示单元,用于将确定出的同一移动目标的前部图像、全景图像及背部图像并排显示。
本实施例中,作为一可选实施例,所述移动目标为车辆;所述装置还包括:
第一目标识别单元,用于根据第一图像传感器拍摄的移动目标的前部图像,对所述车辆的车型、车身颜色、车牌号码和/或驾驶员的图像进行识别,并将识别结果进行显示。
本实施例中,作为另一可选实施例,所述移动目标为车辆;所述装置还包括:
第二目标识别单元,用于根据第三图像传感器拍摄的移动目标的背部图像,对所述车辆的车型、车身颜色和/或车牌号码进行识别,并将识别结果进行显示。
可以理解的是,本发明实施例的视频监控装置的各个功能单元信号流及其功能可根据上述方法实施例中的方法具体实现,其具体实现过程可参照上述方法实施例中的相关描述,此处不再赘述。
实施例四
参看图4及图5所示,本发明实施例一种摄像机,包括:外壳31及设置于所述外壳31内的第一图像传感器32、第二图像传感器33及第三图像传感器34,所述第一图像传感器32及第三图像传感器34分别设置于所述第二图像传感器 33的两侧,所述第一图像传感器32与第三图像传感器34拍摄方向相反;所述第一图像传感器,用于拍摄移动目标的前部图像;所述第二图像传感器,用于拍摄移动目标的全景图像;所述第三图像传感器,用于拍摄移动目标的背部图像。其中,图5中所示A为第一图像传感器拍摄区域,所示B区域为第二图像传感器拍摄区域,所示C为第三图像传感器拍摄区域。
本实施例中,所述第一图像传感器32及第三图像传感器34为特写图像拍摄,主要用于车辆或者运动物体的特征提取和识别,包括但不限于车牌,车身颜色等车辆特征或者人特征。所述第二图像传感器为广角传感器,可对场景中的目标进行检测跟踪,定位,识别,分类。所述摄像机各个组成部分优选模块化设计,可以即插即用,能够适应多场景应用。本实施例一种摄像机,包括外壳、设于所述外壳内的第一图像传感器、第二图像传感器及第三图像传感器,通过所述第一图像传感器及第三图像传感器拍摄目标物特写图像,第二图像传感器对全景图像进行拍摄,实现了全方位、多方向对目标物进行拍摄,能够减少或避免拍摄方向单一产生的拍摄图像盲点问题。
本实施例中,可以理解的是,所述摄像机获取的各路图像可发送至第三方数据监控处理平台进行实时监控,由于第三方平台,例如交管中心***,并不仅仅处理及监管一个地方的目标物实施情况,而是多地点、多任务处理及监控,其***就变得相应复杂,其处理速度也相应较慢,为解决该问题,优选地,所述摄像机还包括图像处理器35,所述图像处理器35设于所述外壳31内,所述图像处理器分别与所述第一图像传感器、第二图像传感器及第三图像传感器电连接,用于获取所述移动目标的前部图像、背部图像及全景图像,并根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像,将所述确定出的各个图像关联显示。
可以理解的是,所述将确定出的各个图像关联显示,具体方式可以是在摄像机上设置显示元件进行显示,也可以是将所述关联显示的数据输出到其他远端设备上进行显示,或者直接输送至交管中心数据监控***显示。通过自身对图像进行独立处理,能够为复杂的图像算法提供硬件保证,所述摄像机提供以太网接口、RS232、RS485、I0接口,支持多种外接设备和协议,符合智能交通和安防等不同行业需求。所述摄像机分辨率可根据需要配置,实现两路最小 1920*108025fps+1路1920*108025fps,最大两路3840*216025fps+一路1920*108025pfs的配置方案。
本实施例一种摄像机,通过将所述第一图像传感器、第二图像传感器、第三图像传感器及图像处理器设计成一体式结构,实现单点独立处理图像,与现有的发送至第三方图像处理平台进行多点、多任务集中处理方式相比,处理任务量小,处理速度快。
实施例五
参看图6所示,本发明实施例提供一种图像信息监管***,可用于交管所及其他需要监控的场所,包括显示单元36及摄像机30,所述摄像机与所述显示单元电连接;所述摄像机为实施例四所述的摄像机;所述显示单元用于将同一移动目标的前部图像、全景图像及背部图像进行关联显示。
本发明实施例一种图像信息监管***,通过将摄像机从各个方向拍摄的图像发送至该中心***显示单元进行关联显示,能解决或部分解决由于存在拍摄盲点导致的算法跟踪链断裂而处理图像失败的问题。
本发明实施例的应用场景包括但不限于以下举例:
本发明实施例一种视频图像监控方法、装置、摄像机及图像信息监管***,可适用于交通路口作为电子警察使用,对交通违章车辆进行监控取证,同时可对驾乘人员、有无超载、超速等违法驾驶行为,或信号灯,路口的标志标线和标牌等进行监控。
本发明实施例还可以用于双向单车道卡口、多车道卡口的车辆是否违规或违法进行监控,能够对通过车道卡口的车辆进行多方位拍摄及行驶路径的跟踪。
本发明实施例还能实现公交专用车道,禁行车道,高速公路最内侧车道的货车禁行等违章行为的抓拍。
本发明实施例还可用于对全景跟踪加油站内的所有车辆进行跟踪,并同时输出车辆轨迹,同时可以标定加油机的停车位置,***进行自动匹配,分析加油车辆的停靠信息,加油信息等;所述第一图像传感器及第二图像传感器抓拍对双向车辆进行抓怕和识别,正常加油站照明情况下不需要补光就可以进行车牌号码、车身颜色、车型等进行识别,并对信息进行智能分析。
本发明实施例还可用于路侧停车监控,针对路侧停车,负责一个区域的车辆跟踪和定位,确认车辆停留在哪个车位,在进出范围的时候进行车牌识别。
需要说明的是,本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。另外,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种视频监控方法,其特征在于,包括:
获取第一图像传感器拍摄的移动目标的前部图像;
获取第二图像传感器拍摄的移动目标的全景图像;
获取第三图像传感器拍摄的移动目标的背部图像;
根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像;
将确定出的同一移动目标的前部图像、全景图像及背部图像关联显示。
2.根据权利要求1所述的监控方法,其特征在于,所述第一图像传感器拍摄的区域与所述第二图像传感器拍摄的区域有重叠区域,所述第二图像传感器与所述第三图像传感器拍摄的区域有重叠区域;其中,
所述根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像包括:
确定第二图像传感器在第一时段拍摄的全景图像中的移动目标所处的实际地理位置;
判断所述实际地理位置是否处于第一标定区域;所述第一标定区域为预先在所述第二图像传感器的视场范围内标定的一物理区域;
若所述实际地理位置处于第一标定区域,则确定第一图像传感器在所述第一时段拍摄的前部图像中的移动目标是否处于第二标定区域;所述第二标定区域为预先在所述第一图像传感器的视场范围内标定的一物理区域,所述第二标定区域所标定的物理区域与所述第一标定区域所述标定的物理区域为同一物理区域;
若所述第一图像传感器在所述第一时段拍摄的前部图像中的移动目标处于第二标定区域,则确定在所述第一时段,所述第一图像传感器拍摄的前部图像、所述第二图像传感器拍摄的全景图像,为同一目标物的图像。
3.根据权利要求2所述的监控方法,其特征在于,所述根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像包括:
确定第二图像传感器在第二时段拍摄的全景图像中的移动目标所处的实际地理位置;
判断所述实际地理位置是否处于第三标定区域;所述第三标定区域为预先在所述第二图像传感器的视场范围内标定的一物理区域,且所述第三标定区域所标定的物理区域与所述第一标定区域所标定的物理区域分别为两个不同的物理区域;
若所述实际地理位置处于第三标定区域,则确定第三图像传感器在所述第二时段拍摄的背部图像中的移动目标是否处于第四标定区域;所述第四标定区域为预先在所述第三图像传感器的视场范围内标定的一物理区域,所述第四标定区域所标定的物理区域与所述第三标定区域所述标定的物理区域为同一物理区域;
若所述第三图像传感器在所述第二时段拍摄的背部图像中的移动目标处于第四标定区域,则确定在所述第二时段,所述第三图像传感器拍摄的背部图像、所述第二图像传感器拍摄的全景图像,为同一目标物的图像。
4.根据权利要求1所述的监控方法,其特征在于,所述将确定出的同一移动目标的前部图像、全景图像及背部图像关联显示包括:
将确定出的同一移动目标的前部图像、全景图像及背部图像并排显示。
5.根据权利要求1所述的监控方法,其特征在于,所述移动目标为车辆;所述方法还包括:
根据第一图像传感器拍摄的移动目标的前部图像,对所述车辆的车型、车身颜色、车牌号码和/或驾驶员的图像进行识别,并将识别结果进行显示。
6.根据权利要求1所述的监控方法,其特征在于,所述移动目标为车辆;所述方法还包括:
根据第三图像传感器拍摄的移动目标的背部图像,对所述车辆的车型、车身颜色和/或车牌号码进行识别,并将识别结果进行显示。
7.一种视频监控装置,其特征在于,包括:
第一图像获取单元,用于获取第一图像传感器拍摄的移动目标的前部图像;
第二图像获取单元,获取第二图像传感器拍摄的移动目标的全景图像;
第三图像获取单元,获取第三图像传感器拍摄的移动目标的背部图像;
目标确定单元,根据所述前部图像、全景图像及背部图像,确定出同一移动目标的前部图像、全景图像及背部图像;
关联显示单元,将确定出的同一移动目标的前部图像、全景图像及背部图像关联显示。
8.根据权利要求7所述的监控装置,其特征在于,所述第一图像传感器拍摄的区域与所述第二图像传感器拍摄的区域有重叠区域,所述第二图像传感器与所述第三图像传感器拍摄的区域有重叠区域;其中,
所述目标确定单元包括:
第一目标位置确定模块,用于确定第二图像传感器在第一时段拍摄的全景图像中的移动目标所处的实际地理位置;
第一目标位置判断模块,用于判断所述实际地理位置是否处于第一标定区域;所述第一标定区域为预先在所述第二图像传感器的视场范围内标定的一物理区域;
若所述实际地理位置处于第一标定区域,则确定第一图像传感器在所述第一时段拍摄的前部图像中的移动目标是否处于第二标定区域;所述第二标定区域为预先在所述第一图像传感器的视场范围内标定的一物理区域,所述第二标定区域所标定的物理区域与所述第一标定区域所述标定的物理区域为同一物理区域;
若所述第一图像传感器在所述第一时段拍摄的前部图像中的移动目标处于第二标定区域,则确定在所述第一时段,所述第一图像传感器拍摄的前部图像、所述第二图像传感器拍摄的全景图像,为同一目标物的图像。
9.根据权利要求8所述的监控装置,其特征在于,所述目标确定单元还包括:
第二目标位置确定模块,用于确定第二图像传感器在第二时段拍摄的全景图像中的移动目标所处的实际地理位置;
第二目标位置判断模块,用于判断所述实际地理位置是否处于第三标定区域;所述第三标定区域为预先在所述第二图像传感器的视场范围内标定的一物理区域,且所述第三标定区域所标定的物理区域与所述第一标定区域所标定的物理区域分别为两个不同的物理区域;
若所述实际地理位置处于第三标定区域,则确定第三图像传感器在所述第二时段拍摄的背部图像中的移动目标是否处于第四标定区域;所述第四标定区域为预先在所述第三图像传感器的视场范围内标定的一物理区域,所述第四标定区域所标定的物理区域与所述第三标定区域所述标定的物理区域为同一物理区域;
若所述第三图像传感器在所述第二时段拍摄的背部图像中的移动目标处于第四标定区域,则确定在所述第二时段,所述第三图像传感器拍摄的背部图像、所述第二图像传感器拍摄的全景图像,为同一目标物的图像。
10.根据权利要求7所述的监控装置,其特征在于,所述关联显示单元,具体用于将确定出的同一移动目标的前部图像、全景图像及背部图像并排显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810070740.0A CN110070724A (zh) | 2018-01-24 | 2018-01-24 | 一种视频监控方法、装置、摄像机及图像信息监管*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810070740.0A CN110070724A (zh) | 2018-01-24 | 2018-01-24 | 一种视频监控方法、装置、摄像机及图像信息监管*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110070724A true CN110070724A (zh) | 2019-07-30 |
Family
ID=67365741
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810070740.0A Pending CN110070724A (zh) | 2018-01-24 | 2018-01-24 | 一种视频监控方法、装置、摄像机及图像信息监管*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110070724A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738228A (zh) * | 2020-08-04 | 2020-10-02 | 杭州智诚惠通科技有限公司 | 一种面向治超证据链校验的多视角车辆特征匹配方法 |
CN112356831A (zh) * | 2021-01-12 | 2021-02-12 | 天津天瞳威势电子科技有限公司 | 一种库位跟踪方法及库位跟踪*** |
CN113723316A (zh) * | 2021-09-01 | 2021-11-30 | 杭州智诚惠通科技有限公司 | 一种车辆识别方法、装置、设备及存储介质 |
Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2718699Y (zh) * | 2004-07-21 | 2005-08-17 | 上海高德威智能交通***有限公司 | 基于视频触发和测速的车辆智能监测记录*** |
CN201181521Y (zh) * | 2008-04-16 | 2009-01-14 | 四川通安实业有限公司 | 一体化电子警察 |
CN201397576Y (zh) * | 2009-04-29 | 2010-02-03 | 南京安通杰科技实业有限公司 | 车辆路口违法变向自动捕捉装置 |
CN202771617U (zh) * | 2012-09-13 | 2013-03-06 | 中国科学院自动化研究所 | 基于高清视频检测的电子警察*** |
CN103730009A (zh) * | 2012-10-12 | 2014-04-16 | 博隆建亚科技(北京)有限公司 | 一种无车牌车辆检测方法及*** |
CN104167109A (zh) * | 2014-07-17 | 2014-11-26 | 浙江宇视科技有限公司 | 车辆位置的检测方法和检测装置 |
CN104574998A (zh) * | 2015-01-24 | 2015-04-29 | 北京信路威科技股份有限公司 | 一种车载型违章检测装置及方法 |
CN105208327A (zh) * | 2015-08-31 | 2015-12-30 | 深圳市佳信捷技术股份有限公司 | 主从式摄像机智能监控方法及装置 |
CN105513374A (zh) * | 2016-01-26 | 2016-04-20 | 北京信路威科技股份有限公司 | 基于三个相机构成的多角度自动取证方法及自动装置 |
CN105894818A (zh) * | 2016-01-26 | 2016-08-24 | 浙江中盈在线互联网科技有限公司 | 车辆路***通违法取证***及方法 |
CN105894817A (zh) * | 2015-01-26 | 2016-08-24 | 杭州海康威视数字技术股份有限公司 | 车辆违章停车的取证方法及其装置 |
CN106534789A (zh) * | 2016-11-22 | 2017-03-22 | 深圳全景威视科技有限公司 | 一种一体化智慧型安防视频监控*** |
CN107305627A (zh) * | 2016-04-22 | 2017-10-31 | 杭州海康威视数字技术股份有限公司 | 一种车辆视频监控方法、服务器及*** |
-
2018
- 2018-01-24 CN CN201810070740.0A patent/CN110070724A/zh active Pending
Patent Citations (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN2718699Y (zh) * | 2004-07-21 | 2005-08-17 | 上海高德威智能交通***有限公司 | 基于视频触发和测速的车辆智能监测记录*** |
CN201181521Y (zh) * | 2008-04-16 | 2009-01-14 | 四川通安实业有限公司 | 一体化电子警察 |
CN201397576Y (zh) * | 2009-04-29 | 2010-02-03 | 南京安通杰科技实业有限公司 | 车辆路口违法变向自动捕捉装置 |
CN202771617U (zh) * | 2012-09-13 | 2013-03-06 | 中国科学院自动化研究所 | 基于高清视频检测的电子警察*** |
CN103730009A (zh) * | 2012-10-12 | 2014-04-16 | 博隆建亚科技(北京)有限公司 | 一种无车牌车辆检测方法及*** |
CN104167109A (zh) * | 2014-07-17 | 2014-11-26 | 浙江宇视科技有限公司 | 车辆位置的检测方法和检测装置 |
CN104574998A (zh) * | 2015-01-24 | 2015-04-29 | 北京信路威科技股份有限公司 | 一种车载型违章检测装置及方法 |
CN105894817A (zh) * | 2015-01-26 | 2016-08-24 | 杭州海康威视数字技术股份有限公司 | 车辆违章停车的取证方法及其装置 |
CN105208327A (zh) * | 2015-08-31 | 2015-12-30 | 深圳市佳信捷技术股份有限公司 | 主从式摄像机智能监控方法及装置 |
CN105513374A (zh) * | 2016-01-26 | 2016-04-20 | 北京信路威科技股份有限公司 | 基于三个相机构成的多角度自动取证方法及自动装置 |
CN105894818A (zh) * | 2016-01-26 | 2016-08-24 | 浙江中盈在线互联网科技有限公司 | 车辆路***通违法取证***及方法 |
CN107305627A (zh) * | 2016-04-22 | 2017-10-31 | 杭州海康威视数字技术股份有限公司 | 一种车辆视频监控方法、服务器及*** |
CN106534789A (zh) * | 2016-11-22 | 2017-03-22 | 深圳全景威视科技有限公司 | 一种一体化智慧型安防视频监控*** |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111738228A (zh) * | 2020-08-04 | 2020-10-02 | 杭州智诚惠通科技有限公司 | 一种面向治超证据链校验的多视角车辆特征匹配方法 |
CN112356831A (zh) * | 2021-01-12 | 2021-02-12 | 天津天瞳威势电子科技有限公司 | 一种库位跟踪方法及库位跟踪*** |
CN112356831B (zh) * | 2021-01-12 | 2021-04-20 | 天津天瞳威势电子科技有限公司 | 一种库位跟踪方法及库位跟踪*** |
CN113723316A (zh) * | 2021-09-01 | 2021-11-30 | 杭州智诚惠通科技有限公司 | 一种车辆识别方法、装置、设备及存储介质 |
CN113723316B (zh) * | 2021-09-01 | 2024-04-16 | 杭州智诚惠通科技有限公司 | 一种车辆识别方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112700470B (zh) | 一种基于交通视频流的目标检测和轨迹提取方法 | |
CN100437660C (zh) | 基于全方位视觉传感器的违章车辆监控装置 | |
CN107481521B (zh) | 基于车联网的交通事件智能举证方法及*** | |
CN106023253B (zh) | 一种城市目标轨迹追踪的方法 | |
US20120148092A1 (en) | Automatic traffic violation detection system and method of the same | |
CN103824452A (zh) | 一种轻量级的基于全景视觉的违章停车检测装置 | |
CN109191829B (zh) | 道路安全监控方法及***、计算机可读存储介质 | |
Wen et al. | On the road with gpt-4v (ision): Early explorations of visual-language model on autonomous driving | |
CN104157143B (zh) | 违章停车检测***及其检测方法 | |
CN106503622A (zh) | 一种车辆反跟踪方法及装置 | |
CN110070724A (zh) | 一种视频监控方法、装置、摄像机及图像信息监管*** | |
CN103164958B (zh) | 车辆监控方法及*** | |
CN107393311B (zh) | 一种车牌篡改识别装置及方法 | |
KR102526583B1 (ko) | 딥러닝 기반 교차로 객체검지 및 자동 알람 시스템 | |
CN112140995A (zh) | 一种基于网络云端的智能汽车安全驾驶*** | |
CN111477011A (zh) | 一种用于道路路口预警的检测装置及检测方法 | |
KR102159144B1 (ko) | 보행신호등 주변의 위반차량 무인단속시스템 | |
CN109146914A (zh) | 一种高速公路基于视频分析的醉酒驾驶行为预警方法 | |
CN112289036A (zh) | 基于交通语义的场景式违章属性识别***及方法 | |
CN209486891U (zh) | 共享单车违停检测*** | |
CN113870551B (zh) | 一种能够鉴别危险和非危险驾驶行为的路侧监控*** | |
CN103198669A (zh) | 智能交通***中的视频监控*** | |
CN106205135A (zh) | 一种违章掉头车辆行为的检测方法、装置及***和一种球机 | |
CN108734965A (zh) | 一种车辆违章检测的方法及装置 | |
CN109785640A (zh) | 一种关于车辆违章检测***及其检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190730 |