具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
首先,在对本申请实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
边缘计算端,边缘计算是指在靠近物或数据源头的一侧,是集网络、计算、存储、应用核心能力为一体的开放平台,可以为用户提供近端服务。
云边端,“云”为传统云计算中的中心节点,是边缘计算的管控端;“边”为云计算的边缘侧,分为基础设施边缘和设备边缘;“端”为终端设备,如手机、智能家电、各类传感器、摄像头等。
交通事件,交通场景下的异常事件,包括异常停车、非机动车闯入机动车车道、逆行,等等。
召回率/查全率,是指实际检出的数量与应检出的总量的比率。
枪球联动,通过宽视场的枪机形成被监测区域的全局画面,以通过枪机获取的全局画面作为参考,通过联动的方式操控小视场的球机输出局部细节图像。通过枪机和球机的联动,不仅实现看全看清的目的,对人在回路的***,还可以实现更快捷且目的性更强操控高速球;对无人值守***,枪球联动控制器可以智能分析枪机图像的特定目标和行为态势,自动控制高速球跟踪和监测可疑目标和区域,从而实现自动智能监测。
AR(Augmented Reality,增强现实)设备,可以使用虚拟场景对真实场景进行补充,或者对真实场景和虚拟场景进行交互。AR设备可以复原人类的视觉功能,比如自动识别跟踪物体并且对被跟踪物体周围的真实场景进行3D建模。
VR(Virtual Reality,虚拟现实)设备,可以使用接收的数据进行虚拟场景的构建,并将构建的虚拟场景转换为可以视觉感知的模型。
视频渲染,视频渲染的过程包括对每帧图像进行重新优化的过程,视频渲染可用于通过计算机程序将接收的数据转换成图像帧,并将图像帧合并为视频。
渲染数据量,一般是用于对图像中的对象进行渲染的数据量,可以由渲染对象的数量,即渲染数量来决定。例如,渲染数量,可以反映渲染得到的图像或视频的清晰程度。对同一个处理设备来说,渲染数量越小设备的处理速度越快,得到的图像或视频越模糊;渲染数量越大设备的处理速度越慢,得到的图像或视频越清晰。
实施例1
根据本发明实施例,还提供了一种图像处理的方法实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
本申请实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现图像处理方法的计算机终端的硬件结构框图。如图1所示,计算机终端10可以包括一个或多个处理器(图中采用102a、102b,……,102n来示出,处理器可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输装置。除此以外,还可以包括:显示器、输入/输出接口(I/O接口)、通用串行总线(USB)端口(可以作为BUS总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
应当注意到的是上述一个或多个处理器和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10中的其他元件中的任意一个内。如本申请实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
存储器104可用于存储应用软件的软件程序以及模块,如本发明实施例中的图像处理方法对应的程序指令/数据存储装置,处理器通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的应用程序的图像处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置包括一个网络适配器(Network Interface Controller,NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置可以为射频(Radio Frequency,RF)模块,其用于通过无线方式与互联网进行通讯。
显示器可以例如触摸屏式的液晶显示器(LCD),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
在上述运行环境下,本申请提供了如图2所示的图像处理方法。图2是根据本发明实施例1的图像处理方法的流程图。参照图2所示,图像处理方法可包括如下步骤:
步骤S202,接收事件异常结果和目标抓拍图像,其中,事件异常结果表明基于目标端侧设备采集的目标监测视频识别出异常事件,目标抓拍图像基于目标端侧设备采集的目标监测视频抓拍得到。
步骤S204,确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征。
步骤S206,基于目标特征,获取目标对象的历史抓拍图像,其中,历史抓拍图像基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到。
步骤S208,基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像。
在本可选实施例中,通过接收表明基于目标端侧设备采集的目标监测视频识别出异常事件的事件异常结果,以及基于的目标监测视频抓拍得到目标抓拍图像;确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征,基于目标特征,获取基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到的目标对象的历史抓拍图像;基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像。通过对目标端侧设备获取的目标抓拍图像和目标对象在历史路径上的历史端侧设备获取的历史抓拍图像进行分析,获取目标对象的事件图像。方法不限于单一的跟拍方法获取目标对象在局部区域的事件图像,能够结合局部信息和全路段的全局信息获取目标对象的事件图像,提高了对发生异常事件的目标对象进行取证的召回率和精度,解决了在相关技术中,存在无法高召回率、高精度地对交通事件目标进行取证的技术问题。
在一些可选实施例中,上述图像处理方法的执行主体可以是云侧设备。该云侧设备可以是分布式处理集群,该分布式处理集群具有高并行的计算性能。
在一些可选实施例中,基于目标抓拍图像获取目标对象的目标特征的方法,可包括如下步骤:从目标抓拍图像中提取出目标对象的对象特征;基于目标抓拍图像的抓拍时间,目标对象的位置信息,以及目标对象的预定目标路径,确定目标对象的场景特征;基于对象特征和场景特征,生成针对目标对象的结构化的目标特征。
在本可选实施例中,基于包含目标抓拍图像的抓拍时间、目标对象的位置信息和预定目标路径在内的特征信息确定目标对象的场景特征,基于目标对象的对象特征和包含上述特征信息的场景特征生成针对目标对象的结构化的目标特征,能够准确获取目标对象的目标特征,提高了对目标对象进行取证的召回率和精度。需要说明的是,上述对象特征可以包括多种,例如,可以是对该目标对象进行描述的任何特征,比如,当目标对象为车辆时,可以是车辆的车牌号,车辆的车型,车辆的标志,车辆的颜色等。另外,上述目标对象的场景特征可以是与目标对象的场景相关的特征,上述的抓拍时间、目标对象的位置信息和预定目标路径仅为一种举例,其它场景相关的特征也属于本申请的一部分。
在一些可选实施例中,基于目标特征获取目标对象的历史抓拍图像的方法,可包括如下步骤:基于目标特征,确定目标对象在历史路径上的多个候选抓拍图像;从多个候选抓拍图像中筛选出目标对象的历史抓拍图像。
在本可选实施例中,基于目标对象在历史路径上的多个候选抓拍图像获取目标对象的历史抓拍图像,实现了结合全路段的全局信息获取目标对象的事件图像,提高了对发生异常事件的目标对象进行取证的召回率和精度。其中,先确定多个候选抓拍图像,以及从多个候选抓拍图像中筛选出历史抓拍图像的处理方式,可以在先大致确定历史抓拍图像所属的范围,再基于确定的范围进行筛选,使得得到历史抓拍图像的效率更高,避免了一些非必要或者无效的抓拍图像当作历史抓拍图像。
在一些可选实施例中,从多个候选抓拍图像中筛选出目标对象的历史抓拍图像的方法,可包括如下步骤:基于时间连续性约束条件,空间连续性约束条件,分别确定多个候选抓拍图像的置信度;基于多个候选抓拍图像的置信度,从多个候选抓拍图像中筛选出目标对象的历史抓拍图像。
在本可选实施例中,基于时间连续性约束条件和空间连续性约束条件确定多个候选抓拍图像的置信度,基于置信度从多个候选抓拍图像中筛选出目标对象的历史抓拍图像。这相当于使用时间连续性约束条件和空间连续性约束条件对从多个候选抓拍图像进行置信度过滤,根据置信度过滤结果确定目标对象的历史抓拍图像。由此,减少了对目标对象的错误取证的概率,提高了对发生异常事件的目标对象进行取证的召回率。
可选地,针对上述时间连续性约束条件,可以从多个候选抓拍图像简单快速地过滤掉明显不符合时间连续性的抓拍图像,比如,在多个候选抓拍图像中存在一个抓拍图像,该抓拍图像对应的时间明显后于该目标抓拍图像,因此,可以明确确定该抓拍图像是不符合时间连续性的,需要过滤掉。另外,针对上述空间连续性约束条件,也可以从多个候选抓拍图像简单快速地过滤掉明显不符合空间连续性的抓拍图像,比如,在多个候选抓拍图像中存在一个抓拍图像,该抓拍图像对应的空间明显后于该目标抓拍图像的空间存在差别,比如,该抓拍图像是针对天空的抓拍图像,而目标抓拍图像是针对道路的,因此,该抓拍图像就可以直接,快速地过滤掉。需要说明的是,上述时间连续性约束条件和空间连续性约束条件仅为一种举例,上述时间连续性约束条件和空间连续性约束条件可以分别单独来进行抓拍图像的过滤,也可以两者结合来进行抓拍图像的过滤。而且,除了上述所指的时间连续性约束条件和空间连续性约束条件,还可以采用其它约束条件,例如,抓拍图像在内容上的连续性来进行过滤,例如,在多个抓拍图像上和该目标抓拍图像上均有一个明显的对象标识,但对于一个抓拍图像,其上并没有该明显对象标识,因此,可以将该抓拍图像直接过滤掉。
在一些可选实施例中,基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像,包括:分别确定目标抓拍图像和历史抓拍图像的清晰度;确定清晰度大于预定清晰度的目标抓拍图像和历史抓拍图像为目标对象的事件图像。
在本可选实施例中,基于清晰度确定目标对象的事件图像,确保了目标对象的时间图像的可用性,提高了对发生异常事件的目标对象进行取证的精度。需要说明的是,上述图像的清晰度可以有多种表述形式,例如,可以基于图像的像素确定,也可以基于图像的亮色度确定,还可以基于图像的饱和度确定等。
图3是根据本发明实施例的另一种可选的图像处理方法的流程图,参照图3所示,图像处理方法可包括如下步骤:
步骤S302,接收目标端侧设备采集的目标监测视频。
步骤S304,从目标监测视频中识别出异常事件,得到事件异常结果,以及从目标监测视频中抓拍得到目标抓拍图像。
步骤S306,将事件异常结果和目标抓拍图像发送给云侧设备,用于云侧设备基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像,其中,目标对象为发生异常事件的对象,历史抓拍图像基于目标对象的目标特征获取,历史抓拍图像为目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到的图像。
在本可选实施例中,通过从目标端侧设备采集的目标检测视频中识别出异常事件,得到事件异常结果,并从目标检测视频中抓拍得到目标抓拍图像,将事件异常结果和目标抓拍图像发送给云侧设备,云侧设备基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像。相关技术中,通过多个球机联动实现对交通事件目标的取证,方法依赖多个相机之间的精确标定,前期配置和后期运维成本较高,且球机频繁转动预置位,易产生累计误差,进而导致相机间的目标匹配失败,降低交通事件目标取证的召回率。而通过目标端侧设备和云侧设备相结合实现对目标对象的事件图像的准确获取,提高了对目标对象取证的召回率和精度。
在一些可选实施例中,上述图像处理方法的执行主体可以是边侧设备。上述边侧设备可以是靠近于端侧设备的计算处理设备,例如,可以是对一个或少数几个端侧设备的数据进行处理的设备,便于对应端侧设备的数据的及时处理。需要说明的是,该边侧设备可以集成在端侧设备上,也可以与端侧设备独立,其中,与端侧设备独立的形式可以配备计算能力更强一些的计算设备。
图4是根据本发明实施例的又一种可选的图像处理方法的流程图,参照图4所示,图像处理方法可包括如下步骤:
步骤S402,接收事件异常结果和目标抓拍图像,其中,事件异常结果表明基于目标端侧设备采集的目标监测视频识别出异常事件,目标抓拍图像基于目标端侧设备采集的目标监测视频抓拍得到,异常事件包括异常交通事件;
步骤S404,确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征,目标对象包括目标车辆;
步骤S406,基于目标特征,获取目标对象的历史抓拍图像,其中,历史抓拍图像基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到;
步骤S408,基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像。
在本可选实施例中,通过接收表明基于目标端侧设备采集的目标监测视频识别出包括异常交通事件的异常事件的事件异常结果,以及基于的目标监测视频抓拍得到目标抓拍图像;确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征,基于目标特征,获取基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到的目标对象的历史抓拍图像;基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像。通过对目标端侧设备获取的目标抓拍图像和目标对象在历史路径上的历史端侧设备获取的历史抓拍图像进行分析,获取目标对象的事件图像。方法不限于单一的跟拍方法获取目标对象在局部区域的事件图像,能够结合局部信息和全路段的全局信息获取目标对象的事件图像,提高了对发生异常事件的目标对象进行取证的召回率和精度,解决了在相关技术中,存在无法高召回率、高精度地对交通事件目标进行取证的技术问题。
在一些可选实施例中,上述图像处理方法的执行主体可以是云侧设备,实现云侧设备对异常交通事件所针对的事件图像的收集。
图5是根据本发明实施例的再一种可选的图像处理方法的流程图,参照图5所示,图像处理方法可包括如下步骤:
步骤S502,目标端侧设备采集的目标监测视频,并将目标监测视频发送给边侧设备。
步骤S504,边侧设备从目标监测视频中识别出异常事件,得到事件异常结果,从目标监测视频中抓拍得到目标抓拍图像,并将事件异常结果和目标抓拍图像发送给云侧设备。
步骤S506,云侧设备确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征。
步骤S508,云侧设备基于目标特征,获取目标对象的历史抓拍图像,并基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像,其中,历史抓拍图像基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到。
在本可选实施例中,目标端侧设备采集目标检测视频,边侧设备获取目标端侧设备采集的目标检测视频,并基于获取的目标检测视频获取事件异常结果和目标抓拍图像,云侧设备获取边侧设备发送的事件异常结果和目标抓拍图像,并基于获取的事件异常结果和目标抓拍图像,获取目标对象的事件图像。方法不限于单一的跟拍方法获取目标对象在局部区域的事件图像,能够结合局部信息和全路段的全局信息获取目标对象的事件图像,提高了对发生异常事件的目标对象进行取证的召回率和精度,解决了在相关技术中,存在无法高召回率、高精度地对交通事件目标进行取证的技术问题。
在一些可选实施例中,边侧设备集成在目标端侧设备上。边侧设备为集成在目标端侧设备上的独立设备,独立的边缘计算单元拥有更强的运算性能,可以承载更复杂的算法,提高对发生异常事件的目标对象进行取证的召回率和精度。
在一些可选实施例中,异常事件包括异常交通事件。目标端侧设备、边侧设备和云侧设备相结合,从目标监测视频中识别出异常交通事件,得到交通事件异常结果,根据交通事件异常结果和目标抓拍图像确定发生异常事件的目标对象,并给予目标抓拍图像获取目标对象的目标特征,根据目标特征获取目标对象的历史抓拍图像,根据目标抓拍图像和基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到的历史抓拍图像确定目标对象的事件图像。由此,可以实现对交通领域中交通事件的检测。
在一些可选实施例中,目标端侧设备包括增强现实AR设备和/或虚拟现实VR设备,其中,AR设备和/或VR设备基于预定的驱动器展示目标监测视频。AR设备和VR设备的种类有多个,例如,AR设备和VR设备可以是带有摄像设备的固定设备,也可以是移动手机、平板电脑等移动终端设备,也可以是头戴式显示设备。通过AR设备和/或VR设备,用户可以直观的获取AR设备和/或VR设备展示目标监测视频,方法简单易操作,提高了用户体验。
在一些可选实施例中,目标端侧设备,边侧设备以及云侧设备获取异常事件的类型,以及基于异常事件的类型,对目标监测视频进行渲染,得到对应的渲染视频。基于异常事件的类型对目标监测视频的渲染,可以实现对不同异常事件的明显标识,使用户能够更为容易地关注到目标监测视频中的关键对象。由此,对目标监测视频进行渲染后,可以有效提高用户观看体验。
在一些可选实施例中,目标端侧设备,边侧设备以及云侧设备获取异常事件的类型,以及基于异常事件的类型,对目标监测视频进行渲染,得到对应的渲染视频,包括:在异常事件的类型为第一事件类型的情况下,由目标端侧设备对目标监测视频进行第一渲染,得到第一渲染视频; 在异常事件的类型为第二事件类型的情况下,由边侧设备对目标监测视频进行第二渲染,得到第二渲染视频;在异常事件的类型为第三事件类型的情况下,由云侧设备对目标监测视频进行第三渲染,得到第三渲染视频;其中,第一渲染的渲染数据量小于第二渲染的渲染数据量,第二渲染的渲染数据量小于第三渲染的渲染数据量。针对不同类型的异常事件,由不同的设备来执行对目标监测视频的渲染。例如,当目标监测视频中包括渲染数据量比较小的轻型异常事件时,由于端侧设备的处理资源相对于边侧设备以及云侧设备而言比较有限,因此,可以直接由端侧设备来对该轻型异常事件进行渲染即可。比如,在该轻型异常事件为非正常原因超车的异常事件时,可以直接由该端侧设备简单地对图像中的违规车辆渲染一个违规标记。又例如,当目标监测视频中包括渲染数据量相对比较大的中型异常事件时,由于边侧设备相对于端侧设备的处理资源高一些,而中型的异常事件又不需要云侧设备的大量处理资源,因此,可以直接由边侧设备来对该中型的异常事件进行渲染即可。比如,在该中型异常事件为发生车辆追尾的异常事件时,可以直接由该边侧设备渲染出追尾的双方车辆,以及追尾的损害程度等。还例如,当目标监测视频中包括渲染数据量大的大型异常事件时,由于大型异常事件一般比较严重,涉及事件的细节会比较多也比较细,因此,可以直接由具备丰富处理资源的云侧设备进行渲染。比如,在该大型异常事件为发生车辆严重撞击的***事件时,可以直接由该云侧设备对事件现场的各个细节进行渲染等。
另外,对于同一设备,渲染数据量越大设备的处理速度越慢,渲染得到的目标监测视频的清晰度越高,渲染数据量越小设备的处理速度越快,渲染得到的目标监测视频的清晰度越低。可以根据需求,对不同类型的异常事件的目标监测视频设定不同的渲染。例如,对包括某个事件类型的异常事件的目标监测视频的清晰度要求比较高,可以将该事件类型的异常事件的目标监测视频对应的渲染数据设定的比较高,对某个事件类型的异常事件的目标监测视频的清晰度要求比较低,可以将该事件类型的异常事件的目标监测视频对应的渲染数据量设定的比较低。通过对不同事件类型的异常事件的目标监测视频设定不同的渲染数据量,能够满足用户对不同事件类型的异常事件的目标监测视频的清晰度的要求,提高了用户体验。
在交通领域中,异常事件的类型可以有多种,例如,可以包括交通场景下的异常事件,包括异常停车、非机动车闯入机动车车道、逆行,等等。在一些可选实施例中,用户可以根据对不同交通异常事件的监测视频的清晰度的不同要求,由不同的设备对监测视频的渲染数据量进行不同的设定,能够有效满足多种个性化需求。
在一些可选实施例中,目标端侧设备,边侧设备以及云侧设备获取异常事件的类型,以及基于异常事件的类型,对目标监测视频进行渲染,得到对应的渲染视频,可以包括如下步骤:目标端侧设备对目标监测视频进行识别,并在识别出目标监测视频中存在第一类型事件的情况下,对目标监测视频进行第四渲染,得到第四渲染视频,并将第四渲染视频发送给边侧设备;边侧设备对目标监测视频进行识别,并在识别出目标监测视频中存在第二类型事件的情况下,对第四渲染视频进行第五渲染,得到第五渲染视频,并将第五渲染视频发送给云侧设备;云侧设备对目标监测视频进行识别,并在识别出目标监测视频中存在第三类型事件的情况下,对第五渲染视频进行第六渲染,得到第六渲染视频;其中,第四渲染的渲染数据量小于第五渲染的渲染数据量,第五渲染的渲染数据量小于第六渲染的渲染数据量。可以按照用户对不同事件类型的异常事件的关注度高低,对不同异常事件的目标监测视频进行层层渲染。由此,可以确保对用户关注度高的异常事件的优先显示,提高了用户体验。另外,通过对不同事件类型的目标监测视频设定不同的渲染数据量,能够满足用户对不同事件类型的异常事件的目标监测视频的清晰度的要求,提高了用户体验。
采用上述针对不同类型的异常事件,由多个设备来执行对目标监测视频的层层渲染。例如,当端侧设备监测到异常事件时,即存在异常事件,则采用端侧的处理资源对目标监测视频进行简单地渲染,之后,端侧设备将渲染后的视频(即上述第四渲染视频)发给边侧设备。比如,直接采用事件框框出图像中发生异常事件的区域,将框出区域的视频发给边侧设备。当边侧设备识别出存在较为严重的异常事件时,对端侧已经渲染的视频进行再次渲染,得到再次渲染后的视频(即上述第五渲染视频),比如,对事件较为重要的对象进行填充颜色,画线等,之后将再次渲染后的视频发给云侧设备。云侧设备接收到边侧设备发送的渲染的视频后,识别出该异常事件为重大异常事件,因此,采用丰富的处理资源对接收的视频进行细节上的渲染,得到观看直接,清晰的视频图像。比如,云侧设备在识别出发生上述严重撞击的异常事件后,对图像中的对象的纹理进行增强,填充背景色,以及突出性的说明动画等。
需要说明的是,上述事件类型可以是依据多种类型划分标准来确定的,例如,可以依据事件的异常程度,也可以是异常事件的有无,还可以是异常事件的影响程度,等。
基于上述实施例及可选实施例,提供了一种可选实施方式,下面具体说明。
相关技术中,通过对距离相机较近的预设区域进行细节图像的抓拍,由此实现对交通事件目标的取证,这种方法存在如下缺陷:方法基于单个端侧设备实现,强依赖车辆目标的全程跟踪,在车流量大、车辆存在遮挡等跟踪难度较大的情况下召回率低。并且若为来向的违章/事故车辆,其停止后未进入抓拍区域,该方法将失效。也可以通过单个球机全景监测违章目标并对违章目标进行跟踪,进而实现对交通事件目标的取证,这种方法存在如下问题:基于单个端侧设备实现,强依赖车辆目标的全程跟踪,在车流量大、车辆存在遮挡等跟踪难度较大的情况下召回率低。并且由于球机拉框、转动预置位需要时间,该方法除了实时性不佳,在违章目标短暂停留又再次移动等情况下还将无法成功取证。还可以通过预先标定两个球机之间的定位参数,在一个球机发现违停目标的情况下控制另一个球机对目标位置进行拍摄,进而实现对交通事件目标的取证,这种方法存在如下问题:该方法强依赖多个相机之间的精确标定,前期配置和后期运维成本较高。由于球机频繁转动预置位,长期易产生累积误差,导致两个相机间的目标匹配失败,召回率降低。此外由于球机拉框、转动预置位需要时间,该方法除了实时性不佳,在违章目标短暂停留又再次移动等情况下还将失效。相关技术中,还可以通过视场重叠的两个摄像机,根据时间、位置信息进行目标关联,通过近景摄像机对远景摄像机拍摄到的违章车辆进行取证并获得车牌信息。这种方法存在如下问题:方法依赖两个摄像机对同一位置的重复拍摄形成重叠视场,设备成本高,且目标关联依赖两个相机间准确的位置标定和时间同步,前期配置和后期运维成本较高。此外若车辆发生违章/事故后未进入近景摄像机覆盖区域,或因为遮挡等原因导致近景抓拍失败,则该方法失效。
鉴于此,在本公开实施方式中,提供了一种图像处理方法,通过接收表明基于目标端侧设备采集的目标监测视频识别出异常事件的事件异常结果,以及基于的目标监测视频抓拍得到目标抓拍图像;确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征,基于目标特征,获取基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到的目标对象的历史抓拍图像;基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像。通过对目标端侧设备获取的目标抓拍图像和目标对象在历史路径上的历史端侧设备获取的历史抓拍图像进行分析,获取目标对象的事件图像。方法不限于单一的跟拍方法获取目标对象在局部区域的事件图像,能够结合局部信息和全路段的全局信息获取目标对象的事件图像,提高了对发生异常事件的目标对象进行取证的召回率和精度,解决了在相关技术中,存在无法高召回率、高精度地对交通事件目标进行取证的技术问题。
图6是根据本发明实施例的一种可选的图像处理***的结构示意图,参照图6所示,本可选实施方式基于包括端侧设备、边缘计算平台(相当于前述实施例中的边侧设备)和云端平台(相当于前述实施例这种的云侧设备)的图像处理***实现图像处理方法。
图7是根据本发明实施例的一种可选的端侧设备分布的场景示意图,图8是根据本发明实施例的另一种可选的端侧设备分布的场景示意图,参照图7和图8所示,在交通道路中布局多个用于提供基础的视频感知数据的监测相机组,监测相机组中的相机包括但不限于枪机、鱼眼相机、球机、卡口相机等在内的感知设备。监测相机组的数量根据路段监测覆盖需求而定,多个监测相机组间可以有重叠覆盖区域,也可以不存在重叠覆盖区域。在本可选实施方式中,优选地,多个监测相机组间不存在重叠覆盖区域。
所有监测相机实现对所覆盖区域的实时监测,基于监测相机组获取的视频数据,结合边缘计算平台分析是否发生交通事件并确定交通事件目标(相当于前述实施例中的目标对象);通过复用高速公路中普遍架设的门架卡口相机或其他类型的高清卡口相机,实现在交通事件目标到达近距离预设区域时进行抓拍并获取高清抓拍图(相当于前述实施例中的目标抓拍图像)。
图9是根据本发明实施例的一种可选的端侧设备(相当于本可选实施方式中的监测相机组)采集图像的场景示意图。图9中实线框标注的位置为交通事件目标被检测出异常停车事件的位置,图9中虚线框包围的区域为某个监测相机组的抓拍区域。参照图9所示,交通事件目标所在的位置距离该监测相机组的距离较远,导致交通事件目标所占像素过低,因此无法获取交通事件目标的车牌等信息,无法实现交通事件取证。在本可选实时方式中,设置了如图9中虚线框区域所示的抓拍区域,以在交通事件目标经过该区域时可以获取像素满足取证要求的目标图像。继续参照图8所示,如果交通事件目标位于左侧来向,则其发生异常停车事件时尚未进入监测相机组的抓拍区域,因此监测相机组无法直接关联到清晰的近距离抓拍图,在这种情况下,方案通过对交通事件目标的历史路径进行还原,从而关联到前序监测相机组的抓拍数据,进而实现对交通事件目标的取证。
继续参照图6所示,边缘计算平台包括用于对端侧设备获取的视频数据进行预处理的抓拍模块、交通事件检测模块,边缘计算平台对视频数据进行预处理后,将预处理的数据发送至云端服务器。下面对抓拍模块、交通事件检测模块进行具体说明。其中,端侧设备采集的数据以及边缘计算平台对端侧设备采集的数据进行处理后获取的数据统一接入云端平台,实现交通事件的目标取证。
交通事件检测模块,用于接收监测相机发送的视频数据,通过人工智能算法识别视频中的人车目标,并根据人车目标位置等信息,判断是否为异常事件。其中,常见的异常事件类型包括异常停车、交通事故、机动车逆行、货车走主车道、机动车占应急车道、占用导流线区、实线变道等。交通事件检测模块对视频进行处理后,输出包含时间、位置、事件类型、目标路径、目标图片、目标关联的同相机抓拍图等交通事件结构化数据。
抓拍模块,用于接收监测相机发送的视频数据,并根据抓拍算法对每一个车辆目标在预设区域进行抓拍,获得在监测相机下相对最为清晰的一张抓拍图,并附以目标路径、时间等结构化信息。所有抓拍图像及附带的结构化信息由该模块发送至云端服务器。
其中,边缘计算平台所实现的上述处理功能可以集成在端侧设备,或者基于独立的边缘计算平台实现上述处理功能。在本可选实施方式中,优选地,使用独立的边缘计算平台对接收的视频进行上述处理,独立的边缘计算平台拥有更强的运算性能,可以承载更复杂的算法,以提高对交通事件目标取证的召回率和精度。
云端平台包括中心机房中的计算服务器,可以接入高速公路路段全量的结构化数据和经过筛选的非结构化数据。继续参照图6所示,云端平台承载交通事件的接入、全路段抓拍数据的接入或落库,事件或抓拍目标结构化特征的提取,以及交通事件目标的取证等功能。具体的,云端平台包括目标结构化特征提取模块、抓拍数据库和事件目标取证模块。下面具体说明。
目标结构化特征提取模块,用于获取边缘计算平台传输的事件目标、抓拍目标图像,经过AI算法提取出包括车身颜色、车型、车辆品牌、车牌号等信息在内的结构化目标特征,并在这些结构化目标特征中加上原本附带的时间、位置、目标路径等信息,进而生成最终的目标结构化数据,并将目标结构化数据分别输出至抓拍数据库和目标取证模块,用以进行事件目标和历史抓拍目标的路径关联。
抓拍数据库,用于接收经过目标结构化的全路段抓拍图及附带的结构化特征信息,并进行实时落库处理。抓拍数据库可支持通过时间、位置、目标结构化特征等信息进行所需数据的提取,供目标取证模块获取目标历史信息。
事件目标取证模块实时接入边缘计算平台经过结构化处理的交通事件检测结果,并判断是否为需要取证的交通事件。如是需要取证的交通事件,则进行如下步骤:
对事件目标图像及其关联的同点位抓拍图结构化特征进行融合,形成用以进行历史路径关联的结构化特征信息。其中,同点位抓拍图来自事件检测模块。
使用融合后的事件目标结构化特征信息,在抓拍数据库中匹配前序点位中该目标的抓拍数据,并进行路径关联,得到一连串多个候选抓拍数据。具体可根据到达时间、车道或单相机下的行车路径、车身颜色、车型、车辆品牌、车牌号等从抓拍数据库中筛选出所有可能的关联抓拍数据。
根据初步关联的路径进行交叉验证,根据事件、空间连续性的约束计算置信度,剔除其中可能存在的误匹配数据。如某条抓拍数据时间提前于其后续多个相机组的抓拍数据时间,则置信度低,予以过滤。又如某条抓拍数据的车牌信息在停车事件目标所在相机组的后续相机组中出现(停止后的目标理应不会出现在后续相机组的抓拍数据中),则置信度低,予以过滤。
在剩余的高置信的抓拍数据中,对其关联的抓拍图片清晰度进行评价,可使用各类图像清晰度评价方法包括但不限于像素大小、图像梯度等,将清晰度最高的一张或多张抓拍图作为取证结果进行输出。
结合上述描述,对本可选实施方式的图像处理方法进行进一步说明。图10是根据本发明实施例的一种可选的图像处理方法的流程图,参照图10所示,图像处理方法可包括如下步骤:
步骤S1001,获取交通事件检测结果及结构化特征,进入步骤S1002。
步骤S1002,判断是否需要进行取证,是则进入步骤S1003,否则结束分析。
步骤S1003,事件目标结构化特征融合,进入步骤S1004。
步骤S1004,结合数据库进行路径关联,进入步骤S1005。
步骤S1005,候选数据置信度筛选,进入步骤S1006。
步骤S1006,候选图片清晰度评价,进入步骤S1007。
步骤S1007,获取交通事件目标取证结果。
需要明白的是,上述可选实施方式不仅可以实现对交通事件目标的取证,还可以实现对任意车辆的取证。
在上述可选实施方式中,通过对同一交通事件目标在全路段进行跟踪,直接获得交通事件目标在各个相机下的高清抓拍图,进而实现交通事件目标的高精度和高召回率的取证。通过端侧设备、边缘计算平台和云端平台,实现对交通事件目标高召回率、高精度、高实时性的取证,解决相关技术中存在无法高召回率、高精度地对交通事件目标进行取证的问题。在本可选实施方式的基础上,结合枪球联动,可以增加球机拉框识别,以达到进一步提高取证效果的目的。
在上述可选实施方式中,通过全路段抓拍数据建立数据库,由此可以确保候选交通事件目标的高抓拍率,避免了使用单个相机组进行交通事件目标跟踪时因为跟踪失败、交通事件目标未进入抓拍区域等现象导致的漏召回情况。通过引入丰富的结构化特征信息进行候选目标关联,由此解决了相关技术中需要预先标定再进行严格的时间和位置检索所导致的关联鲁棒性低和关联失败率高的问题,确保了交通事件目标取证的高召回率。通过利用全局信息和丰富的结构化特征作为基础,并结合时空约束进行置信度过来,可以有效减少取证错误的情况,提高取证的召回率。相对于相关技术中通过多个球机联动实现跟踪抓拍的情况,通过端侧设备、边缘计算平台和云端平台的结合实现交通事件目标的取证,可以实现无秒级以上的延迟,提高了取证的实时性。端侧设备的多个监测相机组之间无需有重叠覆盖区域即可实现交通事件目标的取证,相对于相关技术中基于准确的多相机标定实现目标取证的方案,本方案减少了相机覆盖密度,具有成本低的优点。
在上述可选实施方式中,通过端侧设备、边缘计算平台和云端平台相结合的***框架实现交通事件目标取证,能够结合端侧设备中监测相机组采集的局部信息和全路段的全局信息,进而实现交通事件目标的取证,且方案基于结构化特征路径还原交通事件目标取证流程,使本方案具备召回率高、准确率高、实时性好和成本低的优点。
需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明所必须的。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的图像处理方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个计算机可读存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例的方法。
实施例2
根据本发明实施例,还提供了一种用于实施上述图像处理方法的装置,图11是根据本发明实施例的另一种可选的图像处理装置的框架图,如图11所示,该装置包括:接收模块1102、第一确定模块1104、获取模块1106和第二确定模块1108。下面分别说明。
接收模块1102,用于接收事件异常结果和目标抓拍图像,其中,事件异常结果表明基于目标端侧设备采集的目标监测视频识别出异常事件,目标抓拍图像基于目标端侧设备采集的目标监测视频抓拍得到;第一确定模块1104,连接于上述接收模块1102,用于确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征;获取模块1106,连接于上述第一确定模块1104,用于基于目标特征,获取目标对象的历史抓拍图像,其中,历史抓拍图像基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到;第二确定模块1108,连接于上述获取模块1106,用于基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像。
此处需要说明的是,上述接收模块1102、第一确定模块1104、获取模块1106和第二确定模块1108对应于实施例1中的步骤S202至步骤S208,几个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
实施例3
本发明的实施例可以提供一种计算机终端,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
在本实施例中,上述计算机终端可以执行应用程序的图像处理方法中以下步骤的程序代码:接收事件异常结果和目标抓拍图像,其中,事件异常结果表明基于目标端侧设备采集的目标监测视频识别出异常事件,目标抓拍图像基于目标端侧设备采集的目标监测视频抓拍得到;确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征;基于目标特征,获取目标对象的历史抓拍图像,其中,历史抓拍图像基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到;基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像。
可选地,在本实施例中,上述计算机终端可以执行应用程序的图像处理方法中以下步骤的程序代码:从目标抓拍图像中提取出目标对象的对象特征;基于目标抓拍图像的抓拍时间,目标对象的位置信息,以及目标对象的预定目标路径,确定目标对象的场景特征;基于对象特征和场景特征,生成针对目标对象的结构化的目标特征。
可选地,在本实施例中,上述计算机终端可以执行应用程序的图像处理方法中以下步骤的程序代码:基于目标特征,获取目标对象的历史抓拍图像,包括:基于目标特征,确定目标对象在历史路径上的多个候选抓拍图像;从多个候选抓拍图像中筛选出目标对象的历史抓拍图像。
可选地,在本实施例中,上述计算机终端可以执行应用程序的图像处理方法中以下步骤的程序代码:从多个候选抓拍图像中筛选出目标对象的历史抓拍图像,包括:基于时间连续性约束条件,空间连续性约束条件,分别确定多个候选抓拍图像的置信度;基于多个候选抓拍图像的置信度, 从多个候选抓拍图像中筛选出目标对象的历史抓拍图像。
可选地,在本实施例中,上述计算机终端可以执行应用程序的图像处理方法中以下步骤的程序代码:基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像,包括:分别确定目标抓拍图像和历史抓拍图像的清晰度;确定清晰度大于预定清晰度的目标抓拍图像和历史抓拍图像为目标对象的事件图像。
可选地,在本实施例中,上述计算机终端可以执行应用程序的图像处理方法中以下步骤的程序代码:接收目标端侧设备采集的目标监测视频;从目标监测视频中识别出异常事件,得到事件异常结果,以及从目标监测视频中抓拍得到目标抓拍图像;将事件异常结果和目标抓拍图像发送给云侧设备,用于云侧设备基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像,其中,目标对象为发生异常事件的对象,历史抓拍图像基于目标对象的目标特征获取,历史抓拍图像为目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到的图像。
可选地,在本实施例中,上述计算机终端可以执行应用程序的图像处理方法中以下步骤的程序代码:接收事件异常结果和目标抓拍图像,其中,事件异常结果表明基于目标端侧设备采集的目标监测视频识别出异常事件,目标抓拍图像基于目标端侧设备采集的目标监测视频抓拍得到,异常事件包括异常交通事件;确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征,目标对象包括目标车辆;基于目标特征,获取目标对象的历史抓拍图像,其中,历史抓拍图像基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到;基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像。
可选地,在本实施例中,上述计算机终端可以执行应用程序的图像处理方法中以下步骤的程序代码:目标端侧设备采集的目标监测视频,并将目标监测视频发送给边侧设备;边侧设备从目标监测视频中识别出异常事件,得到事件异常结果,从目标监测视频中抓拍得到目标抓拍图像,并将事件异常结果和目标抓拍图像发送给云侧设备;云侧设备确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征;其中,异常事件包括异常交通事件;云侧设备基于目标特征,获取目标对象的历史抓拍图像,并基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像,其中,历史抓拍图像基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到。边侧设备集成在目标端侧设备上。目标端侧设备包括增强现实AR设备,和/或虚拟现实VR设备,其中,AR设备和/或VR设备基于预定的驱动器展示目标监测视频。
可选地,在本实施例中,上述计算机终端可以执行应用程序的图像处理方法中以下步骤的程序代码:目标端侧设备,边侧设备以及云侧设备获取异常事件的类型,以及基于异常事件的类型,对目标监测视频进行渲染,得到对应的渲染视频。
可选地,在本实施例中,上述计算机终端可以执行应用程序的图像处理方法中以下步骤的程序代码:目标端侧设备、边侧设备以及云侧设备获取异常事件的类型,以及基于异常事件的类型,对目标监测视频进行渲染,得到对应的渲染视频,包括:在异常事件的类型为第一事件类型的情况下,由目标端侧设备对目标监测视频进行第一渲染,得到第一渲染视频; 在异常事件的类型为第二事件类型的情况下,由边侧设备对目标监测视频进行第二渲染,得到第二渲染视频;在异常事件的类型为第三事件类型的情况下,由云侧设备对目标监测视频进行第三渲染,得到第三渲染视频;其中,第一渲染的渲染数据量小于第二渲染的渲染数据量,第二渲染的渲染数据量小于第三渲染的渲染数据量。
可选地,在本实施例中,上述计算机终端可以执行应用程序的图像处理方法中以下步骤的程序代码:目标端侧设备、边侧设备以及云侧设备获取异常事件的类型,以及基于异常事件的类型,对目标监测视频进行渲染,得到对应的渲染视频,包括:目标端侧设备对目标监测视频进行识别,并在识别出目标监测视频中存在第一类型事件的情况下,对目标监测视频进行第四渲染,得到第四渲染视频,并将第四渲染视频发送给边侧设备;边侧设备对目标监测视频进行识别,并在识别出目标监测视频中存在第二类型事件的情况下,对第四渲染视频进行第五渲染,得到第五渲染视频,并将第五渲染视频发送给云侧设备;云侧设备对目标监测视频进行识别,并在识别出目标监测视频中存在第三类型事件的情况下,对第五渲染视频进行第六渲染,得到第六渲染视频;其中,第四渲染的渲染数据量小于第五渲染的渲染数据量,第五渲染的渲染数据量小于第六渲染的渲染数据量。
可选地,图12是根据本发明实施例的一种计算机设备的结构框图。如图12所示,该计算机终端可以包括:一个或多个(图中仅示出一个)处理器1202、存储器1204等。
其中,存储器1204可用于存储软件程序以及模块,如本发明实施例中的图像处理方法和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的图像处理方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
处理器1202可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:接收事件异常结果和目标抓拍图像,其中,事件异常结果表明基于目标端侧设备采集的目标监测视频识别出异常事件,目标抓拍图像基于目标端侧设备采集的目标监测视频抓拍得到;确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征;基于目标特征,获取目标对象的历史抓拍图像,其中,历史抓拍图像基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到;基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像。
可选的,上述处理器1202还可以执行如下步骤的程序代码:基于目标抓拍图像获取目标对象的目标特征,包括:从目标抓拍图像中提取出目标对象的对象特征;基于目标抓拍图像的抓拍时间,目标对象的位置信息,以及目标对象的预定目标路径,确定目标对象的场景特征;基于对象特征和场景特征,生成针对目标对象的结构化的目标特征。
可选的,上述处理器1202还可以执行如下步骤的程序代码:基于目标特征,获取目标对象的历史抓拍图像,包括:基于目标特征,确定目标对象在历史路径上的多个候选抓拍图像;从多个候选抓拍图像中筛选出目标对象的历史抓拍图像。
可选的,上述处理器1202还可以执行如下步骤的程序代码:从多个候选抓拍图像中筛选出目标对象的历史抓拍图像,包括:基于时间连续性约束条件,空间连续性约束条件,分别确定多个候选抓拍图像的置信度;基于多个候选抓拍图像的置信度, 从多个候选抓拍图像中筛选出目标对象的历史抓拍图像。
可选的,上述处理器1202还可以执行如下步骤的程序代码:基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像,包括:分别确定目标抓拍图像和历史抓拍图像的清晰度;确定清晰度大于预定清晰度的目标抓拍图像和历史抓拍图像为目标对象的事件图像。
可选的,上述处理器1202还可以执行如下步骤的程序代码:接收目标端侧设备采集的目标监测视频;从目标监测视频中识别出异常事件,得到事件异常结果,以及从目标监测视频中抓拍得到目标抓拍图像;将事件异常结果和目标抓拍图像发送给云侧设备,用于云侧设备基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像,其中,目标对象为发生异常事件的对象,历史抓拍图像基于目标对象的目标特征获取,历史抓拍图像为目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到的图像。
可选的,上述处理器1202还可以执行如下步骤的程序代码:接收事件异常结果和目标抓拍图像,其中,事件异常结果表明基于目标端侧设备采集的目标监测视频识别出异常事件,目标抓拍图像基于目标端侧设备采集的目标监测视频抓拍得到,异常事件包括异常交通事件;确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征,目标对象包括目标车辆;基于目标特征,获取目标对象的历史抓拍图像,其中,历史抓拍图像基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到;基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像。
可选的,上述处理器1202还可以执行如下步骤的程序代码:目标端侧设备采集的目标监测视频,并将目标监测视频发送给边侧设备;边侧设备从目标监测视频中识别出异常事件,得到事件异常结果,从目标监测视频中抓拍得到目标抓拍图像,并将事件异常结果和目标抓拍图像发送给云侧设备;云侧设备确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征;其中,异常事件包括异常交通事件;云侧设备基于目标特征,获取目标对象的历史抓拍图像,并基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像,其中,历史抓拍图像基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到。边侧设备集成在目标端侧设备上。目标端侧设备包括增强现实AR设备,和/或虚拟现实VR设备,其中,AR设备和/或VR设备基于预定的驱动器展示目标监测视频。
可选的,上述处理器1202还可以执行如下步骤的程序代码:目标端侧设备,边侧设备以及云侧设备获取异常事件的类型,以及基于异常事件的类型,对目标监测视频进行渲染,得到对应的渲染视频。
可选的,上述处理器1202还可以执行如下步骤的程序代码:目标端侧设备、边侧设备以及云侧设备获取异常事件的类型,以及基于异常事件的类型,对目标监测视频进行渲染,得到对应的渲染视频,包括:在异常事件的类型为第一事件类型的情况下,由目标端侧设备对目标监测视频进行第一渲染,得到第一渲染视频; 在异常事件的类型为第二事件类型的情况下,由边侧设备对目标监测视频进行第二渲染,得到第二渲染视频;在异常事件的类型为第三事件类型的情况下,由云侧设备对目标监测视频进行第三渲染,得到第三渲染视频;其中,第一渲染的渲染数据量小于第二渲染的渲染数据量,第二渲染的渲染数据量小于第三渲染的渲染数据量。
可选的,上述处理器1202还可以执行如下步骤的程序代码:目标端侧设备、边侧设备以及云侧设备获取异常事件的类型,以及基于异常事件的类型,对目标监测视频进行渲染,得到对应的渲染视频,包括:目标端侧设备对目标监测视频进行识别,并在识别出目标监测视频中存在第一类型事件的情况下,对目标监测视频进行第四渲染,得到第四渲染视频,并将第四渲染视频发送给边侧设备;边侧设备对目标监测视频进行识别,并在识别出目标监测视频中存在第二类型事件的情况下,对第四渲染视频进行第五渲染,得到第五渲染视频,并将第五渲染视频发送给云侧设备;云侧设备对目标监测视频进行识别,并在识别出目标监测视频中存在第三类型事件的情况下,对第五渲染视频进行第六渲染,得到第六渲染视频;其中,第四渲染的渲染数据量小于第五渲染的渲染数据量,第五渲染的渲染数据量小于第六渲染的渲染数据量。
本领域普通技术人员可以理解,图所示的结构仅为示意,计算机终端也可以是智能手机(如Android手机、iOS手机等)、平板电脑、掌声电脑以及移动互联网设备(MobileInternet Devices,MID)、PAD等终端设备。图12其并不对上述电子装置的结构造成限定。例如,计算机终端12还可包括比图12中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图12所示不同的配置。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,计算机可读存储介质可以包括:闪存盘、只读存储器(Read-Only Memory,ROM)、随机存取器(Random Access Memory,RAM)、磁盘或光盘等。
本发明的实施例还提供了一种计算机可读存储介质。可选地,在本实施例中,上述计算机可读存储介质可以用于保存上述实施例1所提供的图像处理方法所执行的程序代码。
可选地,在本实施例中,上述计算机可读存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:接收事件异常结果和目标抓拍图像,其中,事件异常结果表明基于目标端侧设备采集的目标监测视频识别出异常事件,目标抓拍图像基于目标端侧设备采集的目标监测视频抓拍得到;确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征;基于目标特征,获取目标对象的历史抓拍图像,其中,历史抓拍图像基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到;基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:基于目标抓拍图像获取目标对象的目标特征,包括:从目标抓拍图像中提取出目标对象的对象特征;基于目标抓拍图像的抓拍时间,目标对象的位置信息,以及目标对象的预定目标路径,确定目标对象的场景特征;基于对象特征和场景特征,生成针对目标对象的结构化的目标特征。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:基于目标特征,获取目标对象的历史抓拍图像,包括:基于目标特征,确定目标对象在历史路径上的多个候选抓拍图像;从多个候选抓拍图像中筛选出目标对象的历史抓拍图像。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:从多个候选抓拍图像中筛选出目标对象的历史抓拍图像,包括:基于时间连续性约束条件,空间连续性约束条件,分别确定多个候选抓拍图像的置信度;基于多个候选抓拍图像的置信度, 从多个候选抓拍图像中筛选出目标对象的历史抓拍图像。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像,包括:分别确定目标抓拍图像和历史抓拍图像的清晰度;确定清晰度大于预定清晰度的目标抓拍图像和历史抓拍图像为目标对象的事件图像。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:接收目标端侧设备采集的目标监测视频;从目标监测视频中识别出异常事件,得到事件异常结果,以及从目标监测视频中抓拍得到目标抓拍图像;将事件异常结果和目标抓拍图像发送给云侧设备,用于云侧设备基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像,其中,目标对象为发生异常事件的对象,历史抓拍图像基于目标对象的目标特征获取,历史抓拍图像为目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到的图像。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:接收事件异常结果和目标抓拍图像,其中,事件异常结果表明基于目标端侧设备采集的目标监测视频识别出异常事件,目标抓拍图像基于目标端侧设备采集的目标监测视频抓拍得到,异常事件包括异常交通事件;确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征,目标对象包括目标车辆;基于目标特征,获取目标对象的历史抓拍图像,其中,历史抓拍图像基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到;基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:目标端侧设备采集的目标监测视频,并将目标监测视频发送给边侧设备;边侧设备从目标监测视频中识别出异常事件,得到事件异常结果,从目标监测视频中抓拍得到目标抓拍图像,并将事件异常结果和目标抓拍图像发送给云侧设备;其中,异常事件包括异常交通事件;云侧设备确定发生异常事件的目标对象,以及基于目标抓拍图像获取目标对象的目标特征;云侧设备基于目标特征,获取目标对象的历史抓拍图像,并基于目标抓拍图像和历史抓拍图像确定目标对象的事件图像,其中,历史抓拍图像基于目标对象在历史路径上的历史端侧设备采集的历史监测视频抓拍得到。边侧设备集成在目标端侧设备上。目标端侧设备包括增强现实AR设备,和/或虚拟现实VR设备,其中,AR设备和/或VR设备基于预定的驱动器展示目标监测视频。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:目标端侧设备,边侧设备以及云侧设备获取异常事件的类型,以及基于异常事件的类型,对目标监测视频进行渲染,得到对应的渲染视频。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:目标端侧设备、边侧设备以及云侧设备获取异常事件的类型,以及基于异常事件的类型,对目标监测视频进行渲染,得到对应的渲染视频,包括:在异常事件的类型为第一事件类型的情况下,由目标端侧设备对目标监测视频进行第一渲染,得到第一渲染视频;在异常事件的类型为第二事件类型的情况下,由边侧设备对目标监测视频进行第二渲染,得到第二渲染视频;在异常事件的类型为第三事件类型的情况下,由云侧设备对目标监测视频进行第三渲染,得到第三渲染视频;其中,第一渲染的渲染数据量小于第二渲染的渲染数据量,第二渲染的渲染数据量小于第三渲染的渲染数据量。
可选地,在本实施例中,计算机可读存储介质被设置为存储用于执行以下步骤的程序代码:目标端侧设备、边侧设备以及云侧设备获取异常事件的类型,以及基于异常事件的类型,对目标监测视频进行渲染,得到对应的渲染视频,包括:目标端侧设备对目标监测视频进行识别,并在识别出目标监测视频中存在第一类型事件的情况下,对目标监测视频进行第四渲染,得到第四渲染视频,并将第四渲染视频发送给边侧设备;边侧设备对目标监测视频进行识别,并在识别出目标监测视频中存在第二类型事件的情况下,对第四渲染视频进行第五渲染,得到第五渲染视频,并将第五渲染视频发送给云侧设备;云侧设备对目标监测视频进行识别,并在识别出目标监测视频中存在第三类型事件的情况下,对第五渲染视频进行第六渲染,得到第六渲染视频;其中,第四渲染的渲染数据量小于第五渲染的渲染数据量,第五渲染的渲染数据量小于第六渲染的渲染数据量。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
在本发明的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个***,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个计算机可读存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的计算机可读存储介质包括:U盘、只读存储器(ROM,Read-OnlyMemory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。