CN114783188A - 巡检方法和装置 - Google Patents
巡检方法和装置 Download PDFInfo
- Publication number
- CN114783188A CN114783188A CN202210540370.9A CN202210540370A CN114783188A CN 114783188 A CN114783188 A CN 114783188A CN 202210540370 A CN202210540370 A CN 202210540370A CN 114783188 A CN114783188 A CN 114783188A
- Authority
- CN
- China
- Prior art keywords
- data
- inspection
- feature
- vehicle
- patrol
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 319
- 238000000034 method Methods 0.000 title claims abstract description 75
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 63
- 238000003860 storage Methods 0.000 claims description 25
- 230000005540 biological transmission Effects 0.000 claims description 22
- 230000015654 memory Effects 0.000 claims description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 10
- 238000010276 construction Methods 0.000 claims description 9
- 238000003825 pressing Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 abstract description 16
- 238000001514 detection method Methods 0.000 abstract description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 14
- 230000008447 perception Effects 0.000 description 13
- 238000007726 management method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000013500 data storage Methods 0.000 description 8
- 238000012544 monitoring process Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 206010039203 Road traffic accident Diseases 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 238000002955 isolation Methods 0.000 description 4
- 238000012550 audit Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000013523 data management Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000007795 chemical reaction product Substances 0.000 description 1
- 230000002354 daily effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013524 data verification Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
- G08G1/0116—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from roadside infrastructure, e.g. beacons
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0125—Traffic data processing
- G08G1/0133—Traffic data processing for classifying traffic situation
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
- G08G1/054—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed photographing overspeeding vehicles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
本公开提供了巡检方法和装置,涉及人工智能技术领域,具体涉及智能交通、自动驾驶、深度学习、大数据、云计算、计算机视觉、图像处理技术领域。具体实施方式包括:获取巡检现场的巡检数据;对上述巡检数据进行场景特征提取,得到上述巡检数据的场景特征数据;确定上述场景特征数据的特征类别;基于上述场景特征数据和上述特征类别,确定上述巡检数据的巡检结果。由此,可以提高巡检的覆盖范围,有助于提高巡检效率、降低巡检误检率。
Description
技术领域
本公开涉及人工智能技术领域,具体涉及智能交通、自动驾驶、深度学习、大数据、云计算、计算机视觉、图像处理技术领域,尤其涉及巡检方法和装置。
背景技术
巡检,即巡回检查,是对公共设施、交通违章情况、产品生产制造过程等方面进行的检验。其目的是及时发现可能产生或者已经存在的问题。现有技术中,通常采用人工的方式进行巡检,或者,针对单一特定场景下的巡检任务来自动生成巡检结果。
然而,采用以上巡检方式,巡检范围通常较为局限。
发明内容
提供了一种巡检方法、装置、电子设备以及存储介质。
根据第一方面,提供了一种巡检方法,包括:获取巡检现场的巡检数据;对上述巡检数据进行场景特征提取,得到上述巡检数据的场景特征数据;确定上述场景特征数据的特征类别;基于上述场景特征数据和上述特征类别,确定上述巡检数据的巡检结果。
在一些实施例中,上述确定上述场景特征数据的特征类别,包括:从预先确定的特征类别集合中,确定上述场景特征数据的特征类别,其中,上述特征类别集合中的特征类别与预先训练的巡检模型集合中的巡检模型一一对应,上述巡检模型集合中的巡检模型用于生成巡检数据的巡检结果;以及,上述基于上述场景特征数据和上述特征类别,确定上述巡检数据的巡检结果,包括:从上述巡检模型集合中,确定与所确定的特征类别相对应的目标巡检模型;基于上述目标巡检模型生成上述巡检数据的巡检结果。
在一些实施例中,上述目标巡检模型采用如下方式训练得到:获取训练样本集合;其中,上述训练样本集合中的训练样本包括:样本巡检数据和与样本巡检数据相对应的样本标签;与样本巡检数据相对应的样本标签,表征该样本巡检数据的巡检结果;上述训练样本集合中的样本巡检数据的场景特征数据的特征类别,与所确定的特征类别相同;采用机器学习算法,将上述训练样本集合包括的样本巡检数据和样本标签输入至用于训练目标巡检模型的初始模型,训练得到上述目标巡检模型。
在一些实施例中,上述获取巡检现场的巡检数据,包括:获取自动驾驶车辆发送的、上述自动驾驶车辆采集的巡检现场的数据,以及将所获取的数据作为巡检数据,其中,上述自动驾驶车辆对自动驾驶数据的发送优先级,高于上述自动驾驶车辆对上述巡检数据的发送优先级。
在一些实施例中,上述方法还包括:对上述巡检数据和上述特征数据进行分层存储。
在一些实施例中,上述方法还包括:如果上述巡检结果指示目标车辆处于违章状态,则获取上述目标车辆处于违章状态的影像;将上述影像、指示上述目标车辆存在违章状态的巡检结果和上述目标车辆的车辆信息发送至目标终端,其中,上述目标终端用于基于上述影像和上述车辆信息确定上述目标车辆是否处于上述违章状态;如果上述目标终端确定上述目标车辆处于上述违章状态,则将上述影像和上述车辆信息存储至预设数据库。
在一些实施例中,上述特征类别集合中的特征类别表征以下任一场景:道路护栏是否损坏、交通标志标线是否损坏、车辆是否超速行驶、车辆是否逆向行驶、车辆是否压线行驶、是否存在占道施工、井盖是否丢失或损坏、驾驶员是否疲劳驾驶。
根据第二方面,提供了一种巡检装置,包括:第一获取单元,被配置成获取巡检现场的巡检数据;特征提取单元,被配置成对上述巡检数据进行场景特征提取,得到上述巡检数据的场景特征数据;第一确定单元,被配置成确定上述场景特征数据的特征类别;第二确定单元,被配置成基于上述场景特征数据和上述特征类别,确定上述巡检数据的巡检结果。
在一些实施例中,上述第一确定单元包括:第一确定子单元,被配置成从预先确定的特征类别集合中,确定上述场景特征数据的特征类别,其中,上述特征类别集合中的特征类别与预先训练的巡检模型集合中的巡检模型一一对应,上述巡检模型集合中的巡检模型用于生成巡检数据的巡检结果;以及,上述第二确定单元包括:第二确定子单元,被配置成从上述巡检模型集合中,确定与所确定的特征类别相对应的目标巡检模型;生成子单元,被配置成基于上述目标巡检模型生成上述巡检数据的巡检结果。
在一些实施例中,上述目标巡检模型采用如下方式训练得到:获取训练样本集合;其中,上述训练样本集合中的训练样本包括:样本巡检数据和与样本巡检数据相对应的样本标签;与样本巡检数据相对应的样本标签,表征该样本巡检数据的巡检结果;上述训练样本集合中的样本巡检数据的场景特征数据的特征类别,与所确定的特征类别相同;采用机器学习算法,将上述训练样本集合包括的样本巡检数据和样本标签输入至用于训练目标巡检模型的初始模型,训练得到上述目标巡检模型。
在一些实施例中,上述第一获取单元包括:获取子单元,被配置成获取自动驾驶车辆发送的、上述自动驾驶车辆采集的巡检现场的数据,以及将所获取的数据作为巡检数据,其中,上述自动驾驶车辆对自动驾驶数据的发送优先级,高于上述自动驾驶车辆对上述巡检数据的发送优先级。
在一些实施例中,上述装置还包括:第一存储单元,被配置成对上述巡检数据和上述特征数据进行分层存储。
在一些实施例中,上述装置还包括:第二获取单元,被配置成如果上述巡检结果指示目标车辆处于违章状态,则获取上述目标车辆处于违章状态的影像;发送单元,被配置成将上述影像、指示上述目标车辆存在违章状态的巡检结果和上述目标车辆的车辆信息发送至目标终端,其中,上述目标终端用于基于上述影像和上述车辆信息确定上述目标车辆是否处于上述违章状态;第二存储单元,被配置成如果上述目标终端确定上述目标车辆处于上述违章状态,则将上述影像和上述车辆信息存储至预设数据库。
在一些实施例中,特征类别集合中的特征类别表征以下任一场景:道路护栏是否损坏、交通标志标线是否损坏、车辆是否超速行驶、车辆是否逆向行驶、车辆是否压线行驶、是否存在占道施工、井盖是否丢失或损坏、驾驶员是否疲劳驾驶。
根据第三方面,提供了一种电子设备,包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行巡检方法中任一实施例的方法。
根据第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使所述计算机执行根据巡检方法中任一实施例的方法。
根据第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据巡检方法中任一实施例的方法。
根据本公开的方案,通过获取巡检现场的巡检数据,之后,对上述巡检数据进行场景特征提取,得到上述巡检数据的场景特征数据,随后,确定上述场景特征数据的特征类别,然后,基于上述场景特征数据和上述特征类别,确定上述巡检数据的巡检结果。由此,通过确定巡检现场的巡检数据的场景特征数据的特征类别,来确定上述巡检数据的巡检结果,可以提高巡检的覆盖范围,有助于提高巡检效率、降低巡检误检率。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本公开的其它特征、目的和优点将会变得更明显:
图1是本公开一些实施例可以应用于其中的示例性***架构图;
图2是根据本公开的巡检方法的一个实施例的流程图;
图3是根据本公开的巡检方法的一个实施例中的巡检数据的数据采集设备端的数据采集流程图;
图4是根据本公开的巡检方法的一个实施例中的识别违章车辆的流程示意图;
图5是根据本公开的巡检方法的一个应用场景的示意图;
图6和图7是根据本公开的巡检方法的一个实施例中的示例性***架构图;
图8是根据本公开的巡检方法的又一个实施例的流程图;
图9是根据本公开的巡检装置的一个实施例的结构示意图;
图10是用来实现本公开实施例的巡检方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明,其中包括本公开实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本公开的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
本公开的技术方案中,所涉及的用户个人信息的获取,存储和应用等,均符合相关法律法规的规定,采取了必要保密措施,且不违背公序良俗。
需要说明的是,在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
图1示出了可以应用本公开的巡检方法或巡检装置的实施例的示例性***架构100。
如图1所示,***架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送数据(例如巡检数据)等。终端设备101、102、103上可以安装有各种客户端应用,例如导航应用、交通工具、即时通信软件、邮箱客户端、社交平台软件等。
这里的终端设备101、102、103可以是硬件,也可以是软件。当终端设备101、102、103为硬件时,可以是各种电子设备,包括但不限于自动驾驶车辆(例如自动驾驶公交车)、智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时,可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块),也可以实现成单个软件或软件模块。在此不做具体限定。
服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103提供支持的后台服务器。后台服务器可以对获取到的巡检现场的巡检数据进行分析等处理。可选的,后台服务器还可以将处理结果(例如巡检结果)反馈给另一终端设备。作为示例,服务器105可以是云端服务器。
需要说明的是,本公开实施例所提供的巡检方法可以由服务器105或者终端设备101、102、103执行,相应地,巡检装置可以设置于服务器105或者终端设备101、102、103中。
应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。
继续参考图2,示出了根据本公开的巡检方法的一个实施例的流程200。该巡检方法,包括以下步骤:
步骤201,获取巡检现场的巡检数据。
在本实施例中,巡检方法运行于其上的执行主体(例如图1所示的服务器或终端设备)可以获取巡检现场的巡检数据。
其中,上述巡检现场可以是任一存在巡检需求的位置。作为示例,该巡检现场可以是设备内部,也可以是交通巡检现场、公共设施放置点等等。
上述巡检数据可以是在上述巡检现场获得的数据。该巡检数据的形式,可以是图像、视频、文字等。
在这里,上述执行主体可以从用于获取巡检数据的设备,获取该巡检数据;也可以从本地或者与该执行主体通信连接的存储设备,获取上述巡检数据。其中,用于获取巡检数据的设备,可以包括以下至少一项:用户终端、自动驾驶公交车、无人机等等。
步骤202,对上述巡检数据进行场景特征提取,得到上述巡检数据的场景特征数据。
在本实施例中,上述执行主体可以对上述巡检数据进行场景特征提取,得到上述巡检数据的场景特征数据。
其中,上述场景特征数据可以包括以下至少一项:亮度特征、纹理特征、颜色特征等等。纹理特征可以包括全局特征信息(又称为Gist信息)。
步骤203,确定上述场景特征数据的特征类别。
在本实施例中,上述执行主体可以确定上述场景特征数据的特征类别。
其中,所确定出的场景特征数据的特征类别的数量,可以是一个也可以是多个。
这里,场景特征数据的特征类别的具体表征含义可以根据实际需要进行定义。
作为示例,如果场景特征数据表征上述巡检现场包括交通信号灯,那么,该场景特征数据的特征类别可以是:是否存在闯红灯车辆;如果场景特征数据表征上述巡检现场包括护栏,那么,该场景特征数据的特征类别可以是:护栏是否损坏。
作为又一示例,如果场景特征数据表征上述巡检现场包括交通信号灯,那么,该场景特征数据的特征类别可以是:包括交通信号灯;如果场景特征数据表征上述巡检现场包括护栏,那么,该场景特征数据的特征类别可以是:包括护栏。
步骤204,基于上述场景特征数据和上述特征类别,确定上述巡检数据的巡检结果。
在本实施例中,上述执行主体可以基于上述场景特征数据和上述特征类别,确定上述巡检数据的巡检结果。
这里,如果所确定出的场景特征数据的特征类别的数量是多个,则可以生成多个巡检结果。换言之,可以针对每个特征类别,生成一个巡检结果。
作为示例,上述执行主体可以将上述场景特征数据和上述特征类别。输入至预先训练的巡检结果判定模型,得到该巡检数据的巡检结果。其中,上述巡检结果判定模型可以用于表征场景特征数据、特征类别和巡检结果之间的对应关系。该巡检结果判定模型可以是采用机器学习算法,基于包含场景特征数据、特征类别和巡检结果的训练样本集合,训练得到的卷积神经网络模型。
作为又一示例,可以预先针对场景特征数据的每个特征类别,训练一个巡检结果判定模型,也即特征类别与巡检结果判定模型一一对应。其中,巡检结果判定模型可以用于表征与该巡检结果判定模型相对应的特征类别的场景特征数据和巡检结果之间的对应关系。
在此基础上,上述执行主体可以将步骤202中得到的场景特征数据,输入至针对该场景特征数据的特征类别训练的巡检结果判定模型,从而得到该巡检数据的巡检结果。
上述巡检结果判定模型可以是采用机器学习算法,基于包含场景特征数据和巡检结果的训练样本集合,训练得到的卷积神经网络模型。其中,用于训练该巡检结果判定模型的训练样本集合中包括的场景特征数据的特征类别为:与该巡检结果判定模型相对应的特征类别。
本公开的上述实施例提供的方法,通过获取巡检现场的巡检数据,之后,对上述巡检数据进行场景特征提取,得到上述巡检数据的场景特征数据,随后,确定上述场景特征数据的特征类别,然后,基于上述场景特征数据和上述特征类别,确定上述巡检数据的巡检结果。由此,通过确定巡检现场的巡检数据的场景特征数据的特征类别,来确定上述巡检数据的巡检结果,可以提高巡检的覆盖范围,有助于提高巡检效率、降低巡检误检率。
在本实施例的一些可选的实现方式中,上述执行主体可以采用如下方式,来执行上述步骤201,以便获取巡检现场的巡检数据:
获取自动驾驶车辆发送的、上述自动驾驶车辆采集的巡检现场的数据,以及将所获取的数据作为巡检数据。
其中,在一些情况下,自动驾驶车辆可以包括自动驾驶公交车。
这里,用于采集巡检数据的自动驾驶车辆的数量,可以是一辆或多辆。在一些情况下,用于采集巡检数据的自动驾驶车辆可以包括预设区域(例如一个国家、一个省、或者一个城市所在的区域)中的全部处于运行状态的自动驾驶公交车。
其中,上述自动驾驶车辆发送的、上述自动驾驶车辆采集的巡检现场的数据可以包括以下至少一项:地图数据、定位数据、视频数据、雷达数据、订单数据、用户数据等。
可以理解,上述可选的实现方式中,将自动驾驶车辆作为巡检数据的采集设备,这样,可以将自动驾驶车辆到达的每个地点,作为巡检现场,从而获取该巡检现场的巡检数据,可以进一步扩大巡检的覆盖范围。
在上述可选的实现方式中的一些应用场景下,还可以结合全息感知、智能决策、车路互联、大数据管理等手段,提升传统基础设施的建设质量、运行效率、服务水平和管理水平。利用自动驾驶车辆的流动性、传感器及算力,可向上述执行主体发送其所采集的地图数据、定位数据、视频数据、雷达数据、订单数据、用户数据。有助于识别交通事故、道路设施损坏,并实现上传预警。此外,可以对地图数据、传感器数据、自定义事件触发类数据、人工触发类数据,进行大规模全类型的采集。所采集数据的类型可以包括车辆的车牌号、时间、位置、车辆状态、续航情况信息、传感器采集的数据、对传感器采集的数据进行计算后得到的数据信息等等。
作为示例,可以参照图3所示,图3为巡检数据的数据采集设备端的数据采集流程图。
在图3中,通过车载硬件部署的3G/4G模块,可以将实时数据传输到云端服务器。其中,实时数据可以是自动驾驶车辆采集的全部或部分数据。传输方式可以包括实时传输和离线传输。其中,实时传输协议可以包括:TCP(Transmission Control Protocol,传输控制协议)、HTTP(HyperText Transfer Protocol,超文本传输协议)、HTTP2.0、QUIC(Quick UDPInternet Connection)。对不同协议的传输性能进行持续跟踪和评估,持续迭代实时传输的能力。
巡检数据可以包括:落盘的关键数据,如主车数据(例如违章车辆的车辆信息)、障碍物识别数据(例如障碍物的类别信息)。在数据传输方面,可以使用专用的采集盒子或是采集模块作为实时传输工具,主要基于以下接口进行传输:发送消息的MQTT(MessageQueuing Telemetry Transport,消息队列遥测传输协议)接口、发送文件的接口等。
离线传输方式,可以依托于车辆大本营、运营中心建立的数据传输网络专用节点,进行全量数据的落盘,同时提供稳定高效的保障。其中,离线传输流程包括如下步骤:
首先,设备登录、设备状态等,进行需求监控。
之后,进行SDK(Software Development Kit,软件开发工具包)对接。
然后,对数据传输优先级进行调度,保障高优。具体地,自动驾驶车辆可以优先保证其自动驾驶功能的实现,在此基础上,如果有多余的传输量再发送巡检数据。
随后,专用物流运输大容量硬盘到数据中心。具体地,可以将自动驾驶车辆采集的全量数据存储到数据中心。
最后,传输时长控制,传输成本优化。具体地,在获取所存储的数据时,可以根据时间进行切片,从而获得数据,以提高数据检索的效率。
在上述可选的实现方式的一些情况下,上述自动驾驶车辆对自动驾驶数据的发送优先级,高于上述自动驾驶车辆对上述巡检数据的发送优先级。
可以理解,上述情况中,自动驾驶车辆可以优先确保自动驾驶功能的正常,在此基础上,如果有多余的数据传输量,则可以进一步发送巡检数据,避免了自动驾驶车辆由于发送巡检数据而导致自动驾驶功能出现异常。
在本实施例的一些可选的实现方式中,上述执行主体还可以对上述巡检数据和上述特征数据进行分层存储。
具体地,可以将巡检数据作为低频访问的冷数据存储于冷数据层,将特征数据作为高频访问的热数据存储于热数据层。
可以理解,上述可选的实现方式,将巡检数据和特征数据均进行存储,而并非只存储特征数据,这样,可以方便对巡检数据的访问,避免了对巡检数据进行场景特征提取后即对其进行删除,而造成的数据丢失。此外,采用分层存储的方式可以一定程度上兼顾数据访问的性能与成本之间的平衡。
在上述可选的实现方式中的一些应用场景下,可以对自动驾驶车辆采集的原始数据(也即巡检数据)和结构化数据(例如场景特征数据)进行针对性的分层存储。
这里,可以支持实时、离线数据存储,多介质存储,智能划分,由此可以实现更为低成本的数据存储。离线数据存储主要是落盘程序在盒子端读取摄像头、CANBUS(ControllerArea Network-BUS,控制器局域网总线技术)、IMU(Inertial Measurement Unit,惯性测量单元)、GPS(Global Positioning System,全球定位***)等硬件数据,并且将数据存储在自动驾驶车辆本地。
离线数据可以包括视频数据、日志数据、消息数据等。车端采集到的数据,按预定格式(例如bag格式)存储到车端硬盘。每天离线上传到云端服务器进行存储。
实时数据存储主要是车端实时上报数据到云端服务器,云端服务器根据上报数据类型,进行解算处理和存储。
数据存储管理包括:账户、认证、权限、配额等访问控制管理;通过数据包含的版本号(用于进行数据检索的唯一标识)实现版本控制管理;数据隔离管理;数据保存、备份、隔离、共享等存储和管理。其中,数据隔离管理可以将自动驾驶公交车上传数据(例如上述巡检数据)与用户私有数据分开存储、对应用层提供虚拟表,通过权限控制隔离。
在本实施例的一些可选的实现方式中,上述执行主体还可以执行如下步骤:
首先,如果上述巡检结果指示目标车辆处于违章状态,则获取上述目标车辆处于违章状态的影像。换言之,如果上述巡检结果指示存在处于违章状态的车辆,则将该车辆作为目标车辆,获取该车辆(也即目标车辆)处于违章状态的影像。其中,目标车辆可以是处于违章状态的车辆。
然后,将上述影像、指示上述目标车辆存在违章状态的巡检结果和上述目标车辆的车辆信息,发送至目标终端。
其中,上述目标终端用于基于上述影像和上述车辆信息确定上述目标车辆是否处于上述违章状态。
这里,上述目标终端可以自动地基于上述影像和上述车辆信息确定上述目标车辆是否处于上述违章状态;也可以通过呈现上述影像,使得违章判定者人为判断上述目标车辆是否处于上述违章状态。
随后,如果上述目标终端确定上述目标车辆处于上述违章状态,则将上述影像和上述车辆信息存储至预设数据库。
可以理解,上述可选的实现方式中,在巡检结果指示目标车辆处于违章状态的情况下,进一步获取该目标车辆处于违章状态的影像,实现了对违章车辆的取证;将上述影像发送至目标终端,以便目标终端进行再次判断,可以一定程度上避免误检测的情况发生;在目标车辆判断目标车辆处于违章状态的情况下,通过将上述影像和上述车辆信息存储至预设数据库,方便后续调取证据以及相关人员进行跟进和现场处理。
这里,请参考图4,图4是根据本公开的巡检方法的一个实施例中的识别违章车辆的流程示意图。
在图4中,以机动车违章识别为例,对上述可选的实现方式所描述的方案进行示例性说明。
第一步,可以制定判定规则。例如,以当地交警提供的禁止停车区域和禁止停车时段信息为基础,在电子地图中对违停区域进行标记和参数(例如禁止停车时段信息)录入;参考相关法律法规,结合自动驾驶车辆的视频和雷达感知能力,进一步扩充非机动车道、人行道、公交站台等机动车违章信息,制定自动驾驶车辆运营区域的违章判定规则。
第二步,可以进行事件的识别。例如,自动驾驶车辆在运行过程中,可以通过视频和雷达,实时获取周边机动车(也即上述目标车辆)的实时位置和速度信息,并识别地面标线、非机动车道、公交停靠站、人行道、人行横道等交通基础信息。根据多帧的机动车位置、速度信息,并结合违章判定规则,判断机动车是否处在违章状态。
第三步,如果确定机动车处于违章状态,则进行取证。具体地,若存在机动车违章事件,则对违章车辆进行抓拍和违章取证视频的记录,作为云端处理素材、审核依据、罚款依据,进行留存。
第四步,将取证内容进行上传。例如,车端将抓拍的违章材料实时上传至云端。
第五步,云端服务器进行识别。例如,在云端完成违章停车车辆的车辆信息提取,包括:车牌号码、车身颜色、车型信息等。
第六步,进行信息整合。具体地,可以由云端完成信息整合,并进一步确认违章状态。整合后信息包括:时间戳、识别后的车辆信息(车牌号码、车身颜色、车型信息)、取证视频或图片、违章判断结果。
第七步,推送审核。将违章车辆信息和取证材料推送至服务平台,以供人工审核。
第八步,人工审核。例如,违章信息在服务平台进入审核流,供人工查验,以保证识别准确。工作流中体现待审核、已审核等状态,体现违章信息及审核人操作记录。
第九步,录入报告。若接收到表征违章结果判断正确的人工审核信息,则将所述违章信息录入到电子警察数据库,完成违章信息的录入工作,为交管部门提供处罚证据。
第十步,查看及导出。交管部门可以对报告进行查看和导出下载,以便提供给处理跟进人员。
第十一步,存档备份。人工处理后信息在云端平台存档备份,以供调取记录。
继续参见图5,图5是根据本实施例的巡检方法的应用场景的一个示意图。在图5的应用场景中,执行主体501首先获取巡检现场的巡检数据502,之后,执行主体501对上述巡检数据502进行场景特征提取,得到上述巡检数据502的场景特征数据503,然后,执行主体501确定上述场景特征数据503的特征类别504,随后,执行主体501基于上述场景特征数据503和上述特征类别504,确定上述巡检数据502的巡检结果505。
下面请参考图6和图7,图6和图7是根据本公开的巡检方法的一个实施例中的示例性***架构图。图6和图7中,该方案实现了“感知-融合-AI(Artificial Intelligence,人工智能)识别-统计分析-推送”端到端产品能力,并具备全息感知、AI识别、高精地图、时空分布分析等多维产品特性。可同时满足多用户、多场景等定制化需求。通过地图数据定位数据与雷达数据相融合,精准识别道路护栏、交通标志标线损坏等资产养护场景、超速行驶、逆向行驶、压线行驶等交通执法场景、占道施工上报,井盖丢失损坏等场景。多源数据可以上传云端进行智能化处理。
具体而言,在图6所示的示例性***架构图中,可以通过自动驾驶公交车、用户手机和摄像头,来获取一个或多个巡检现场的巡检数据。其中,自动驾驶公交车可以设置有车载HMI(Human Machine Interface,人机接口),通过车载HMI可以实现人机交互,进而确定自动驾驶公交车采集的巡检数据的发送时机等。用户手机中可以安装有APP(Application,应用程序),用户可以通过APP对巡检现场进行事故图像或事故视频的拍摄和上传。摄像头(例如安装于道路的固定摄像头)可以与云端监控大屏通信连接。云端监控大屏可以用于呈现该摄像头拍摄的图像或视频,实现对巡检现场的监控,此外,通过云端监控大屏还可以实现对摄像头拍摄的图像或视频的筛选、标记、审核分析等操作,以便后续生成巡检结果。
在图7所示的示例性***架构图中,该架构包括数据收集层。例如可以通过巡逻车辆(例如,有人车、无人车)、摄像头(例如,道路既有的固定摄像头)、视频终端、人员手机等等来获得巡检数据。
数据存储层可以对原始巡检数据(例如固定摄像头拍摄或用户手机的视频数据、照片数据)和经过处理的巡检数据(例如对原始数据进行结构化处理而获得的结构化数据)进行存储。
数据感知层可以包括大数据引擎、车路协同引擎、业务支撑引擎、交通引擎、道路AI感知终端、车内自动驾驶终端、用户出行服务终端。其中,大数据引擎例如可以实现对上述巡检模型的训练、对大数据进行分析等处理。车路协同引擎可以对基础设施和车辆的相关信息进行分析等处理。业务支撑引擎可以对用户APP等业务端获得的数据进行分析等处理。交通引擎可以提供交通信息(例如交通信号灯、车辆位置)方面的数据分析等处理。道路AI感知终端可以用于对道路数据进行分析等处理。车内自动驾驶终端可以对自动驾驶数据进行分析等处理。用户出行服务终端可以对用户出行数据进行分析等处理。由此,数据感知层通过大数据引擎、车路协同引擎、业务支撑引擎、交通引擎、道路AI感知终端、车内自动驾驶终端、用户出行服务终端,可以实现对巡检现场的数据感知。
数据应用层可以包括手机端APP、车载HMI、云端监控大屏、事件通知、违章事件感知、巡逻车辆及突发事件实时感知、实时上传、硬件设备感知、硬件设备工作状态实时感知、积分奖励、公共设施感知、感知事件审核分析等方面的应用。例如,在获得巡检结果以后,可以根据巡检结果确定交通事故的发生地。进而,可以通过手机端APP提示用户所在地点附近存在交通事故;可以基于交通事故发生地,为无人驾驶车辆进行路径规划,并通过车载HMI进行呈现;通过云端监控大屏呈现交通事故的发生地并进行事件通知,以便相关人员进行及时跟进或进行感知事件审核分析。此外,还可以对上传事故事件的用户进行积分奖励。
进一步参考图8,其示出了巡检方法的又一个实施例的流程800。该流程800,包括以下步骤:
步骤801,获取巡检现场的巡检数据。
在本实施例中,巡检方法运行于其上的执行主体(例如图1所示的服务器或终端设备)可以获取巡检现场的巡检数据。
在本实施例中,步骤801与图2对应实施例中的步骤201基本一致,这里不再赘述。
步骤802,对上述巡检数据进行场景特征提取,得到上述巡检数据的场景特征数据。
在本实施例中,上述执行主体可以对上述巡检数据进行场景特征提取,得到上述巡检数据的场景特征数据。
在本实施例中,步骤802与图2对应实施例中的步骤202基本一致,这里不再赘述。
步骤803,从预先确定的特征类别集合中,确定上述场景特征数据的特征类别。
在本实施例中,上述执行主体可以从预先确定的特征类别集合中,确定上述场景特征数据的特征类别。
其中,上述特征类别集合中的特征类别与预先训练的巡检模型集合中的巡检模型一一对应。上述巡检模型集合中的巡检模型用于生成与该巡检模型相对应的巡检数据的巡检结果。与该巡检模型相对应的巡检数据的场景巡检数据的特征类别、与该巡检模型相对应的特征类别的,二者相同。
这里,上述特征类别集合可以包含各种特征类别,特征类别集合的设定可以尽可能大而全,以尽可能覆盖更多的特征类别。进一步地,可以根据特征类别与巡检模型的对应关系,来训练得到巡检模型集合。
作为第一种示例,与特征类别集合中的每个特征类别(例如特征类别X)相对应的巡检模型(例如巡检模型Y),可以采用如下方式训练得到:
首先,获取训练样本集合。其中,该训练样本集合中的训练样本包括:样本巡检数据和与样本巡检数据相对应的样本标签。与样本巡检数据相对应的样本标签,表征该样本巡检数据的巡检结果。上述训练样本集合中的样本巡检数据的场景特征数据的特征类别,与所确定的特征类别(例如上述特征类别X)相同。
之后,采用机器学习算法,将上述训练样本集合包括的样本巡检数据和样本标签,输入至用于训练该巡检模型(例如上述巡检模型Y)的初始模型(例如卷积神经网络模型),训练得到该巡检模型。
作为第二种示例,与特征类别集合中的每个特征类别(例如特征类别X)相对应的巡检模型(例如巡检模型Y),也可以包括:经过统计分析后得到的、该特征类别的场景特征数据对应的至少一个巡检数据。每个巡检数据可以与一个巡检结果相对应。与巡检数据相对应的巡检结果,表征该巡检数据的巡检结果。
步骤804,从上述巡检模型集合中,确定与所确定的特征类别相对应的目标巡检模型。
在本实施例中,上述执行主体可以根据已知的对应关系,从上述巡检模型集合中,确定与步骤803中所确定的特征类别相对应的目标巡检模型。
其中,目标巡检模型,可以是上述巡检模型集合中,与所确定的特征类别相对应的巡检模型。
步骤805,基于上述目标巡检模型生成上述巡检数据的巡检结果。
在本实施例中,上述执行主体可以基于上述目标巡检模型生成上述巡检数据的巡检结果。
作为示例,如果目标巡检模型采用上述第一种示例所描述的方式训练得到,那么,上述执行主体可以将上述巡检数据,输入至目标巡检模型,从而得到该巡检数据的巡检结果。
作为又一示例,如果目标巡检模型采用上述第二种示例所描述的方式训练得到,那么,上述执行主体可以计算上述巡检数据(例如巡检数据A),与该目标巡检模型包括的至少一个巡检数据中的每个巡检数据的相似度。将所计算得到的最大相似度对应的、目标巡检模型包括的巡检数据的巡检结果,作为巡检数据(例如巡检数据A)的巡检结果。
本公开的上述实施例提供的方法,通过预先确定特征类别集合、预先训练巡检模型集合,来生成巡检数据的巡检结果,从而提高了巡检结果的生成效率,进而提高了巡检效率。
在本实施例的一些可选的实现方式中,上述目标巡检模型采用如下方式训练得到:
首先,获取训练样本集合。其中,上述训练样本集合中的训练样本包括:样本巡检数据和与样本巡检数据相对应的样本标签。与样本巡检数据相对应的样本标签,表征该样本巡检数据的巡检结果。上述训练样本集合中的样本巡检数据的场景特征数据的特征类别,与所确定的特征类别相同。
之后,采用机器学习算法,将上述训练样本集合包括的样本巡检数据和样本标签输入至用于训练目标巡检模型的初始模型,训练得到上述目标巡检模型。
可以理解,上述可选的实现方式,采用机器学习算法训练目标检测模型,这样可以提高生成巡检结果的准确度,进而降低了巡检误检率。
在本实施例的一些可选的实现方式中,上述特征类别集合中的特征类别表征以下任一场景:
道路护栏是否损坏、交通标志标线是否损坏、车辆是否超速行驶、车辆是否逆向行驶、车辆是否压线行驶、是否存在占道施工、井盖是否丢失或损坏、驾驶员是否疲劳驾驶。
可以理解,上述可选的实现方式中,可以对上述任一场景进行巡检,从而可以提高上述任一场景下的巡检效率。
在上述可选的实现方式中的一些应用场景下,还可以建立日常应急事件检测、实时报警监测,提升意外事件的预案报警及快速应急处置能力。通过视频分析、模式识别、信息传输等技术,对违章等异常场景的巡检数据,进行监测采集和数据上传,帮助交管部门处理非现场执法,督促驾驶员规范驾驶,降低道路交通事故的发生率,发现道路设施损坏及特殊事件,建设安全有序的道路环境。
可选地,上述执行主体还可以进行多角度的数据验证,以保障基础数据的可用性和完整性。例如,将多个摄像头拍摄的、同一巡检场景的多个照片进行对比验证,确定巡检现场是否存在违章车辆。
可选地,上述执行主体还可以根据基础数据(例如巡检数据),建设完备的元数据管理,以明确数据存储情况、数据血缘关系、数据管理及数据服务情况。
可选地,上述执行主体还可以根据不同巡检场景,提供相应的数据分界规则管理,以明确相应的数据定义。例如,可以将每个巡检场景的巡检数据,分别存储。
可选地,上述执行主体还可以监控巡检结果的准确率,为数据优化提供可衡量的指标。
可选地,上述执行主体还可以***性地对数据产出,数据稳定性等进行监控,以监控报警、API(Application Programming Interface,应用程序编程接口)服务的稳定性。
进一步参考图9,作为对上述各图所示方法的实现,本公开提供了一种巡检装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,除下面所记载的特征外,该装置实施例还可以包括与图2所示的方法实施例相同或相应的特征或效果。该装置具体可以应用于各种电子设备中。
如图9所示,本实施例的巡检装置900包括:第一获取单元901、特征提取单元902、第一确定单元903和第二确定单元904。其中,第一获取单元901,被配置成获取巡检现场的巡检数据;特征提取单元902,被配置成对上述巡检数据进行场景特征提取,得到上述巡检数据的场景特征数据;第一确定单元903,被配置成确定上述场景特征数据的特征类别;第二确定单元904,被配置成基于上述场景特征数据和上述特征类别,确定上述巡检数据的巡检结果。
在本实施例中,巡检装置900的第一获取单元901、特征提取单元902、第一确定单元903和第二确定单元904的具体处理及其所带来的技术效果可分别参考图2对应实施例中步骤201、步骤202、步骤203和步骤204的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,上述第一确定单元903包括:第一确定子单元(图中未示出),被配置成从预先确定的特征类别集合中,确定上述场景特征数据的特征类别,其中,上述特征类别集合中的特征类别与预先训练的巡检模型集合中的巡检模型一一对应,上述巡检模型集合中的巡检模型用于生成巡检数据的巡检结果。
在本实施例的一些可选的实现方式中,上述第二确定单元904包括:第二确定子单元(图中未示出),被配置成从上述巡检模型集合中,确定与所确定的特征类别相对应的目标巡检模型;生成子单元(图中未示出),被配置成基于上述目标巡检模型生成上述巡检数据的巡检结果。
在本实施例的一些可选的实现方式中,上述目标巡检模型采用如下方式训练得到:获取训练样本集合;其中,上述训练样本集合中的训练样本包括:样本巡检数据和与样本巡检数据相对应的样本标签;与样本巡检数据相对应的样本标签,表征该样本巡检数据的巡检结果;上述训练样本集合中的样本巡检数据的场景特征数据的特征类别,与所确定的特征类别相同;采用机器学习算法,将上述训练样本集合包括的样本巡检数据和样本标签输入至用于训练目标巡检模型的初始模型,训练得到上述目标巡检模型。
在本实施例的一些可选的实现方式中,上述第一获取单元901包括:获取子单元(图中未示出),被配置成获取自动驾驶车辆发送的、上述自动驾驶车辆采集的巡检现场的数据,以及将所获取的数据作为巡检数据,其中,上述自动驾驶车辆对自动驾驶数据的发送优先级,高于上述自动驾驶车辆对上述巡检数据的发送优先级。
在本实施例的一些可选的实现方式中,上述装置900还包括:第一存储单元(图中未示出),被配置成对上述巡检数据和上述特征数据进行分层存储。
在本实施例的一些可选的实现方式中,上述装置900还包括:第二获取单元(图中未示出),被配置成如果上述巡检结果指示目标车辆处于违章状态,则获取上述目标车辆处于违章状态的影像;发送单元(图中未示出),被配置成将上述影像、指示上述目标车辆存在违章状态的巡检结果和上述目标车辆的车辆信息发送至目标终端,其中,上述目标终端用于基于上述影像和上述车辆信息确定上述目标车辆是否处于上述违章状态;第二存储单元(图中未示出),被配置成如果上述目标终端确定上述目标车辆处于上述违章状态,则将上述影像和上述车辆信息存储至预设数据库。
在本实施例的一些可选的实现方式中,上述特征类别集合中的特征类别表征以下任一场景:道路护栏是否损坏、交通标志标线是否损坏、车辆是否超速行驶、车辆是否逆向行驶、车辆是否压线行驶、是否存在占道施工、井盖是否丢失或损坏、驾驶员是否疲劳驾驶。
本公开的上述实施例提供的装置,通过第一获取单元901获取巡检现场的巡检数据,之后,特征提取单元902对上述巡检数据进行场景特征提取,得到上述巡检数据的场景特征数据,随后,第一确定单元903确定上述场景特征数据的特征类别,然后,第二确定单元904基于上述场景特征数据和上述特征类别,确定上述巡检数据的巡检结果。由此,通过确定巡检现场的巡检数据的场景特征数据的特征类别,来确定上述巡检数据的巡检结果,可以提高巡检的覆盖范围,有助于提高巡检效率、降低巡检误检率。
根据本公开的实施例,本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
如图10所示,是根据本公开实施例的巡检方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图10所示,该电子设备包括:一个或多个处理器1001、存储器1002,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示GUI的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器***)。图10中以一个处理器1001为例。
存储器1002即为本公开所提供的非瞬时计算机可读存储介质。其中,存储器存储有可由至少一个处理器执行的指令,以使至少一个处理器执行本公开所提供的巡检方法。本公开的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本公开所提供的巡检方法。
存储器1002作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本公开实施例中的巡检方法对应的程序指令/模块(例如,附图9所示的获取单元901、第一确定单元902、第二确定单元903和训练单元904)。处理器1001通过运行存储在存储器1002中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的巡检方法。
存储器1002可以包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需要的应用程序;存储数据区可存储根据视频帧的处理电子设备的使用所创建的数据等。此外,存储器1002可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器1002可选包括相对于处理器1001远程设置的存储器,这些远程存储器可以通过网络连接至视频帧的处理电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
巡检方法的电子设备还可以包括:输入装置1003和输出装置1004。处理器1001、存储器1002、输入装置1003和输出装置1004可以通过总线或者其他方式连接,图10中以通过总线连接为例。
输入装置1003可接收输入的数字或字符信息,以及产生与视频帧的处理电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置1004可以包括显示设备、辅助照明装置(例如,LED)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(LCD)、发光二极管(LED)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、专用ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储***、该至少一个输入装置和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(PLD)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的***和技术,该计算机具有:用于向用户显示信息的显示装置(例如,CRT(阴极射线管)或者LCD(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如,作为数据服务器)、或者包括中间件部件的计算***(例如,应用服务器)、或者包括前端部件的计算***(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将***的部件相互连接。通信网络的示例包括:局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与VPS服务("Virtual Private Server",或简称"VPS")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式***的服务器,或者是结合了区块链的服务器。
附图中的流程图和框图,图示了按照本公开各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括第一获取单元、特征提取单元、第一确定单元和第二确定单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,第一获取单元还可以被描述为“获取巡检现场的巡检数据的单元”。
作为另一方面,本公开还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:获取巡检现场的巡检数据;对上述巡检数据进行场景特征提取,得到上述巡检数据的场景特征数据;确定上述场景特征数据的特征类别;基于上述场景特征数据和上述特征类别,确定上述巡检数据的巡检结果。
以上描述仅为本公开的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本公开中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (17)
1.一种巡检方法,所述方法包括:
获取巡检现场的巡检数据;
对所述巡检数据进行场景特征提取,得到所述巡检数据的场景特征数据;
确定所述场景特征数据的特征类别;
基于所述场景特征数据和所述特征类别,确定所述巡检数据的巡检结果。
2.根据权利要求1所述的方法,其中,所述确定所述场景特征数据的特征类别,包括:
从预先确定的特征类别集合中,确定所述场景特征数据的特征类别,其中,所述特征类别集合中的特征类别与预先训练的巡检模型集合中的巡检模型一一对应,所述巡检模型集合中的巡检模型用于生成巡检数据的巡检结果;以及
所述基于所述场景特征数据和所述特征类别,确定所述巡检数据的巡检结果,包括:
从所述巡检模型集合中,确定与所确定的特征类别相对应的目标巡检模型;
基于所述目标巡检模型生成所述巡检数据的巡检结果。
3.根据权利要求2所述的方法,其中,所述目标巡检模型采用如下方式训练得到:
获取训练样本集合;其中,所述训练样本集合中的训练样本包括:样本巡检数据和与样本巡检数据相对应的样本标签;与样本巡检数据相对应的样本标签,表征该样本巡检数据的巡检结果;所述训练样本集合中的样本巡检数据的场景特征数据的特征类别,与所确定的特征类别相同;
采用机器学习算法,将所述训练样本集合包括的样本巡检数据和样本标签输入至用于训练目标巡检模型的初始模型,训练得到所述目标巡检模型。
4.根据权利要求1所述的方法,其中,所述获取巡检现场的巡检数据,包括:
获取自动驾驶车辆发送的、所述自动驾驶车辆采集的巡检现场的数据,以及将所获取的数据作为巡检数据,其中,所述自动驾驶车辆对自动驾驶数据的发送优先级,高于所述自动驾驶车辆对所述巡检数据的发送优先级。
5.根据权利要求1所述的方法,其中,所述方法还包括:
对所述巡检数据和所述特征数据进行分层存储。
6.根据权利要求1-5之一所述的方法,其中,所述方法还包括:
如果所述巡检结果指示目标车辆处于违章状态,则获取所述目标车辆处于违章状态的影像;
将所述影像、指示所述目标车辆存在违章状态的巡检结果和所述目标车辆的车辆信息发送至目标终端,其中,所述目标终端用于基于所述影像和所述车辆信息确定所述目标车辆是否处于所述违章状态;
如果所述目标终端确定所述目标车辆处于所述违章状态,则将所述影像和所述车辆信息存储至预设数据库。
7.根据权利要求2-5之一所述的方法,其中,所述特征类别集合中的特征类别表征以下任一场景:
道路护栏是否损坏、交通标志标线是否损坏、车辆是否超速行驶、车辆是否逆向行驶、车辆是否压线行驶、是否存在占道施工、井盖是否丢失或损坏、驾驶员是否疲劳驾驶。
8.一种巡检装置,所述装置包括:
第一获取单元,被配置成获取巡检现场的巡检数据;
特征提取单元,被配置成对所述巡检数据进行场景特征提取,得到所述巡检数据的场景特征数据;
第一确定单元,被配置成确定所述场景特征数据的特征类别;
第二确定单元,被配置成基于所述场景特征数据和所述特征类别,确定所述巡检数据的巡检结果。
9.根据权利要求8所述的装置,其中,所述第一确定单元包括:
第一确定子单元,被配置成从预先确定的特征类别集合中,确定所述场景特征数据的特征类别,其中,所述特征类别集合中的特征类别与预先训练的巡检模型集合中的巡检模型一一对应,所述巡检模型集合中的巡检模型用于生成巡检数据的巡检结果;以及
所述第二确定单元包括:
第二确定子单元,被配置成从所述巡检模型集合中,确定与所确定的特征类别相对应的目标巡检模型;
生成子单元,被配置成基于所述目标巡检模型生成所述巡检数据的巡检结果。
10.根据权利要求9所述的装置,其中,所述目标巡检模型采用如下方式训练得到:
获取训练样本集合;其中,所述训练样本集合中的训练样本包括:样本巡检数据和与样本巡检数据相对应的样本标签;与样本巡检数据相对应的样本标签,表征该样本巡检数据的巡检结果;所述训练样本集合中的样本巡检数据的场景特征数据的特征类别,与所确定的特征类别相同;
采用机器学习算法,将所述训练样本集合包括的样本巡检数据和样本标签输入至用于训练目标巡检模型的初始模型,训练得到所述目标巡检模型。
11.根据权利要求8所述的装置,其中,所述第一获取单元包括:
获取子单元,被配置成获取自动驾驶车辆发送的、所述自动驾驶车辆采集的巡检现场的数据,以及将所获取的数据作为巡检数据,其中,所述自动驾驶车辆对自动驾驶数据的发送优先级,高于所述自动驾驶车辆对所述巡检数据的发送优先级。
12.根据权利要求8所述的装置,其中,所述装置还包括:
第一存储单元,被配置成对所述巡检数据和所述特征数据进行分层存储。
13.根据权利要求8-12之一所述的装置,其中,所述装置还包括:
第二获取单元,被配置成如果所述巡检结果指示目标车辆处于违章状态,则获取所述目标车辆处于违章状态的影像;
发送单元,被配置成将所述影像、指示所述目标车辆存在违章状态的巡检结果和所述目标车辆的车辆信息发送至目标终端,其中,所述目标终端用于基于所述影像和所述车辆信息确定所述目标车辆是否处于所述违章状态;
第二存储单元,被配置成如果所述目标终端确定所述目标车辆处于所述违章状态,则将所述影像和所述车辆信息存储至预设数据库。
14.根据权利要求9-12之一所述的装置,其中,所述特征类别集合中的特征类别表征以下任一场景:
道路护栏是否损坏、交通标志标线是否损坏、车辆是否超速行驶、车辆是否逆向行驶、车辆是否压线行驶、是否存在占道施工、井盖是否丢失或损坏、驾驶员是否疲劳驾驶。
15.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
16.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
17.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210540370.9A CN114783188A (zh) | 2022-05-17 | 2022-05-17 | 巡检方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210540370.9A CN114783188A (zh) | 2022-05-17 | 2022-05-17 | 巡检方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114783188A true CN114783188A (zh) | 2022-07-22 |
Family
ID=82409608
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210540370.9A Pending CN114783188A (zh) | 2022-05-17 | 2022-05-17 | 巡检方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114783188A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116402275A (zh) * | 2023-03-03 | 2023-07-07 | 河海大学 | 面向大坝智能协同巡检的无人载具动态选择方法 |
CN116797435A (zh) * | 2023-08-29 | 2023-09-22 | 北京道仪数慧科技有限公司 | 一种利用公交车辆进行道路交通标志牌巡检的处理*** |
CN116828288A (zh) * | 2023-08-28 | 2023-09-29 | 广州信邦智能装备股份有限公司 | 可多场景应用的复合型智能巡检机器人和相关*** |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108961768A (zh) * | 2018-07-30 | 2018-12-07 | 鄂尔多斯市普渡科技有限公司 | 一种无人驾驶警用巡逻车以及巡逻方法 |
CN110223413A (zh) * | 2019-06-12 | 2019-09-10 | 深圳铂石空间科技有限公司 | 智能巡检方法、装置、计算机存储介质和电子设备 |
CN110379036A (zh) * | 2019-06-26 | 2019-10-25 | 广东康云科技有限公司 | 变电站智能巡检识别方法、***、装置及存储介质 |
CN110969166A (zh) * | 2019-12-04 | 2020-04-07 | 国网智能科技股份有限公司 | 一种巡检场景下小目标识别方法和*** |
CN112017323A (zh) * | 2019-05-30 | 2020-12-01 | 深圳市优必选科技有限公司 | 一种巡检报警方法、装置、可读存储介质及终端设备 |
CN112287806A (zh) * | 2020-10-27 | 2021-01-29 | 北京百度网讯科技有限公司 | 一种道路信息检测方法、***、电子设备及存储介质 |
CN112306051A (zh) * | 2019-07-25 | 2021-02-02 | 武汉光庭科技有限公司 | 一种高速公路无人驾驶交警车辆机器人*** |
CN112417955A (zh) * | 2020-10-14 | 2021-02-26 | 国电大渡河沙坪水电建设有限公司 | 巡检视频流处理方法及装置 |
CN112784815A (zh) * | 2021-02-19 | 2021-05-11 | 苏州市大智无疆智能科技有限公司 | 一种无人机巡航目标识别方法、装置及云服务器 |
CN113538370A (zh) * | 2021-07-14 | 2021-10-22 | 宁波旗芯电子科技有限公司 | 电网巡检方法、装置、计算机设备和存储介质 |
CN113673459A (zh) * | 2021-08-26 | 2021-11-19 | 中国科学院自动化研究所 | 基于视频的生产施工场所安全巡检方法、***、设备 |
CN113706737A (zh) * | 2021-10-27 | 2021-11-26 | 北京主线科技有限公司 | 基于自动驾驶车辆的路面巡检***及方法 |
CN113971795A (zh) * | 2021-11-18 | 2022-01-25 | 上海顺诠科技有限公司 | 基于自驾车视觉感测的违规巡检***及其方法 |
WO2022021739A1 (zh) * | 2020-07-30 | 2022-02-03 | 国网智能科技股份有限公司 | 一种语义智能变电站机器人仿人巡视作业方法及*** |
CN114240868A (zh) * | 2021-12-09 | 2022-03-25 | 陕西省地方电力(集团)有限公司渭南供电分公司 | 一种基于无人机的巡检分析***及方法 |
CN114489122A (zh) * | 2021-12-30 | 2022-05-13 | 山东奥邦交通设施工程有限公司 | 一种基于uav及配套机场的高速公路自动巡检方法及*** |
-
2022
- 2022-05-17 CN CN202210540370.9A patent/CN114783188A/zh active Pending
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108961768A (zh) * | 2018-07-30 | 2018-12-07 | 鄂尔多斯市普渡科技有限公司 | 一种无人驾驶警用巡逻车以及巡逻方法 |
CN112017323A (zh) * | 2019-05-30 | 2020-12-01 | 深圳市优必选科技有限公司 | 一种巡检报警方法、装置、可读存储介质及终端设备 |
CN110223413A (zh) * | 2019-06-12 | 2019-09-10 | 深圳铂石空间科技有限公司 | 智能巡检方法、装置、计算机存储介质和电子设备 |
CN110379036A (zh) * | 2019-06-26 | 2019-10-25 | 广东康云科技有限公司 | 变电站智能巡检识别方法、***、装置及存储介质 |
CN112306051A (zh) * | 2019-07-25 | 2021-02-02 | 武汉光庭科技有限公司 | 一种高速公路无人驾驶交警车辆机器人*** |
CN110969166A (zh) * | 2019-12-04 | 2020-04-07 | 国网智能科技股份有限公司 | 一种巡检场景下小目标识别方法和*** |
WO2022021739A1 (zh) * | 2020-07-30 | 2022-02-03 | 国网智能科技股份有限公司 | 一种语义智能变电站机器人仿人巡视作业方法及*** |
CN112417955A (zh) * | 2020-10-14 | 2021-02-26 | 国电大渡河沙坪水电建设有限公司 | 巡检视频流处理方法及装置 |
CN112287806A (zh) * | 2020-10-27 | 2021-01-29 | 北京百度网讯科技有限公司 | 一种道路信息检测方法、***、电子设备及存储介质 |
CN112784815A (zh) * | 2021-02-19 | 2021-05-11 | 苏州市大智无疆智能科技有限公司 | 一种无人机巡航目标识别方法、装置及云服务器 |
CN113538370A (zh) * | 2021-07-14 | 2021-10-22 | 宁波旗芯电子科技有限公司 | 电网巡检方法、装置、计算机设备和存储介质 |
CN113673459A (zh) * | 2021-08-26 | 2021-11-19 | 中国科学院自动化研究所 | 基于视频的生产施工场所安全巡检方法、***、设备 |
CN113706737A (zh) * | 2021-10-27 | 2021-11-26 | 北京主线科技有限公司 | 基于自动驾驶车辆的路面巡检***及方法 |
CN113971795A (zh) * | 2021-11-18 | 2022-01-25 | 上海顺诠科技有限公司 | 基于自驾车视觉感测的违规巡检***及其方法 |
CN114240868A (zh) * | 2021-12-09 | 2022-03-25 | 陕西省地方电力(集团)有限公司渭南供电分公司 | 一种基于无人机的巡检分析***及方法 |
CN114489122A (zh) * | 2021-12-30 | 2022-05-13 | 山东奥邦交通设施工程有限公司 | 一种基于uav及配套机场的高速公路自动巡检方法及*** |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116402275A (zh) * | 2023-03-03 | 2023-07-07 | 河海大学 | 面向大坝智能协同巡检的无人载具动态选择方法 |
CN116402275B (zh) * | 2023-03-03 | 2023-12-15 | 河海大学 | 面向大坝智能协同巡检的无人载具动态选择方法 |
CN116828288A (zh) * | 2023-08-28 | 2023-09-29 | 广州信邦智能装备股份有限公司 | 可多场景应用的复合型智能巡检机器人和相关*** |
CN116828288B (zh) * | 2023-08-28 | 2024-01-02 | 广州信邦智能装备股份有限公司 | 可多场景应用的复合型智能巡检机器人和相关*** |
CN116797435A (zh) * | 2023-08-29 | 2023-09-22 | 北京道仪数慧科技有限公司 | 一种利用公交车辆进行道路交通标志牌巡检的处理*** |
CN116797435B (zh) * | 2023-08-29 | 2023-10-31 | 北京道仪数慧科技有限公司 | 一种利用公交车辆进行道路交通标志牌巡检的处理*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11244570B2 (en) | Tracking and analysis of drivers within a fleet of vehicles | |
CN111179585B (zh) | 自动驾驶车辆的场地测试方法及装置 | |
CN114783188A (zh) | 巡检方法和装置 | |
CN109804367B (zh) | 使用边缘计算的分布式视频存储和搜索 | |
JP7371157B2 (ja) | 車両監視方法、装置、電子機器、記憶媒体、コンピュータプログラム、クラウド制御プラットフォームおよび車路連携システム | |
JP2022006181A (ja) | 交通監視方法、装置、機器及び記憶媒体 | |
US9472098B2 (en) | Vehicle-based abnormal travel event detecting and reporting | |
CN111652940A (zh) | 目标异常识别方法、装置、电子设备及存储介质 | |
CN111739344B (zh) | 一种预警方法、装置及电子设备 | |
CN112069279B (zh) | 地图数据更新方法、装置、设备及可读存储介质 | |
WO2021237768A1 (zh) | 一种基于数据驱动的实现预测模型自动化迭代的*** | |
Wang et al. | Realtime wide-area vehicle trajectory tracking using millimeter-wave radar sensors and the open TJRD TS dataset | |
US11829959B1 (en) | System and methods for fully autonomous potholes detection and road repair determination | |
CN114818056A (zh) | 基于bim技术的交通数据集成方法、装置、设备及介质 | |
CN113807588A (zh) | 基于交通事故的行车路径规划方法及装置 | |
CN110782670A (zh) | 基于数据融合的场景还原方法、车辆云平台及存储介质 | |
CN116580271A (zh) | 一种感知融合算法的测评方法、装置、设备及存储介质 | |
CN114841712B (zh) | 网约车巡游违规运营状态的确定方法和装置及电子设备 | |
Gowtham et al. | An efficient monitoring of real time traffic clearance for an emergency service vehicle using iot | |
Luo et al. | Traffic signal transition time prediction based on aerial captures during peak hours | |
CN114662583A (zh) | 应急事件防控调度方法、装置、电子设备和存储介质 | |
US20220335730A1 (en) | System and method for traffic signage inspection through collection, processing and transmission of data | |
CN116524210A (zh) | 自动驾驶数据筛选方法、***、电子设备和存储介质 | |
CN116434525A (zh) | 一种高速公路智能管理预警*** | |
US20220277551A1 (en) | Vehicle dispatch and tracking based on vehicle-carring image processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |