CN112417922B - 目标识别方法和装置 - Google Patents
目标识别方法和装置 Download PDFInfo
- Publication number
- CN112417922B CN112417922B CN201910769052.8A CN201910769052A CN112417922B CN 112417922 B CN112417922 B CN 112417922B CN 201910769052 A CN201910769052 A CN 201910769052A CN 112417922 B CN112417922 B CN 112417922B
- Authority
- CN
- China
- Prior art keywords
- motor vehicle
- video frame
- brand
- candidate
- current video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 47
- 230000006399 behavior Effects 0.000 claims abstract description 15
- 238000013136 deep learning model Methods 0.000 claims description 37
- 230000009471 action Effects 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 238000004590 computer program Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 6
- 230000003796 beauty Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Multimedia (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Traffic Control Systems (AREA)
Abstract
本申请提供了目标识别方法和装置。本申请中,先确定出当前视频帧中非机动车对应的候选营运信息,之后再针对候选营运信息中的每一候选营运品牌,检查候选营运信息中非机动车与该候选营运品牌之间的关联度是否大于该候选营运品牌对应的预设关联阈值,如果是,将该候选营运品牌确定为所述非机动车的目标营运品牌,最终识别出视频帧中非机动车的目标营运品牌,进而可实现后续通过目标营运品牌告警规范非机动车违法行为的目的。
Description
技术领域
本申请涉及智能交通技术,特别涉及目标识别方法和装置。
背景技术
随着外卖行业的迅猛发展,道路上非机动车的数量激增。这里的非机动车主要是指以盈利为目的的非机动车,包括二轮车、三轮车等。这种以盈利为目的的非机动车,也可称为运营非机动车,其具有对应的营运信息。这里的营运信息是指非机动车当前从事哪一个商家品牌的工作。这里的商家品牌也称营运品牌。
目前,已经有很多检测方式可以从相机抓拍的图片中检测出非机动车,但这些检测方式只是检测出非机动车,并不能识别出非机动车的营运品牌,进而也不能确认非机动车是否为运营非机动车,这给后续通过营运品牌告警规范非机动车违法行为带来诸多不便。
发明内容
本申请提供了目标识别方法和装置,以识别非机动车的目标营运品牌。
本申请提供的技术方案包括:
一种目标识别方法,该方法包括:
从当前视频帧中获取非机动车的候选营运信息,所述候选营运信息至少包括:非机动车关联的至少一个候选营运品牌、所述非机动车与至少一个候选营运品牌之间的关联度;
针对所述候选营运信息中的每一候选营运品牌,检查所述非机动车与该候选营运品牌之间的关联度是否大于该候选营运品牌对应的预设关联阈值,如果是,将该候选营运品牌确定为所述非机动车的目标营运品牌。
一种目标识别装置,该装置包括:
获取单元,用于从当前视频帧中获取非机动车的候选营运信息,所述候选营运信息至少包括:非机动车关联的至少一个候选营运品牌、所述非机动车与至少一个候选营运品牌之间的关联度;
确定单元,用于针对所述候选营运信息中的每一候选营运品牌,检查所述非机动车与该候选营运品牌之间的关联度是否大于该候选营运品牌对应的预设关联阈值,如果是,将该候选营运品牌确定为所述非机动车的目标营运品牌。
一种电子设备,该电子设备包括:
处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现上述方法。
由以上技术方案可以看出,本申请中,先获取当前视频帧中非机动车对应的候选营运信息,之后再针对候选营运信息中的每一候选营运品牌,检查候选营运信息中非机动车与该候选营运品牌之间的关联度是否大于该候选营运品牌对应的预设关联阈值,如果是,将该候选营运品牌确定为所述非机动车的目标营运品牌,最终识别出视频帧中非机动车的目标营运品牌,进而可实现后续通过目标营运品牌告警规范非机动车违法行为的目的,比如向目标营运品牌对应的目标公司或者公司负责人等发出违法告警,以达到约束目标营运品牌下各非机动车的违法驾驶行为的目的,保障了道路交通安全。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1为本申请实施例提供的方法流程图;
图2为本申请实施例提供的步骤101实现流程图;
图3为本申请实施例提供的步骤101另一实现流程图;
图4为本申请实施例提供的步骤101之前执行的流程图;
图5为本申请实施例提供的步骤401实现流程图;
图6为本申请实施例提供的发出违法告警的流程图;
图7为本申请实施例提供的装置结构图;
图8为本申请实施例提供的图5所示装置的硬件结构示意图。
具体实施方式
本申请提供的方法通过检测视频帧以获取视频帧中非机动车的营运品牌,这实现了后续通过目标营运品牌告警规范非机动车违法行为的目的,比如向目标营运品牌对应的目标公司或者公司负责人等发出违法告警,以达到约束目标营运品牌下各非机动车的违法驾驶行为的目的,保障了道路交通安全。
为了使本申请提供的方法更加清楚,下面结合附图和实施例对本申请提供的方法进行描述:
参见图1,图1为本申请实施例提供的方法流程图。作为一个示例,图1所示的流程可应用于相机,这里的相机可对采集的视频帧执行图1所示流程。作为另一个示例,图1所示流程也可应用于服务器。这里的服务器可同时连接多个相机,负责对各相机采集的视频帧执行图1所示的流程。
下面对图1所示流程进行描述:
如图1所示,该流程可包括以下步骤:
步骤101,从当前视频帧中获取非机动车的候选营运信息。
作为一个示例,本步骤101是先依据当前视频帧获取非机动车可能的营运信息(比如当前可能从事哪个营运品牌的工作等)。这里,获取的可能的营运信息称为候选营运信息。至于步骤101如何依据当前视频帧获取非机动车的候选营运信息,有多种实现方式,下文会举例描述两种实现方式,这里暂不赘述。
作为一个实施例,上述候选营运信息至少包括:非机动车关联的至少一个候选营运品牌、所述非机动车与至少一个候选营运品牌之间的关联度。这里,非机动车与候选营运品牌关联,则意味着非机动车当前可能从事属于该营运品牌的工作。作为一个示例,非机动车与候选营运品牌之间的关联度越高,表示非机动车从事的工作属于该候选营运品牌的可能性就越高,反之,非机动车与候选营运品牌之间的关联度越低,表示非机动车从事的工作属于该候选营运品牌的可能性就越低。
需要说明的是,上述的当前视频帧表示当前待处理的一个视频帧,其是为便于描述而进行的命名,并非特指某一个视频帧。
步骤102,针对候选营运信息中的每一候选营运品牌,检查非机动车与该候选营运品牌之间的关联度是否大于该候选营运品牌对应的预设关联阈值,如果是,将该候选营运品牌确定为所述非机动车的目标营运品牌。
在步骤101获取非机动车的候选营运信息后,该候选营运信息中的候选营运品牌最终是否为非机动车真正所述的营运品牌(称为目标营运品牌),则需要针对候选营运信息中的每一候选营运品牌进行检查,具体如步骤102描述。
步骤102中涉及到候选营运品牌对应的预设关联阈值,则为使步骤102更加清楚,下面先解释营运品牌对应的预设关联阈值。本申请实施例中,会预先为目前市面上的一些营运品牌设置对应的预设关联阈值。下面举例描述如何预先设置各营运品牌对应的预设关联阈值:
作为一个实施例,本申请可根据不同营运品牌的应用范围,为各个不同营运品牌设置对应的预设关联阈值。在一个示例中,应用范围比较大的营运品牌,其对应的预设关联阈值就越大,反之,应用范围比较小的营运品牌,其对应的预设关联阈值就越小。比如,目前市面上的营运品牌“美团”,其应用范围比较大,而另一营运品牌“吉野家”相比“美团”,应用范围比较小,则营运品牌“美团”对应的预设关联阈值可大于营运品牌“吉野家”对应的预设关联阈值。比如,营运品牌“美团”对应的预设关联阈值为80%,营运品牌“吉野家”对应的预设关联阈值为45%。
作为另一个实施例,本申请也可根据实际需求为各个不同营运品牌设置对应的预设关联阈值。比如,实际需求是检测指定路口附近营运品牌“吉野家”的非机动车,该指定路口经常会频繁出现营运品牌“吉野家”的非机动车,此种情况下,可设置营运品牌“吉野家”对应的预设关联阈值比较高,比如,营运品牌“吉野家”对应的预设关联阈值为80%,而其他营运品牌比如“美团”对应的预设关联阈值为40%。
以上对如何为各个不同营运品牌设置对应的预设关联阈值进行了举例描述,以上只是举例,并非用于限定。
基于上述为各个不同营运品牌设置对应的预设关联阈值,则步骤102中,针对每一候选营运品牌,检查非机动车与该候选营运品牌之间的关联度是否大于该候选营运品牌对应的预设关联阈值,如果是,将该候选营运品牌确定为非机动车的目标营运品牌。最终通过步骤102,确定出了非机动车的目标营运品牌。当确定出非机动车的目标营运品牌后,后续在对非机动车进行管理时,不再通过非机动车的驾驶员,而是通过非机动车的目标营运品牌对非机动车进行管理,下文会进行描述。
至此,完成图1所示流程。
通过图1所示流程可以看出,在本申请中,先确定出当前视频帧中非机动车对应的候选营运信息,之后再针对候选营运信息中的每一候选营运品牌,检查候选营运信息中非机动车与该候选营运品牌之间的关联度是否大于该候选营运品牌对应的预设关联阈值,如果是,将该候选营运品牌确定为所述非机动车的目标营运品牌,最终识别出视频帧中非机动车的目标营运品牌,进而可实现后续通过目标营运品牌告警规范非机动车违法行为的目的,进而可实现后续通过目标营运品牌告警规范非机动车违法行为的目的,比如向目标营运品牌对应的目标公司或者公司负责人等发出违法告警,以达到约束目标营运品牌下各非机动车的违法驾驶行为的目的,保障了道路交通安全。
下面举例描述步骤101中如何从当前视频帧中获取非机动车的候选营运信息,:
方式1:
本方式1下,会预先设置一个营运信息数据库。营运信息数据库中存放各个营运品牌、以及各营运品牌的特征信息(记为营运品牌特征信息)。这里营运品牌特征信息包括但不限于:非机动车的车型(比如该营运品牌规定的车型)、车载信息(比如外卖箱体、快递箱体等的形状、营运品牌标识等)、以及非机动车上驾驶员的穿戴信息(比如该营运品牌规定非机动车驾驶员戴的头盔、穿的衣服等)。
基于此,本方式1下,上述步骤101中从当前视频帧中获取非机动车的候选营运信息,可包括图2所示流程。
参见图2,图2为本申请实施例提供的步骤101实现流程图。如图2所示,该流程可包括以下步骤:
步骤201,从当前视频帧中识别出营运品牌特征信息(记为参考营运品牌特征信息)。
作为一个示例,本步骤201中从当前视频帧中识别出参考营运品牌特征信息,有很多实现方式,比如,按照现有的图像识别算法从当前视频帧中识别出参考营运品牌特征信息,或者,将当前视频帧输入已训练的用于营运品牌特征信息识别的图像识别模型,以得到参考营运品牌特征信息。本申请实施例并不局限本步骤201中如何从当前视频帧中识别出参考营运品牌特征信息的实现方式。
基于上述营运信息数据库中营运品牌特征信息的描述,这里识别出的参考营运品牌特征信息包括但不限于:非机动车的车型、车载信息、以及非机动车驾驶员的穿戴信息。
步骤202,计算参考营运品牌特征信息与营运信息数据库中各营运品牌特征信息之间的相似度。
作为一个实施例,本步骤202中计算参考营运品牌特征信息与营运信息数据库中各营运品牌特征信息之间的相似度的方式有很多,比如借鉴现有的文本相似度计算等,本申请实施例并不具体限定。
步骤203,将候选营运品牌特征信息对应的营运信息确定为候选营运信息。
在一个示例中,步骤203中,依据参考营运品牌特征信息与营运信息数据库中各营运品牌特征信息之间的相似度,从营运信息数据库中选择出营运品牌特征信息作为候选营运品牌特征信息包括:从营运信息数据库中选择与参考营运品牌特征信息的相似度大于设定阈值的营运品牌特征信息,将选择出的营运品牌特征信息确定为候选营运品牌特征信息。这里,设定阈值可根据实际情况设置,本申请实施例并不具体限定。
至此,完成图2所示流程。通过图2所示流程,最终实现了如何从当前视频帧中获取非机动车的候选营运信息。
以上对方式1进行了描述。下面描述方式2。
方式2:
本方式2下,需要训练一个深度学习模型。该深度学习模型用于识别非机动车的候选营运信息。下面描述如何训练深度学习模型:
首先,建立一个初始地深度学习模型。
这里,可依据深度学习框架建立一个初始的深度学习模型。初始的YOLO深度学习模型中各参数可为默认值。
其次,对大量样本图片进行标定,将标定好的样本图片作为训练数据。
作为一个示例,标定的内容主要包括:样本图片中非机动车所处矩形框的坐标信息、非机动车对应的运营品牌、非机动车的车型、车载信息(比如外卖箱体、快递箱体等的形状、营运品牌标识等)、以及非机动车上驾驶员的穿戴信息(比如驾驶员戴的头盔、穿的衣服等)。在一个示例中,对大量样本图片进行标定可指定一个服务器实现。
最后,利用训练数据对初始的深度学习模型进行训练,直至深度学习模型中各参数满足要求。最终训练出一个深度学习模型。
基于训练出的深度学习模型,则上述步骤101中,从当前视频帧中获取非机动车的候选营运信息可包括图3所示的流程:
参见图3,图3为本申请实施例提供的步骤101另一实现流程图。如图3所示,该流程可包括以下步骤:
步骤301,将当前视频帧输入至已训练的深度学习模型,深度学习模型在识别出当前视频帧中存在非机动车时输出非机动车的候选营运信息。
作为一个示例,深度学习模型先从当前视频帧中识别非机动车,在识别出非机动车时,则进一步识别非机动车的车型、车载信息、驾驶员穿戴信息,根据非机动车的车型、车载信息、驾驶员穿戴信息确定非机动车当前可能从事哪一营运品牌(称为候选营运品牌)的工作(称为候选营运信息)。
在一个例子中,假若根据非机动车的车型与根据非机动车的车载信息和/或驾驶员穿戴信息识别出的候选营运品牌不一致,比如根据非机动车的车型识别出候选营运品牌为“美团”,而根据非机动车的车载信息和/或驾驶员穿戴信息识别出候选营运品牌为“吉野家”,此种情况下,深度学习模型可按照以下顺序确定候选营运品牌:
优先参考根据非机动车的车型确定的候选营运品牌,之后再参考非机动车的车载信息确定的候选营运品牌,最后参考非机动车上驾驶员的穿戴信息确定的候选营运品牌。
这里的候选营运信息如方式1中的描述,这里不再赘述。
需要说明的是,在训练好深度学习模型后,深度学习模型对输入的视频帧有一定的要求(记为深度学习模型对应的视频帧要求)。比如,视频帧要求为:对视频帧进行滤波,和/或,要求视频帧的大小不能大于指定值等。此种情况下,则上述步骤301中,将当前视频帧输入至已训练的深度学习模型可包括:对所述当前视频帧执行图象处理得到处理后的视频帧,处理后的视频帧满足所述深度学习模型对应的视频帧要求;将处理后的视频帧输入至已训练的深度学习模型。这里的图像处理,其最终目的是保证处理后的视频帧满足深度学习模型对应的视频帧要求。在一个例子中,这里的图像处理包括但不限于:滤波、在视频帧大于上述指定值时缩放、裁剪等。
步骤302,获取深度学习模型输出的非机动车的候选营运信息。
至此,完成图3所示流程。通过图3所示流程,最终实现了如何从当前视频帧中获取非机动车的候选营运信息。
至此,完成方式2的描述。
在上述方式2中,作为一个实施例,上述的深度学习模型举例可为YOLO网络模型。YOLO网络模型的训练可参考现有YOLO网络模型的训练和上述深度学习模型的训练,最终能够识别出非机动车的候选营运信息即可。
以上通过方式1和方式2对如何从当前视频帧中获取非机动车的候选营运信息进行了描述。
作为一个实施例,在从当前视频帧中获取非机动车的候选营运信息之前,该方法可进一步图4所示流程。
参见图4,图4为本申请实施例提供的步骤101之前执行的流程图。如图4所示,该流程可包括以下步骤:
步骤401,判断当前视频帧中是否存在满足设定条件的对象,设定条件是指:对象在当前视频帧和当前视频帧的上一视频帧中的位置不同,如果是,执行步骤402。
这里,对象在当前视频帧和当前视频帧的上一视频帧中的位置不同,则意味着对象发生了移动,此时的对象记为移动对象。也即,步骤401是结合当前视频帧和及其上一视频帧判断出移动对象。
步骤402,继续执行上述步骤101中从当前视频帧中获取非机动车的候选营运信息的操作。
本步骤402是步骤401通过结合当前视频帧和当前视频帧的上一视频帧判断出可移动对象时执行的。判断出可移动对象,则说明从当前视频帧的上一视频帧至当前视频帧的这一段时间可能存在正在行驶的非机动车,可以继续执行从当前视频帧中获取非机动车的候选营运信息的操作。而当判断出不存在可移动对象,则说明从当前视频帧的上一视频帧至当前视频帧这一段时间不存在正在行驶的非机动车(比如不存在非机动车、或者存在非机动车,但非机动车静止),此种情况下,可不执行从当前视频帧中获取非机动车的候选营运信息的操作。这实现了本申请实施例中从当前视频帧中获取非机动车的候选营运信息的操作并非盲目执行,而是有选择的执行,提高操作执行的灵活度,也节省资源。
至此,完成图4所示流程
作为一个示例,上述步骤401中,判断所述当前视频帧中是否存在满足设定条件的对象可包括图5所示流程:
参见图5,图5为本申请实施例提供的步骤401实现流程图。如图5所示,该流程可包括以下步骤:
步骤501,计算当前视频帧和当前视频帧的上一视频帧中相同位置的像素点的像素特征参数值之差,得到像素特征参数差值。
这里,像素点的像素特征参数值在具体实现时有很多实现形式,比如灰度值等,本申请实施例并不具体限定。
步骤502,若所有的像素特征参数差值中有设定比例的像素特征参数差值均小于或等于设定像素特征阈值,则确定当前视频帧中不存在满足设定条件的对象,否则,确定当前视频帧中存在满足设定条件的对象。
这里的设定比例可根据实际需求设置,本申请实施例并不具体限定。
在一个例子中,当大部分像素特征参数差值小于或等于设定像素特征阈值(即所有的像素特征参数差值中有设定比例的像素特征参数差值均小于或等于设定像素特征阈值),则认为当前视频帧和其上一视频帧相比不存在可移动对象,即确定当前视频帧中不存在满足设定条件的对象。反之,则认为当前视频帧和其上一视频帧相比存在可移动对象,即确定当前视频帧中存在满足设定条件的对象。
至此,完成图5所示流程。通过图5所示流程,实现了如何判断所述当前视频帧中是否存在满足设定条件的对象(即移动对象)。
下面描述在识别出非机动车的目标营运品牌后,如何基于识别出的目标营运品牌管理非机动车:
在一个例子中,上述的候选营运信息可进一步包括:非机动车在当前视频帧中的位置信息。作为一个示例,这里的位置信息可为非机动车在当前视频帧中所处的矩形框的位置信息,比如矩形框的左顶点坐标位置和矩形框的长、宽。这里的矩形框至少包含整个非机动车。
基于此,则作为一个实施例,在将候选营运品牌确定为所述非机动车的目标营运品牌后,该方法进一步包括:
依据上述位置信息确定所述非机动车是否在非机动车行驶区域内行驶,如果否,确定非机动车违法,发出违法告警。通常,非机动车有专门的行驶区域,本申请实施例会依据上述位置信息映射出非机动车当前所处的区域,然后检查非机动车当前所处的区域是否为非机动车行驶区域。当检查出非机动车当前所处的区域不为非机动车行驶区域,则认为非机动车违法,发出违法告警。至于如何发出违法告警,下文会进行描述,这里暂不赘述。
在另一个例子中,在将候选营运品牌确定为非机动车的目标营运品牌后,该方法进一步包括:
检查当前视频帧中是否存在违法行为,所述违法行为至少包括:所述非机动车逆行、所述非机动车上的用户的违法动作;
如果是,确定非机动车违法,发出违法告警。
作为一个实施例,上述检查当前视频帧中是否存在违法行为,可借鉴现有的行为识别方式。通过行为识别方式即可识别出当前视频帧中是否存在违法行为。当识别出当前视频帧中存在违法行为,则向目标营运品牌对应的负责人发出违法告警。
下面描述如何发出违法告警:
作为一个实施例,这里,发出违法告警可包括图6所示流程:
参见图6,图6为本申请实施例提供的发出违法告警的流程图。如图6所示,该流程可包括以下步骤:
步骤601,检查指定存储介质是否记录目标营运品牌的违法次数,如果否,执行步骤602,如果是,执行步骤603。
在一个例子中,指定存储介质会记录营运品牌和违法次数的对应关系,基于此,本步骤601中,以目标营运品牌为关键字在指定存储介质中查找包含该关键字的对应关系,如果查找到,则表示指定存储介质记录目标营运品牌的违法次数,如果否,则表示指定存储介质未记录目标营运品牌的违法次数。
步骤602,在指定存储介质中记录目标营运品牌的违法次数为第一值。之后执行步骤604。
作为一个示例,本步骤602中,在指定存储介质中记录目标营运品牌和违法次数的对应关系,此时的违法次数为第一值。在一个例子中,这里的第一值比如为1。
步骤603,将指定存储介质中记录的所述目标营运品牌的违法次数增加第一值。之后执行步骤604。
在一个例子中,这里的第一值比如为1。
步骤604,检查目标营运品牌的违法次数是否达到设定违法阈值,如果是,发出违法告警。
在一个实施例中,这里可面向目标营运品牌对应的目标公司发出违法告警,以使目标公司收到违法告警时,监督并规范本公司内各非机动车的驾驶行为,保证道路安全。
在另一个实施例中,在确定目标营运品牌对应的目标公司的相关主体人员比如公司负责人等的前提下,也可直接向公司负责人发出违法告警,以使公司负责人收到违法告警时,监督并规范本公司内各非机动车的驾驶行为,保证道路安全。
需要说明的是,上述只是举例如何发出违法告警,并非用于限定。
至此,完成图6所示流程。通过图6所示流程实现了如何发出违法告警,以规范目标营运品牌下各非机动车的驾驶行为,保证道路安全。
以上对本申请提供的方法进行了描述,下面对本申请提供的装置进行描述:
参见图7,图7为本申请提供的装置结构图。如图7所示,该装置包括:
获取单元,用于从当前视频帧中获取非机动车的候选营运信息,所述候选营运信息至少包括:非机动车关联的至少一个候选营运品牌、所述非机动车与至少一个候选营运品牌之间的关联度;
确定单元,用于针对所述候选营运信息中的每一候选营运品牌,检查所述非机动车与该候选营运品牌之间的关联度是否大于该候选营运品牌对应的预设关联阈值,如果是,将该候选营运品牌确定为所述非机动车的目标营运品牌。
作为一个实施例,所述获取单元从当前视频帧中获取非机动车的候选营运信息包括:
将当前视频帧输入至已训练的深度学习模型,所述深度学习模型在识别出所述当前视频帧中存在非机动车时输出非机动车的候选营运信息;
获取所述深度学习模型输出的非机动车的候选营运信息。
作为一个实施例,所述获取单元将当前视频帧输入至已训练的深度学习模型包括:
对所述当前视频帧执行图象处理得到处理后的视频帧,处理后的视频帧满足所述深度学习模型对应的视频帧要求;
将处理后的视频帧输入至已训练的深度学习模型。
作为一个实施例,所述获取单元在从当前视频帧中获取非机动车的候选营运信息之前,进一步判断所述当前视频帧中是否存在满足设定条件的对象,所述设定条件是指:所述对象在所述当前视频帧和所述当前视频帧的上一视频帧中的位置不同;如果是,继续执行所述从当前视频帧中获取非机动车的候选营运信息的操作。
作为一个实施例,所述获取单元判断所述当前视频帧中是否存在满足设定条件的对象包括:
计算所述当前视频帧和所述当前视频帧的上一视频帧中相同位置的像素点的像素特征参数值之差,得到像素特征参数差值;
若所有的像素特征参数差值中有设定比例的像素特征参数差值均小于或等于设定像素特征阈值,则确定当前视频帧中不存在满足设定条件的对象,否则,确定当前视频帧中存在满足设定条件的对象。
作为一个实施例,所述候选营运信息还包括:非机动车在当前视频帧中的位置信息;
基于此,所述确定单元在将该候选营运品牌确定为所述非机动车的目标营运品牌后,进一步依据所述位置信息确定所述非机动车是否在非机动车行驶区域内行驶,如果否,确定所述非机动车违法,发出违法告警。
作为一个实施例,所述确定单元在将该候选营运品牌确定为所述非机动车的目标营运品牌后,进一步检查所述当前视频帧中是否存在违法行为,所述违法行为至少包括:所述非机动车逆行、所述非机动车上的用户的违法动作;如果是,确定所述非机动车违法,发出违法告警。
作为一个实施例,上述向目标营运品牌对应的负责人发出违法告警可包括:
检查指定存储介质是否记录所述目标营运品牌的违法次数,如果否,在指定存储介质中记录所述目标营运品牌的违法次数为第一值;如果是,将指定存储介质中记录的所述目标营运品牌的违法次数增加第一值;
检查所述目标营运品牌的违法次数是否达到设定违法阈值,如果是,发出违法告警。
至此,完成图7所示装置的结构描述。
对应地,本申请还提供了图7所示装置的硬件结构。参见图8,该硬件结构可包括:处理器和机器可读存储介质,机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现本申请上述示例公开的方法。
基于与上述方法同样的申请构思,本申请实施例还提供一种机器可读存储介质,所述机器可读存储介质上存储有若干计算机指令,所述计算机指令被处理器执行时,能够实现本申请上述示例公开的方法。
示例性的,上述机器可读存储介质可以是任何电子、磁性、光学或其它物理存储装置,可以包含或存储信息,如可执行指令、数据,等等。例如,机器可读存储介质可以是:RAM(Radom Access Memory,随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等),或者类似的存储介质,或者它们的组合。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机,计算机的具体形式可以是个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件收发设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任意几种设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可以由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
而且,这些计算机程序指令也可以存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或者多个流程和/或方框图一个方框或者多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上,使得在计算机或者其它可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其它可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅为本申请的实施例而已,并不用于限制本申请。对于本领域技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本申请的权利要求范围之内。
Claims (8)
1.一种目标识别方法,其特征在于,该方法包括:
从当前视频帧中获取正在道路上行驶的非机动车的候选营运信息,所述候选营运信息至少包括:非机动车关联的至少一个候选营运品牌、所述非机动车与至少一个候选营运品牌之间的关联度;其中,所述非机动车的候选营运信息是通过将当前视频帧输入至已训练的深度学习模型得到的;所述候选营运品牌通过以下方式确定:在深度学习模型从当前视频帧中识别出非机动车时,进一步识别非机动车的车型、车载信息、驾驶员穿戴信息,根据非机动车的车型、车载信息、驾驶员穿戴信息确定非机动车的候选营运品牌,当根据非机动车的车型与根据非机动车的车载信息和/或驾驶员穿戴信息识别出的候选营运品牌不一致时,按照以下顺序确定候选营运品牌:优先参考根据非机动车的车型确定的候选营运品牌,再参考根据非机动车的车载信息确定的候选营运品牌,最后参考根据非机动车上驾驶员的穿戴信息确定的候选营运品牌;
针对所述候选营运信息中的每一候选营运品牌,检查所述非机动车与该候选营运品牌之间的关联度是否大于该候选营运品牌对应的预设关联阈值,如果是,将该候选营运品牌确定为所述非机动车的目标营运品牌;其中,各个不同营运品牌对应的预设关联阈值是根据不同营运品牌的应用范围设置;
检查所述当前视频帧中是否存在违法行为,所述违法行为至少包括:所述非机动车逆行、所述非机动车上的用户的违法动作;或者所述违法行为至少包括:依据所述候选营运信息包含的位置信息确定所述非机动车是否在非机动车行驶区域内行驶;如果否,确定所述非机动车违法,基于所述目标营运品牌,向目标营运品牌对应的负责人或目标公司发出违法告警,以监督并规范本公司内各非机动车的驾驶行为。
2.根据权利要求1所述的方法,其特征在于,所述将当前视频帧输入至已训练的深度学习模型包括:
对所述当前视频帧执行图像处理得到处理后的视频帧,处理后的视频帧满足所述深度学习模型对应的视频帧要求;
将处理后的视频帧输入至已训练的深度学习模型。
3.根据权利要求1至2任一所述的方法,其特征在于,在所述从当前视频帧中获取正在道路上行驶的非机动车的候选营运信息之前,该方法进一步包括:
判断所述当前视频帧中是否存在满足设定条件的对象,所述设定条件是指:所述对象在所述当前视频帧和所述当前视频帧的上一视频帧中的位置不同;
如果是,继续执行所述从当前视频帧中获取正在道路上行驶的非机动车的候选营运信息的操作。
4.根据权利要求3所述的方法,其特征在于,所述判断所述当前视频帧中是否存在满足设定条件的对象包括:
计算所述当前视频帧和所述当前视频帧的上一视频帧中相同位置的像素点的像素特征参数值之差,得到像素特征参数差值;
若所有的像素特征参数差值中有设定比例的像素特征参数差值均小于或等于设定像素特征阈值,则确定当前视频帧中不存在满足设定条件的对象,否则,确定当前视频帧中存在满足设定条件的对象。
5.根据权利要求1所述的方法,其特征在于,所述发出违法告警包括:
检查指定存储介质是否记录所述目标营运品牌的违法次数,如果否,在指定存储介质中记录所述目标营运品牌的违法次数为第一值;如果是,将指定存储介质中记录的所述目标营运品牌的违法次数增加第一值;
检查所述目标营运品牌的违法次数是否达到设定违法阈值,如果是,发出违法告警。
6.一种目标识别装置,其特征在于,该装置包括:
获取单元,用于从当前视频帧中获取正在道路上行驶的非机动车的候选营运信息,所述候选营运信息至少包括:非机动车关联的至少一个候选营运品牌、所述非机动车与至少一个候选营运品牌之间的关联度;其中,所述非机动车的候选营运信息是通过将当前视频帧输入至已训练的深度学习模型得到的;所述候选营运品牌通过以下方式确定:在深度学习模型从当前视频帧中识别出非机动车时,进一步识别非机动车的车型、车载信息、驾驶员穿戴信息,根据非机动车的车型、车载信息、驾驶员穿戴信息确定非机动车的候选营运品牌,当根据非机动车的车型与根据非机动车的车载信息和/或驾驶员穿戴信息识别出的候选营运品牌不一致时,按照以下顺序确定候选营运品牌:优先参考根据非机动车的车型确定的候选营运品牌,再参考根据非机动车的车载信息确定的候选营运品牌,最后参考根据非机动车上驾驶员的穿戴信息确定的候选营运品牌;
确定单元,用于针对所述候选营运信息中的每一候选营运品牌,检查所述非机动车与该候选营运品牌之间的关联度是否大于该候选营运品牌对应的预设关联阈值,如果是,将该候选营运品牌确定为所述非机动车的目标营运品牌;其中,各个不同营运品牌对应的预设关联阈值是根据不同营运品牌的应用范围设置;以及,
检查所述当前视频帧中是否存在违法行为,所述违法行为至少包括:所述非机动车逆行、所述非机动车上的用户的违法动作;或者所述违法行为至少包括:依据所述候选营运信息包含的位置信息确定所述非机动车是否在非机动车行驶区域内行驶;如果否,确定所述非机动车违法,基于所述目标营运品牌,向目标营运品牌对应的负责人或目标公司发出违法告警,以监督并规范本公司内各非机动车的驾驶行为。
7.根据权利要求6所述的装置,其特征在于,所述获取单元在所述从当前视频帧中获取正在道路上行驶的非机动车的候选营运信息之前,进一步包括:
判断所述当前视频帧中是否存在满足设定条件的对象,所述设定条件是指:所述对象在所述当前视频帧和所述当前视频帧的上一视频帧中的位置不同;如果是,继续执行所述从当前视频帧中获取正在道路上行驶的非机动车的候选营运信息的操作。
8.一种电子设备,其特征在于,该电子设备包括:
处理器和机器可读存储介质,所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令;所述处理器用于执行机器可执行指令,以实现权利要求1-5任一项的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910769052.8A CN112417922B (zh) | 2019-08-20 | 2019-08-20 | 目标识别方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910769052.8A CN112417922B (zh) | 2019-08-20 | 2019-08-20 | 目标识别方法和装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112417922A CN112417922A (zh) | 2021-02-26 |
CN112417922B true CN112417922B (zh) | 2024-06-28 |
Family
ID=74778943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910769052.8A Active CN112417922B (zh) | 2019-08-20 | 2019-08-20 | 目标识别方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112417922B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107301777A (zh) * | 2016-11-25 | 2017-10-27 | 上海炬宏信息技术有限公司 | 基于视频检测技术的车辆违章变道检测方法 |
CN109618140A (zh) * | 2019-01-14 | 2019-04-12 | 上海钧正网络科技有限公司 | 基于视频监控的车辆监测方法、装置、***及服务器 |
CN109800633A (zh) * | 2018-12-11 | 2019-05-24 | 深圳云天励飞技术有限公司 | 一种非机动车交通违法判断方法、装置和电子设备 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050267657A1 (en) * | 2004-05-04 | 2005-12-01 | Devdhar Prashant P | Method for vehicle classification |
US9324002B2 (en) * | 2012-02-22 | 2016-04-26 | Paypal, Inc. | User identification and personalization based on automotive identifiers |
JP5983749B2 (ja) * | 2012-08-30 | 2016-09-06 | 富士通株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
CN104239898B (zh) * | 2014-09-05 | 2017-07-14 | 浙江捷尚视觉科技股份有限公司 | 一种快速卡口车辆比对和车型识别方法 |
US20180174446A1 (en) * | 2015-02-09 | 2018-06-21 | Kevin Sunlin Wang | System and method for traffic violation avoidance |
CN105469046B (zh) * | 2015-11-23 | 2018-09-07 | 电子科技大学 | 基于pca和surf特征级联的车辆车型识别方法 |
CN105574543B (zh) * | 2015-12-16 | 2019-09-06 | 武汉烽火众智数字技术有限责任公司 | 一种基于深度学习的车辆品牌型号识别方法和*** |
US9792530B1 (en) * | 2015-12-28 | 2017-10-17 | Amazon Technologies, Inc. | Generating and using a knowledge base for image classification |
CN108304754A (zh) * | 2017-03-02 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 车型的识别方法和装置 |
CN107274666B (zh) * | 2017-08-03 | 2019-05-31 | 周初 | 一种规范共享单车驾驶行为的监控***及方法 |
CN107871126A (zh) * | 2017-11-22 | 2018-04-03 | 西安翔迅科技有限责任公司 | 基于深层神经网络的车型识别方法和*** |
CN108090429B (zh) * | 2017-12-08 | 2020-07-24 | 浙江捷尚视觉科技股份有限公司 | 一种分级前脸卡口车型识别方法 |
CN109993032B (zh) * | 2017-12-29 | 2021-09-17 | 杭州海康威视数字技术股份有限公司 | 一种共享单车目标识别方法、装置及相机 |
WO2019227451A1 (zh) * | 2018-05-31 | 2019-12-05 | 深圳市元征科技股份有限公司 | 一种共享车辆的管理方法和服务器 |
CN109166284A (zh) * | 2018-09-11 | 2019-01-08 | 广东省电子技术研究所 | 一种违规行为报警***及违规行为报警方法 |
CN109635645A (zh) * | 2018-11-01 | 2019-04-16 | 深圳云天励飞技术有限公司 | 非机动车交通违法监管方法、装置及电子设备 |
-
2019
- 2019-08-20 CN CN201910769052.8A patent/CN112417922B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107301777A (zh) * | 2016-11-25 | 2017-10-27 | 上海炬宏信息技术有限公司 | 基于视频检测技术的车辆违章变道检测方法 |
CN109800633A (zh) * | 2018-12-11 | 2019-05-24 | 深圳云天励飞技术有限公司 | 一种非机动车交通违法判断方法、装置和电子设备 |
CN109618140A (zh) * | 2019-01-14 | 2019-04-12 | 上海钧正网络科技有限公司 | 基于视频监控的车辆监测方法、装置、***及服务器 |
Also Published As
Publication number | Publication date |
---|---|
CN112417922A (zh) | 2021-02-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111274881B (zh) | 驾驶安全的监控方法、装置、计算机设备及存储介质 | |
Kumar et al. | Driver drowsiness monitoring system using visual behaviour and machine learning | |
CN108725440B (zh) | 前向碰撞控制方法和装置、电子设备、程序和介质 | |
CN107705808B (zh) | 一种基于面部特征与语音特征的情绪识别方法 | |
US10235768B2 (en) | Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium | |
CN111310562B (zh) | 基于人工智能的车辆驾驶风险管控方法及其相关设备 | |
CN110826370B (zh) | 车内人员的身份识别方法、装置、车辆及存储介质 | |
US20150116493A1 (en) | Method and system for estimating gaze direction of vehicle drivers | |
TW201947528A (zh) | 車輛損傷識別的處理方法、處理設備、客戶端及伺服器 | |
CN112200081A (zh) | 异常行为识别方法、装置、电子设备及存储介质 | |
CN112055172B (zh) | 一种监控视频的处理方法、装置以及存储介质 | |
CN111079621B (zh) | 检测对象的方法、装置、电子设备和存储介质 | |
CN111783665A (zh) | 一种动作识别方法、装置、存储介质和电子设备 | |
CN112818839A (zh) | 驾驶员违章行为识别方法、装置、设备及介质 | |
CN104239847A (zh) | 行车警示方法及车用电子装置 | |
JP2012221162A (ja) | 対象物検出装置及びプログラム | |
CN113971821A (zh) | 驾驶员信息确定方法、装置、终端设备及存储介质 | |
CN114005093A (zh) | 基于视频分析的驾驶行为告警方法、装置、设备及介质 | |
Chinthalachervu et al. | Driver drowsiness detection and monitoring system using machine learning | |
CN110619256A (zh) | 道路监控检测方法及装置 | |
CN112417922B (zh) | 目标识别方法和装置 | |
CN111985304A (zh) | 巡防告警方法、***、终端设备及存储介质 | |
CN111127503A (zh) | 检测车辆轮胎的花纹的方法、设备和存储介质 | |
JP2013029933A (ja) | パターン認識装置 | |
CN112399049A (zh) | 基于智能盒子的气站非法加气识别方法及***、设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |