CN111626123A - 视频数据处理方法、装置、计算机设备及存储介质 - Google Patents
视频数据处理方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN111626123A CN111626123A CN202010332455.9A CN202010332455A CN111626123A CN 111626123 A CN111626123 A CN 111626123A CN 202010332455 A CN202010332455 A CN 202010332455A CN 111626123 A CN111626123 A CN 111626123A
- Authority
- CN
- China
- Prior art keywords
- video
- image
- frame image
- license plate
- face
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 67
- 238000000034 method Methods 0.000 claims abstract description 34
- 230000011218 segmentation Effects 0.000 claims abstract description 21
- 238000003708 edge detection Methods 0.000 claims abstract description 18
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 13
- 239000012634 fragment Substances 0.000 claims abstract description 13
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 13
- 238000012163 sequencing technique Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 95
- 238000012549 training Methods 0.000 claims description 53
- 238000013527 convolutional neural network Methods 0.000 claims description 26
- 239000002131 composite material Substances 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 15
- 239000000284 extract Substances 0.000 claims description 15
- 230000008569 process Effects 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 11
- 235000009508 confectionery Nutrition 0.000 claims description 7
- 238000010586 diagram Methods 0.000 claims description 6
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000005516 engineering process Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 49
- 230000036544 posture Effects 0.000 description 40
- 230000006870 function Effects 0.000 description 9
- 210000000887 face Anatomy 0.000 description 5
- 238000003062 neural network model Methods 0.000 description 5
- 210000001508 eye Anatomy 0.000 description 4
- 210000005069 ears Anatomy 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000000214 mouth Anatomy 0.000 description 3
- 210000001331 nose Anatomy 0.000 description 3
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 210000000617 arm Anatomy 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000004800 variational method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
- G06V20/625—License plates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明涉及人工智能,提供一种视频数据处理方法、装置、计算机设备及存储介质,方法包括:获取目标数据集和待处理视频集;从每个原始视频中抽取出至少两个视频帧图像;图像识别模型对视频图像经过图像二值化处理、边缘检测处理及轮廓追踪处理后,获得车牌区域、人脸区域和人体特征区域,通过字符分割算法,提取车牌区域的文本特征,获取车牌号结果,通过YOLO算法,提取人脸区域的人脸特征,获取人脸结果,通过链码曲率算法,提取人体特征区域的人体姿势特征,获取人体特征结果;确定识别结果;提取出匹配片段;拼接得到视频合成片段,排序后获得目标视频。此外,本发明还涉及区块链技术,目标数据集可存储于区块链节点中。
Description
技术领域
本发明涉及人工智能的数据处理领域,尤其涉及一种视频数据处理方法、装置、计算机设备及存储介质。
背景技术
目前,随着交通监控视频的不断发展,监控视频数据量不断增加,在现有技术中,发生交通事故之后需要调取监控视频数据进行追踪和定责,大部分都是通过肉眼进行人工查看及截取,将截取出的视频片段进行拼接作为定责的证据,由于监控视频数据中拍摄的车牌、人脸、人体存在分散且范围小的问题,以致工作人员查找困难,而且工作效率会受工作人员的精神状态而影响,也容易出现遗漏而导致定责不当的风险,造成投入成本高且工作效率低下。
发明内容
本发明提供一种视频数据处理方法、装置、计算机设备及存储介质,实现了自动从待处理视频集中快速地、准确地截取出与目标数据集相关的视频片段,本发明可应用于智慧交通领域中,从而推动智慧城市的建设,提高了识别效率和准确率,大大降低了投入成本。
一种视频数据处理方法,包括:
接收视频提取指令,获取目标数据集和待处理视频集;所述目标数据集包括车牌号、人脸图像和人体特征图,所述待处理视频集包括若干个原始视频,每个所述原始视频都与一个唯一标识码关联;
根据预设的抽取规则,从每个所述原始视频中抽取出至少两个视频帧图像;
将抽取出的所述视频帧图像输入图像识别模型,所述图像识别模型对所述视频图像经过图像二值化处理、边缘检测处理及轮廓追踪处理后,获得车牌区域、人脸区域和人体特征区域,通过字符分割算法对所述车牌区域进行文本特征的提取,获取所述车牌区域的车牌号结果,同时通过YOLO算法对所述人脸区域进行人脸特征的提取,获取所述人脸区域的人脸结果,并通过链码曲率算法对所述人体特征区域进行人体姿势特征的提取,获取所述人体特征区域的人体特征结果;
根据所述车牌号结果、所述人脸结果和所述人体特征结果,确定所述视频帧图像对应的识别结果;所述识别结果表征了所述视频帧图像是否包含有所述车牌号、所述人脸图像和所述人体特征图之中的任一个;所述识别结果包括与所述车牌号、所述人脸图像和所述人体特征图相关或非相关;
根据每个所述原始视频中的所述视频帧图像对应的所述识别结果,提取出每个所述原始视频中的多个匹配片段,并将所述匹配片段和与其对应的所述唯一标识码进行关联;所述匹配片段为所述原始视频中的起点帧图像与终点帧图像之间的视频片段;所述起点帧图像是指识别结果为相关且与其相邻的前一个视频帧图像的识别结果为非相关的视频帧图像;所述终点帧图像是指识别结果为非相关且与其相邻的前一个视频帧图像的识别结果为相关的视频帧图像,或指所述原始视频中的结尾的视频帧图像;
将与相同的所述唯一标识码关联的所述匹配片段按照时间顺序进行拼接,得到视频合成片段,并将所述视频合成片段与相同的所述唯一标识码进行关联;
按照预设的唯一标识码顺序规则,对所有所述视频合成片段进行排序,将排序后的所有所述视频合成片段确定为所述待处理视频集中与所述目标数据集相关的目标视频。
一种视频数据处理装置,包括:
接收模块,用于接收视频提取指令,获取目标数据集和待处理视频集;所述目标数据集包括车牌号、人脸图像和人体特征图,所述待处理视频集包括若干个原始视频,每个所述原始视频都与一个唯一标识码关联;
抽取模块,用于根据预设的抽取规则,从每个所述原始视频中抽取出至少两个视频帧图像;
获取模块,用于将抽取出的所述视频帧图像输入图像识别模型,所述图像识别模型对所述视频图像经过图像二值化处理、边缘检测处理及轮廓追踪处理后,获得车牌区域、人脸区域和人体特征区域,通过字符分割算法对所述车牌区域进行文本特征的提取,获取所述车牌区域的车牌号结果,同时通过YOLO算法对所述人脸区域进行人脸特征的提取,获取所述人脸区域的人脸结果,并通过链码曲率算法对所述人体特征区域进行人体姿势特征的提取,获取所述人体特征区域的人体特征结果;
识别模块,用于根据所述车牌号结果、所述人脸结果和所述人体特征结果,确定所述视频帧图像对应的识别结果;所述识别结果表征了所述视频帧图像是否包含有所述车牌号、所述人脸图像和所述人体特征图之中的任一个;所述识别结果包括与所述车牌号、所述人脸图像和所述人体特征图相关或非相关;
提取模块,用于根据每个所述原始视频中的所述视频帧图像对应的所述识别结果,提取出每个所述原始视频中的多个匹配片段,并将所述匹配片段和与其对应的所述唯一标识码进行关联;所述匹配片段为所述原始视频中的起点帧图像与终点帧图像之间的视频片段;所述起点帧图像是指识别结果为相关且与其相邻的前一个视频帧图像的识别结果为非相关的视频帧图像;所述终点帧图像是指识别结果为非相关且与其相邻的前一个视频帧图像的识别结果为相关的视频帧图像,或指所述原始视频中的结尾的视频帧图像;
合并模块,用于将与相同的所述唯一标识码关联的所述匹配片段按照时间顺序进行拼接,得到视频合成片段,并将所述视频合成片段与相同的所述唯一标识码进行关联;
确定模块,用于按照预设的唯一标识码顺序规则,对所有所述视频合成片段进行排序,将排序后的所有所述视频合成片段确定为所述待处理视频集中与所述目标数据集相关的目标视频。
一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述视频数据处理方法的步骤。
一种计算机可读存储介质,包括存储数据区和存储程序区,存储数据区存储根据区块链节点的使用所创建的数据,存储程序区存储有计算机程序,其中,所述计算机程序被处理器执行时实现上述视频数据处理方法的步骤。
本发明通过接收视频提取指令,获取目标数据集和待处理视频集;所述目标数据集包括车牌号、人脸图像和人体特征图,所述待处理视频集包括若干个原始视频,每个所述原始视频都与一个唯一标识码关联;根据预设的抽取规则,从每个所述原始视频中抽取出至少两个视频帧图像;将抽取出的所述视频帧图像输入图像识别模型,所述图像识别模型对所述视频图像经过图像二值化处理、边缘检测处理及轮廓追踪处理后,获得车牌区域、人脸区域和人体特征区域,通过字符分割算法对所述车牌区域进行文本特征的提取,获取所述车牌区域的车牌号结果,同时通过YOLO算法对所述人脸区域进行人脸特征的提取,获取所述人脸区域的人脸结果,并通过链码曲率算法对所述人体特征区域进行人体姿势特征的提取,获取所述人体特征区域的人体特征结果;根据所述车牌号结果、所述人脸结果和所述人体特征结果,确定所述视频帧图像对应的识别结果;所述识别结果表征了所述视频帧图像是否包含有所述车牌号、所述人脸图像和所述人体特征图之中的任一个;所述识别结果包括与所述车牌号、所述人脸图像和所述人体特征图相关或非相关;根据每个所述原始视频中的所述视频帧图像对应的所述识别结果,提取出每个所述原始视频中的多个匹配片段,并将所述匹配片段和与其对应的所述唯一标识码进行关联;将与相同的所述唯一标识码关联的所述匹配片段按照时间顺序进行拼接,得到视频合成片段,并将所述视频合成片段与相同的所述唯一标识码进行关联;按照预设的唯一标识码顺序规则,对所有所述视频合成片段进行排序,将排序后的所有所述视频合成片段确定为所述待处理视频集中与所述目标数据集相关的目标视频。
因此,本发明实现了通过获取含有车牌号、人脸图像和人体特征图的目标数据集和含有多个原始视频的待处理视频集,从原始视频中抽取出视频帧图像经过图像二值化处理、边缘检测处理及轮廓追踪处理后,再通过字符分割算法、YOLO算法和链码曲率算法的组合提取相关的特征后得到识别结果,所述识别结果表征了所述视频帧图像是否包含有所述车牌号、所述人脸图像和所述人体特征图之中的任一个,根据识别结果提取出多个匹配片段,并对所述匹配片段进行拼接得到视频合成片段,将排序后的所有所述视频合成片段确定为所述待处理视频集中与所述目标数据集相关的目标视频,因此,实现了自动从待处理视频集中快速地、准确地截取出与目标数据集相关的视频片段,提高了识别效率和准确率,大大降低了投入成本。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例的描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例中视频数据处理方法的应用环境示意图;
图2是本发明一实施例中视频数据处理方法的流程图;
图3是本发明一实施例中视频数据处理方法的步骤S10的流程图;
图4是本发明一实施例中视频数据处理方法的步骤S20的流程图;
图5是本发明一实施例中视频数据处理方法的步骤S30的流程图;
图6是本发明另一实施例中视频数据处理方法的步骤S30的流程图;
图7是本发明一实施例中视频数据处理方法的步骤S40的流程图;
图8是本发明一实施例中视频数据处理装置的原理框图;
图9是本发明一实施例中计算机设备的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明提供的视频数据处理方法,可应用在如图1的应用环境中,其中,客户端(计算机设备)通过网络与服务器进行通信。其中,客户端(计算机设备)包括但不限于为各种个人计算机、笔记本电脑、智能手机、平板电脑、摄像头和便携式可穿戴设备。服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
在一实施例中,如图2所示,提供一种视频数据处理方法,其技术方案主要包括以下步骤S10-S70:
S10,接收视频提取指令,获取目标数据集和待处理视频集;所述目标数据集包括车牌号、人脸图像和人体特征图,所述待处理视频集包括若干个原始视频,每个所述原始视频都与一个唯一标识码关联。
可理解地,所述视频提取指令为选择所述目标数据集和所述待处理视频集之后触发的指令,所述目标数据集为与被查找的目标者相关的数据集,所述目标者为需要被查找的人,所述目标数据集包括车牌号、人脸图像和人体特征图,所述车牌号为目标者驾驶的车辆的唯一的车牌号码,所述人脸图像为目标者的人脸区域的图像,所述人体特征图为目标者某一特定人体姿势的图像,比如所述人体特征图为目标者驾驶车辆时的上半身图像,所述待处理视频集为查找与目标者相关的视频集合,所述待处理视频集包含至少一个所述原始视频,所述原始视频可以为一段未被加工的视频片段,也可以为一段被截取的视频片段,比如原始视频为某一天的某路口的监控视频,或者原始视频为某天19:00至21:00的某街道的监控视频等等,每个所述原始视频都与一个所述唯一标识码关联,所述唯一标识码为对所述原始视频赋予的唯一的标识码,所述唯一标识码可以根据需求进行设定。
在一实施例中,如图3所示,所述步骤10之前,即所述获取目标数据集之前,包括:
S101,接收目标收集指令,获取样本视频;所述样本视频包含一个车牌、一个人脸和一个特定人体姿势。
可理解地,所述目标收集指令为需要对目标者进行信息收集时触发的指令,所述样本视频为一小段与所述目标者相关的视频片段,所述样本视频中的内容包含有一个车牌、一个目标者的人脸和一个目标者的特定人体姿势,即表明所述车牌、所述人脸和所述特定人体姿势在所述样本视频中至少出现一次。
S102,将所述样本视频拆分成若干个样本图像。
可理解地,按照预设的拆分参数,每间隔所述拆分参数就获取所述样本视频中的一个所述样本图像,所述样本图像为从所述样本视频中选取的图像,所述拆分参数可以根据需求进行设定,比如所述拆分参数可以设置为30帧,也可以设置为25帧等等,将所述样本视频拆分出多个所述样本图像。
S103,将所有所述样本图像输入样本采集模型中,所述样本采集模型对所有所述样本图像进行图像采集,截取出所有所述样本图像中包含所述车牌的车牌区域图像,同时截取出所有所述样本图像中包含所述人脸的人脸区域图像,以及提取出所述所有样本图像中包含所述人脸和所述特定人体姿势的人体特征区域图像。
可理解地,所述样本采集模型指为了识别出图像中车牌区域、人脸区域和人体特征区域而训练完成的神经网络模型,所述图像采集为识别并截取出所述样本图像中包含车牌的矩形的车牌区域图像、包含所述人脸的矩形的人脸区域图像和包含所述人脸以及所述特定人体姿势的矩形的人体特征区域图像,所述样本采集模型的网络结构可以根据需求进行设定,比如所述样本采集模型的网络结构可以为Inception系列的网络结构,或者为VGG系列的网络结构。
S104,将所述车牌区域图像输入车牌提取模型中,所述车牌提取模型对所述车牌区域图像进行车牌号识别,获取所述车牌提取模型输出的一个车牌号。
可理解地,所述车牌提取模型指为了识别出图像中的车牌号且训练完成的神经网络模型,所述车牌提取模型的网络结构可以根据需求进行设定,比如所述车牌提取模型的网络结构可以通过迁移学习GoogleNet获得,所述车牌提取模型可以识别出所述车牌区域图像中的汉字、数字和字母,所述车牌号为目标者驾驶的车辆的唯一标识码,所述车牌号由汉字、数字和字母组成。
S105,将所有所述人脸区域图像输入人脸提取模型中,所述人脸提取模型对所有所述人脸区域图像进行筛选,获取所述人脸提取模型筛选出一个人脸图像。
可理解地,通过所述人脸提取模型,从所有所述人脸区域图像中筛选出包含眼睛、眉毛、嘴巴、鼻子、耳朵、脸廓且清晰度最高的人脸区域图像,所述筛选方法可以根据需求进行设定,优选地,所述筛选方法为获取所有所述人脸区域图像中相同位置的像素点的像素值的平均值,将所有所述人脸区域图像中相同位置的像素点的像素值的平均值记录为该像素点对应的像素平均值,将所述人脸区域图像中每个像素点与该像素点对应的所述像素平均值之差并取绝对值得到绝对像素差,以及计算出所述人脸区域图像中所有像素点的所述绝对像素差之和,将所述人脸区域图像中所有像素点的所述绝对像素差之和确定为图像差值,选取出所有所述图像差值中最小对应的所述人脸区域图像确定为所述人脸图像,即将筛选后的所述人脸区域图像确定为所述人脸图像。
S106,将所有所述人体特征区域图像输入人体特征提取模型中,所述人体特征提取模型对所有所述人体特征区域图像进行筛选,获取所述人体特征提取模型筛选出的一个人体特征图。
可理解地,通过所述人体特征提取模型,从所有所述人体特征区域图像中筛选出包含所述人脸和所述特定人体姿势的清晰度最高的所述人体特征区域图像,所述筛选方式可以根据需求进行设定,优选地,所述筛选方式为将每个所述人体特征区域图像中每个像素点对应的像素值与该像素点邻近的四周的像素点对应的像素值之和的差值确定为局部像素差,获取每个所述人体特征区域图像中所有所述局部像素差之和,选取出所有所述人体特征区域图像中所有所述局部像素差之和最小对应的所述人体特征区域图像确定为所述人体特征图,即将筛选后的所述人体特征区域图像确定为所述人体特征图。
S107,将所述车牌号、所述人脸图像和所述人体特征图确定为所述目标数据集。
可理解地,将所述车牌号、所述人脸图像和所述人体特征图确定记录为所述目标数据集,即所述目标数据集包含有与目标者相关的车牌号、人脸和特定人体姿势的信息集合。
如此,通过样本采集模型对样本视频进行图像采集,并通过车牌提取模型、人脸提取模型和人体特征提取模型,从图像采集之后的图像中获取车牌号、人脸图像和人脸特征图,实现了自动从样本视频中识别出车牌号以及截取出目标者的人脸和人体特征图,提高了识别的准确率及截取的可靠性、降低了人工成本,提高了效率。
S20,根据预设的抽取规则,从每个所述原始视频中抽取出至少两个视频帧图像。
可理解地,所述抽取规则可以根据需求进行设置,比如抽取规则可以设置为从原始视频中平均抽取出至少两个的视频帧图像,或者从原始视频中每间隔预设的帧参数抽取视频帧图像等,所述视频帧图像为从所述原始时视频中的帧对应的图像。
在一实施例中,如图4所示,所述步骤S20中,即所述根据预设的抽取规则,从每个所述原始视频中抽取出至少两个视频帧图像,包括:
S201,获取所述原始视频和所述抽取规则中的抽取参数。
可理解地,所述抽取规则可以根据需求进行设置,所述抽取规则的目的为从每个所述原始视频中抽取出至少两个视频帧图像,比如所述抽取规则可以为获取所述原始视频中的开始的视频帧图像和结尾的视频帧图像,以及在所述原始视频中的平分中心点位置的视频帧图像,所述抽取规则也可以为获取所述原始视频中的开始的视频帧图像和结尾的视频帧图像,以及在所述原始视频中间部分每间隔预设的抽取参数选取一个视频帧图像,所述抽取参数可以根据需求进行设定,比如所述抽取参数为15帧、25帧、30帧等等。
S202,将所述原始视频中的开始的视频帧图像确定为开始帧图像。
可理解地,将所述原始视频中的第一帧对应的视频帧图像确定为开始帧图像。
S203,将所述原始视频中的结尾的视频帧图像确定为结尾帧图像。
可理解地,将所述原始视频中最后一帧对应的视频帧图像确定为结尾帧图像。
S204,从所述开始帧图像开始,每隔所述抽取参数抽取一个视频帧图像,直到所述结尾帧图像。
可理解地,所述抽取参数可以根据需求进行设定,比如所述抽取参数可以设定为25帧(约1秒),即从所述开始帧图像开始,每隔25帧就抽取出一个视频帧图像,直到所述结尾帧图像且不够25帧间隔时停止。
S205,将抽取之后的所述视频帧图像确定为过程帧图像。
可理解地,所述过程帧图像为所述原始视频中除了所述开始帧图像和所述结尾帧图像之外的被抽取之后的所述视频帧图像。
S206,由所述开始帧图像、所述结尾帧图像和所述过程帧图像组成所述原始视频中的所有所述视频帧图像。
可理解地,将所述开始帧图像、所述结尾帧图像和所有所述过程帧图像确定为所述原始视频中的所有所述视频帧图像。
如此,提供了一种从原始视频中抽取视频帧图像的方法,并且保证从原始视频中抽取至少两个视频帧图像,通过抽取规则避免了识别过程中遗漏导致抽取不足的问题。
S30,将抽取出的所述视频帧图像输入图像识别模型,所述图像识别模型对所述视频图像经过图像二值化处理、边缘检测处理及轮廓追踪处理后,获得车牌区域、人脸区域和人体特征区域,通过字符分割算法对所述车牌区域进行文本特征的提取,获取所述车牌区域的车牌号结果,同时通过YOLO算法对所述人脸区域进行人脸特征的提取,获取所述人脸区域的人脸结果,并通过链码曲率算法对所述人体特征区域进行人体姿势特征的提取,获取所述人体特征区域的人体特征结果。
可理解地,所述图像识别模型为包含所述图像二值化处理、所述边缘检测处理、所述轮廓追踪处理、所述字符分割算法、所述YOLO算法和所述链码曲率算法的训练完成的神经网络模型,所述图像识别模型能够运用所述图像二值化处理、所述边缘检测处理和所述轮廓追踪处理识别出所述视频图像中的所述车牌区域、所述人脸区域和所述人体特征区域,再通过所述字符分割算法能够识别所述车牌区域的所述车牌号结果,以及通过所述YOLO算法能够识别出所述人脸区域的所述人脸结果,最后通过所述链码曲率算法能够识别出所述人体特征区域的所述人体特征结果。
其中,所述YOLO(You Only Look Once)算法为使用一个CNN(ConvolutionalNeural Networks,卷积神经网络)运算直接预测不同目标的类别和区域的算法。
在一实施例中,如图5所示,所述步骤S30之前,即所述将抽取出的所述视频帧图像输入图像识别模型之前,包括:
S301,获取样本训练图像集;所述样本训练图像集包含若干个样本训练图像,所述样本训练图像包括所有所述车牌区域图像、所有所述人脸样本图像、所有所述人体特征区域图像和若干个负样本图像;每个所述样本训练图像都与一个样本训练标签关联。
可理解地,所述样本训练图像集为所述样本训练图像的集合,所述样本训练图像中包含所有所述车牌区域图像、所有所述人脸区域图像、所有所述人体特征区域图像和至少一个所述负样本图像,所述负样本图像为收集的不包含所述车牌、所述人脸和所述特定人体姿势的图像,所述样本训练图像都与一个所述样本训练标签关联,所述样本训练标签可以根据需求进行设定,比如所述样本训练标签可以设置为包括相关和非相关,或者设置为包括相关车牌、相关人脸、相关人体特征和非相关等等。
S302,将所述样本训练图像输入含有初始参数的深度卷积神经网络模型,通过所述深度卷积神经网络模型对所述样本训练图像提取文本特征、人脸特征和人体姿势特征,所述深度卷积神经网络模型根据提取的所述文本特征、所述人脸特征和所述人体姿势特征输出的训练结果。
可理解地,所述文本特征为与车牌颜色、形状和文字相关的特征,所述人脸特征为与目标者的眼睛、眉毛、嘴巴、鼻子、耳朵、脸廓相关的特征,所述人体姿势特征为与目标者的头、人脸、手臂、肩等相关的特征,所述训练结果表征了所述样本训练图像中是否包含所述车牌号、所述人脸图像和所述人体特征图之中的任一个,所述深度卷积神经网络模型对所有所述车牌区域图像提取所述文本特征,根据提取出的所述文本特征输出所述车牌区域图像对应的训练结果,所述深度卷积神经网络模型对所有所述人脸区域图像提取所述人脸特征,根据提取出的所述人脸特征输出所述人脸区域图像对应的训练结果,所述深度卷积神经网络模型对所有所述人体特征区域图像提取所述人体姿势特征,根据提取出的所述人体姿势特征输出所述人体特征区域图像对应的训练结果,所述深度卷积神经网络模型对所述负样本图像分别提取所述文本特征、所述人脸特征和所述人体姿势特征,根据提取出的所述文本特征、所述人脸特征和所述人体姿势特征输出所述负样本图像对应的训练结果。
S303,将所述训练结果与所述样本训练标签进行匹配,得到损失值。
可理解地,将所述训练结果和所述样本训练标签输入所述深度卷积神经网络模型中的损失函数,所述损失函数可以根据需求进行设定,可以为多分类交叉熵损失函数,也可以为回归损失函数,通过所述损失函数计算出所述损失值。
S304,在所述损失值达到预设的收敛条件时,将收敛之后的所述深度卷积神经网络模型记录为图像识别模型。
其中,所述预设的收敛条件可以为所述损失值经过了7000次计算后值为很小且不会再下降的条件,即在所述损失值经过7000次计算后值为很小且不会再下降时,停止训练,并将收敛后的所述深度卷积神经网络模型记录为图像识别模型;所述预设的收敛条件也可以为所述损失值小于设定阈值的条件,即在所述损失值小于设定阈值时,停止训练,并将收敛后的所述深度卷积神经网络模型记录为图像识别模型。
S305,在所述损失值未达到预设的收敛条件时,迭代更新所述深度卷积神经网络模型的初始参数,直至所述损失值达到所述预设的收敛条件时,将收敛之后的所述深度卷积神经网络模型记录为图像识别模型。
可理解地,在所述损失值未达到预设的收敛条件时,不断更新迭代所述深度卷积神经网络模型的初始参数,可以不断向准确的识别结果靠拢,让识别结果的准确率越来越高。
如此,通过将样本视频输入样本采集模型而输出的车牌区域图像、所述人脸样本图像和所述人体特征区域图像作为样本训练图像,通过样本训练图像进行训练得到图像识别模型,因此,图像识别模型对目标数据集的数据更加敏感,从而提高了图像识别模型更具有针对性,识别准确率更高,提升了识别可靠性。
在一实施例中,如图6所示,所述步骤S30中,即所述将抽取出的所述视频帧图像输入图像识别模型,所述图像识别模型对所述视频图像经过图像二值化处理、边缘检测处理及轮廓追踪处理后,获得车牌区域、人脸区域和人体特征区域,通过字符分割算法对所述车牌区域进行文本特征的提取,获取所述车牌区域的车牌号结果,同时通过YOLO算法对所述人脸区域进行人脸特征的提取,获取所述人脸区域的人脸结果,并通过链码曲率算法对所述人体特征区域进行人体姿势特征的提取,获取所述人体特征区域的人体特征结果,包括:
S306,通过所述图像识别模型对所述视频帧图像进行二值化处理,得到灰度图像。
可理解地,通过所述灰度算法,计算出所述视频帧图像中每个像素点的灰度值,所述灰度值范围为0至255,即为二值化处理,将所有所述灰度值按照对应像素点的位置排布即得到灰度图像。
S307,通过Candy算法对所述灰度图像进行边缘检测处理,得到边缘图像。
可理解地,所述Candy算法(坎尼边缘提取算法)为提取物体边缘的算法,所述Candy算法使用了变分法做到不容易受噪声干扰,并且能够检测出弱边缘的真正边缘,所述Candy算法首先采用二维高斯滤波函数进行卷积,进行降噪处理使图像中的每个像素的噪声降到无干扰的影响;其次根据边缘轮廓上的点、两个方向的一阶偏导数及梯度,计算出该点的梯度方向;再根据梯度方向对应的0度,45度,90度和135度方向,确定邻接点;最后计算该点与邻接点的灰度值的差值,根据差值确定边缘,最终得到所述最终边缘图像。
S308,根据跟踪准则和结点准则,对所述边缘图像进行轮廓跟踪处理,得到轮廓图像。
可理解地,所述轮廓跟踪处理为从一个起点开始按照该起点附近的边缘路线进行寻找,寻找出符合所述跟踪准则的点,顺着符合所述跟踪准则的点一直跟踪直到寻找到符合所述结点准则的点,从而将所述边缘图像中的轮廓进行明确标识,进而得到所述轮廓图像。
S309,对所述轮廓图像进行分析,截取出包含车牌的所述车牌区域、包含人脸的所述人脸区域和包含人体姿势相关的所述人体特征区域。
可理解地,通过对所有所述轮廓图像进行图像分析,即分析所述轮廓图像中包含车牌、人脸或者人体姿势,从分析结果中确定出包含车牌的所述车牌区域、包含人脸的所述人脸区域和包含人体姿势相关的所述人体特征区域,并进行截取。
S310,通过字符分割算法和字符识别方法,所述图像识别模型提取所述车牌区域的所述文本特征,得到所述车牌号结果。
可理解地,所述字符分割算法为从所述车牌区域中分割成单个字符的图像,所述字符识别方法为通过对分割后的单个字符的图像进行字母、汉字和数字的识别,即提取单个字符的图像的所述文本特征,根据提取的所述文本特征识别出该单个字符的图像对应的字符值,根据所述字符分割算法和所述字符识别方法,通过所述图像识别模型对所述车牌区域进行所述文本特征的提取,根据所述文本特征确定出所述车牌结果,所述车牌结果为识别出的所述车牌区域对应的车牌号码与所述车牌号是否相同,所述车牌结果可以根据需求进行设定,比如所述车牌结果可以包括与目标者的车牌号相同和与目标者的车牌号不相同。
S311,通过YOLO算法,所述图像识别模型提取所述人脸区域的所述人脸特征,得到所述人脸结果。
可理解地,所述YOLO(You Only Look Once)算法为使用一个CNN运算直接预测不同目标的类别和区域的算法,所述图像识别模型通过所述YOLO算法提取所述人脸区域中的所述人脸特征,所述人脸特征为与目标者的眼睛、眉毛、嘴巴、鼻子、耳朵、脸廓相关的特征,根据所述人脸特征确定出所述人脸结果,所述人脸结果表征了所述人脸区域中是否包含有目标者的人脸,所述人脸结果可以根据需求进行设定,比如所述人脸结果包括与目标者人脸相关和与目标者人脸非相关。
S312,通过链码曲率算法,所述图像识别模型识别出所述人体特征区域的肩宽尺度、脖子尺度和胸宽尺度,根据所述肩宽尺度、所述脖子尺度和所述胸宽尺度提取出所述人体姿势特征,得到所述人体特征结果。
可理解地,链码曲率算法为计算所述人体特征区域的轮廓边缘的点四连通链码或者八连通链码对应的曲率值的算法,通过所述图像识别模型对每个轮廓边缘的点进行识别,识别出所述肩宽尺度、所述脖子尺度和所述胸宽尺度,根据所述肩宽尺度、所述脖子尺度和所述胸宽尺度之间的比率提取出所述人体姿势特征对应的向量值,根据所述人体姿势特征对应的向量值确定出所述人体特征结果,所述人体特征结果表针了所述人体特征区域中是否包含有目标者的人体姿势,所述人体特征结果可以根据需求进行设定,比如所述人体特征结果包括与目标者人体姿势相关和与目标者人体姿势非相关。
本发明通过对所述视频帧图像进行二值化处理、基于Candy算法的边缘检测处理和轮廓跟踪处理后得到车牌区域、人脸区域和人体特征区域,运用字符分割算法识别出车牌区域的车牌号结果,运用YOLO算法识别人脸区域的人脸结果和运用链码曲率算法识别出人体特征区域的人体特征结果,实现了快速地、准确地识别出车牌号结果、人脸结果和人体特征结果,提高了准确率和可靠性。
S40,根据所述车牌号结果、所述人脸结果和所述人体特征结果,确定所述视频帧图像对应的识别结果;所述识别结果表征了所述视频帧图像是否包含有所述车牌号、所述人脸图像和所述人体特征图之中的任一个;所述识别结果包括与所述车牌号、所述人脸图像和所述人体特征图相关或非相关。
可理解地,如果所述车牌号结果为与目标者的车牌号不相同,且所述人脸结果为与目标者人脸非相关,且所述人体特征结果为与目标者人体姿势非相关,则确定所述视频帧图像对应的识别结果为与所述车牌号、所述人脸图像和所述人体特征图非相关,如果所述车牌号结果为与目标者的车牌号相同,或者所述人脸结果为与目标者人脸相关,或者所述人体特征结果为与目标者人体姿势相关,则确定所述视频图像对应的识别结果为与所述车牌号、所述人脸图像和所述人体特征图非相关,如此,可以将所述目标者的人脸部分被遮挡后且目标者驾驶着车辆的视频帧图像确定为相关的图像,能够更加准确地识别出与目标者相关的视频。
在一实施例中,如图7所示,所述步骤S40中,即所述根据所述车牌号结果、所述人脸结果和所述人体特征结果,确定所述视频帧图像对应的识别结果,包括:
S401,将所述视频帧图像的所述车牌号结果、所述人脸结果和所述人体特征结果确定为所述视频帧图像的识别集合。
可理解地,所述识别集合为包含有多个所述车牌号结果、多个所述人脸结果和多个所述人体特征结果的集合。
S402,若所述识别集合中存在与所述车牌号、所述人脸图像和所述人体特征图之中的任一个相匹配,确定所述视频帧图像对应的识别结果为与所述车牌号、所述人脸图像和所述人体特征图相关。
可理解地,只要所述识别集合中的其中一个与所述车牌号或者所述人脸图像或者所述人体特征图相匹配,就确定所述视频帧图像对应的识别结果为与所述车牌号、所述人脸图像和所述人体特征图相关。
S403,若所述识别集合中与所述车牌号、所述人脸图像和所述人体特征图均不匹配,确定所述视频帧图像对应的识别结果为与所述车牌号、所述人脸图像和所述人体特征图非相关。
可理解地,所述识别集合中没有任何一个与所述车牌号或者所述人脸图像或者所述人体特征图相匹配,从而确定所述视频帧图像对应的识别结果为与所述车牌号、所述人脸图像和所述人体特征图非相关。
如此,本发明通过图像识别模型能够快速地、准确地识别出所述视频帧图像是否包含有所述车牌号、所述人脸图像和所述人体特征图之中的任一个,得出相关或非相关的识别结果,提高了识别效率和可靠性。
S50,根据每个所述原始视频中的所述视频帧图像对应的所述识别结果,提取出每个所述原始视频中的多个匹配片段,并将所述匹配片段和与其对应的所述唯一标识码进行关联;所述匹配片段为所述原始视频中的起点帧图像与终点帧图像之间的视频片段;所述起点帧图像是指识别结果为相关且与其相邻的前一个视频帧图像的识别结果为非相关的视频帧图像;所述终点帧图像是指识别结果为非相关且与其相邻的前一个视频帧图像的识别结果为相关的视频帧图像,或指所述原始视频中的结尾的视频帧图像。
可理解地,根据的所述视频帧图像对应的所述识别结果,即根据每个所述原始视频中的所述识别结果为相关的视频帧图像和所述识别结果为非相关的视频帧图像,提取出每个所述原始视频中的多个匹配片段,并将所述匹配片段和与其对应的所述唯一标识码进行关联,所述唯一标识码可以根据需求进行设定,比如所述唯一标识码可以为精确至秒级的时间轴的时间值,或者为拍摄设备的唯一标识码与时间值进行组合的组合码。
其中,所述匹配片段为包含有所述车牌号、所述人脸图像和所述人体特征图之中的任一个相关的视频片段。
在一实施例中,所述步骤S50中,即所述根据每个所述原始视频中的所述视频帧图像对应的所述识别结果,提取出每个所述原始视频中的多个匹配片段,并将所述匹配片段与其对应的原始视频关联的所述唯一标识码进行关联,包括:
S501,获取所述原始视频。
S502,按照时间顺序,从所述原始视频中获取所有所述起点帧图像,从所述原始视频中获取所有所述终点帧图像。
可理解地,所述起点帧图像是指识别结果为相关且与其相邻的前一个视频帧图像的识别结果为非相关的视频帧图像,所述终点帧图像是指识别结果为非相关且与其相邻的前一个视频帧图像的识别结果为相关的视频帧图像,或指所述原始视频中的结尾的视频帧图像,从所述原始视频中获取所有所述起点帧图像和所有所述终点帧图像。
S503,若所述原始视频中不存在所述起点帧图像和所述终点帧图像,确定所述原始视频为无匹配片段。
可理解地,如果所述原始视频中不存在所述起点帧图像和所述终点帧图像,则确定所述原始视频中没有相匹配的视频片段,即将所述原始视频标记为无匹配片段。
S504,若所述原始视频中只存在一个所述起点帧图像且不存在所述终点帧图像,将所述起点帧图像记录为所述原始视频的所述匹配片段。
可理解地,如果所述原始视频中只存在一个所述起点帧图像而且不存在所述终点帧图像,则将所述起点帧图像标记为所述原始视频的所述匹配片段。
S505,若所述原始视频中只存在一个所述终点帧图像且不存在所述起点帧图像,将所述终点帧图像记录为所述原始视频的所述匹配片段。
可理解地,如果所述原始视频中只存在一个所述终点帧图像而且不存在所述起点帧图像,则将所述终点帧图像标记为所述原始视频的所述匹配片段。
S506,若所述起点帧图像之后存在与其相邻的所述终点帧图像,获取所述起点帧图像与所述终点帧图像之间的视频片段,并将所述起点帧图像与所述终点帧图像之间的视频片段记录为所述原始视频的所述匹配片段。
可理解地,如果所述起点帧图像之后存在与其相邻的所述终点帧图像,截取出所述起点帧图像与所述终点帧图像之间的视频片段,并将该视频片段标记为所述原始视频的所述匹配片段。
S507,将所有所述匹配片段与所述原始视频关联的所述唯一标识码进行关联。
可理解地,将所述匹配片段和与所述原始视频关联的所述唯一标识码进行关联,所述唯一标识码可以根据需求进行设定,比如所述唯一标识码可以为精确至秒级的时间轴的时间值,或者为拍摄设备的唯一标识码与时间值进行组合的组合码。
如此,提供了一种获取匹配片段的截取方法,能够准确截取出所需的视频片段,提高了效率,减少了成本。
S60,将与相同的所述唯一标识码关联的所述匹配片段按照时间顺序进行拼接,得到视频合成片段,并将所述视频合成片段与相同的所述唯一标识码进行关联。
可理解地,按照时间顺序,将与相同的所述唯一标识码关联的所述匹配片段进行拼接,获得一个按时间进度发展的所述视频合成片段,以及将所述视频合成片段与该唯一标识码进行关联。
S70,按照预设的唯一标识码顺序规则,对所有所述视频合成片段进行排序,将排序后的所有所述视频合成片段确定为所述待处理视频集中与所述目标数据集相关的目标视频。
可理解地,所述唯一标识码顺序规则为对所述唯一标识码根据需求而预设的排序规则,比如所述唯一标识码顺序规则可以为目标者驾驶经过的道路路线顺序,或者可以为目标者驾驶的时间顺序等等,将排序后的所有所述视频合成片段确定为所述待处理视频集中与所述目标图像集目标数据集相关的目标视频,如此,在发生交通事故之后,能够快速地将针对目标者的所述目标视频提供给定责人员,并将所述目标视频作为定责证据,无需人工查看及截取,也不受工作人员的精神状态影响,因此,减少了投入成本,提高了工作效率。
本发明实现了通过获取含有车牌号、人脸图像和人体特征图的目标数据集和含有多个原始视频的待处理视频集,从原始视频中抽取出视频帧图像经过图像二值化处理、边缘检测处理及轮廓追踪处理后,再通过字符分割算法、YOLO算法和链码曲率算法的组合提取相关的特征后得到识别结果,所述识别结果表征了所述视频帧图像是否包含有所述车牌号、所述人脸图像和所述人体特征图之中的任一个,根据识别结果提取出多个匹配片段,并对所述匹配片段进行拼接得到视频合成片段,将排序后的所有所述视频合成片段确定为所述待处理视频集中与所述目标数据集相关的目标视频,因此,实现了自动从待处理视频集中快速地、准确地截取出与目标数据集相关的视频片段,提高了识别效率和准确率,大大降低了投入成本。
在一实施例中,提供一种视频数据处理装置,该视频数据处理装置与上述实施例中视频数据处理方法一一对应。如图8所示,该视频数据处理装置包括接收模块11、抽取模块12、获取模块13、识别模块14、提取模块15、合并模块16和确定模块17。各功能模块详细说明如下:
接收模块11,用于接收视频提取指令,获取目标数据集和待处理视频集;所述目标数据集包括车牌号、人脸图像和人体特征图,所述待处理视频集包括若干个原始视频,每个所述原始视频都与一个唯一标识码关联;
抽取模块12,用于根据预设的抽取规则,从每个所述原始视频中抽取出至少两个视频帧图像;
获取模块13,用于将抽取出的所述视频帧图像输入图像识别模型,所述图像识别模型对所述视频图像经过图像二值化处理、边缘检测处理及轮廓追踪处理后,获得车牌区域、人脸区域和人体特征区域,通过字符分割算法对所述车牌区域进行文本特征的提取,获取所述车牌区域的车牌号结果,同时通过YOLO算法对所述人脸区域进行人脸特征的提取,获取所述人脸区域的人脸结果,并通过链码曲率算法对所述人体特征区域进行人体姿势特征的提取,获取所述人体特征区域的人体特征结果;
识别模块14,用于根据所述车牌号结果、所述人脸结果和所述人体特征结果,确定所述视频帧图像对应的识别结果;所述识别结果表征了所述视频帧图像是否包含有所述车牌号、所述人脸图像和所述人体特征图之中的任一个;所述识别结果包括与所述车牌号、所述人脸图像和所述人体特征图相关或非相关;
提取模块15,用于根据每个所述原始视频中的所述视频帧图像对应的所述识别结果,提取出每个所述原始视频中的多个匹配片段,并将所述匹配片段和与其对应的所述唯一标识码进行关联;所述匹配片段为所述原始视频中的起点帧图像与终点帧图像之间的视频片段;所述起点帧图像是指识别结果为相关且与其相邻的前一个视频帧图像的识别结果为非相关的视频帧图像;所述终点帧图像是指识别结果为非相关且与其相邻的前一个视频帧图像的识别结果为相关的视频帧图像,或指所述原始视频中的结尾的视频帧图像;
合并模块16,用于将与相同的所述唯一标识码关联的所述匹配片段按照时间顺序进行拼接,得到视频合成片段,并将所述视频合成片段与相同的所述唯一标识码进行关联;
确定模块17,用于按照预设的唯一标识码顺序规则,对所有所述视频合成片段进行排序,将排序后的所有所述视频合成片段确定为所述待处理视频集中与所述目标数据集相关的目标视频。
在一实施例中,所述接收模块11包括:
接收单元,用于接收目标收集指令,获取样本视频;所述样本视频包含一个车牌、一个人脸和一个特定人体姿势;
拆分单元,用于将所述样本视频拆分成若干个样本图像;
第一输入单元,用于将所有所述样本图像输入样本采集模型中,所述样本采集模型对所有所述样本图像进行图像采集,截取出所有所述样本图像中包含所述车牌的车牌区域图像,同时截取出所有所述样本图像中包含所述人脸的人脸区域图像,以及提取出所述所有样本图像中包含所述人脸和所述特定人体姿势的人体特征区域图像;
第一获取单元,用于将所述车牌区域图像输入车牌提取模型中,所述车牌提取模型对所述车牌区域图像进行车牌号识别,获取所述车牌提取模型输出的一个车牌号;
第二获取单元,用于将所有所述人脸区域图像输入人脸提取模型中,所述人脸提取模型对所有所述人脸区域图像进行筛选,获取所述人脸提取模型筛选出一个人脸图像;
第三获取单元,用于将所有所述人体特征区域图像输入人体特征提取模型中,所述人体特征提取模型对所有所述人体特征区域图像进行筛选,获取所述人体特征提取模型筛选出的一个人体特征图;
第一输出单元,用于将所述车牌号、所述人脸图像和所述人体特征图确定为所述目标数据集。
在一实施例中,所述抽取模块12包括:
第四获取单元,用于获取所述原始视频和所述抽取规则中的抽取参数;
第一确定单元,用于将所述原始视频中的开始的视频帧图像确定为开始帧图像;
第二确定单元,用于将所述原始视频中的结尾的视频帧图像确定为结尾帧图像;
抽取单元,用于从所述开始帧图像开始,每隔所述抽取参数抽取一个视频帧图像,直到所述结尾帧图像;
第三确定单元,用于将抽取之后的所述视频帧图像确定为过程帧图像;
第二输出单元,用于由所述开始帧图像、所述结尾帧图像和所述过程帧图像组成所述原始视频中的所有所述视频帧图像。
在一实施例中,所述获取模块13包括:
第五获取单元,用于获取样本训练图像集;所述样本训练图像集包含若干个样本训练图像,所述样本训练图像包括所有所述车牌区域图像、所有所述人脸样本图像、所有所述人体特征区域图像和若干个负样本图像;每个所述样本训练图像都与一个样本训练标签关联;
第二输入单元,用于将所述样本训练图像输入含有初始参数的深度卷积神经网络模型,通过所述深度卷积神经网络模型对所述样本训练图像提取文本特征、人脸特征和人体姿势特征,所述深度卷积神经网络模型根据提取的所述文本特征、所述人脸特征和所述人体姿势特征输出的训练结果;
损失单元,用于将所述训练结果与所述样本训练标签进行匹配,得到损失值;
第一收敛单元,用于在所述损失值达到预设的收敛条件时,将收敛之后的所述深度卷积神经网络模型记录为图像识别模型;
第二收敛单元,用于在所述损失值未达到预设的收敛条件时,迭代更新所述深度卷积神经网络模型的初始参数,直至所述损失值达到所述预设的收敛条件时,将收敛之后的所述深度卷积神经网络模型记录为图像识别模型。
在一实施例中,所述获取模块13还包括:
第一处理单元,用于通过所述图像识别模型对所述视频帧图像进行二值化处理,得到灰度图像;
第二处理单元,用于通过Candy算法对所述灰度图像进行边缘检测处理,得到边缘图像;
第三处理单元,用于根据跟踪准则和结点准则,对所述边缘图像进行轮廓跟踪处理,得到轮廓图像;
分析单元,用于对所述轮廓图像进行分析,截取出包含车牌的所述车牌区域、包含人脸的所述人脸区域和包含人体姿势相关的所述人体特征区域;
第一提取单元,用于通过字符分割算法和字符识别方法,所述图像识别模型提取所述车牌区域的所述文本特征,得到所述车牌号结果;
第二提取单元,用于通过YOLO算法,所述图像识别模型提取所述人脸区域的所述人脸特征,得到所述人脸结果;
第三输出单元,用于通过链码曲率算法,所述图像识别模型识别出所述人体特征区域的肩宽尺度、脖子尺度和胸宽尺度,根据所述肩宽尺度、所述脖子尺度和所述胸宽尺度提取出所述人体姿势特征,得到所述人体特征结果。
在一实施例中,所述识别模块14包括:
第四确定单元,用于将所述视频帧图像的所述车牌号结果、所述人脸结果和所述人体特征结果确定为所述视频帧图像的识别集合;
第五确定单元,用于若所述识别集合中存在与所述车牌号、所述人脸图像和所述人体特征图之中的任一个相匹配,确定所述视频帧图像对应的识别结果为与所述车牌号、所述人脸图像和所述人体特征图相关;
第六确定单元,用于若所述识别集合中与所述车牌号、所述人脸图像和所述人体特征图均不匹配,确定所述视频帧图像对应的识别结果为与所述车牌号、所述人脸图像和所述人体特征图非相关。
在一实施例中,所述提取模块15包括:
第六获取单元,用于获取所述原始视频;
第七获取单元,用于按照时间顺序,从所述原始视频中获取所有所述起点帧图像,从所述原始视频中获取所有所述终点帧图像;
第七确定单元,用于若所述原始视频中不存在所述起点帧图像和所述终点帧图像,确定所述原始视频为无匹配片段;
第八确定单元,用于若所述原始视频中只存在一个所述起点帧图像且不存在所述终点帧图像,将所述起点帧图像记录为所述原始视频的所述匹配片段;
第九确定单元,用于若所述原始视频中只存在一个所述终点帧图像且不存在所述起点帧图像,将所述终点帧图像记录为所述原始视频的所述匹配片段;
第十确定单元,用于若所述起点帧图像之后存在与其相邻的所述终点帧图像,获取所述起点帧图像与所述终点帧图像之间的视频片段,并将所述起点帧图像与所述终点帧图像之间的视频片段记录为所述原始视频的所述匹配片段;
关联单元,用于将所有所述匹配片段与所述原始视频关联的所述唯一标识码进行关联。
关于视频数据处理装置的具体限定可以参见上文中对于视频数据处理方法的限定,在此不再赘述。上述视频数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图9所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频数据处理方法。
在一个实施例中,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述实施例中视频数据处理方法。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述实施例中视频数据处理方法。
进一步地,所述计算机可读存储介质可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作***、至少一个功能所需的应用程序等;存储数据区可存储根据区块链节点的使用所创建的数据等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种视频数据处理方法,其特征在于,包括:
接收视频提取指令,获取目标数据集和待处理视频集;所述目标数据集包括车牌号、人脸图像和人体特征图,所述待处理视频集包括若干个原始视频,每个所述原始视频都与一个唯一标识码关联;
根据预设的抽取规则,从每个所述原始视频中抽取出至少两个视频帧图像;
将抽取出的所述视频帧图像输入图像识别模型,所述图像识别模型对所述视频图像经过图像二值化处理、边缘检测处理及轮廓追踪处理后,获得车牌区域、人脸区域和人体特征区域,通过字符分割算法对所述车牌区域进行文本特征的提取,获取所述车牌区域的车牌号结果,同时通过YOLO算法对所述人脸区域进行人脸特征的提取,获取所述人脸区域的人脸结果,并通过链码曲率算法对所述人体特征区域进行人体姿势特征的提取,获取所述人体特征区域的人体特征结果;
根据所述车牌号结果、所述人脸结果和所述人体特征结果,确定所述视频帧图像对应的识别结果;所述识别结果表征了所述视频帧图像是否包含有所述车牌号、所述人脸图像和所述人体特征图之中的任一个;所述识别结果包括与所述车牌号、所述人脸图像和所述人体特征图相关或非相关;
根据每个所述原始视频中的所述视频帧图像对应的所述识别结果,提取出每个所述原始视频中的多个匹配片段,并将所述匹配片段和与其对应的所述唯一标识码进行关联;所述匹配片段为所述原始视频中的起点帧图像与终点帧图像之间的视频片段;所述起点帧图像是指识别结果为相关且与其相邻的前一个视频帧图像的识别结果为非相关的视频帧图像;所述终点帧图像是指识别结果为非相关且与其相邻的前一个视频帧图像的识别结果为相关的视频帧图像,或指所述原始视频中的结尾的视频帧图像;
将与相同的所述唯一标识码关联的所述匹配片段按照时间顺序进行拼接,得到视频合成片段,并将所述视频合成片段与相同的所述唯一标识码进行关联;
按照预设的唯一标识码顺序规则,对所有所述视频合成片段进行排序,将排序后的所有所述视频合成片段确定为所述待处理视频集中与所述目标数据集相关的目标视频。
2.如权利要求1所述的视频数据处理方法,其特征在于,所述获取目标数据集之前,包括:
接收目标收集指令,获取样本视频;所述样本视频包含一个车牌、一个人脸和一个特定人体姿势;
将所述样本视频拆分成若干个样本图像;
将所有所述样本图像输入样本采集模型中,所述样本采集模型对所有所述样本图像进行图像采集,截取出所有所述样本图像中包含所述车牌的车牌区域图像,同时截取出所有所述样本图像中包含所述人脸的人脸区域图像,以及提取出所述所有样本图像中包含所述人脸和所述特定人体姿势的人体特征区域图像;
将所述车牌区域图像输入车牌提取模型中,所述车牌提取模型对所述车牌区域图像进行车牌号识别,获取所述车牌提取模型输出的一个车牌号;
将所有所述人脸区域图像输入人脸提取模型中,所述人脸提取模型对所有所述人脸区域图像进行筛选,获取所述人脸提取模型筛选出一个人脸图像;
将所有所述人体特征区域图像输入人体特征提取模型中,所述人体特征提取模型对所有所述人体特征区域图像进行筛选,获取所述人体特征提取模型筛选出的一个人体特征图;
将所述车牌号、所述人脸图像和所述人体特征图确定为所述目标数据集。
3.如权利要求1所述的视频数据处理方法,其特征在于,所述根据预设的抽取规则,从每个所述原始视频中抽取出至少两个视频帧图像,包括:
获取所述原始视频和所述抽取规则中的抽取参数;
将所述原始视频中的开始的视频帧图像确定为开始帧图像;
将所述原始视频中的结尾的视频帧图像确定为结尾帧图像;
从所述开始帧图像开始,每隔所述抽取参数抽取一个视频帧图像,直到所述结尾帧图像;
将抽取之后的所述视频帧图像确定为过程帧图像;
由所述开始帧图像、所述结尾帧图像和所述过程帧图像组成所述原始视频中的所有所述视频帧图像。
4.如权利要求1所述的视频数据处理方法,其特征在于,所述将抽取出的所述视频帧图像输入图像识别模型之前,包括:
获取样本训练图像集;所述样本训练图像集包含若干个样本训练图像,所述样本训练图像包括所有所述车牌区域图像、所有所述人脸样本图像、所有所述人体特征区域图像和若干个负样本图像;每个所述样本训练图像都与一个样本训练标签关联;
将所述样本训练图像输入含有初始参数的深度卷积神经网络模型,通过所述深度卷积神经网络模型对所述样本训练图像提取文本特征、人脸特征和人体姿势特征,所述深度卷积神经网络模型根据提取的所述文本特征、所述人脸特征和所述人体姿势特征输出的训练结果;
将所述训练结果与所述样本训练标签进行匹配,得到损失值;
在所述损失值达到预设的收敛条件时,将收敛之后的所述深度卷积神经网络模型记录为图像识别模型;
在所述损失值未达到预设的收敛条件时,迭代更新所述深度卷积神经网络模型的初始参数,直至所述损失值达到所述预设的收敛条件时,将收敛之后的所述深度卷积神经网络模型记录为图像识别模型。
5.如权利要求1所述的视频数据处理方法,其特征在于,所述将抽取出的所述视频帧图像输入图像识别模型,所述图像识别模型对所述视频图像经过图像二值化处理、边缘检测处理及轮廓追踪处理后,获得车牌区域、人脸区域和人体特征区域,通过字符分割算法对所述车牌区域进行文本特征的提取,获取所述车牌区域的车牌号结果,同时通过YOLO算法对所述人脸区域进行人脸特征的提取,获取所述人脸区域的人脸结果,并通过链码曲率算法对所述人体特征区域进行人体姿势特征的提取,获取所述人体特征区域的人体特征结果,包括:
通过所述图像识别模型对所述视频帧图像进行二值化处理,得到灰度图像;
通过Candy算法对所述灰度图像进行边缘检测处理,得到边缘图像;
根据跟踪准则和结点准则,对所述边缘图像进行轮廓跟踪处理,得到轮廓图像;
对所述轮廓图像进行分析,截取出包含车牌的所述车牌区域、包含人脸的所述人脸区域和包含人体姿势相关的所述人体特征区域;
通过字符分割算法和字符识别方法,所述图像识别模型提取所述车牌区域的所述文本特征,得到所述车牌号结果;
通过YOLO算法,所述图像识别模型提取所述人脸区域的所述人脸特征,得到所述人脸结果;
通过链码曲率算法,所述图像识别模型识别出所述人体特征区域的肩宽尺度、脖子尺度和胸宽尺度,根据所述肩宽尺度、所述脖子尺度和所述胸宽尺度提取出所述人体姿势特征,得到所述人体特征结果。
6.如权利要求1所述的视频数据处理方法,其特征在于,所述根据所述车牌号结果、所述人脸结果和所述人体特征结果,确定所述视频帧图像对应的识别结果,包括:
将所述视频帧图像的所述车牌号结果、所述人脸结果和所述人体特征结果确定为所述视频帧图像的识别集合;
若所述识别集合中存在与所述车牌号、所述人脸图像和所述人体特征图之中的任一个相匹配,确定所述视频帧图像对应的识别结果为与所述车牌号、所述人脸图像和所述人体特征图相关;
若所述识别集合中与所述车牌号、所述人脸图像和所述人体特征图均不匹配,确定所述视频帧图像对应的识别结果为与所述车牌号、所述人脸图像和所述人体特征图非相关。
7.如权利要求1所述的视频数据处理方法,其特征在于,所述根据每个所述原始视频中的所述视频帧图像对应的所述识别结果,提取出每个所述原始视频中的多个匹配片段,并将所述匹配片段与其对应的原始视频关联的所述唯一标识码进行关联,包括:
获取所述原始视频;
按照时间顺序,从所述原始视频中获取所有所述起点帧图像,从所述原始视频中获取所有所述终点帧图像;
若所述原始视频中不存在所述起点帧图像和所述终点帧图像,确定所述原始视频为无匹配片段;
若所述原始视频中只存在一个所述起点帧图像且不存在所述终点帧图像,将所述起点帧图像记录为所述原始视频的所述匹配片段;
若所述原始视频中只存在一个所述终点帧图像且不存在所述起点帧图像,将所述终点帧图像记录为所述原始视频的所述匹配片段;
若所述起点帧图像之后存在与其相邻的所述终点帧图像,获取所述起点帧图像与所述终点帧图像之间的视频片段,并将所述起点帧图像与所述终点帧图像之间的视频片段记录为所述原始视频的所述匹配片段;
将所有所述匹配片段与所述原始视频关联的所述唯一标识码进行关联。
8.一种视频数据处理装置,其特征在于,包括:
接收模块,用于接收视频提取指令,获取目标数据集和待处理视频集;所述目标数据集包括车牌号、人脸图像和人体特征图,所述待处理视频集包括若干个原始视频,每个所述原始视频都与一个唯一标识码关联;
抽取模块,用于根据预设的抽取规则,从每个所述原始视频中抽取出至少两个视频帧图像;
获取模块,用于将抽取出的所述视频帧图像输入图像识别模型,所述图像识别模型对所述视频图像经过图像二值化处理、边缘检测处理及轮廓追踪处理后,获得车牌区域、人脸区域和人体特征区域,通过字符分割算法对所述车牌区域进行文本特征的提取,获取所述车牌区域的车牌号结果,同时通过YOLO算法对所述人脸区域进行人脸特征的提取,获取所述人脸区域的人脸结果,并通过链码曲率算法对所述人体特征区域进行人体姿势特征的提取,获取所述人体特征区域的人体特征结果;
识别模块,用于根据所述车牌号结果、所述人脸结果和所述人体特征结果,确定所述视频帧图像对应的识别结果;所述识别结果表征了所述视频帧图像是否包含有所述车牌号、所述人脸图像和所述人体特征图之中的任一个;所述识别结果包括与所述车牌号、所述人脸图像和所述人体特征图相关或非相关;
提取模块,用于根据每个所述原始视频中的所述视频帧图像对应的所述识别结果,提取出每个所述原始视频中的多个匹配片段,并将所述匹配片段和与其对应的所述唯一标识码进行关联;所述匹配片段为所述原始视频中的起点帧图像与终点帧图像之间的视频片段;所述起点帧图像是指识别结果为相关且与其相邻的前一个视频帧图像的识别结果为非相关的视频帧图像;所述终点帧图像是指识别结果为非相关且与其相邻的前一个视频帧图像的识别结果为相关的视频帧图像,或指所述原始视频中的结尾的视频帧图像;
合并模块,用于将与相同的所述唯一标识码关联的所述匹配片段按照时间顺序进行拼接,得到视频合成片段,并将所述视频合成片段与相同的所述唯一标识码进行关联;
确定模块,用于按照预设的唯一标识码顺序规则,对所有所述视频合成片段进行排序,将排序后的所有所述视频合成片段确定为所述待处理视频集中与所述目标数据集相关的目标视频。
9.一种计算机设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述视频数据处理方法。
10.一种计算机可读存储介质,包括存储数据区和存储程序区,存储数据区存储根据区块链节点的使用所创建的数据,存储程序区存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述视频数据处理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010332455.9A CN111626123A (zh) | 2020-04-24 | 2020-04-24 | 视频数据处理方法、装置、计算机设备及存储介质 |
PCT/CN2020/099082 WO2021212659A1 (zh) | 2020-04-24 | 2020-06-30 | 视频数据处理方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010332455.9A CN111626123A (zh) | 2020-04-24 | 2020-04-24 | 视频数据处理方法、装置、计算机设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111626123A true CN111626123A (zh) | 2020-09-04 |
Family
ID=72271775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010332455.9A Pending CN111626123A (zh) | 2020-04-24 | 2020-04-24 | 视频数据处理方法、装置、计算机设备及存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111626123A (zh) |
WO (1) | WO2021212659A1 (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112257674A (zh) * | 2020-11-17 | 2021-01-22 | 珠海大横琴科技发展有限公司 | 一种视觉数据处理的方法和装置 |
CN112465691A (zh) * | 2020-11-25 | 2021-03-09 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
CN112650876A (zh) * | 2020-12-30 | 2021-04-13 | 北京嘀嘀无限科技发展有限公司 | 图像处理方法、装置、电子设备、存储介质和程序产品 |
CN113435330A (zh) * | 2021-06-28 | 2021-09-24 | 平安科技(深圳)有限公司 | 基于视频的微表情识别方法、装置、设备及存储介质 |
CN113674313A (zh) * | 2021-07-05 | 2021-11-19 | 北京旷视科技有限公司 | 一种行人跟踪方法、装置、存储介质和电子设备 |
CN113688810A (zh) * | 2021-10-26 | 2021-11-23 | 深圳市安软慧视科技有限公司 | 一种边缘设备的目标捕获方法、***及相关设备 |
CN114004757A (zh) * | 2021-10-14 | 2022-02-01 | 大族激光科技产业集团股份有限公司 | 去除工业图像中干扰的方法、***、设备和存储介质 |
CN114286171A (zh) * | 2021-08-19 | 2022-04-05 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、设备及存储介质 |
CN114880517A (zh) * | 2022-05-27 | 2022-08-09 | 支付宝(杭州)信息技术有限公司 | 用于视频检索的方法及装置 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114363660B (zh) * | 2021-12-24 | 2023-09-08 | 腾讯科技(武汉)有限公司 | 视频合集确定方法、装置、电子设备及存储介质 |
CN115019008B (zh) * | 2022-05-30 | 2023-07-04 | 深圳市鸿普森科技股份有限公司 | 一种智能3d模型设计分析服务管理平台 |
CN115037987B (zh) * | 2022-06-07 | 2024-05-07 | 厦门蝉羽网络科技有限公司 | 一种直播带货视频的回看方法及*** |
CN115858854B (zh) * | 2023-02-28 | 2023-05-26 | 北京奇树有鱼文化传媒有限公司 | 一种视频数据整理方法、装置、电子设备及存储介质 |
CN117437505A (zh) * | 2023-12-18 | 2024-01-23 | 杭州任性智能科技有限公司 | 一种基于视频的训练数据集生成方法和*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109377697A (zh) * | 2018-11-07 | 2019-02-22 | 浙江警官职业学院 | 一种密集摄像机头环境下快速报警处置方法 |
CN109508638A (zh) * | 2018-10-11 | 2019-03-22 | 平安科技(深圳)有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
CN109670429A (zh) * | 2018-12-10 | 2019-04-23 | 广东技术师范学院 | 一种基于实例分割的监控视频多目标人脸检测方法及*** |
CN110276259A (zh) * | 2019-05-21 | 2019-09-24 | 平安科技(深圳)有限公司 | 唇语识别方法、装置、计算机设备及存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10303953B2 (en) * | 2017-04-17 | 2019-05-28 | Intel Corporation | Person tracking and privacy and acceleration of data using autonomous machines |
CN109672936B (zh) * | 2018-12-26 | 2021-10-26 | 上海众源网络有限公司 | 一种视频评估集的确定方法、装置及电子设备 |
CN110287778B (zh) * | 2019-05-15 | 2021-09-10 | 北京旷视科技有限公司 | 一种图像的处理方法、装置、终端及存储介质 |
CN110191324B (zh) * | 2019-06-28 | 2021-09-14 | Oppo广东移动通信有限公司 | 图像处理方法、装置、服务器及存储介质 |
-
2020
- 2020-04-24 CN CN202010332455.9A patent/CN111626123A/zh active Pending
- 2020-06-30 WO PCT/CN2020/099082 patent/WO2021212659A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109508638A (zh) * | 2018-10-11 | 2019-03-22 | 平安科技(深圳)有限公司 | 人脸情绪识别方法、装置、计算机设备及存储介质 |
CN109377697A (zh) * | 2018-11-07 | 2019-02-22 | 浙江警官职业学院 | 一种密集摄像机头环境下快速报警处置方法 |
CN109670429A (zh) * | 2018-12-10 | 2019-04-23 | 广东技术师范学院 | 一种基于实例分割的监控视频多目标人脸检测方法及*** |
CN110276259A (zh) * | 2019-05-21 | 2019-09-24 | 平安科技(深圳)有限公司 | 唇语识别方法、装置、计算机设备及存储介质 |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112257674A (zh) * | 2020-11-17 | 2021-01-22 | 珠海大横琴科技发展有限公司 | 一种视觉数据处理的方法和装置 |
CN112465691A (zh) * | 2020-11-25 | 2021-03-09 | 北京旷视科技有限公司 | 图像处理方法、装置、电子设备和计算机可读介质 |
CN112650876A (zh) * | 2020-12-30 | 2021-04-13 | 北京嘀嘀无限科技发展有限公司 | 图像处理方法、装置、电子设备、存储介质和程序产品 |
CN113435330A (zh) * | 2021-06-28 | 2021-09-24 | 平安科技(深圳)有限公司 | 基于视频的微表情识别方法、装置、设备及存储介质 |
CN113435330B (zh) * | 2021-06-28 | 2024-05-28 | 平安科技(深圳)有限公司 | 基于视频的微表情识别方法、装置、设备及存储介质 |
CN113674313A (zh) * | 2021-07-05 | 2021-11-19 | 北京旷视科技有限公司 | 一种行人跟踪方法、装置、存储介质和电子设备 |
CN114286171A (zh) * | 2021-08-19 | 2022-04-05 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、设备及存储介质 |
CN114004757A (zh) * | 2021-10-14 | 2022-02-01 | 大族激光科技产业集团股份有限公司 | 去除工业图像中干扰的方法、***、设备和存储介质 |
CN114004757B (zh) * | 2021-10-14 | 2024-04-05 | 大族激光科技产业集团股份有限公司 | 去除工业图像中干扰的方法、***、设备和存储介质 |
CN113688810A (zh) * | 2021-10-26 | 2021-11-23 | 深圳市安软慧视科技有限公司 | 一种边缘设备的目标捕获方法、***及相关设备 |
CN113688810B (zh) * | 2021-10-26 | 2022-03-08 | 深圳市安软慧视科技有限公司 | 一种边缘设备的目标捕获方法、***及相关设备 |
CN114880517A (zh) * | 2022-05-27 | 2022-08-09 | 支付宝(杭州)信息技术有限公司 | 用于视频检索的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2021212659A1 (zh) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111626123A (zh) | 视频数据处理方法、装置、计算机设备及存储介质 | |
WO2021047232A1 (zh) | 交互行为识别方法、装置、计算机设备和存储介质 | |
CN109543627B (zh) | 一种判断驾驶行为类别的方法、装置、及计算机设备 | |
WO2020253629A1 (zh) | 检测模型训练方法、装置、计算机设备和存储介质 | |
CN111310624B (zh) | 遮挡识别方法、装置、计算机设备及存储介质 | |
CN111950424B (zh) | 一种视频数据处理方法、装置、计算机及可读存储介质 | |
CN110008909B (zh) | 一种基于ai的实名制业务实时稽核*** | |
CN110619274A (zh) | 基于***和签名的身份验证方法、装置和计算机设备 | |
CN111310731A (zh) | 基于人工智能的视频推荐方法、装置、设备及存储介质 | |
CN111461170A (zh) | 车辆图像检测方法、装置、计算机设备及存储介质 | |
CN105488468A (zh) | 一种目标区域的定位方法和装置 | |
CN111274926B (zh) | 图像数据筛选方法、装置、计算机设备和存储介质 | |
CN111539320B (zh) | 基于互相学习网络策略的多视角步态识别方法及*** | |
CN110555875A (zh) | 瞳孔半径的检测方法、装置、计算机设备和存储介质 | |
CN112560796A (zh) | 人体姿态实时检测方法、装置、计算机设备及存储介质 | |
CN111539317A (zh) | 车辆违规行驶检测方法、装置、计算机设备和存储介质 | |
CN114359787A (zh) | 目标属性识别方法、装置、计算机设备及存储介质 | |
CN112101195A (zh) | 人群密度预估方法、装置、计算机设备和存储介质 | |
CN112668462A (zh) | 车损检测模型训练、车损检测方法、装置、设备及介质 | |
CN110580507B (zh) | 一种城市肌理分类识别方法 | |
CN111553431A (zh) | 图片清晰度检测方法、装置、计算机设备及存储介质 | |
CN111353429A (zh) | 基于眼球转向的感兴趣度方法与*** | |
CN113673308A (zh) | 对象识别方法、装置和电子*** | |
CN112836682A (zh) | 视频中对象的识别方法、装置、计算机设备和存储介质 | |
CN113766308A (zh) | 视频封面推荐方法、装置、计算机设备和存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |