CN112351337B - 视频质检方法、装置、计算机设备和存储介质 - Google Patents
视频质检方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN112351337B CN112351337B CN202110001121.8A CN202110001121A CN112351337B CN 112351337 B CN112351337 B CN 112351337B CN 202110001121 A CN202110001121 A CN 202110001121A CN 112351337 B CN112351337 B CN 112351337B
- Authority
- CN
- China
- Prior art keywords
- quality inspection
- subtask
- target
- task
- target video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims abstract description 810
- 238000000034 method Methods 0.000 title claims abstract description 111
- 238000003860 storage Methods 0.000 title claims abstract description 22
- 238000012545 processing Methods 0.000 claims abstract description 78
- 230000008569 process Effects 0.000 claims abstract description 60
- 239000012634 fragment Substances 0.000 claims abstract description 27
- 238000001514 detection method Methods 0.000 claims description 57
- 230000009471 action Effects 0.000 claims description 55
- 238000012544 monitoring process Methods 0.000 claims description 29
- 238000004140 cleaning Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 15
- 238000012216 screening Methods 0.000 claims description 15
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000004044 response Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 14
- 230000002159 abnormal effect Effects 0.000 description 12
- 238000012015 optical character recognition Methods 0.000 description 11
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000003908 quality control method Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000012550 audit Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本申请涉及视频质检任务的并行调度及批量处理,具体涉及一种视频质检方法、装置、计算机设备和存储介质。所述方法包括:获取待进行质检的目标视频、以及与目标视频对应的任务配置信息;根据任务配置信息,确定与目标视频对应的至少一个质检子任务;从目标视频中确定与各质检子任务分别相匹配的目标视频区间;根据各质检子任务分别对应的跳帧信息,对相应的目标视频区间进行跳帧处理,得到每个质检子任务分别对应的目标质检片段;并行调度各质检子任务并执行,直至得到与目标视频对应的质检结果,其中,在执行每个质检子任务的过程中,将质检子任务所对应的目标质检片段中的多个视频帧共同作为执行对象。采用本方法能够提升视频质检效率。
Description
技术领域
本申请涉及计算机技术领域,特别是涉及一种视频质检方法、装置、计算机设备和存储介质。
背景技术
质检指的是对视频中的关键环节进行检测,比如,在保险销售的过程中,销售人员可通过录音录像的技术采集保险销售过程中的视频,并对视频中的签字环节、证件展示环节等关键环节进行质检,以确定签字环节中的签字内容、证件展示环节中展示的证件内容是否符合要求。
目前,主要是采取人工审核的方式对视频进行质检,由审核人员从头至尾浏览整个视频,并对整个视频中的沟通内容和展示内容进行审核。然而,由于待质检的视频通常长达十几分钟,从而导致通过人工对视频进行质检的效率较低。
发明内容
基于此,有必要针对上述技术问题,提供一种能够提升质检效率的视频质检方法、装置、计算机设备和存储介质。
一种视频质检方法,所述方法包括:
获取待进行质检的目标视频、以及与所述目标视频对应的任务配置信息;
根据所述任务配置信息,确定与所述目标视频对应的至少一个质检子任务;
从所述目标视频中确定与各质检子任务分别相匹配的目标视频区间;
根据各所述质检子任务分别对应的跳帧信息,对相应的目标视频区间进行跳帧处理,得到每个所述质检子任务分别对应的目标质检片段;
并行调度各所述质检子任务并执行,直至得到与所述目标视频对应的质检结果,其中,在执行每个质检子任务的过程中,将所述质检子任务所对应的目标质检片段中的多个视频帧共同作为执行对象。
一种视频质检装置,所述装置包括:
子任务确定模块,用于获取待进行质检的目标视频、以及与所述目标视频对应的任务配置信息;根据所述任务配置信息,确定与所述目标视频对应的至少一个质检子任务;
质检片段确定模块,用于从所述目标视频中确定与各质检子任务分别相匹配的目标视频区间;根据各所述质检子任务分别对应的跳帧信息,对相应的目标视频区间进行跳帧处理,得到每个所述质检子任务分别对应的目标质检片段;
执行模块,用于并行调度各所述质检子任务并执行,直至得到与所述目标视频对应的质检结果,其中,在执行每个质检子任务的过程中,将所述质检子任务所对应的目标质检片段中的多个视频帧共同作为执行对象。
在一个实施例中,子任务确定模块还包括配置模块,用于接收终端发送的待进行质检的目标视频和目标任务配置项;所述目标任务配置项是基于对终端所展示的任务配置页面中的多个候选任务配置项进行选中操作所得到;将接收到的所述目标任务配置项,作为与所述目标视频相对应的任务配置信息。
在一个实施例中,质检片段确定模块还包括区间确定模块,用于对所述目标视频进行视频清洗处理,得到所述目标视频的音频文件;确定与各质检子任务分别对应的目标关键词;对所述目标视频中的音频文件进行关键词监听,以确定所述目标关键词在所述音频文件中的出现时刻;基于所述出现时刻对所述目标视频进行分段处理,得到与每个所述质检子任务分别相匹配的目标视频区间。
在一个实施例中,区间确定模块还用于对所述音频文件进行语音识别,得到所述音频文件的初始识别结果;对所述初始识别结果进行语义分析,得到所述音频文件的结构化识别结果;对所述结构化识别结果进行关键词监听,得到所述目标关键词在所述音频文件中的出现时刻。
在一个实施例中,质检片段确定模块还包括跳帧模块,用于确定与各所述质检子任务分别对应的跳帧因子;根据各所述质检子任务分别对应的跳帧因子,从各个质检子任务各自对应的目标视频区间中筛选出目标视频帧;对于每个质检子任务,均组合相对应的所述目标视频帧,得到与相应质检子任务对应的目标质检片段。
在一个实施例中,跳帧模块还用于确定所述目标视频区间的原始帧率;将所述目标视频区间的原始帧率调整为目标帧率;对于每个质检子任务,均根据相应质检子任务分别对应的跳帧因子,从相应质检子任务所对应的、且实现帧率调整后的目标视频区间中筛选出目标视频帧。
在一个实施例中,执行模块还用于确定每个所述质检子任务在执行时各自所需的执行资源;基于所述执行资源,并行调度所述质检子任务并执行。
在一个实施例中,执行模块还包括批处理模块,用于对于每个质检子任务的执行,均通过多个请求线程,并行生成相应目标质检片段中的待质检视频帧的质检请求;通过所述请求线程,将生成的所述质检请求写入缓存队列;当所述缓存队列符合执行条件时,批量响应所述缓存队列中的质检请求。
在一个实施例中,视频质检装置还用于每当获取到待进行质检的目标视频时,确定所述目标视频对应的质检任务;将所述质检任务添加至任务队列;对所述任务队列中的多于一个的质检任务进行并行调度执行,且在执行每个质检任务时均执行从所述获取待进行质检的目标视频、以及与所述目标视频对应的任务配置信息的步骤,至所述并行调度各所述质检子任务并执行,直至得到与所述目标视频对应的质检结果的步骤。
在一个实施例中,视频质检装置还用于确定所述任务队列中的当前质检任务,并对所述当前质检任务所包括的各质检子任务进行调度执行;监控所述当前质检任务中每个质检子任务各自对应的执行资源的使用情况;当存在未被使用的执行资源时,基于未被使用的所述执行资源执行所述任务队列中在所述当前质检任务的下一顺序的质检任务。
在一个实施例中,视频质检装置还用于获取目标视频;所述目标视频为基于保险业务场景所进行录制的双录视频;与所述目标视频对应的质检子任务包括签字识别子任务、单证识别子任务、身份证识别子任务、人脸检测子任务、动作识别子任务以及人体检测子任务中的至少一种。
在一个实施例中,视频质检装置还包括展示模块,用于当获取得到与所述目标视频对应的质检结果时,将所述质检结果返回至终端,并触发所述终端展示所述质检结果;其中,所展示的质检结果用于辅助用户对目标视频进行人工审核,且所述质检结果包括执行所述签字识别子任务得到的签字内容、执行所述单证识别子任务得到的单证类型、执行所述身份证识别子任务得到的身份证内容、执行所述人脸检测子任务得到的人物角色标识、执行所述动作识别子任务得到的动作内容及执行所述人体检测子任务得到的人体检测结果中的至少一项。
一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待进行质检的目标视频、以及与所述目标视频对应的任务配置信息;
根据所述任务配置信息,确定与所述目标视频对应的至少一个质检子任务;
从所述目标视频中确定与各质检子任务分别相匹配的目标视频区间;
根据各所述质检子任务分别对应的跳帧信息,对相应的目标视频区间进行跳帧处理,得到每个所述质检子任务分别对应的目标质检片段;
并行调度各所述质检子任务并执行,直至得到与所述目标视频对应的质检结果,其中,在执行每个质检子任务的过程中,将所述质检子任务所对应的目标质检片段中的多个视频帧共同作为执行对象。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待进行质检的目标视频、以及与所述目标视频对应的任务配置信息;
根据所述任务配置信息,确定与所述目标视频对应的至少一个质检子任务;
从所述目标视频中确定与各质检子任务分别相匹配的目标视频区间;
根据各所述质检子任务分别对应的跳帧信息,对相应的目标视频区间进行跳帧处理,得到每个所述质检子任务分别对应的目标质检片段;
并行调度各所述质检子任务并执行,直至得到与所述目标视频对应的质检结果,其中,在执行每个质检子任务的过程中,将所述质检子任务所对应的目标质检片段中的多个视频帧共同作为执行对象。
上述视频质检方法、装置、计算机设备和存储介质,当获取得到目标视频以及与目标视频相对应的任务配置信息时,可基于任务配置信息,确定与目标视频对应的至少一个待执行的质检子任务,从而后续可仅执行待执行的质检子任务,而无需执行全部的质检子任务,如此,大大提升了视频质检的质检效率。当确定与目标视频对应的质检子任务时,可从目标视频中确定与各质检子任务分别匹配的目标视频区间,并根据跳帧信息对相应的目标视频区间进行跳帧处理,得到每个质检子任务分别对应的目标质检片段,从而后续可仅对目标质检片段中的视频帧进行质检处理,而无需对整个目标视频中的视频帧均进行质检处理,如此,进一步提升了视频质检的质检效率。当获取得到每个质检子任务对应的目标质检片段时,可并行调度各质检子任务并执行,以及将质检子任务所对应的目标质检片段中的多个视频帧共同作为执行对象,从而更进一步地提升了视频质检的质检效率。由于可自动对目标视频进行质检,相比于传统的采取人工审核的方式对视频进行质检,本申请可大大提升视频质检的质检效率。
附图说明
图1为一个实施例中视频质检方法的应用环境图;
图2为一个实施例中视频质检方法的流程示意图;
图3为一个实施例中质检子任务配置的示意图;
图4为另一个实施例中视频质检方法的流程示意图;
图5为一个实施例中视频清洗的流程示意图;
图6为一个实施例中视频帧清洗的流程示意图;
图7为一个实施例中多个质检子任务并行调度执行的流程示意图;
图8为一个实施例中多个质检任务并行调度执行的流程示意图;
图9为一个实施例中视频质检***的***示意图;
图10 为一个具体实施例中视频质检方法的流程示意图;
图11为一个实施例中视频质检装置的结构框图;
图12为另一个实施例中视频质检装置的结构框图;
图13为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
图1为一个实施例中视频质检方法的应用环境图。参照图1,该视频质检方法应用于视频质检***100。该视频质检***100包括终端102和服务器104。终端102和服务器104通过网络连接。终端102具体可以是台式终端或移动终端,移动终端具体可以手机、平板电脑、笔记本电脑等中的至少一种。终端102和服务器104均可单独用于执行本申请实施例中提供的视频质检方法。终端102和服务器104也可协同用于执行本申请实施例中提供的视频质检方法。当终端102和服务器104协同用于执行本申请实施例中提供的视频质检方法时,可通过终端102中的图形界面102-11展示待质检视频,并通过检测控件102-12将待质检视频发送至服务器104,由服务器104对待质检视频进行检测,得到质检结果,并将质检结果返回至终端102,以使终端102通过图形界面102-21将质检结果对应展示。
其中,终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备,服务器104可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。
云服务可以基于云技术实现,云技术(Cloud technology)指的是在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。技术网络***的后台服务需要大量的计算、存储资源,示意性的,视频的质检过程中,需要对视频进行存储、对视频中的不同关键视频片段进行人工智能计算。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台***进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的***后盾支撑,只能通过云计算来实现。
云计算(cloud computing)是指互联网技术(Internet Technology,IT)基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务的交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。这种服务可以是IT和软件、互联网相关,也可是其他服务。云计算是网格计算(G r i d C o m p u t i n g ) 、分布式计算(Dis tri buted Com puting) 、并行计算(Pa ra llel Com puting) 、效用计算(Utili tyComputing)、网络存储(Network Storage Technologies)、虚拟化(Virtualization)、负载均衡(Load Balance)等传统计算机和网络技术发展融合的产物。
还需要说明的是,本申请涉及人工智能(Artificial Intelligence, AI)技术领域,其中,人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
需要说明的是,本申请各实施例中提及的“多个”或“多份”等的数量均指代“至少两个”的数量,比如,“多个”指“至少两个”,“多份”指“至少两份”。
在一个实施例中,如图2所示,提供了一种视频质检方法,以该方法应用于计算机设备,该计算机设备具体可以为图1中的终端或服务器为例进行说明,包括以下步骤:
步骤S202,获取待进行质检的目标视频、以及与目标视频对应的任务配置信息。
其中,质检指的是对视频中的至少一个关键环节进行检测,以确定关键环节是否符合预设规则的检测过程。比如,当获取得到针对保险销售过程所采集的目标视频时,质检可以为对目标视频中出现的人脸、人体、签字过程、身份证展示过程以及单证展示过程进行识别,得到相应的识别结果,并判断识别结果是否符合预设的质检要求的检测过程。
可以理解,对目标视频进行检测的过程可称作一个质检任务,一个质检任务中可包括有至少一个质检子任务,通过任务配置,用户可自由选择需要执行的质检子任务,以达到提升质检效率的目的。其中,质检子任务指的是质检任务中的子任务,为了便于对目标视频进行质检,可将针对目标视频的质检任务按照质检功能划分为多个质检子任务,比如,可将一个完整的质检任务划分为签字识别子任务、单证识别子任务、身份证识别子任务、人脸检测子任务、签字动作识别子任务、展示动作识别子任务以及人体检测子任务等。
任务配置信息中包含有至少一个任务配置项,任务配置项指的是用于对目标视频的质检任务进行相应配置的配置项,任务配置项与质检子任务一一对应,从而用户可根据需求自由选择任务配置项,以确定需要执行的质检子任务。
具体地,当需要对目标视频进行质检时,用户可通过用户终端上传目标视频、以及对目标视频进行任务配置,从而用户终端可将用户上传的目标视频、以及对目标视频进行任务配置后得到的任务配置信息发送至计算机设备,以使计算机设备根据任务配置信息对目标视频进行质检,确定目标视频中的关键阶段是否合规。
在一个实施例中,获取待进行质检的目标视频、以及与目标视频对应的任务配置信息,包括:接收终端发送的待进行质检的目标视频和目标任务配置项;目标任务配置项是基于对终端所展示的任务配置页面中的多个候选任务配置项进行选中操作所得到;将接收到的目标任务配置项,作为与目标视频相对应的任务配置信息。
具体地,用户终端中运行有用于对视频进行质检的目标应用,当需要对目标视频进行质检时,用户可启动目标应用,并通过目标应用上传待质检的目标视频。当确定用户触发目标应用中的任务配置控件时,用户终端可对应展示包括有至少一个候选任务配置项的任务配置页面,以使用户根据质检需求,从候选任务配置项中选择目标任务配置项。举例说明,任务配置页面中可包括有签字识别配置项、单证识别配置项、身份证识别配置项、人脸检测配置项、签字动作识别配置项、展示动作识别配置项以及人体检测配置项等候选任务配置项,当仅需对目标视频进行单证检测以及人脸检测时,用户可从中选择单证识别配置项以及人脸检测配置项作为目标任务配置项。
进一步地,当获取得到目标视频以及目标任务配置项时,用户终端可将目标视频以及目标任务配置项发送至计算机设备,由计算机设备将接收到的目标任务配置项,作为与目标视频相对应的任务配置信息。
在其中一个实施例中,用户也可不选择目标任务配置项,从而后续服务器执行每个候选任务配置项各自对应的质检子任务。
在其中一个实施例中,目标应用可在确定用户上传目标视频时,自动展示任务配置页面,以使用户通过任务配置页面选择目标任务配置项。
步骤S204,根据任务配置信息,确定与目标视频对应的至少一个质检子任务。
其中,质检任务包括签字识别子任务、单证识别子任务、身份证识别子任务、人脸检测子任务、签字动作识别子任务、展示动作识别子任务以及人体检测子任务中的至少一项。签字识别子任务指的是通过光学字符,对目标视频中的签字进行内容识别,得到签字结果的质检子任务;单证识别子任务指的是通过光学字符,对目标视频中的单证进行内容识别,得到单证类型以及单证内容的质检子任务;身份证识别子任务指的是通过光学字符,对目标视频中的身份证进行内容识别,得到识别结果的质检子任务;人脸检测任务指的是对目标视频中出现的人脸进行人脸识别,以确定人物角色的质检子任务;签字动作识别子任务以及展示动作识别子任务指的是对目标视频中签字动作、展示动作进行识别,以确定签字动作、展示动作是否合规的质检子任务;人体检测子任务指的是对目标视频中人体进行检测,用以避免代签、误签的质检子任务。
具体地,计算机设备预存储有任务配置项与质检子任务之间的关联关系。当获取得到与目标视频相对应的任务配置信息时,计算机设备可提取任务配置信息所包括的至少一个目标任务配置项,并根据任务配置项与质检子任务之间的关联关系,确定与目标任务配置项相对应的质检子任务,也即根据任务配置项与质检子任务之间的关联关系,确定与目标视频相对应的质检子任务。
在一个实施例中,如图3所示,计算机设备具有任务配置池及任务调度池,其中,任务配置池中存储有可被调度的全部质检子任务的任务标识,当接收到目标视频以及与目标视频相对应的任务配置信息时,计算机设备可基于任务配置信息,对任务配置池中的任务标识进行筛选处理,从任务配置池中筛选出待执行的质检子任务的目标任务标识,并将筛选出的目标任务标识存储至任务调度池,从而后续计算机设备可调度与目标任务标识相对应的质检子任务并执行,直至得到与目标视频对应的质检结果。图3示出了一个实施例中质检子任务配置的示意图。
步骤S206,从目标视频中确定与各质检子任务分别相匹配的目标视频区间。
具体地,计算机设备可根据质检子任务的任务属性,对目标视频进行划分,得到与各质检子任务分别相匹配的目标视频区间。比如,当质检子任务为签字动作识别子任务时,计算机设备可基于签字动作识别子任务确定对应的任务属性为签字属性,从而计算机设备可提取目标视频中包含有签字过程的视频区间,并将此视频区间作为与签字动作识别子任务相匹配的目标视频区间;又比如,当质检子任务为身份证识别子任务时,计算机设备可提取目标视频中包含有展示身份证的视频区间,并将此视频区间作为与身份证识别子任务相匹配的目标视频区间。
在一个实施例中,在保险销售的过程中,销售人员可对应记录各关键阶段的采集时间,比如可对应记录被保人展示身份证的时间、签字时间、单证展示时间等,从而计算机设备可根据销售人员记录的采集时间,对目标视频进行分段处理,得到各质检子任务分别对应的目标视频区间。
在一个实施例中,从目标视频中确定与各质检子任务分别相匹配的目标视频区间,包括:对目标视频进行视频清洗处理,得到目标视频的音频文件;确定与各质检子任务分别对应的目标关键词;对目标视频中的音频文件进行关键词监听,以确定目标关键词在音频文件中的出现时刻;基于出现时刻对目标视频进行分段处理,得到与每个质检子任务分别相匹配的目标视频区间。
具体地,当获取得到目标视频时,计算机设备可对目标视频进行视频清洗处理,提取目标视频中的声音信息,得到音频文件。其中,音频文件包括针对目标视频录制过程中人物发出的声音、语音播报声音等音频内容。为了描述方便,下述将与目标视频对应的质检子任务称作目标质检子任务。进一步地,计算机设备中预存储有质检子任务与目标关键词之间的对应关系,当获取得到与目标视频相对应的目标质检子任务时,计算机设备可根据质检子任务与目标关键词之间的对应关系,确定每个目标质检子任务分别对应的目标关键词,并对音频文件进行关键词监听,以确定目标关键词在音频文件中出现的时刻。
比如,与身份证识别子任务相对应的目标关键词可为“身份证展示”,从而当监听到音频文件中的“身份证展示”时,计算机设备对应记录“身份证展示”的出现时刻。又比如,与签字动作识别子任务相对应的目标关键词可以为“请签字”,从而当监听到音频文件中的“请签字”时,计算机设备对应记录“请签字”的出现时刻。
进一步地,计算机设备可基于目标关键词在音频文件中的出现时刻,对目标视频进行分段处理,得到与每个质检子任务分别相匹配的目标视频区间。
在其中一个实施例中,与一个质检子任务相对应的目标关键词可以有多个,比如,与身份证识别子任务相对应的目标关键词可以为“身份证展示”以及“身份证展示完毕”,从而计算机设备可对应记录与当前目标质检子任务相对应的每个目标关键词在音频文件中出现的时刻,并根据每个目标关键词在音频文件中出现的时刻,对目标视频进行分段,得到与当前目标质检子任务相对应的目标视频区间。比如,当“身份证展示”在音频文件中出现的时刻为32分23秒、“身份证展示完毕”在音频文件中出现的时刻为36分2秒时,可将32分23秒至36分2秒的视频片段作为与身份证识别子任务相匹配的目标视频区间。
在其中一个实施例中,计算机设备可以将当前质检子任务所对应的目标关键词的出现时刻作为起始时刻,以下一顺序的质检子任务所对应的目标关键词的出现时刻作为终止时刻,划分出与当前质检子任务相对应的目标视频区间,比如,在当前质检子任务为身份证识别子任务、与身份证识别子任务相对应的目标关键词为“身份证展示”、下一顺序的质检子任务为单证识别子任务、与单证识别子任务相对应的目标关键词为“单证展示”时,计算机设备可以“身份证展示”的出现时间32分23秒为起始时刻,以“单证展示”的出现时间36分2秒为终止时刻,对目标视频进行划分。
在其中一个实施例中,计算机设备可以以目标关键词在音频文件中的出现时刻为起始时刻,划分预设时长内的目标视频区间。比如,当预设时长为1分钟、目标关键词“单证展示”的出现时间36分2秒时,计算机设备以36分2秒为起始时刻,以37分2秒为终止时刻,对目标视频进行划分。
在其中一个实施例中,在识别得到目标关键词后,计算机设备可对以目标关键词的出现时刻为起始点的视频内容进行动作识别,并将识别得到的动作符合目标关键词的部分划分至目标视频区间中。比如,目标关键词“身份证展示”的出现时刻为音频文件的第3分20秒,计算机设备从3分20秒开始对视频内容进行动作识别,将识别得到展示动作的视频片段划分为与“身份证展示”对应的目标视频区间,目标视频区间的终止时刻为展示动作的结束时刻。
在其中一个实施例中,目标视频可为对保险销售过程进行录音录像得到的双录视频,当获取得到目标视频时,计算机设备可对目标视频进行拆分处理,得到对保险销售过程进行录音的音频文件、以及对保险销售过程进行录像的不包含有声音信息的视频文件。当确定目标关键词在音频文件中的出现时刻,计算机设备可以此出现时刻为基准,对视频文件进行分段处理,得到与每个质检子任务分别相匹配的目标视频区间。
上述实施例中,通过对音频文件进行关键词监听,可根据关键词监听结果,从目标视频中准确划分出与各质检子任务相匹配的目标视频区间,从而后续可仅需对目标区间进行质检,相比于传统的对整个目标均进行质检,本实施例大大提升了视频质检的质检效率。
步骤S208,根据各质检子任务分别对应的跳帧信息,对相应的目标视频区间进行跳帧处理,得到每个质检子任务分别对应的目标质检片段。
具体地,计算机设备中预存储有质检子任务与跳帧信息之间的对应关系,当获取得到与目标视频相对应的目标质检子任务时,计算机设备可根据质检子任务与跳帧信息之间的对应关系,确定每个目标质检子任务分别对应的跳帧信息。其中,跳帧信息指的是用于对目标视频区间进行跳帧处理的信息,基于跳帧信息可以确定相应目标视频区间中参与质检的视频帧的比例。进一步地,计算机设备根据每个目标质检子任务各自对应的跳帧信息,对相应的目标视频区间进行跳帧处理,得到每个质检子任务分别对应的目标质检片段。
为了更好地理解本实施例,下面通过举例说明的方式说明根据与当前质检子任务相对应的当前跳帧信息,对相应的目标视频区间进行跳帧处理,得到与当前质检子任务相对应的目标质检片段的过程:当获取得到当前质检子任务、与当前质检子任务相对应的当前跳帧信息以及与当前质检子任务相对应的当前目标视频区间时,计算机设备可根据当前跳帧信息确定当前目标视频区间中参与质检的视频帧的比例,并根据所确定的比例信息,对当前目标视频区间中的参与质检的目标视频帧进行筛选,得到与当前质检子任务相对应的目标质检片段。比如,在当前跳帧信息为“参与质检的视频帧的比例为0.5”、以及当前目标视频区间中具有420帧视频帧时,计算机设备可从当前目标视频区间中的全部视频帧中抽取出0.8倍的目标视频帧,即从420帧视频帧中抽取出210帧目标视频帧,并组合抽取出的各目标视频帧,得到与当前质检子任务相对应的目标质检片段。
在其中一个实施例中,跳帧信息具体可以为数值,比如可以为“0.5”,也可以为文字信息,比如可以为“参与质检的视频帧的比例为0.5”,还可以为图形比例等,比如还为用以表示“0.5”的图形比例。
容易理解地,跳帧信息可以根据需求自由设定,比如,用户可综合质检子任务的质检结果准确性、计算机资源消耗情况以及质检任务的处理效率,确定与质检子任务相对应的跳帧信息,将质检结果准确性、计算机资源消耗情况以及处理效率三者之间达到动态平衡时的跳帧信息,作为质检子任务最终的跳帧信息。
通过跳帧信息对目标视频区间进行跳帧处理,可以进一步减少参与质检的视频帧的数量,从而提升目标视频的质检效率。
步骤S210,并行调度各质检子任务并执行,直至得到与目标视频对应的质检结果,其中,在执行每个质检子任务的过程中,将质检子任务所对应的目标质检片段中的多个视频帧共同作为执行对象。
具体地,计算机设备为每个质检子任务分配独立的执行资源,从而每个质检子任务可基于独立的执行资源并行执行,得到各质检子任务输出的质检结果。其中,执行资源指的是质检子任务运行时所需的CPU(Central Processing Unit,中央处理器)资源、GPU(Graphics Processing Unit,图形处理器)资源、内存资源、硬盘资源和网络资源等。进一步地,在执行每个质检子任务时,计算机设备可将质检子任务所对应的目标质检片段中的多个视频帧共同作为执行对象,并对各执行对象执行计算机视觉计算(computer version,CV)。比如,当质检子任务为身份证识别子任务时,计算机设备可基于GPU资源,对相应视频帧中的身份证图像进行识别,得到身份证号码;又比如,当质检子任务为人脸检测子任务时,计算机设备可基于CPU资源,对相应视频帧中的人脸进行检测,并将检测结果与预设人脸库中的人脸进行对比,从而得到人物角色标识。
在一个实施例中,当获取得到与当前目标视频相对应的任务配置信息时,计算机设备可根据任务配置信息确定与目标视频相对应的至少一个质检子任务,并对各质检子任务进行并行调度处理。其中,在执行每个质检子任务的过程中,计算机设备确定与质检子任务对应的目标质检片段所包含的视频帧,并通过多线程,基于GPU资源对视频帧进行批量处理,直至得到与此质检子任务相对应的质检结果。容易理解地,在执行每个质检子任务的过程中,计算机设备也可依次对目标质检片段所包含的视频帧进行处理,直至得到与此质检子任务相对应的质检结果。本实施例在此不作限定。通过并行执行各目标质检子任务,可提升视频质检的质检效率,通过对各视频帧进行批量处理,可以进一步提升视频质检的质检效率。
在一个实施例中,计算机设备可预先估计每个质检子任务在执行时所需的执行资源大小,从而当获取得到与目标视频对应的目标质检子任务时,计算机设备可根据预先估计的资源大小,为各目标质检子任务分配相应大小的执行资源。
在一个实施例中,当获取得到与目标视频相对应的目标质检子任务时,计算机设备可为各目标质检子任务分配相同大小的执行资源,从而当所分配的执行资源不足以支撑目标质检子任务运行时,目标质子检任务可向计算机设备再次申请额外执行资源。
在一个实施例中,计算机设备可根据空闲资源情况,动态调整目标质检子任务的并行执行数量。比如,当空闲资源充足时,计算机设备向各目标质检子任务分配执行资源,以使各目标质检子任务基于执行资源并行处理;当空间资源不足以支撑各目标质检子任务执行时,计算机设备可根据各目标质检子任务的优先级分配执行资源,以使优先级较高的目标质检子任务可以基于优先分配的执行资源优先执行。
在一个实施例中,如图4所示,步骤S402:通过用户终端进行任务配置。
当需要对待质检视频进行检测时,用户可通过用户终端进行任务配置,得到任务配置信息,并将任务配置信息发送至服务器。步骤S404:对待质检视频进行音视频分离。当接收到用户终端上传的待质检的目标视频、以及对目标视频进行任务配置的任务配置信息时,计算机设备可对目标视频进行拆分处理,得到音频文件以及视频文件。步骤S406:对音频文件进行关键词监听。当对待质检视频进行音视频分离后,计算机设备可对音频文件进行关键词监听。步骤S408:对视频文件进行划分。当对音频文件进行关键词监听后,计算机设备可基于关键词监听结果对视频文件进行划分处理,得到每个目标质检子任务各自对应的目标视频区间。步骤S410:确定目标质检任务。计算机设备可根据任务配置信息确定对应的目标质检子任务。步骤S412:判断目标质检子任务是否为空。计算机设备可判断是否存在与目标视频对应的目标质检子任务,若不存在目标质检子任务,也即用户未选择目标配置项时,计算机设备结束与目标视频相对应的质检任务。步骤S414:对目标视频区间进行帧率调整。若存在目标质检子任务,计算机设备确定与目标质检子任务对应的目标视频区间,并对目标视频区间进行帧率调整。步骤S416:对目标视频区间进行跳帧处理。计算机设备根据各目标质检子任务分别对应的跳帧信息,对相应的目标视频区间进行跳帧处理,得到每个目标质检子任务分别对应的目标质检片段。步骤S418:对目标质检片段中的视频帧进行批量处理。计算机设备对目标质检片段中的视频帧进行CV计算,直至得到质检结果。图4示出了一个实施例中视频质检方法的流程示意图。
上述视频质检方法中,当获取得到目标视频以及与目标视频相对应的任务配置信息时,可基于任务配置信息,确定与目标视频对应的至少一个待执行的质检子任务,从而后续可仅执行待执行的质检子任务,而无需执行全部的质检子任务,如此,大大提升了视频质检的质检效率。当确定与目标视频对应的质检子任务时,可从目标视频中确定与各质检子任务分别匹配的目标视频区间,并根据跳帧信息对相应的目标视频区间进行跳帧处理,得到每个质检子任务分别对应的目标质检片段,从而后续可仅对目标质检片段中的视频帧进行质检处理,而无需对整个目标视频中的视频帧均进行质检处理,如此,进一步提升了视频质检的质检效率。当获取得到每个质检子任务对应的目标质检片段时,可并行调度各质检子任务并执行,以及将质检子任务所对应的目标质检片段中的多个视频帧共同作为执行对象,从而更进一步地提升了视频质检的质检效率。由于可自动对目标视频进行质检,相比于传统的采取人工审核的方式对视频进行质检,本申请可大大提升视频质检的质检效率。
在一个实施例中,对目标视频中的音频文件进行关键词监听,以确定目标关键词在音频文件中的出现时刻包括:对音频文件进行语音识别,得到音频文件的初始识别结果;对初始识别结果进行语义分析,得到音频文件的结构化识别结果;对结构化识别结果进行关键词监听,得到目标关键词在音频文件中的出现时刻。
具体地,在对音频文件进行关键词监听的过程中,计算机设备可先通过语音识别算法ASR(Automatic Speech Recognition,自动语音识别技术)对音频文件进行语音识别,将音频文件转换为原始文字,得到初始识别结果。进一步地,计算机设备可通过神经语言程序学NLP (Natural Language Processing,自然语言处理)对初始识别结果进行语义理解,将原始文件转换为完整的结构化识别结果,并对结构化识别结果进行关键词监听,确定目标关键词在音频文件中的出现时刻。其中,结构化识别结果指的是包含有对话双方话语的对话文本。
在其中一个实施例中,在进行关键词监听的过程中,计算机设备还可对预设的异常词进行监听,并响应于结构化识别结果中出现的异常词。比如,可设置异常词为“不同意”,当确定结构化识别结果中出现“不同意”时,计算机设备反馈质检不通过的质检结果。
在其中一个实施例中,在保险销售的过程中,销售人员可预先通过用户终端在目标应用中输入自身语音,从而用户终端可将销售人员的语音发送至计算机设备,以便计算机设备对语音进行音色识别,得到与销售人员相对应的音色信息。当确定结构化识别结果中出现异常词时,计算机设备确定此异常词在音频文件中的出现时刻,并根据出现时刻调取与此异常词相对应的音频片段。进一步地,计算机设备分析此音频片段的音色信息,并与销售人员的音色信息进行比对,以判断此异常词为销售人员述说的词汇,还是被保人员述说的词汇。当确定异常词为被保人员述说的词汇时,可判定此异常词表达了被保人员的否认意愿,此时计算机设备反馈质检不通过的质检结果。当确定异常词是销售人员所述的词汇时,可判定此异常词未表达被保人员的否认意愿,此时计算机设备忽略此异常词。
上述实施例中,通过优先将音频文件转化为初始识别结果,再将初始识别结果转化为结构化识别结果,可以使得所得到的结构化识别结果更为准确,从而使得对结构化识别结果进行关键词监听的监听结果更为准确。
在一个实施例中,跳帧信息包括跳帧因子,根据各质检子任务分别对应的跳帧信息,对相应的目标视频区间进行跳帧处理,得到每个质检子任务分别对应的目标质检片段,包括:确定与各质检子任务分别对应的跳帧因子;根据各质检子任务分别对应的跳帧因子,从各个质检子任务各自对应的目标视频区间中筛选出目标视频帧;对于每个质检子任务,均组合相对应的目标视频帧,得到与相应质检子任务对应的目标质检片段。
具体地,跳帧信息包括跳帧因子,其中跳帧因子指的是目标视频区间中参与质检的视频帧的比例。计算机设备中预存储有质检子任务与跳帧因子之间的对应关系,当确定目标视频的目标质检子任务时,计算机设备可根据质检子任务与跳帧因子之间的对应关系,确定与目标质检子任务相对应的跳帧因子。进一步地,计算机设备可根据各质检子任务分别对应的跳帧因子,从各个质检子任务各自对应的目标视频区间中筛选出目标视频帧,并组合从与当前质检子任务相对应的当前目标视频区间中筛选出的目标视频帧,得到与当前质检子任务对应的目标质检片段。
在其中一个实施例中,按照跳帧因子,从目标视频区间中筛选出目标数量的目标视频帧的筛选算法可根据需求自由设定。比如,当跳帧因子为0.5时,计算机设备可随机从目标视频区间中筛选出一半的目标视频帧,还可每隔一帧,从目标视频区间中筛选出目标视频帧,亦可将目标视频区间中前一半的视频帧作为目标视频帧。本实施例在此不作限定。
上述实施例中,通过跳帧因子对目标视频区间进行跳帧处理,可以大大减少进行质检的视频帧的数量,从而提升视频质检的质检效率。
在一个实施例中,在根据各质检子任务分别对应的跳帧信息,对相应的目标视频区间进行跳帧处理,得到每个质检子任务分别对应的目标质检片段之前,上述视频质检方法还包括:确定目标视频区间的原始帧率;将目标视频区间的原始帧率调整为目标帧率;根据各质检子任务分别对应的跳帧因子,从各个质检子任务各自对应的目标视频区间中筛选出目标视频帧,包括:对于每个质检子任务,均根据相应质检子任务分别对应的跳帧因子,从相应质检子任务所对应的、且实现帧率调整后的目标视频区间中筛选出目标视频帧。
具体地,计算机设备可确定目标视频区间的原始帧率,并判断目标视频区间的原始帧率是否大于预设的目标帧率。当原始帧率大于目标帧率时,计算机设备丢弃目标视频区间的部分视频帧,将目标视频区间的原始帧率调整为目标帧率,比如,将每秒60帧调整为每秒30帧。当原始帧率小于目标帧率时,计算机设备复制目标视频区间中的部分视频帧,并将复制的视频帧***目标视频区间中,以将目标视频区间的原始帧率调整为目标帧率,比如,将每秒15帧调整为每秒30帧。其中,目标帧率可以根据需求自由设定。进一步地,对于每个质检子任务,计算机设备均根据相应质检子任务分别对应的跳帧因子,从相应质检子任务所对应的、且实现帧率调整后的目标视频区间中筛选出目标视频帧。
在其中一个实施例中,计算机设备可通过Ffmpeg修改目标视频区间的原始帧率。
在其中一个实施例中,当获取得到目标视频时,计算机设备可对目标视频进行视频清洗处理,将目标视频从原始帧率调整为目标帧率。更具体地,如图5所示,当获取得到目标视频时,计算机设备可对目标视频进行拆分处理,得到音频文件和视频文件,并对音频文件进行语音识别以及语义分析,得到各质检子任务各自对应的视频划分时间范围。与此同时,计算机设备对视频文件进行取流解码,得到视频文件的原始帧率,并将视频文件从原始帧率调整为目标帧率,得到帧率调整后的视频文件。进一步的,计算机设备按照各质检子任务各自对应的视频划分时间范围,对帧率调整后的视频文件进行分段处理,得到各质检子任务各自对应的目标视频区间。图5示出了一个实施例中视频清洗的流程示意图。
容易理解地,可在获取得到目标视频时,优先对目标视频进行帧率调整,再对实现帧率调整后的目标视频进行划分,得到目标视频区间;也可优先对目标视频进行划分处理,得到各目标视频区间,再对各目标视频进行帧率调整。本实施例在此不作限定。
在其中一个实施例中,在对目标视频进行视频清洗处理之后,计算机设备还可对目标视频区间中的视频帧进行视频帧清洗处理。更具体地,如图6所示,当获取得到包含有3.6万视频帧的目标视频时,计算机设备可按照上述方式对目标视频进行划分,得到各质检子任务各自对应的目标视频区间,并将各目标视频区间从原始帧率调整为目标帧率,得到包含有1.2万视频帧的目标视频、包含有420视频帧的与身份证阶段相关的目标视频区间、以及包含有6720视频帧的与单证阶段相关的目标视频区间。进一步地,计算机设备可获取各目标质检子任务各自对应的跳帧因子,基于跳帧因子对相应的帧率调整后的目标视频区间进行视频帧清洗处理,得到目标质检片段。例如,计算机设备可对目标视频中出现的人脸以及人体进行全程检测,因此,在全程检测阶段,计算机设备可根据与人脸识别子任务或人体检测子任务相对应的跳帧因子0.8,从帧率调整后的目标视频中筛选出0.8倍(9600帧)的目标视频帧。又比如,计算机设备可根据与身份证识别子任务相对应的跳帧因子0.5,从帧率调整后的对应目标视频区间中筛选出0.5倍(210帧)的目标视频帧,以及可根据与身份证展示子任务相对应的跳帧因子1.0,将对应目标视频区间作为目标质检片段。图6示出了一个实施例中视频帧清洗的流程示意图。
上述实施例中,通过将目标视频区间的原始帧率调整为目标帧率,可以降低目标视频的原始帧规模,从而减少参与质检的视频帧的总数量,进而提升视频质检的质检效率。
在一个实施例中,并行调度各质检子任务并执行,直至得到与目标视频对应的质检结果,包括:确定每个质检子任务在执行时各自所需的执行资源;基于执行资源,并行调度质检子任务并执行。
具体地,当确定与目标视频相对应的各目标质检子任务时,计算机设备确定每个目标质检子任务在执行时各自所需的执行资源,并将所确定的执行资源分配至目标质检子任务,以使各目标质检子任务可基于相互独立的执行资源并行运行。其中,执行资源包括CPU资源、GPU资源、内存资源、硬盘资源和网络资源中的至少一项。
本实施例中,通过并行调度各目标质检子任务并执行,相比于各目标质检子任务的串行执行,可以提升视频质检的质检效率。
在一个实施例中,在执行每个质检子任务的过程中,将质检子任务所对应的目标质检片段中的多个视频帧共同作为执行对象,包括:对于每个质检子任务的执行,均通过多个请求线程,并行生成相应目标质检片段中的待质检视频帧的质检请求;通过请求线程,将生成的质检请求写入缓存队列;当缓存队列符合执行条件时,批量响应缓存队列中的质检请求。
具体地,在执行每个目标质检子任务的过程中,计算机设备可创建一个批处理线程以及多个请求线程,并通过多个请求线程,并行提取目标质检子任务所对应的目标质检片段中的待质检视频帧,生成对提取的待质检视频帧进行质检的质检请求,将质检请求写入预先创建的缓存队列。例如,当请求线程为a1、a2以及a3,待质检视频帧为A1、A2、A3以及A4时,计算机设备可通过a1创建对A1进行质检的质检请求B1,通过a2创建对A2进行质检的质检请求B2,以及通过a3创建对A3进行质检的质检请求B3,并将B1、B2以及B3写入缓存队列。
进一步地,计算机设备判断缓存队列是否符合执行条件,当符合执行条件时,通过批处理线程批量响应缓存队列中的质检请求,并在质检请求响应完毕时,将响应完毕的质检请求从缓存队列中对应删除。
在其中一个实施例中,计算机设备可判断缓存队列中的质检请求的请求数量是否达到预设数量,并在达到预设数量时,判定缓存队列符合执行条件,此时,通过批处理线程批量响应缓存队列中的质检请求。
在其中一个实施例中,计算机设备可判断在预设时长内是否存在新写入的质检请求,比如,可判断5秒内请求线程是否将质检写入缓存队列中,并在不存在新写入的质检请求时,判定缓存队列符合执行条件,此时,批处理线程批量响应缓存队列中的质检请求。
在其中一个实施例中,如图7所示,当获取得到多个目标质检子任务时,计算机设备可对各目标质检子任务进行任务管理,以对各目标质检子任务进行并行调度执行。对于每个目标质检子任务的执行,计算机设备均对目标质检子任务所对应的目标质检片段中的多个视频帧进行批量处理,基于CV集群中的GPU资源对批量处理的多个视频帧进行质检处理,也即基于GPU资源对各视频帧进行图像识别。图7为一个实施例中多个质检子任务并行调度执行的流程示意图。
上述实施例中,通过缓存队列对质检子任务进行并行调出处理,可以提升视频质检的质检效率。
在一个实施例中,上述视频质检方法还包括:每当获取到待进行质检的目标视频时,确定目标视频对应的质检任务;将质检任务添加至任务队列;对任务队列中的多于一个的质检任务进行并行调度执行,且在执行每个质检任务时均执行从获取待进行质检的目标视频、以及与目标视频对应的任务配置信息的步骤,至并行调度各质检子任务并执行,直至得到与目标视频对应的质检结果的步骤。
具体地,对目标视频进行检测的过程可称作一个质检任务,一个质检任务中可包括有至少一个质检子任务,当获取得到多段目标视频时,计算机设备可确定与各目标视频相对应的质检任务,并将质检任务添加至预先生成的任务队列中。进一步地,计算机设备可对任务队列中的多于一个质检任务进行并行调度执行,并按照上述步骤执行每个质检任务中的质检子任务。
在其中一个实施例中,计算机设备可根据资源空闲程度,动态调整任务队列的队列长度,例如,当空闲资源小于预设资源大小时,减短任务队列的队列长度;当空闲资源大于预设资源大小时,增加任务队列的队列长度,从而当任务队列满时,后续待添加至任务队列中的质检任务处于等待响应状态;当任务队列未满时,对任务队列中的各质检任务进行并行调度执行。
本实施例中,通过对任务队列中的多于一个的质检任务进行并行调度执行,可以提升视频质检的质检效率。
在一个实施例中,质检任务包括至少一个质检子任务,对任务队列中的多于一个的质检任务进行并行调度执行,包括:确定任务队列中的当前质检任务,并对当前质检任务所包括的各质检子任务进行调度执行;监控当前质检任务中每个质检子任务各自对应的执行资源的使用情况;当存在未被使用的执行资源时,基于未被使用的执行资源执行任务队列中在当前质检任务的下一顺序的质检任务。
具体地,计算机设备确定任务队列中的当前质检任务,并按照各质检子任务的请求执行时间,依次对当前质检任务所包括的各质检子任务进行调度执行。计算机设备实时监控当前质检任务中每个质检子任务各自对应的执行资源的使用情况,当存在未被使用的执行资源时,计算机设备基于未被使用的执行资源执行任务队列中在当前质检任务的下一顺序的质检任务,如此,便能实现对多个质检任务进行并行调度执行。
举例说明,如图8所示,当在t2时刻接收到目标视频1、在t3时刻接收到对目标视频1中的身份证进行OCR识别的身份证识别子任务“OCR1”的执行请求、在t4时刻接收到对目标视频1中的身份证展示动作进行识别的动作识别子任务“动作1”的执行请求、以及在t5时刻接收到对目标视频1中的人脸进行识别的人脸检测子任务“人脸1”的执行请求时,计算机设备可监控“OCR1”、“动作1”以及“人脸1”各自对应的执行资源的使用情况,并在确定t4时刻的“动作1”未使用所分配执行资源时,将此执行资源分配至同为t4时刻接收到的“OCR2”,如此便可基于执行资源对目标视频2中的身份证进行识别。容易理解地,当确定“OCR2”依旧未使用分配的执行资源时,计算机设备还可将此执行资源再次分配至t4时刻接收到的“动作3”,如此,便可根据接收到各质检任务的时间差以及各质检子任务的执行请求之间的时间差,对多个质检任务按流水线调度,从而实现多任务并行调度处理,进而提升质检效率。图8为一个实施例中,多个质检任务并行调度执行的流程示意图。
上述实施例中,通过将未被使用的执行资源分配至其余质检子任务,可以提升执行资源的利用率,从而进一步提升视频质检的质检效率。
在一个实施例中,目标视频为基于保险业务场景所进行录制的双录视频;与目标视频对应的质检子任务包括签字识别子任务、单证识别子任务、身份证识别子任务、人脸检测子任务、动作识别子任务以及人体检测子任务中的至少一种。
具体地,在保险销售的过程中,销售人员可通过录音录像等技术手段采集待质检的目标视频,以实现销售行为可回放、重要信息可查询、问题责任可确认。与目标视频相对应的质检任务可包括签字识别子任务、单证识别子任务、身份证识别子任务、人脸检测子任务、动作识别子任务以及人体检测子任务中的至少一个质检子任务。其中,动作识别子任务可包括身份证展示子任务、身份证签字动作子任务、单证展示子任务以及单证签字子任务。其中,签字识别子任务、单证识别子任务以及身份证识别子任务又可归纳为OCR识别任务。
当质检子任务为签字识别子任务时,计算机设备可通过OCR(Optical CharacterRecognition,光学字符识别)签字识别算法对签字过程进行识别,得到签字结果,并判断签字结果是否符合预设签字要求;当质检子任务为单证识别子任务时,计算机设备可通过OCR单证识别算法对单证展示过程进行识别,得到单证类型;当质检子任务为身份证识别子任务时,计算机设备可通过OCR身份证识别算法对身份证展示过程进行识别,得到身份证号码,并判断身份证号码是否符合预设证件要求;当质检子任务为人脸检测子任务时,计算机设备可通过人脸检测算法对视频图像帧中的人脸进行识别,得到人脸运动轨迹;当质检子任务为动作识别子任务时,计算机设备可对目标视频中的身份证展示动作、单证展示动作、身份证签字动作或者单证签字动作进行识别,并判断目标视频中的动作是否符合预设的动作标准;当质检子任务为人体检测子任务时,计算机设备可对目标视频中的人体进行识别。
在其中一个实施例中,当与目标视频相对应的目标质检子任务为人脸识别子任务、人体识别子任务以及签字动作识别子任务时,计算机设备可基于人脸检测算法识别目标视频中的人脸,可基于人体检测算法识别目标视频中的人体,以及可基于动作识别算法对目标视频中的签字动作进行识别。当基于人脸识别结果、人体识别结果以及动作识别结果,确定在签字的过程中出现人脸以及人体时,计算机设备可将签字的过程中的人脸以及人体进行绑定处理,判断同一视频帧中的进行签字的人脸和人体是属于同一人物,从而减少在保险销售的过程中误签字、代签字出现的概率,以提升保险销售的规范性。
上述实施例中,通过设置多种质检子任务,使得用户可基于自身需求选择对应的目标质检子任务,从而大大提升了用户体验。
在一个实施例中,上述视频质检方法还包括:当获取得到与目标视频对应的质检结果时,将质检结果返回至终端,并触发终端展示质检结果;其中,所展示的质检结果用于辅助用户对目标视频进行人工审核,且质检结果包括执行签字识别子任务得到的签字内容、执行单证识别子任务得到的单证类型、执行身份证识别子任务得到的身份证内容、执行人脸检测子任务得到的人物角色标识、执行动作识别子任务得到的动作内容及执行人体检测子任务得到的人体检测结果中的至少一项。
具体地,当获取得到各目标质检子任务的质检结果时,计算机设备可将质检结果返回至用户终端,以使用户终端对应展示质检结果。比如,当目标质检子任务为人脸识别子任务时,计算机设备可将执行人脸检测子任务得到的人物角色标识返回至用户终端,从而用户终端可通过人脸框将框选相应视频帧中的人脸,以及展示被框选的人物的人物标识,从而用户可对目标视频中出现的人物进行区分,比如可对销售人员、被保人员以业务经理进行区分。又比如,当目标质检任务为身份证展示子任务时,计算机设备可将展示身份证的时间段以及身份证展示的动作识别结果返回至用户终端,以使用户可基于时间段准确定位至待人工审核的目标视频区间,并基于动作识别结果对目标视频区间中的展示动作进行人工复核。再者,当目标质检任务为单证识别子任务时,计算机设备可将识别得到的单证类型返回至用户终端,从而用户可通过返回的质检结果确定目标视频中单证类型是否为预设目标类型。
本实施例中,通过将质检结果返回至用户终端,可以为用户提供更加快速的质检数据,以便用户可通过质检结果快速快速得知单证、身份证、签字、展示等关键行为是否符合预设规则,以及快速定位至关键行为出现的时段,进而快速确定整个目标视频是否合法合规。
视频检测方法可用于视频质检***,为了便于本领域技术人员的理解,参考图9,图9示出了一个实施例中视频质检***的***示意图。视频质检***包括应用层(也可称作前端)902、处理层(也可称作web后台)904、接入层集群906、微服务908、管理中心910以及kubernetes集群912。其中,kubernetes集群912用于管理云平台中多个主机上的容器化的应用,也即用于对应用层902、处理层904、接入层集群906、微服务908、管理中心910进行管理。应用层902用以接收用户上传的目标视频、以及用于对目标视频进行任务配置。处理层904用以根据任务配置信息确定与目标视频对应的目标质检子任务、对目标视频进行拆分处理、以及对目标视频进行视频清洗处理和视频帧清洗处理。接入层集群906用以接入各清洗后的目标质检片段,并确定各目标质检片段各自对应的目标质检子任务,从而微服务908、可通过均衡负载执行各目标质检子任务。管理中心910可对整个***进行监控管理,并对整个***进行持续集成以及发布新***。
在一个实施例中,如图10所示,提供了一个具体实施例中视频质检方法的流程示意图:
S1002,接收终端发送的待进行质检的目标视频和目标任务配置项;目标任务配置项是基于对终端所展示的任务配置页面中的多个候选任务配置项进行选中操作所得到。
S1004,将接收到的目标任务配置项,作为与目标视频相对应的任务配置信息。
S1006,根据任务配置信息,确定与目标视频对应的至少一个质检子任务;与目标视频对应的质检子任务包括签字识别子任务、单证识别子任务、身份证识别子任务、人脸检测子任务、动作识别子任务及人体检测子任务中的至少一个种。
S1008,对目标视频进行视频清洗处理,得到目标视频的音频文件;确定与各质检子任务分别对应的目标关键词;对音频文件进行语音识别,得到音频文件的初始识别结果;对初始识别结果进行语义分析,得到音频文件的结构化识别结果;对结构化识别结果进行关键词监听,得到目标关键词在音频文件中出现时刻。
S1010,基于出现时刻对目标视频进行分段处理,得到与每个质检子任务分别相匹配的目标视频区间。确定目标视频区间的原始帧率;将目标视频区间的原始帧率调整为目标帧率。
S1012,确定与各质检子任务分别对应的跳帧因子;对于每个质检子任务,均根据相应质检子任务分别对应的跳帧因子,从相应质检子任务所对应的、且实现帧率调整后的目标视频区间中筛选出目标视频帧;对于每个质检子任务,均组合相对应的目标视频帧,得到与相应质检子任务对应的目标质检片段。
S1014,确定每个质检子任务在执行时各自所需的执行资源;基于执行资源,并行调度质检子任务并执行。监控当前质检任务中每个质检子任务各自对应的执行资源的使用情况;当存在未被使用的执行资源时,基于未被使用的执行资源执行任务队列中在当前质检任务的下一顺序的质检任务。
S1016,对于每个质检子任务的执行,均通过多个请求线程,并行生成相应目标质检片段中的待质检视频帧的质检请求;通过请求线程,将生成的质检请求写入缓存队列;当缓存队列符合执行条件时,批量响应缓存队列中的质检请求。
S1018,每当获取到待进行质检的目标视频时,确定目标视频对应的质检任务;将质检任务添加至任务队列;对任务队列中多于一个的质检任务进行并行调度执行。
S1020,执行每个质检任务时均执行从获取待进行质检的目标视频、以及与目标视频对应的任务配置信息的步骤,至并行调度各质检子任务并执行,直至得到与目标视频对应的质检结果的步骤。
S1022,当获取得到与目标视频对应的质检结果时,将质检结果返回至终端,并触发终端展示质检结果;其中,所展示的质检结果用于辅助用户对目标视频进行人工审核。
上述视频质检方法,当获取得到目标视频以及与目标视频相对应的任务配置信息时,可基于任务配置信息,确定与目标视频对应的至少一个待执行的质检子任务,从而后续可仅执行待执行的质检子任务,而无需执行全部的质检子任务,如此,大大提升了视频质检的质检效率。当确定与目标视频对应的质检子任务时,可从目标视频中确定与各质检子任务分别匹配的目标视频区间,并根据跳帧信息对相应的目标视频区间进行跳帧处理,得到每个质检子任务分别对应的目标质检片段,从而后续可仅对目标质检片段中的视频帧进行质检处理,而无需对整个目标视频中的视频帧均进行质检处理,如此,进一步提升了视频质检的质检效率。当获取得到每个质检子任务对应的目标质检片段时,可并行调度各质检子任务并执行,以及将质检子任务所对应的目标质检片段中的多个视频帧共同作为执行对象,从而更进一步地提升了视频质检的质检效率。由于可自动对目标视频进行质检,相比于传统的采取人工审核的方式对视频进行质检,本申请可大大提升视频质检的质检效率。
应该理解的是,虽然图2、10的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2、10中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
本申请还提供一种应用场景,该应用场景应用上述的视频质检方法,具体地,该视频质检方法在该场景的应用如下:
在监考过程中,架设于教室中的录音录像设备可对监考过程进行采集,得到监考视频,从而教师可将监考视频作为待质检的目标视频上传至计算机设备,并对应配置目标视频的任务配置信息。计算机设备可采用上述方式,确定待执行的质检子任务、对目标视频进行分段处理和跳帧处理、以及对质检任务和质检子任务进行并行调度处理,直至得到质检结果后,将质检结果返回至用户终端,从而教师可基于人脸识别子任务的质检结果,确定教室中的考生身份信息;基于签字识别子任务的质检结果,确定考试过程中的签字内容;基于动作识别子任务的质检结果,确定考试过程中是否有考生随意张望、离开座位;基于人体识别子任务的质检结果,确定考试过程中是否存在代考现象等。
本申请还提供另一种应用场景,该应用场景应用上述的视频质检方法,具体地,该视频质检方法在该场景的应用如下:
在办理银行业务的过程中,架设于银行的录音录像设备可对业务办理过程进行采集,得到业务办理视频,从而银行业务员可将此业务办理视频作为待质检的目标视频上传至计算机设备,并对目标视频进行任务配置。计算机可采用上述方式得到质检结果,并将质检结果返回至用户终端,以使管理人员可基于人脸识别子任务的质检结果,区分业务办理视频中的银行业务员以及客户;基于签字识别子任务的质检结果中的,确定银行业务的过程中的签字内容;基于展示动作识别子任务的质检结果中的,确定银行业务的过程中的展示动作,并判断展示动作是否符合预设要求;基于身份证识别子任务的质检结果,确定所展示的身份证号码,并判断此身份证号码是否符合预设要求等。
在一个实施例中,如图11所示,提供了一种视频质检装置1100,该装置可以采用软件模块或硬件模块,或者是二者的结合成为计算机设备的一部分,该装置具体包括:子任务确定模块1102、质检片段确定模块1104和执行模块1106,其中:
子任务确定模块1102,用于获取待进行质检的目标视频、以及与目标视频对应的任务配置信息;根据任务配置信息,确定与目标视频对应的至少一个质检子任务。
质检片段确定模块1104,用于从目标视频中确定与各质检子任务分别相匹配的目标视频区间;根据各质检子任务分别对应的跳帧信息,对相应的目标视频区间进行跳帧处理,得到每个质检子任务分别对应的目标质检片段。
执行模块1106,用于并行调度各质检子任务并执行,直至得到与目标视频对应的质检结果,其中,在执行每个质检子任务的过程中,将质检子任务所对应的目标质检片段中的多个视频帧共同作为执行对象。
在一个实施例中,如图12所示,子任务确定模块1102还用于接收终端发送的待进行质检的目标视频和目标任务配置项;目标任务配置项是基于对终端所展示的任务配置页面中的多个候选任务配置项进行选中操作所得到;将接收到的目标任务配置项,作为与目标视频相对应的任务配置信息。
在一个实施例中,质检片段确定模块1104还包括区间确定模块1141,用于对目标视频进行视频清洗处理,得到目标视频的音频文件;确定与各质检子任务分别对应的目标关键词;对目标视频中的音频文件进行关键词监听,以确定目标关键词在音频文件中的出现时刻;基于出现时刻对目标视频进行分段处理,得到与每个质检子任务分别相匹配的目标视频区间。
在一个实施例中,区间确定模块1141还用于对音频文件进行语音识别,得到音频文件的初始识别结果;对初始识别结果进行语义分析,得到音频文件的结构化识别结果;对结构化识别结果进行关键词监听,得到目标关键词在音频文件中的出现时刻。
在一个实施例中,质检片段确定模块1104还包括跳帧模块1142,用于确定与各质检子任务分别对应的跳帧因子;根据各质检子任务分别对应的跳帧因子,从各个质检子任务各自对应的目标视频区间中筛选出目标视频帧;对于每个质检子任务,均组合相对应的目标视频帧,得到与相应质检子任务对应的目标质检片段。
在一个实施例中,跳帧模块1142还用于确定目标视频区间的原始帧率;将目标视频区间的原始帧率调整为目标帧率;对于每个质检子任务,均根据相应质检子任务分别对应的跳帧因子,从相应质检子任务所对应的、且实现帧率调整后的目标视频区间中筛选出目标视频帧。
在一个实施例中,执行模块1106还用于确定每个质检子任务在执行时各自所需的执行资源;基于执行资源,并行调度质检子任务并执行。
在一个实施例中,执行模块1106还包括批处理模块1161,用于对于每个质检子任务的执行,均通过多个请求线程,并行生成相应目标质检片段中的待质检视频帧的质检请求;通过请求线程,将生成的质检请求写入缓存队列;当缓存队列符合执行条件时,批量响应缓存队列中的质检请求。
在一个实施例中,视频质检装置1100还用于每当获取到待进行质检的目标视频时,确定目标视频对应的质检任务;将质检任务添加至任务队列;对任务队列中的多于一个的质检任务进行并行调度执行,且在执行每个质检任务时均执行从获取待进行质检的目标视频、以及与目标视频对应的任务配置信息的步骤,至并行调度各质检子任务并执行,直至得到与目标视频对应的质检结果的步骤。
在一个实施例中,视频质检装置1100还用于确定任务队列中的当前质检任务,并对当前质检任务所包括的各质检子任务进行调度执行;监控当前质检任务中每个质检子任务各自对应的执行资源的使用情况;当存在未被使用的执行资源时,基于未被使用的执行资源执行任务队列中在当前质检任务的下一顺序的质检任务。
在一个实施例中,视频质检装置1100还用于获取目标视频;目标视频为基于保险业务场景所进行录制的双录视频;与目标视频对应的质检子任务包括签字识别子任务、单证识别子任务、身份证识别子任务、人脸检测子任务、动作识别子任务以及人体检测子任务中的至少一种。
在一个实施例中,视频质检装置1100还包括展示模块1108,用于当获取得到与目标视频对应的质检结果时,将质检结果返回至终端,并触发终端展示质检结果;其中,所展示的质检结果用于辅助用户对目标视频进行人工审核,且质检结果包括执行签字识别子任务得到的签字内容、执行单证识别子任务得到的单证类型、执行身份证识别子任务得到的身份证内容、执行人脸检测子任务得到的人物角色标识、执行动作识别子任务得到的动作内容及执行人体检测子任务得到的人体检测结果中的至少一项。
关于视频质检装置的具体限定可以参见上文中对于视频质检方法的限定,在此不再赘述。上述视频质检装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图13所示。该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储视频质检数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种视频质检方法。
本领域技术人员可以理解,图13中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机可读存储介质,存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory,ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic Random Access Memory,DRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (8)
1.一种视频质检方法,其特征在于,所述方法包括:
获取待进行质检的至少一个目标视频,并确定每个所述目标视频各自对应的质检任务;所述目标视频为基于保险业务场景所进行录制的双录视频;
将所述质检任务添加至任务队列;其中,所述任务队列的队列长度是根据资源空闲程度来确定,当空闲资源小于预设资源大小时,减短所述任务队列的队列长度,当所述空闲资源大于预设资源大小时,增加所述任务队列的队列长度,当所述任务队列已满时,后续待添加至所述任务队列中的质检任务处于等待响应状态;
确定所述任务队列中的当前质检任务以及与所述当前质检任务对应的当前的目标视频;
接收终端发送的目标任务配置项;所述目标任务配置项是基于对终端所展示的任务配置页面中的多个候选任务配置项进行选中操作所得到;
将接收到的所述目标任务配置项,作为与所述目标视频相对应的任务配置信息;根据所述任务配置信息,确定与所述当前的目标视频对应的至少一个质检子任务,并从任务配置池中筛选出所述至少一个质检子任务的目标任务标识,并将筛选出来的目标任务标识存储至任务调度池,以便于所述质检子任务的调度与执行;所述质检子任务包括签字识别子任务、单证识别子任务、身份证识别子任务、人脸检测子任务、动作识别子任务以及人体检测子任务中的至少一种;所述候选任务配置项与所述质检子任务一一对应;
对所述目标视频进行视频清洗处理,得到所述目标视频的音频文件;
根据预存储的质检子任务与目标关键词之间的对应关系,确定与各质检子任务分别对应的目标关键词;
对所述目标视频中的音频文件进行关键词监听,以确定所述目标关键词在所述音频文件中的出现时刻;
基于所述出现时刻对所述目标视频进行分段处理,得到与每个所述质检子任务分别相匹配的目标视频区间;
确定所述目标视频区间的原始帧率,并将所述目标视频区间的原始帧率调整为目标帧率,以减少参与质检的视频帧的总数量;
根据各所述质检子任务分别对应的跳帧信息,对相应的实现帧率调整后的目标视频区间进行跳帧处理,得到每个所述质检子任务分别对应的目标质检片段;所述跳帧信息是综合质检子任务的质检结果准确性、计算机资源消耗情况以及各质检子任务的处理效率确定得到的;确定所述当前质检任务中的每个质检子任务在执行时各自所需的相互独立的执行资源;所述跳帧信息包括跳帧因子;所述跳帧因子为目标视频区间中参与质检的视频帧的比例;所述根据各所述质检子任务分别对应的跳帧信息,对相应的实现帧率调整后的目标视频区间进行跳帧处理,得到每个所述质检子任务分别对应的目标质检片段包括:根据质检子任务与跳帧因子之间的对应关系,确定与各所述质检子任务分别对应的跳帧因子;根据各所述质检子任务分别对应的跳帧因子,从各个质检子任务各自对应的实现帧率调整后的目标视频区间中筛选出目标视频帧;对于每个质检子任务,均组合相对应的所述目标视频帧,得到与相应质检子任务对应的目标质检片段;
基于所述相互独立的执行资源,并行调度所述当前质检任务中的各质检子任务并执行,直至得到与所述当前的目标视频对应的质检结果,其中,在执行每个质检子任务的过程中,均通过多个请求线程,并行提取相应质检子任务所对应的目标质检片段中的待质检视频帧,并生成对提取的待质检视频帧进行质检的质检请求,将质检请求写入缓存队列,当所述缓存队列符合执行条件时,通过批处理线程批量响应所述缓存队列中的质检请求;
其中,在对所述当前质检任务所包括的各质检子任务进行并行调度执行的过程中,按照各质检子任务的请求执行时间,依次对所述当前质检任务所包括的各质检子任务进行调度执行;
其中,在按照各质检子任务的请求执行时间,依次对所述当前质检任务所包括的各质检子任务进行调度执行的过程中,监控所述当前质检任务中每个质检子任务各自对应的执行资源的使用情况,当存在未被使用的执行资源时,基于未被使用的所述执行资源执行所述任务队列中在所述当前质检任务的下一顺序的质检任务中的质检子任务。
2.根据权利要求1所述的方法,其特征在于,所述对所述目标视频中的音频文件进行关键词监听,以确定所述目标关键词在所述音频文件中的出现时刻,包括:
对所述音频文件进行语音识别,得到所述音频文件的初始识别结果;
对所述初始识别结果进行语义分析,得到所述音频文件的结构化识别结果;
对所述结构化识别结果进行关键词监听,得到所述目标关键词在所述音频文件中的出现时刻。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当获取得到与所述目标视频对应的质检结果时,将所述质检结果返回至终端,并触发所述终端展示所述质检结果;其中,所展示的质检结果用于辅助用户对目标视频进行人工审核,且所述质检结果包括执行所述签字识别子任务得到的签字内容、执行所述单证识别子任务得到的单证类型、执行所述身份证识别子任务得到的身份证内容、执行所述人脸检测子任务得到的人物角色标识、执行所述动作识别子任务得到的动作内容及执行所述人体检测子任务得到的人体检测结果中的至少一项。
4.一种视频质检装置,其特征在于,所述装置包括:
子任务确定模块,用于获取待进行质检的至少一个目标视频,并确定每个所述目标视频各自对应的质检任务;所述目标视频为基于保险业务场景所进行录制的双录视频;将所述质检任务添加至任务队列;其中,所述任务队列的队列长度是根据资源空闲程度来确定,当空闲资源小于预设资源大小时,减短所述任务队列的队列长度,当所述空闲资源大于预设资源大小时,增加所述任务队列的队列长度,当所述任务队列已满时,后续待添加至所述任务队列中的质检任务处于等待响应状态;确定所述任务队列中的当前质检任务以及与所述当前质检任务对应的当前的目标视频;接收终端发送的目标任务配置项;所述目标任务配置项是基于对终端所展示的任务配置页面中的多个候选任务配置项进行选中操作所得到;将接收到的所述目标任务配置项,作为与所述目标视频相对应的任务配置信息;根据所述任务配置信息,确定与所述当前的目标视频对应的至少一个质检子任务,并从任务配置池中筛选出所述至少一个质检子任务的目标任务标识,并将筛选出来的目标任务标识存储至任务调度池,以便于所述质检子任务的调度与执行;所述质检子任务包括签字识别子任务、单证识别子任务、身份证识别子任务、人脸检测子任务、动作识别子任务以及人体检测子任务中的至少一种;所述候选任务配置项与所述质检子任务一一对应;
质检片段确定模块,用于对所述目标视频进行视频清洗处理,得到所述目标视频的音频文件;根据预存储的质检子任务与目标关键词之间的对应关系,确定与各质检子任务分别对应的目标关键词;对所述目标视频中的音频文件进行关键词监听,以确定所述目标关键词在所述音频文件中的出现时刻;基于所述出现时刻对所述目标视频进行分段处理,得到与每个所述质检子任务分别相匹配的目标视频区间;确定所述目标视频区间的原始帧率,并将所述目标视频区间的原始帧率调整为目标帧率,以减少参与质检的视频帧的总数量;根据各所述质检子任务分别对应的跳帧信息,对相应的实现帧率调整后的目标视频区间进行跳帧处理,得到每个所述质检子任务分别对应的目标质检片段;所述跳帧信息是综合质检子任务的质检结果准确性、计算机资源消耗情况以及各质检子任务的处理效率确定得到的;所述跳帧信息包括跳帧因子;所述跳帧因子为目标视频区间中参与质检的视频帧的比例;所述根据各所述质检子任务分别对应的跳帧信息,对相应的实现帧率调整后的目标视频区间进行跳帧处理,得到每个所述质检子任务分别对应的目标质检片段包括:根据质检子任务与跳帧因子之间的对应关系,确定与各所述质检子任务分别对应的跳帧因子;根据各所述质检子任务分别对应的跳帧因子,从各个质检子任务各自对应的实现帧率调整后的目标视频区间中筛选出目标视频帧;对于每个质检子任务,均组合相对应的所述目标视频帧,得到与相应质检子任务对应的目标质检片段;
执行模块,用于确定所述当前质检任务中的每个质检子任务在执行时各自所需的相互独立的执行资源;基于所述相互独立的执行资源,并行调度所述当前质检任务中的各质检子任务并执行,直至得到与所述当前的目标视频对应的质检结果,其中,在执行每个质检子任务的过程中,均通过多个请求线程,并行提取相应质检子任务所对应的目标质检片段中的待质检视频帧,并生成对提取的待质检视频帧进行质检的质检请求,将质检请求写入缓存队列,当所述缓存队列符合执行条件时,通过批处理线程批量响应所述缓存队列中的质检请求;其中,在对所述当前质检任务所包括的各质检子任务进行并行调度执行的过程中,按照各质检子任务的请求执行时间,依次对所述当前质检任务所包括的各质检子任务进行调度执行;其中,在按照各质检子任务的请求执行时间,依次对所述当前质检任务所包括的各质检子任务进行调度执行的过程中,监控所述当前质检任务中每个质检子任务各自对应的执行资源的使用情况,当存在未被使用的执行资源时,基于未被使用的所述执行资源执行所述任务队列中在所述当前质检任务的下一顺序的质检任务中的质检子任务。
5.根据权利要求4所述的装置,其特征在于,所述质检片段确定模块包括区间确定模块,所述区间确定模块用于对所述音频文件进行语音识别,得到所述音频文件的初始识别结果;对所述初始识别结果进行语义分析,得到所述音频文件的结构化识别结果;对所述结构化识别结果进行关键词监听,得到所述目标关键词在所述音频文件中的出现时刻。
6.根据权利要求4所述的装置,其特征在于,所述视频质检装置还包括展示模块,用于当获取得到与所述目标视频对应的质检结果时,将所述质检结果返回至终端,并触发所述终端展示所述质检结果;其中,所展示的质检结果用于辅助用户对目标视频进行人工审核,且所述质检结果包括执行所述签字识别子任务得到的签字内容、执行所述单证识别子任务得到的单证类型、执行所述身份证识别子任务得到的身份证内容、执行所述人脸检测子任务得到的人物角色标识、执行所述动作识别子任务得到的动作内容及执行所述人体检测子任务得到的人体检测结果中的至少一项。
7.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的方法的步骤。
8.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至3中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110001121.8A CN112351337B (zh) | 2021-01-04 | 2021-01-04 | 视频质检方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110001121.8A CN112351337B (zh) | 2021-01-04 | 2021-01-04 | 视频质检方法、装置、计算机设备和存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112351337A CN112351337A (zh) | 2021-02-09 |
CN112351337B true CN112351337B (zh) | 2022-02-01 |
Family
ID=74427726
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110001121.8A Active CN112351337B (zh) | 2021-01-04 | 2021-01-04 | 视频质检方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112351337B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113206998B (zh) * | 2021-04-30 | 2022-12-09 | 中国工商银行股份有限公司 | 一种业务录制的视频数据质检方法及装置 |
CN113435414B (zh) * | 2021-07-30 | 2024-04-26 | 北京中科通量科技有限公司 | 一种视频内容审核***、方法及装置 |
CN113792622A (zh) * | 2021-08-27 | 2021-12-14 | 深圳市商汤科技有限公司 | 帧率调整方法及装置、电子设备和存储介质 |
CN114640806A (zh) * | 2022-03-14 | 2022-06-17 | 上海哔哩哔哩科技有限公司 | 视频文件合成方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101957780A (zh) * | 2010-08-17 | 2011-01-26 | 中国电子科技集团公司第二十八研究所 | 一种基于资源状态信息的网格任务调度处理器及方法 |
CN109831665A (zh) * | 2019-01-16 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 一种视频质检方法、***及终端设备 |
CN110147726A (zh) * | 2019-04-12 | 2019-08-20 | 财付通支付科技有限公司 | 业务质检方法和装置、存储介质及电子装置 |
CN111741356A (zh) * | 2020-08-25 | 2020-10-02 | 腾讯科技(深圳)有限公司 | 双录视频的质检方法、装置、设备及可读存储介质 |
CN112016538A (zh) * | 2020-10-29 | 2020-12-01 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
CN112101311A (zh) * | 2020-11-16 | 2020-12-18 | 深圳壹账通智能科技有限公司 | 基于人工智能的双录质检方法、装置、计算机设备及介质 |
-
2021
- 2021-01-04 CN CN202110001121.8A patent/CN112351337B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101957780A (zh) * | 2010-08-17 | 2011-01-26 | 中国电子科技集团公司第二十八研究所 | 一种基于资源状态信息的网格任务调度处理器及方法 |
CN109831665A (zh) * | 2019-01-16 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 一种视频质检方法、***及终端设备 |
CN110147726A (zh) * | 2019-04-12 | 2019-08-20 | 财付通支付科技有限公司 | 业务质检方法和装置、存储介质及电子装置 |
CN111741356A (zh) * | 2020-08-25 | 2020-10-02 | 腾讯科技(深圳)有限公司 | 双录视频的质检方法、装置、设备及可读存储介质 |
CN112016538A (zh) * | 2020-10-29 | 2020-12-01 | 腾讯科技(深圳)有限公司 | 视频处理方法、装置、计算机设备和存储介质 |
CN112101311A (zh) * | 2020-11-16 | 2020-12-18 | 深圳壹账通智能科技有限公司 | 基于人工智能的双录质检方法、装置、计算机设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112351337A (zh) | 2021-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112351337B (zh) | 视频质检方法、装置、计算机设备和存储介质 | |
US8990149B2 (en) | Generating a predictive model from multiple data sources | |
CN111741356B (zh) | 双录视频的质检方法、装置、设备及可读存储介质 | |
JP6751806B2 (ja) | エンティティに関連する欠落情報を補足するために複数のデータストリームを使用するエンティティ認識 | |
CN109918184B (zh) | 图片处理***、方法及相关装置和设备 | |
CN111258744A (zh) | 一种基于异构计算的任务处理方法及软硬件框架*** | |
US10304447B2 (en) | Conflict resolution enhancement system | |
US11955127B2 (en) | Cognitive correlation of group interactions | |
US20220374219A1 (en) | Deployment of service | |
US10146659B2 (en) | Large event log replay method and system | |
US10423822B2 (en) | Video image overlay of an event performance | |
CN112733042A (zh) | 推荐信息的生成方法、相关装置及计算机程序产品 | |
CN116775183A (zh) | 基于大语言模型的任务生成方法、***、设备及存储介质 | |
US20200250608A1 (en) | Providing feedback by evaluating multi-modal data using machine learning techniques | |
US11947894B2 (en) | Contextual real-time content highlighting on shared screens | |
US20200251006A1 (en) | Dynamic evaluation of event participants using a smart context-based quiz system | |
CN112085078A (zh) | 图像分类模型生成***、方法、装置和计算机设备 | |
CN115170085A (zh) | 审批流程生成方法、装置、存储介质以及电子设备 | |
CN114691953A (zh) | 结合大数据的沉浸式交互偏好挖掘方法及*** | |
US11558438B1 (en) | Status prediction for meetings and participants | |
US8195685B2 (en) | Service grouping and allocation method and system | |
US11386056B2 (en) | Duplicate multimedia entity identification and processing | |
Hsu et al. | Multimedia fog computing: Minions in the cloud and crowd | |
CN112308074A (zh) | 用于生成缩略图的方法和装置 | |
CN116610725B (zh) | 一种应用于大数据的实体增强规则挖掘方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40039046 Country of ref document: HK |
|
GR01 | Patent grant | ||
GR01 | Patent grant |