CN112788269B - 视频处理方法、装置、服务器及存储介质 - Google Patents
视频处理方法、装置、服务器及存储介质 Download PDFInfo
- Publication number
- CN112788269B CN112788269B CN202011618736.7A CN202011618736A CN112788269B CN 112788269 B CN112788269 B CN 112788269B CN 202011618736 A CN202011618736 A CN 202011618736A CN 112788269 B CN112788269 B CN 112788269B
- Authority
- CN
- China
- Prior art keywords
- video
- user
- person
- double
- recording
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 claims abstract description 95
- 238000012795 verification Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000012544 monitoring process Methods 0.000 claims description 18
- 230000009977 dual effect Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 4
- 230000006399 behavior Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000013518 transcription Methods 0.000 description 3
- 230000035897 transcription Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Collating Specific Patterns (AREA)
Abstract
本申请涉及数据处理技术领域，可应用于金融科技，本申请实施例提供了一种视频处理方法、装置、电子设备及存储介质，该方法包括：在用户进入视频双录***时，记录用户的声纹特征以及人脸特征；在用户基于视频双录***进行视频双录的过程中，当用户所在视频节点为视频校验节点时，获取用户在视频校验节点的双录视频，双录视频包括录音数据以及录像数据；当根据声纹特征、录音数据、人脸特征和录像数据确定对双录视频校验通过时，保存用户的标识、用户办理的业务的标识以及双录视频的标识之间的对应关系。采用本申请，可以提升双录视频的质量。本申请涉及区块链技术，可在区块链保存上述提及的三个标识的对应关系。
Description
技术领域
本申请涉及数据处理技术领域，尤其涉及一种视频处理方法、装置、服务器及存储介质。
背景技术
银监会发布《银行业金融机构销售专区录音录像管理暂行规定》进一步规范销售市场秩序和银行业金融机构自有理财产品及代销产品销售行为。在实际情况中，投资者和金融机构往往不在同一个地方，无论是投资者到金融机构所在地，还是金融机构到投资者所在地，都会产生高昂的时间成本和差旅成本，因此投资过程中的录音录像大部分采取了“远程在线双录”的办法。
目前，视频双录，如远程在线双录主要采用人工坐席视频双录方式，投资者远程连线金融机构，在坐席人员指导下完成产品风险了解和投资。除了上述提及的远程在线双录，目前还有临柜双录和自主双录等双录方式。
通常来说，监管部门会不定期对金融机构销售专区录音录像进行抽查，所以金融机构会安排运营审核双录视频。然而，双录视频常因不合格而被打回重录，双录视频的质量有待提升。
发明内容
本申请实施例提供了一种视频处理方法、装置、电子设备及存储介质，可以提升双录视频的质量。
第一方面，本申请实施例提供了一种视频处理方法，包括：
在用户进入视频双录***时，记录所述用户的声纹特征以及人脸特征；
在所述用户基于所述视频双录***进行视频双录的过程中，监测所述用户所在的视频节点；
当所述用户所在的视频节点为视频校验节点时，获取所述用户在所述视频校验节点的双录视频，所述双录视频包括调用所述用户对应的用户终端的录音设备采集的录音数据以及调用所述用户终端的摄像设备采集的录像数据；
根据所述声纹特征识别所述录音数据中是否包括除所述用户之外的其他人物的提示音，得到第一识别结果，并根据所述人脸特征识别所述录像数据是否包括目标人物的人脸图像，得到第二识别结果；其中，所述目标人物为所述用户和/或所述其他人物；
当根据所述第一识别结果以及所述第二识别结果确定对所述双录视频校验通过时，保存所述用户的标识、所述用户办理的业务的标识以及所述双录视频的标识之间的对应关系。
可选地，所述在所述用户基于所述视频双录***进行视频双录的过程中，监测所述用户所在的视频节点后，所述当所述用户所在的视频节点为视频校验节点时，获取所述用户在所述视频校验节点的双录视频前，所述方法还包括：
确定所述用户办理的业务；
查询所述业务在视频双录过程中的多个视频节点中每个视频节点所处的时间段；
根据所述用户基于所述视频双录***进行视频双录的起始时间以及所述每个视频节点所处的时间段，判断所述用户所在的视频节点是否为视频校验节点。
可选地，所述根据所述声纹特征识别所述录音数据中是否包括除所述用户之外的其他人物的提示音，得到第一识别结果，包括：
当根据所述声纹特征识别所述录音数据中包括除所述用户之外的至少一个人物中每个人物的提示音时，从所述录音数据中提取所述每个人物的提示音；
当根据预设声纹特征库以及所述每个人物的提示音确定所述每个人物为目标关键人物时，得到指示所述录音数据不包括所述其他人物的提示音的第一识别结果，所述声纹特征库包括多个关键人物中每个关键人物的声纹特征。
可选地，当所述目标人物包括所述用户时，所述根据所述人脸特征识别所述录像数据是否包括目标人物的人脸图像，得到第二识别结果，包括：
根据所述人脸特征对所述录像数据包括的目标帧画面进行人脸识别；所述目标帧画面为所述录像数据包括的多帧画面，或为按照预设帧间隔从所述录像数据中选取的连续数量帧画面；
当识别到所述目标帧画面中每帧画面包括所述用户的人脸图像时，得到指示所述录像数据包括所述用户的人脸图像的第二识别结果。
可选地，当所述目标人物包括所述其他人物时，所述根据所述人脸特征识别所述录像数据是否包括目标人物的人脸图像，得到第二识别结果，包括：
根据所述人脸特征对所述录像数据包括的目标帧画面进行人脸识别；所述目标帧画面为所述录像数据包括的多帧画面，或为按照预设帧间隔从所述录像数据中选取的连续数量帧画面；
当识别到所述目标帧画面中的任一帧画面不包括所述其他人物的人脸图像时，得到指示所述录像数据不包括所述其他人物的人脸图像的第二识别结果。
可选地，当识别到所述目标帧画面中的任一帧画面不包括所述其他人物的人脸图像时，得到指示所述录像数据不包括所述其他人物的人脸图像的第二识别结果前，所述方法还包括：
当识别到所述目标帧画面中的任一帧画面包括除所述用户之外的至少一个人物中每个人物的人脸图像时，截取所述每个人物的人脸图像；
当根据预设人脸图像库以及所述每个人物的人脸图像确定所述每个人物为目标关键人物时，确定所述目标帧画面中的任一帧画面不包括所述其他人物的人脸图像，所述人脸图像库包括多个关键人物中每个关键人物的人脸图像。
可选地，所述根据所述第一识别结果以及所述第二识别结果确定对所述双录视频校验通过，包括：
在所述目标人物包括所述用户的情况下，若所述第一识别结果指示所述录音数据不包括所述其他人物的提示音且所述第二识别结果指示所述录像数据包括所述用户的人脸图像，则确定对所述双录视频校验通过；和/或，
在所述目标人物包括所述其他人物的情况下，若所述第一识别结果指示所述录音数据不包括所述其他人物的提示音且所述第二识别结果指示所述录像数据不包括所述其他人物的人脸图像，则确定对所述双录视频校验通过。
第二方面，本申请实施例提供了一种视频处理装置，包括：
记录模块，用于在用户进入视频双录***时，记录所述用户的声纹特征以及人脸特征；
监测模块，用于在所述用户基于所述视频双录***进行视频双录的过程中，监测所述用户所在的视频节点；
获取模块，用于当所述用户所在的视频节点为视频校验节点时，获取所述用户在所述视频校验节点的双录视频，所述双录视频包括调用所述用户对应的用户终端的录音设备采集的录音数据以及调用所述用户终端的摄像设备采集的录像数据；
识别模块，用于根据所述声纹特征识别所述录音数据中是否包括除所述用户之外的其他人物的提示音，得到第一识别结果，并根据所述人脸特征识别所述录像数据是否包括目标人物的人脸图像，得到第二识别结果；其中，所述目标人物为所述用户和/或所述其他人物；
校验模块，用于当根据所述第一识别结果以及所述第二识别结果确定对所述双录视频校验通过时，保存所述用户的标识、所述用户办理的业务的标识以及所述双录视频的标识之间的对应关系。
第三方面，本申请实施例提供了一种电子设备，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如第一方面所述的方法。
综上所述，电子设备可以在用户进入视频双录***时，记录该用户的声纹特征以及人脸特征，并在该用户基于该视频双录***进行视频双录的过程中，监测该用户所在的视频节点；电子设备可以当该用户所在的视频节点为视频校验节点时，获取该用户在该视频校验节点的双录视频，该双录视频包括录音数据和录像数据；电子设备根据该声纹特征识别录音数据中是否包括除该用户之外的其他人物的提示音，得到第一识别结果，并根据该人脸特征识别该录像数据是否包括目标人物的人脸图像，得到第二识别结果，并当根据该第一识别结果以及该第二识别结果确定对该双录视频校验通过时，保存该用户的标识、该用户办理的业务的标识以及该双录视频的标识之间的对应关系，该过程通过监测视频节点，并对关键视频节点的双录视频进行自动化校验，能够降低不合格双录视频出现的概率，有效提升双录视频的质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种视频处理方法的流程示意图；
图2是本申请实施例提供的另一种视频处理方法的流程示意图；
图3是本申请实施例提供的一种视频处理装置的结构示意图；
图4是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。
请参阅图1，为本申请实施例提供的一种视频处理方法的流程示意图。该方法可以应用于电子设备，该电子设备可以为终端或服务器。具体的，该方法可以包括如下步骤：
S101、在用户进入视频双录***时，记录该用户的声纹特征以及人脸特征。
其中，视频双录***是指能够提供视频双录功能的***。该视频双录***可以实现音视频的录制。视频双录既可以规范业务办理流程，也可以为日后的争议提供依据。该声纹特征可以用于双录视频的录音识别过程，该人脸特征可以用于双录视频的人脸识别过程。下面将对声纹特征和人脸特征的其中一种获取方式进行阐述。
在一个实施例中，电子设备可以在用户进入视频双录***时，获取该用户的参考录音数据以及参考人脸图像；电子设备可以通过对该参考录音数据进行特征提取，得到该用户的声纹特征，并可以通过对该参考人脸图像进行特征提取，得到该用户的人脸特征。由上述过程可以看出，参考录音数据是指电子设备在用户进入视频双录***时获得的该用户的录音数据，参考录音数据能够用于提取该用户的声纹特征，参考人脸图像是指电子设备在用户进入视频双录***时获得的该用户的人脸图像，参考人脸图像能够用于提取该用户的人脸特征。
在一个应用场景中，用户在进入视频双录***后，可以使用终端输入个人信息以及办理的业务的信息，随后可以点击录音录像按钮，启动视频双录功能。电子设备可以在用户启动视频双录功能后，获取用户的参考录音数据以及参考人脸图像，并可以通过对该参考录音数据进行特征提取，得到该用户的声纹特征，并可以通过对该参考人脸图像进行特征提取，得到该用户的人脸特征。其中，参考人脸图像包括但不限于从用户上传的身份证等证件上截取，或还可以通过调用终端的录音设备采集得到，本申请实施例对参考人脸图像的获取方式不做限制。其中，参考录音数据包括但不限于通过调用终端的录音设备采集得到，本申请实施例对参考录音数据的获取方式不做限制。
S102、在该用户基于该视频双录***进行视频双录的过程中，监测该用户所在的视频节点。
本申请实施例中，用户在进入视频双录***后，随即可按照相关指示基于该视频双录***进行视频双录，电子设备可以在该用户基于该视频双录***进行视频双录的过程中，监测该用户所在的视频节点。其中，视频节点是指业务环节或流程节点。上述过程通过实时监测用户所在视频节点，能够有效防止视频双录过程中不合规双录视频的出现。
本申请实施例中，监测用户所在视频节点的主要是为了定位用户所在的视频校验节点，视频校验节点是指待校验的关键业务环节或关键流程节点。在一个实施例中，电子设备基于判断用户所在的视频节点是否为视频校验节点的方式可以为：电子设备通过预训练的循环神经网络模型识别该录音数据是否包括与视频校验节点相关的关键字，若包括，则确定该用户所在的视频节点为视频校验节点。除了利用循环神经网络模型，本申请实施例也可以利用其它深度学习模型，在此不做限制。
S103、当该用户所在的视频节点为视频校验节点时，获取该用户在该视频校验节点的双录视频，该双录视频包括调用该用户对应的用户终端的录音设备采集的录音数据以及调用该用户终端的摄像设备采集的录像数据。
S104、根据该声纹特征识别该录音数据中是否包括除该用户之外的其他人物的提示音，得到第一识别结果，并根据该人脸特征识别该录像数据是否包括目标人物的人脸图像，得到第二识别结果。
在步骤S103-步骤S104中，电子设备可以当该用户所在的视频节点为视频校验节点时，获取该用户在该视频校验节点的双录视频，并根据步骤S101获得的声纹特征识别该录音数据中是否包括除该用户之外的其他人物的提示音，得到第一识别结果，并根据步骤S101获得的该人脸特征识别该录像数据是否包括目标人物的人脸图像，得到第二识别结果。其中，所指的目标人物为该的用户和/或该的其他人物。本申请实施例可以通过对他人提示音的检测以及用户的人脸图像的检测，避免用户在视频双录过程中因他人提示或用户人脸不在画面导致的双录视频不符合规范的情况。或，本申请实施例可以通过对他人提示音的检测以及他人的人脸图像的检测，避免用户在视频双录过程中因他人提示或他人的人脸在画面导致的双录视频不符合规范的情况。下面将分别对声纹特征识别过程和人脸特征识别过程进行阐述。
在一个实施例中，电子设备根据该声纹特征识别该录音数据中是否包括除该用户之外的其他人物的提示音，得到第一识别结果的过程可以为电子设备当根据该声纹特征识别该录音数据中包括除该用户之外的至少一个人物中每个人物的提示音时，电子设备得到指示该录音数据包括该其他人物的提示音的第一识别结果，该声纹特征库包括多个关键人物中每个关键人物的声纹特征。该过程不允许视频双录过程出现其他人物的提示音。此处的其他人物不能在视频校验节点进行提示或在视频校验节点不具备提示权限。例如，在一些购买保险产品的场景中，如果该视频校验节点要求用户独立完成视频双录，该其他人物可以包括用户对接的保险业务人员等人物。采用该过程，能够有效降低他人诱导用户消费的风险，从而避免用户的经济损失。
在一个实施例中，电子设备根据该声纹特征识别该录音数据中是否包括除该用户之外的其他人物的提示音，得到第一识别结果的过程可以为电子设备当根据该声纹特征识别该录音数据中包括除该用户之外的至少一个人物中每个人物的提示音时，从该录音数据中提取该每个人物的提示音；电子设备当根据预设声纹特征库以及该每个人物的提示音确定该每个人物为目标关键人物时，得到指示该录音数据不包括该其他人物的提示音的第一识别结果，该声纹特征库包括多个关键人物中每个关键人物的声纹特征。该过程允许视频双录过程在一些特殊场景下由他人辅助用户完成视频双录。其中，目标关键人物可以在视频双录过程进行提示或在视频双录过程具有提示权限，这时目标关键人物不属于其他人物。例如，在另一些购买保险产品的场景中，如果该视频校验节点允许一些人物对该用户进行提示，该用户对接的保险业务人员可以被认为是目标关键人物，或该用户投保的被保险人(该被保险人不为该用户)可以被认为是目标关键人物。
在一个实施例中，当该目标人物包括该用户时，电子设备根据该人脸特征识别该录像数据是否包括目标人物的人脸图像，得到第二识别结果的方式可以如下：电子设备根据该人脸特征对该录像数据包括的目标帧画面进行人脸识别，并当识别到该目标帧画面中每帧画面包括该用户的人脸图像时，得到指示该录像数据包括该用户的人脸图像的第二识别结果。在一个实施例中，电子设备可以提取目标帧画面中每帧画面的人脸特征，并在记录的人脸特征与提取的每帧画面的人脸特征匹配时，确定该目标帧画面中每帧画面包括该用户的人脸图像。其中，该目标帧画面可以为该录像数据包括的多帧画面。或，该目标帧画面可以为按照预设帧间隔从该录像数据中选取的连续数量帧画面，如可以为每隔m帧从该录像数据选取的连续n帧画面。该过程通过对目标帧画面的每帧画面进行监测，可以提升第二识别结果的准确性。
在一个实施例中，为了避免出现用户的人脸只有部分在双录视频情况，进一步保证双录视频的有效性。电子设备可以当识别到该目标帧画面中每帧画面的指定区域内包括该用户的人脸图像时，得到指示该录像数据包括该用户的人脸图像的第二识别结果。该指定区域可以为指定标注框。在一个实施例中，电子设备可以提取目标帧画面中每帧画面的指定区域的人脸特征，并在记录的人脸特征与提取的每帧画面的指定区域的人脸特征匹配时，确定该目标帧画面中每帧画面包括该用户的人脸图像。在一个实施例中，电子设备可以当识别到该目标帧画面中某帧画面的指定区域内不包括该用户的人脸图像时，通过终端输出第一提示信息，以用于提醒用户调整位置以使全脸在框。
在一个实施例中，当该目标人物包括该其他人物时，电子设备根据该人脸特征识别该录像数据是否包括目标人物的人脸图像，得到第二识别结果的方式可以如下：电子设备根据该人脸特征对该录像数据包括的目标帧画面进行人脸识别，并当识别到该目标帧画面中的任一帧画面不包括该其他人物的人脸图像时，得到指示该录像数据不包括该其他人物的人脸图像的第二识别结果。在一个实施例中，电子设备可以提取目标帧画面中任一帧画面的人脸特征，并在提取的任一帧画面的人脸特征不包括与记录的人脸特征不匹配的人脸特征时，确定该目标帧画面中任一帧画面不包括该其他人物的人脸图像。在一个实施例中，电子设备当识别到该目标帧画面中任一帧画面包括该其他人物的人脸图像时，通过终端输出第二提示信息，以用于提醒用户本人独立完成视频双录。
在一些特殊情况下，一些人设备允许与用户出现在同一画面的，因此为了保证第二识别结果的准确性，电子设备当识别到该目标帧画面中的任一帧画面不包括该其他人物的人脸图像时，得到指示该录像数据不包括该其他人物的人脸图像的第二识别结果的方式可以如下：电子设备当识别到该目标帧画面中的任一帧画面包括除该用户之外的至少一个人物中每个人物的人脸图像时，截取该每个人物的人脸图像，并当根据预设人脸图像库以及该每个人物的人脸图像确定该每个人物为目标关键人物时，得到指示该录像数据不包括该其他人物的人脸图像的第二识别结果，该人脸图像库包括多个关键人物中每个关键人物的人脸图像。此处目标关键人物可以在该视频双录过程与用户出现在同一画面，这时目标关键人物不属于其他人物。
例如，在用户A购买保险场景中，用户A在购买某款保险产品的过程中，由业务员A负责用户A的保险办理服务。电子设备当识别到该目标帧画面中的任一帧画面包括除业务人员A的人脸图像时，提取业务人员A的人脸图像，并将人脸图像库中的多个业务员中每个业务员的人脸图像与业务员A的人脸图像进行匹配，以确定人脸图像库中是否包括业务员A的人脸图像，在该人脸图像库包括业务人员A的人脸图像时，可以确定业务员A为目标关键人物，得到指示该录像数据不包括该其他人物的人脸图像的第二识别结果。
S104、当根据所述第一识别结果以及所述第二识别结果确定对所述双录视频校验通过时，保存所述用户的标识、所述用户办理的业务的标识以及所述双录视频的标识之间的对应关系。
在一个实施例中，在目标人物包括该用户的情况下，如果得到指示录音数据不包括其他人物的提示音的第一识别结果以及指示录像数据包括该用户的人脸图像的第二识别结果时，就可以确定对该双录视频校验通过，否则，确定对该双录视频校验不通过。该过程说明对该双录视频校验通过的条件为该双录视频的录音数据不包括他人的提示音，且该录像数据包括该用户的人脸图像。一般来说，该过程要求视频双录过程由用户独立完成视频双录，相关人员不能对用户进行提示，用户需要出现在画面中。
在一个实施例中，在目标人物包括为其他人物的情况下，如果得到指示录音数据不包括其他人物的提示音的第一识别结果以及指示录像数据不包括该其他人物的人脸图像的第二识别结果时，就可以确定对该双录视频校验通过，否则，确定对该双录视频校验不通过。该过程说明对该双录视频校验通过的条件为该双录视频的录音数据不包括他人的提示音，且该录像数据不包括其他人的人脸图像。一般来说，该过程要求视频双录过程由用户独立完成视频双录，相关人员不能对用户进行提示，相关人员不能出现在画面中。
在一个实施例中，在目标人物包括用户和其他人物的情况下，如果得到指示录音数据不包括其他人物的提示音的第一识别结果，以及指示录像数据包括该用户的人脸图像且不包括该其他人物的人脸图像的第二识别结果时，可以确定对该双录视频校验通过，否则，确定对该双录视频校验不通过。该过程说明对该双录视频校验通过的条件为该双录视频的录音数据不包括他人的提示音，且该录像数据包括该用户的人脸图像且不包括其他人的人脸图像。一般来说，该过程要求视频双录过程由用户独立完成视频双录，相关人员不能对用户进行提示，用户需要出现在画面中，相关人员不能出现在画面中。
在一个实施例中，在目标人物包括用户和其他人物的情况下，如果得到指示录音数据不包括其他人物的提示音的第一识别结果，以及指示录像数据包括该用户的人脸图像且包括该其他人物的人脸图像的第二识别结果时，可以确定对该双录视频校验通过，否则，确定对该双录视频校验不通过。该过程说明对该双录视频校验通过的条件为该双录视频的录音数据不包括他人的提示音，且该录像数据包括该用户的人脸图像且包括其他人的人脸图像。与前述双录视频校验通过条件不同的是，此处要求录像数据包括其他人物的人脸图像。一般来讲，给该过程要求视频双录过程相关人员不能对用户进行提示，用户以及相关人员需要同时出现在画面中。
在一个实施例中，若用户基于视频双录***未完成视频双录，则继续执行在用户基于视频双录***进行视频双录的过程中，监测该用户所在的视频节点的步骤，直到用户基于视频双录***完成视频双录。在用户基于视频双录***完成视频双录后，电子设备便可以获得该用户在视频双录过程的所有视频节点中每个视频节点的双录视频。
在一个实施例中，当根据第一识别结果以及第二识别结果确定对该双录视频校验不通过时，通过终端输出重录提示信息，该重录提示信息用于提示用户重新录制该视频校验节点的双录视频，或用于提示用户重新录制所有视频节点的双录视频，并提示该用户在该视频校验节点的双录视频存在异常。
综上所述，电子设备可以在用户进入视频双录***时，记录该用户的声纹特征以及人脸特征，并在该用户基于该视频双录***进行视频双录的过程中，监测该用户所在的视频节点；电子设备可以当该用户所在的视频节点为视频校验节点时，获取该用户在该视频校验节点的双录视频，该双录视频包括录音数据和录像数据；电子设备根据该声纹特征识别录音数据中是否包括除该用户之外的其他人物的提示音，得到第一识别结果，并根据该人脸特征识别该录像数据是否包括目标人物的人脸图像，得到第二识别结果，并当根据该第一识别结果以及该第二识别结果确定对该双录视频校验通过时，保存该用户的标识、该用户办理的业务的标识以及该双录视频的标识之间的对应关系，该过程通过监测视频节点，并对关键视频节点的双录视频进行自动化校验，能够有效提升双录视频的质量。
请参阅图2，为本申请实施例提供的另一种视频处理方法的流程示意图。该方法可以应用于前述提及的电子设备，该方法可以包括以下步骤：
S201、在用户进入视频双录***时，记录所述用户的声纹特征以及人脸特征。
S202、在所述用户基于所述视频双录***进行视频双录的过程中，监测所述用户所在的视频节点。
其中，步骤S201-步骤S202可参见图1实施例的步骤S101-步骤S102，本申请实施例在此不做赘述。
S203、确定所述用户办理的业务。
S204、查询所述业务在视频双录过程中的多个视频节点中每个视频节点所处的时间段。
S205、根据所述用户基于所述视频双录***进行视频双录的起始时间以及所述每个视频节点所处的时间段，判断所述用户所在的视频节点是否为视频校验节点。
本申请实施例中，电子设备可以通过以下方式判断用户所在的视频节点是否为视频监测节点：电子设备确定该用户办理的业务，查询该业务在视频双录过程中的多个视频节点中每个视频节点所处的时间段；电子设备根据该用户基于该视频双录***进行视频双录的起始时间以及该每个视频节点所处的时间段，判断该用户所在的视频节点是否为视频校验节点。
在一个实施例中，每个视频节点所处的时间段，可以根据针对该业务预估的视频双录的时长以及每个视频节点所占用的时长确定。例如，针对该业务预估的视频双录过程的时长为40分钟，该业务在视频双录过程包括4个视频节点，这4个视频节点依次为视频节点1、视频节点2、视频节点3、视频节点4。视频节点1所占用的时长为5分钟，视频节点2所占用的时长为15分钟、视频节点3所占用的时长为10分钟，视频节点4所占用的时长为5分钟。电子设备可以根据针对该业务预估的视频双录的时长以及每个视频节点所占用的时长，确定这4个视频节点分别所处的时间段为0-5分钟、5分钟-15分钟、15分钟-35分钟、35分钟-40分钟。
在一个实施例中，电子设备确定该用户办理的业务，查询该业务在视频双录过程中的多个视频节点中每个视频节点所处的时间段的过程可以为：电子设备可以获取用户办理的业务的信息，并根据该信息查询该业务在视频双录过程中的多个视频节点中每个视频节点所处的时间段。
在一个实施例中，电子设备根据该用户基于该视频双录***进行视频双录的起始时间以及该每个视频节点所处的时间段，判断该用户所在的视频节点是否为视频校验节点的过程可以为：电子设备获取***时间，并根据用户基于该视频双录***进行视频双录的起始时间以及***时间确定录制时长；电子设备根据每个视频节点所处的时间段，确定该录制时长对应的视频节点，并判断该录视时间对应的视频节点是否为视频校验节点。
例如，用户基于该视频双录***进行视频双录的起始时间为10：00，***时间为10：20，该业务在视频双录过程包括4个视频节点，这4个视频节点依次为视频节点1、视频节点2、视频节点3、视频节点4，这4个视频节点分别所处的时间段为0-5分钟、5分钟-15分钟、15分钟-35分钟、35分钟-40分钟。电子设备可以根据用户基于该视频双录***进行视频双录的起始时间以及***时间确定录制时长为20分钟，并可以根据这4个视频节点分别所处的时间段，确定该20分钟对应的视频节点为视频节点3，然后判断视频节点3是否为视频校验节点。
S206、当所述用户所在的视频节点为视频校验节点时，获取所述用户在所述视频校验节点的双录视频，所述双录视频包括调用所述用户对应的用户终端的录音设备采集的录音数据以及调用所述用户终端的摄像设备采集的录像数据。
S207、根据所述声纹特征识别所述录音数据中是否包括除所述用户之外的其他人物的提示音，得到第一识别结果，并根据所述人脸特征识别所述录像数据是否包括目标人物的人脸图像，得到第二识别结果；其中，所述目标人物为所述用户和/或所述其他人物。
S208、当根据所述第一识别结果以及所述第二识别结果确定对所述双录视频校验通过时，保存所述用户的标识、所述用户办理的业务的标识以及所述双录视频的标识之间的对应关系。
其中，步骤S206-步骤S208可参见图1实施例的步骤S103-步骤S105，本申请实施例在此不做赘述。
在一个实施例中，为了避免关键人物在视频双录过程出现违规行为，电子设备还可以在双录视频包括目标关键人物的人脸图像时，基于该双录视频验证前述提及的目标关键人物的视频行为的合法性。电子设备可以根据录像数据验证该目标关键人物的录制行为的合法性,并在对合法性验证通过时，执行保存该用户的标识、该用户办理的业务的标识以及该双录视频的标识之间的对应关系的步骤。在一个实施例中，电子设备验证该目标关键人物的录制行为的合法性的过程可以为对该目标关键人物的提示音进行语音转写，得到语音转写结果，该语音转写结果包括该目标关键人物的提示音对应的文本内容；对该文本内容进行敏感词检测，如果检测到该文本内容包括敏感词，则对该目标关键人物的录制行为的合法性校验不通过。或，电子设备验证该目标关键人物的录制行为的合法性的过程还可以为识别录像数据包括目标关键人物的姿态(包括身体姿态和面部姿态)，当目标关键人物的姿态为可疑姿态库中记录的姿态时，对该目标关键人物的录制行为的合法性验证不通过。
在一个实施例中，在根据所述声纹特征识别所述录音数据中是否包括除所述用户之外的其他人物的提示音，得到第一识别结果的过程中，如果连续预设时间长度内，如连续8s检测该录像数据中不包括该用户的人脸图像，或者检测到该录像数据包括其他人物的人脸图像时，强制拦截该录像数据，并将该录像数据返回至终端以指示该用户重新录制双录视频。
可见，图2所示的实施例中，电子设备可以通过查询用户办理的业务在视频双录过程中的多个视频节点中每个视频节点所处的时间段，并根据所述用户基于所述视频双录***进行视频双录的起始时间以及所述每个视频节点所处的时间段，判断所述用户所在的视频节点是否为视频校验节点，该过程可以准确地对视频校验节点进行定位。
本申请涉及区块链技术，可在区块链保存上述提及该用户的标识、该用户办理的业务的标识以及该双录视频的标识之间的对应关系，或可以在区块链保存根据该用户的标识、该用户办理的业务的标识以及该双录视频的标识计算得到的哈希值，以保证交易的可靠性。
请参阅图3，为本申请实施例提供的一种视频处理装置的结构示意图。该视频处理装置可以应用在前述提及的电子设备中。具体地，该视频处理装置可以包括：
记录模块301，用于在用户进入视频双录***时，记录所述用户的声纹特征以及人脸特征。
监测模块302，用于在所述用户基于所述视频双录***进行视频双录的过程中，监测所述用户所在的视频节点。；
获取模块303，用于当所述用户所在的视频节点为视频校验节点时，获取所述用户在所述视频校验节点的双录视频，所述双录视频包括调用所述用户对应的用户终端的录音设备采集的录音数据以及调用所述用户终端的摄像设备采集的录像数据。
识别模块304，用于根据所述声纹特征识别所述录音数据中是否包括除所述用户之外的其他人物的提示音，得到第一识别结果，并根据所述人脸特征识别所述录像数据是否包括目标人物的人脸图像，得到第二识别结果；其中，所述目标人物为所述用户和/或所述其他人物。
校验模块305，用于当根据所述第一识别结果以及所述第二识别结果确定对所述双录视频校验通过时，保存所述用户的标识、所述用户办理的业务的标识以及所述双录视频的标识之间的对应关系。
在一种可选的实施方式中，所述视频处理装置还包括判断模块306。
在一种可选的实施方式中，判断模块306，用于确定所述用户办理的业务；查询所述业务在视频双录过程中的多个视频节点中每个视频节点所处的时间段；根据所述用户基于所述视频双录***进行视频双录的起始时间以及所述每个视频节点所处的时间段，判断所述用户所在的视频节点是否为视频校验节点。
在一种可选的实施方式中，识别模块304根据所述声纹特征识别所述录音数据中是否包括除所述用户之外的其他人物的提示音，得到第一识别结果，具体为当根据所述声纹特征识别所述录音数据中包括除所述用户之外的至少一个人物中每个人物的提示音时，从所述录音数据中提取所述每个人物的提示音；当根据预设声纹特征库以及所述每个人物的提示音确定所述每个人物为目标关键人物时，得到指示所述录音数据不包括所述其他人物的提示音的第一识别结果，所述声纹特征库包括多个关键人物中每个关键人物的声纹特征。
在一种可选的实施方式中，当所述目标人物包括所述用户时，识别模块304根据所述人脸特征识别所述录像数据是否包括目标人物的人脸图像，得到第二识别结果，具体为根据所述人脸特征对所述录像数据包括的目标帧画面进行人脸识别；所述目标帧画面为所述录像数据包括的多帧画面，或为按照预设帧间隔从所述录像数据中选取的连续数量帧画面；当识别到所述目标帧画面中每帧画面包括所述用户的人脸图像时，得到指示所述录像数据包括所述用户的人脸图像的第二识别结果。
在一种可选的实施方式中，当所述目标人物包括所述其他人物时，识别模块304根据所述人脸特征识别所述录像数据是否包括目标人物的人脸图像，得到第二识别结果，具体为根据所述人脸特征对所述录像数据包括的目标帧画面进行人脸识别；所述目标帧画面为所述录像数据包括的多帧画面，或为按照预设帧间隔从所述录像数据中选取的连续数量帧画面；当识别到所述目标帧画面中的任一帧画面不包括所述其他人物的人脸图像时，得到指示所述录像数据不包括所述其他人物的人脸图像的第二识别结果。
在一种可选的实施方式中，识别模块304，还用于当识别到所述目标帧画面中的任一帧画面不包括所述其他人物的人脸图像时，得到指示所述录像数据不包括所述其他人物的人脸图像的第二识别结果前，当识别到所述目标帧画面中的任一帧画面包括除所述用户之外的至少一个人物中每个人物的人脸图像时，截取所述每个人物的人脸图像；当根据预设人脸图像库以及所述每个人物的人脸图像确定所述每个人物为目标关键人物时，确定所述目标帧画面中的任一帧画面不包括所述其他人物的人脸图像，所述人脸图像库包括多个关键人物中每个关键人物的人脸图像。
在一种可选的实施方式中，校验模块305根据所述第一识别结果以及所述第二识别结果确定对所述双录视频校验通过，具体为在所述目标人物包括所述用户的情况下，若所述第一识别结果指示所述录音数据不包括所述其他人物的提示音且所述第二识别结果指示所述录像数据包括所述用户的人脸图像，则确定对所述双录视频校验通过；和/或，在所述目标人物包括所述其他人物的情况下，若所述第一识别结果指示所述录音数据不包括所述其他人物的提示音且所述第二识别结果指示所述录像数据不包括所述其他人物的人脸图像，则确定对所述双录视频校验通过。
可见，图3所示的实施例中，数据处理装置可以在用户进入视频双录***时，记录该用户的声纹特征以及人脸特征，并在该用户基于该视频双录***进行视频双录的过程中，监测该用户所在的视频节点；数据处理装置可以当该用户所在的视频节点为视频校验节点时，获取该用户在该视频校验节点的双录视频，该双录视频包括录音数据和录像数据；数据处理装置根据该声纹特征识别录音数据中是否包括除该用户之外的其他人物的提示音，得到第一识别结果，并根据该人脸特征识别该录像数据是否包括目标人物的人脸图像，得到第二识别结果，并当根据该第一识别结果以及该第二识别结果确定对该双录视频校验通过时，保存该用户的标识、该用户办理的业务的标识以及该双录视频的标识之间的对应关系，该过程通过监测视频节点，并对关键视频节点的双录视频进行自动化校验，能够有效提升双录视频的质量。
请参阅图4，为本申请实施例提供的一种电子设备的结构示意图。本实施例中所描述的电子设备可以包括：一个或多个处理器1000，一个或多个输入设备2000，一个或多个输出设备3000和存储器4000。处理器1000、输入设备2000、输出设备3000和存储器4000可以通过总线连接。其中，输入设备2000和输出设备3000为该电子设备中可选的设备，即该电子设备可以仅包括处理器1000和存储器4000。在一个实施例中，输入设备2000、输出设备3000可以是标准的有线或无线通信接口。在一个实施例中，输入设备2000可以为触摸屏或触摸显示屏，输出设备3000可以为显示屏或触摸显示屏，本申请实施例不做限制。
处理器1000可以是中央处理模块(Central Processing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器4000可以是高速RAM存储器，也可为非不稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器4000用于存储一组程序代码，输入设备2000、输出设备3000和处理器1000可以调用存储器4000中存储的程序代码。具体地：
在用户进入视频双录***时，记录所述用户的声纹特征以及人脸特征；
在所述用户基于所述视频双录***进行视频双录的过程中，监测所述用户所在的视频节点；
当所述用户所在的视频节点为视频校验节点时，获取所述用户在所述视频校验节点的双录视频，所述双录视频包括调用所述用户对应的用户终端的录音设备采集的录音数据以及调用所述用户终端的摄像设备采集的录像数据；
根据所述声纹特征识别所述录音数据中是否包括除所述用户之外的其他人物的提示音，得到第一识别结果，并根据所述人脸特征识别所述录像数据是否包括目标人物的人脸图像，得到第二识别结果；其中，所述目标人物为所述用户和/或所述其他人物；
当根据所述第一识别结果以及所述第二识别结果确定对所述双录视频校验通过时，保存所述用户的标识、所述用户办理的业务的标识以及所述双录视频的标识之间的对应关系。
在一个实施例中，处理器1000，还用于在所述用户基于所述视频双录***进行视频双录的过程中，监测所述用户所在的视频节点后，所述当所述用户所在的视频节点为视频校验节点时，获取所述用户在所述视频校验节点的双录视频前，确定所述用户办理的业务；查询所述业务在视频双录过程中的多个视频节点中每个视频节点所处的时间段；根据所述用户基于所述视频双录***进行视频双录的起始时间以及所述每个视频节点所处的时间段，判断所述用户所在的视频节点是否为视频校验节点。
在一个实施例中，处理器1000根据所述声纹特征识别所述录音数据中是否包括除所述用户之外的其他人物的提示音，得到第一识别结果，具体为当根据所述声纹特征识别所述录音数据中包括除所述用户之外的至少一个人物中每个人物的提示音时，从所述录音数据中提取所述每个人物的提示音；当根据预设声纹特征库以及所述每个人物的提示音确定所述每个人物为目标关键人物时，得到指示所述录音数据不包括所述其他人物的提示音的第一识别结果，所述声纹特征库包括多个关键人物中每个关键人物的声纹特征。
在一个实施例中，处理器1000当所述目标人物包括所述用户时，所述根据所述人脸特征识别所述录像数据是否包括目标人物的人脸图像，得到第二识别结果，具体为根据所述人脸特征对所述录像数据包括的目标帧画面进行人脸识别；所述目标帧画面为所述录像数据包括的多帧画面，或为按照预设帧间隔从所述录像数据中选取的连续数量帧画面；当识别到所述目标帧画面中每帧画面包括所述用户的人脸图像时，得到指示所述录像数据包括所述用户的人脸图像的第二识别结果。
在一个实施例中，处理器1000当所述目标人物包括所述其他人物时，所述根据所述人脸特征识别所述录像数据是否包括目标人物的人脸图像，得到第二识别结果，具体为根据所述人脸特征对所述录像数据包括的目标帧画面进行人脸识别；所述目标帧画面为所述录像数据包括的多帧画面，或为按照预设帧间隔从所述录像数据中选取的连续数量帧画面；当识别到所述目标帧画面中的任一帧画面不包括所述其他人物的人脸图像时，得到指示所述录像数据不包括所述其他人物的人脸图像的第二识别结果。
在一个实施例中，处理器1000，还用于当识别到所述目标帧画面中的任一帧画面不包括所述其他人物的人脸图像时，得到指示所述录像数据不包括所述其他人物的人脸图像的第二识别结果前，当识别到所述目标帧画面中的任一帧画面包括除所述用户之外的至少一个人物中每个人物的人脸图像时，截取所述每个人物的人脸图像；当根据预设人脸图像库以及所述每个人物的人脸图像确定所述每个人物为目标关键人物时，确定所述目标帧画面中的任一帧画面不包括所述其他人物的人脸图像，所述人脸图像库包括多个关键人物中每个关键人物的人脸图像。
在一个实施例中，处理器1000根据所述第一识别结果以及所述第二识别结果确定对所述双录视频校验通过，具体为在所述目标人物包括所述用户的情况下，若所述第一识别结果指示所述录音数据不包括所述其他人物的提示音且所述第二识别结果指示所述录像数据包括所述用户的人脸图像，则确定对所述双录视频校验通过；和/或，在所述目标人物包括所述其他人物的情况下，若所述第一识别结果指示所述录音数据不包括所述其他人物的提示音且所述第二识别结果指示所述录像数据不包括所述其他人物的人脸图像，则确定对所述双录视频校验通过。
具体实现中，本申请实施例中所描述的处理器1000、输入设备2000、输出设备3000可执行图1实施例、图2实施例所描述的实现方式，也可执行本申请实施例所描述的实现方式，在此不再赘述。
在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以是两个或两个以上模块集成在一个模块中。上述集成的模块既可以采样硬件的形式实现，也可以采样软件功能模块的形式实现。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的计算机可读存储介质可为易失性的或非易失性的。例如，该计算机存储介质可以为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。所述的计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
其中，本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
以上所揭露的仅为本申请一种较佳实施例而已，当然不能以此来限定本申请之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本申请权利要求所作的等同变化，仍属于本申请所涵盖的范围。
Claims (10)
1.一种视频处理方法，其特征在于，包括：
在用户进入视频双录***时，记录所述用户的声纹特征以及人脸特征；
在所述用户基于所述视频双录***进行视频双录的过程中，监测所述用户所在的视频节点；
当所述用户所在的视频节点为视频校验节点时，获取所述用户在所述视频校验节点的双录视频，所述双录视频包括调用所述用户对应的用户终端的录音设备采集的录音数据以及调用所述用户终端的摄像设备采集的录像数据；
根据所述声纹特征识别所述录音数据中是否包括除所述用户之外的其他人物的提示音，得到第一识别结果，并根据所述人脸特征识别所述录像数据是否包括目标人物的人脸图像，得到第二识别结果；其中，所述目标人物为所述用户和/或所述其他人物；
当根据所述第一识别结果以及所述第二识别结果确定对所述双录视频校验通过时，保存所述用户的标识、所述用户办理的业务的标识以及所述双录视频的标识之间的对应关系；
所述根据所述第一识别结果以及所述第二识别结果确定对所述双录视频校验通过，包括：
当所述视频节点为不允许提示的节点时，若所述第一识别结果指示所述录音数据不包括其他人物的提示音，且所述第二识别结果指示所述录像数据包括所述用户的人脸图像，且不包括所述其他人物的人脸图像，则确定对所述双录视频校验通过；所述其他人是指除所述用户以外的任何人；
当所述视频节点为允许目标关键人物提示的节点时，若所述第一识别结果指示所述录音数据不包括其他人物的提示音且所述第二识别结果指示所述录像数据包括所述用户的人脸图像，且不包括所述其他人物的人脸图像，则确定对所述双录视频校验通过；所述目标关键人物为办理所述业务的业务人员；所述其他人为除所述用户以及所述目标关键人物以外的任何人；所述第一识别结果为基于所述声纹特征识别以及预设声纹特征库对所述录音数据进行识别得到的，所述预设声纹特征库包括所述目标关键人物的声纹特征，所述第二识别结果是根据预设人脸图像库和所述人脸特征对所述录像数据进行识别得到的，所述预设人脸图像库包括所述目标关键人物的人脸图像。
2.根据权利要求1所述的方法，其特征在于，所述在所述用户基于所述视频双录***进行视频双录的过程中，监测所述用户所在的视频节点后，所述当所述用户所在的视频节点为视频校验节点时，获取所述用户在所述视频校验节点的双录视频前，所述方法还包括：
确定所述用户办理的业务；
查询所述业务在视频双录过程中的多个视频节点中每个视频节点所处的时间段；
根据所述用户基于所述视频双录***进行视频双录的起始时间以及所述每个视频节点所处的时间段，判断所述用户所在的视频节点是否为视频校验节点。
3.根据权利要求1或2所述的方法，其特征在于，所述根据所述声纹特征识别所述录音数据中是否包括除所述用户之外的其他人物的提示音，得到第一识别结果，包括：
当根据所述声纹特征识别所述录音数据中包括除所述用户之外的至少一个人物中每个人物的提示音时，从所述录音数据中提取所述每个人物的提示音；
当根据预设声纹特征库以及所述每个人物的提示音确定所述每个人物为目标关键人物时，得到指示所述录音数据不包括所述其他人物的提示音的第一识别结果，所述声纹特征库包括多个关键人物中每个关键人物的声纹特征。
4.根据权利要求1所述的方法，其特征在于，当所述目标人物包括所述用户时，所述根据所述人脸特征识别所述录像数据是否包括目标人物的人脸图像，得到第二识别结果，包括：
根据所述人脸特征对所述录像数据包括的目标帧画面进行人脸识别；所述目标帧画面为所述录像数据包括的多帧画面，或为按照预设帧间隔从所述录像数据中选取的连续数量帧画面；
当识别到所述目标帧画面中每帧画面包括所述用户的人脸图像时，得到指示所述录像数据包括所述用户的人脸图像的第二识别结果。
5.根据权利要求1所述的方法，其特征在于，当所述目标人物包括所述其他人物时，所述根据所述人脸特征识别所述录像数据是否包括目标人物的人脸图像，得到第二识别结果，包括：
根据所述人脸特征对所述录像数据包括的目标帧画面进行人脸识别；所述目标帧画面为所述录像数据包括的多帧画面，或为按照预设帧间隔从所述录像数据中选取的连续数量帧画面；
当识别到所述目标帧画面中的任一帧画面不包括所述其他人物的人脸图像时，得到指示所述录像数据不包括所述其他人物的人脸图像的第二识别结果。
6.根据权利要求5所述的方法，其特征在于，所述当识别到所述目标帧画面中的任一帧画面不包括所述其他人物的人脸图像时，得到指示所述录像数据不包括所述其他人物的人脸图像的第二识别结果前，所述方法还包括：
当识别到所述目标帧画面中的任一帧画面包括除所述用户之外的至少一个人物中每个人物的人脸图像时，截取所述每个人物的人脸图像；
当根据预设人脸图像库以及所述每个人物的人脸图像确定所述每个人物为目标关键人物时，确定所述目标帧画面中的任一帧画面不包括所述其他人物的人脸图像，所述人脸图像库包括多个关键人物中每个关键人物的人脸图像。
7.根据权利要求1所述的方法，其特征在于，所述根据所述第一识别结果以及所述第二识别结果确定对所述双录视频校验通过，包括：
在所述目标人物包括所述用户的情况下，若所述第一识别结果指示所述录音数据不包括所述其他人物的提示音且所述第二识别结果指示所述录像数据包括所述用户的人脸图像，则确定对所述双录视频校验通过；和/或，
在所述目标人物包括所述其他人物的情况下，若所述第一识别结果指示所述录音数据不包括所述其他人物的提示音且所述第二识别结果指示所述录像数据不包括所述其他人物的人脸图像，则确定对所述双录视频校验通过。
8.一种视频处理装置，其特征在于，包括：
记录模块，用于在用户进入视频双录***时，记录所述用户的声纹特征以及人脸特征；
监测模块，用于在所述用户基于所述视频双录***进行视频双录的过程中，监测所述用户所在的视频节点；
获取模块，用于当所述用户所在的视频节点为视频校验节点时，获取所述用户在所述视频校验节点的双录视频，所述双录视频包括调用所述用户对应的用户终端的录音设备采集的录音数据以及调用所述用户终端的摄像设备采集的录像数据；
识别模块，用于根据所述声纹特征识别所述录音数据中是否包括除所述用户之外的其他人物的提示音，得到第一识别结果，并根据所述人脸特征识别所述录像数据是否包括目标人物的人脸图像，得到第二识别结果；其中，所述目标人物为所述用户和/或所述其他人物；
校验模块，用于当根据所述第一识别结果以及所述第二识别结果确定对所述双录视频校验通过时，保存所述用户的标识、所述用户办理的业务的标识以及所述双录视频的标识之间的对应关系；
所述根据所述第一识别结果以及所述第二识别结果确定对所述双录视频校验通过，包括：
当所述视频节点为不允许提示的节点时，若所述第一识别结果指示所述录音数据不包括其他人物的提示音，且所述第二识别结果指示所述录像数据包括所述用户的人脸图像，且不包括所述其他人物的人脸图像，则确定对所述双录视频校验通过；所述其他人是指除所述用户以外的任何人；
当所述视频节点为允许目标关键人物提示的节点时，若所述第一识别结果指示所述录音数据不包括其他人物的提示音且所述第二识别结果指示所述录像数据包括所述用户的人脸图像，且不包括所述其他人物的人脸图像，则确定对所述双录视频校验通过；所述目标关键人物为办理所述业务的业务人员；所述其他人为除所述用户以及所述目标关键人物以外的任何人；所述第一识别结果为基于所述声纹特征识别以及预设声纹特征库对所述录音数据进行识别得到的，所述预设声纹特征库包括所述目标关键人物的声纹特征，所述第二识别结果是根据预设人脸图像库和所述人脸特征对所述录像数据进行识别得到的，所述预设人脸图像库包括所述目标关键人物的人脸图像。
9.一种电子设备，其特征在于，包括处理器和存储器，所述处理器和所述存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现如权利要求1-7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011618736.7A CN112788269B (zh) | 2020-12-30 | 2020-12-30 | 视频处理方法、装置、服务器及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011618736.7A CN112788269B (zh) | 2020-12-30 | 2020-12-30 | 视频处理方法、装置、服务器及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112788269A CN112788269A (zh) | 2021-05-11 |
| CN112788269B true CN112788269B (zh) | 2023-12-29 |
Family
ID=75753352
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011618736.7A Active CN112788269B (zh) | 2020-12-30 | 2020-12-30 | 视频处理方法、装置、服务器及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112788269B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677634B (zh) * | 2022-05-30 | 2022-09-27 | 成都新希望金融信息有限公司 | 面签识别方法、装置、电子设备及存储介质 |
| CN115100713B (zh) * | 2022-06-27 | 2024-01-30 | 飞虎互动科技(北京)有限公司 | 基于实时音视频的金融风控检测方法、装置及电子设备 |
| CN116489291A (zh) * | 2022-12-24 | 2023-07-25 | 北京汇易达数字科技有限公司 | 一种用于html5金融双录***的录制方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109711655A (zh) * | 2018-08-17 | 2019-05-03 | 深圳壹账通智能科技有限公司 | 双录质检方法、装置、设备及计算机可读存储介质 |
| CN109729383A (zh) * | 2019-01-04 | 2019-05-07 | 深圳壹账通智能科技有限公司 | 双录视频质量检测方法、装置、计算机设备和存储介质 |
| CN109783338A (zh) * | 2019-01-02 | 2019-05-21 | 深圳壹账通智能科技有限公司 | 基于业务信息的录制处理方法、装置和计算机设备 |
| CN109831665A (zh) * | 2019-01-16 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 一种视频质检方法、***及终端设备 |
| CN110147726A (zh) * | 2019-04-12 | 2019-08-20 | 财付通支付科技有限公司 | 业务质检方法和装置、存储介质及电子装置 |
-
2020
- 2020-12-30 CN CN202011618736.7A patent/CN112788269B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109711655A (zh) * | 2018-08-17 | 2019-05-03 | 深圳壹账通智能科技有限公司 | 双录质检方法、装置、设备及计算机可读存储介质 |
| CN109783338A (zh) * | 2019-01-02 | 2019-05-21 | 深圳壹账通智能科技有限公司 | 基于业务信息的录制处理方法、装置和计算机设备 |
| CN109729383A (zh) * | 2019-01-04 | 2019-05-07 | 深圳壹账通智能科技有限公司 | 双录视频质量检测方法、装置、计算机设备和存储介质 |
| CN109831665A (zh) * | 2019-01-16 | 2019-05-31 | 深圳壹账通智能科技有限公司 | 一种视频质检方法、***及终端设备 |
| CN110147726A (zh) * | 2019-04-12 | 2019-08-20 | 财付通支付科技有限公司 | 业务质检方法和装置、存储介质及电子装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112788269A (zh) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112788269B (zh) | 视频处理方法、装置、服务器及存储介质 | |
| WO2020024398A1 (zh) | 生物特征辅助支付方法、装置、计算机设备及存储介质 | |
| CN112333549B (zh) | 视频处理方法及装置、电子设备、存储介质 | |
| US20190034934A1 (en) | Biometric payment | |
| CN109783338A (zh) | 基于业务信息的录制处理方法、装置和计算机设备 | |
| CN112328999B (zh) | 双录质检方法、装置、服务器及存储介质 | |
| US20170118205A1 (en) | User biological feature authentication method and system | |
| CN110533288A (zh) | 业务办理流程检测方法、装置、计算机设备和存储介质 | |
| US20190147155A1 (en) | Method of remotely identifying a physical person in asynchronous mode, aimed at the release of an advanced electronic signature, qualified electronic signature or digital identity | |
| CN111683285B (zh) | 文件内容识别方法、装置、计算机设备及存储介质 | |
| AU2015324346A1 (en) | Credit card with built-in sensor for fraud detection | |
| WO2022100349A1 (zh) | 基于人工智能的双录质检方法、装置、计算机设备及介质 | |
| CN112233690B (zh) | 双录方法、装置、终端及存储介质 | |
| CN110598008B (zh) | 录制数据的数据质检方法及装置、存储介质 | |
| TWM565361U (zh) | 金融交易詐騙偵測防範系統 | |
| CN114090989A (zh) | 一种身份认证方法、***及装置 | |
| CN110334107B (zh) | 基于数据分析的资格评审方法、装置及服务器 | |
| US9853972B2 (en) | Pharmacy authentication methods and systems | |
| KR20190142056A (ko) | 기계학습을 이용한 음성 인식 ＯＴＰ(One Time Password）인증 방법 및 시스템 | |
| TWI691923B (zh) | 金融交易詐騙偵測防範系統及其方法 | |
| US11948365B2 (en) | Frictionless authentication and monitoring | |
| CN115906028A (zh) | 用户身份验证方法、装置和自助服务终端 | |
| JP2009042986A (ja) | 金融商品勧誘販売経歴管理システム、金融商品勧誘販売経歴管理方法及び金融商品勧誘販売経歴管理プログラム | |
| US20210158055A1 (en) | Frictionless and Autonomous Activity and Behavioral Monitoring | |
| CN112055013A (zh) | 一种自动化认证方法、装置、设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20231123 Address after: 730900 6 Renmin Road, Baiyin District, Baiyin City, Gansu Province Applicant after: BAIYIN POWER SUPPLY COMPANY, STATE GRID GANSU ELECTRIC POWER Co. Address before: Floor 15, no.1333, Lujiazui Ring Road, pilot Free Trade Zone, Pudong New Area, Shanghai Applicant before: Weikun (Shanghai) Technology Service Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |