CN109766474A - 审讯信息审核方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本申请涉及人工智能中的生物识别，特别涉及微表情识别中的情绪识别，也即一种审讯信息审核方法、装置、计算机设备和存储介质。所述方法包括：获取审讯视频，从所述审讯视频中提取审讯图像；从所述审讯图像中提取所述待审讯人员图像，识别所述待审讯人员图像对应的审讯情绪信息；根据所述审讯情绪信息，查询所述待审讯人员是否存在可疑情绪并得到查询结果；获取审讯记录信息，并提取所述待审讯人员对应的审讯音频，比对所述审讯记录信息与所述审讯音频得到比对结果；根据所述比对结果以及所述识别结果输出审讯信息审核结果。采用本方法能够可以节省人力，提高审核效率。

Description

审讯信息审核方法、装置、计算机设备和存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种审讯信息审核方法、装置、计算机设备和存储介质。

背景技术

在审讯过程中，往往需要对审讯信息进行记录且对审讯过程录制视频，并且对相应的审讯信息以及录制视频进行审核，从而确定被审讯人是否有说谎嫌疑或者是否有逼供情况发生。

传统地，在判断的过程中，往往是人工观看相应的视频分析被审讯人员的状态，进而根据被审讯人员的状态人工核查相应的审讯记录，则会耗费大量的人力，审核效率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高审核效率的审讯信息审核方法、装置、计算机设备和存储介质。

一种审讯信息审核方法，所述方法包括：

获取审讯视频，从所述审讯视频中提取审讯图像；

从所述审讯图像中提取所述待审讯人员图像，识别所述待审讯人员图像对应的审讯情绪信息；

根据所述审讯情绪信息，查询所述待审讯人员是否存在可疑情绪并得到查询结果；

获取审讯记录信息，并提取所述待审讯人员对应的审讯音频，比对所述审讯记录信息与所述审讯音频得到比对结果；

根据所述比对结果以及所述识别结果输出审讯信息审核结果。

在一个实施例中，所述根据所述审讯情绪信息，查询所述待审讯人员是否存在可疑情绪并得到查询结果之后，包括：

当所述待审讯人员存在可疑情绪时，则查询与所述可疑情绪对应的识别时间段；

根据所述识别时间段提取所述审讯音频中的可疑关键字；

查询与所述可疑关键字对应的所述审讯记录信息，并将所述审讯记录信息添加查询标识。

在一个实施例中，所述比对所述审核记录信息与所述审讯音频得到比对结果，包括：

提取所述识别时间段内所述审讯记录信息中包含的记录关键字；

提取相同的所述识别时间段内所述审讯音频中的音频关键字；

将所述记录关键字与所述音频关键字进行比对得到比对结果。

在一个实施例中，所述获取审讯记录信息，包括：

获取审讯记录图片，将所述审讯记录图片二值化处理；

对二值化处理后的所述审讯记录图片中包含的审讯记录数据进行边缘平滑处理；

识别进行边缘平滑处理后的图片中的所述审讯记录数据，并将所识别出的所述数据作为审讯记录信息。

在一个实施例中，所述识别所述待审讯人员图像对应的审讯情绪信息，包括：

接收所述待审讯人员图像对应的当前情绪为标准情绪的情绪概率；

对所述情绪概率进行排序，并根据排序后的情绪概率提取与预设数量对应的数量的标准情绪；

判断所提取的标准情绪对应的情绪类型是否相同；

当所提取的标注闹情绪对应的情绪类型不同时，则获取情绪概率最大的标准情绪对应的所述情绪类型作为当前情绪信息；

统计所述当前情绪信息所对应的所述审讯图像的帧数；

根据所述当前情绪信息以及所述帧数得到所述待审讯人员图像的审讯情绪信息。

在一个实施例中，所述判断所提取的标准情绪对应的情绪类型是否相同之后，包括：

当所提取的所述标准情绪对应有相同的情绪类型时，则查询情绪类型相同的标准情绪；

根据所述情绪类型相同的标准情绪对应的情绪概率计算得到目标概率；

获取所述目标概率以及情绪类型不相同的标准情绪的情绪概率中的最大值；

将所述最大值对应的所述情绪类型作为当前情绪信息。

一种审讯信息审核装置，所述装置包括：

获取模块，用于获取审讯视频，从所述审讯视频中提取审讯图像；

提取模块，用于从所述审讯图像中提取所述待审讯人员图像，识别所述待审讯人员图像对应的审讯情绪信息；

查询模块，用于根据所述审讯情绪信息，查询所述待审讯人员是否存在可疑情绪并得到查询结果；

比对模块，用于获取审讯记录信息，并提取所述待审讯人员对应的审讯音频，比对所述审讯记录信息与所述审讯音频得到比对结果；

输出模块，用于根据所述比对结果以及所述识别结果输出审讯信息审核结果。

在一个实施例中，所述审讯信息审核装置，包括：

查询单元，用于当所述待审讯人员存在可疑情绪时，则查询与所述可疑情绪对应的识别时间段；

提取单元，用于根据所述识别时间段提取所述审讯音频中的可疑关键字；

添加单元，用于查询与所述可疑关键字对应的所述审讯记录信息，并将所述审讯记录信息添加查询标识。

一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

上述审讯信息审核方法、装置、计算机设备和存储介质，可以获取审核视频，并从审核视频中提取审讯图像，进而从审讯图像中提取待审讯人员图像，识别待审讯人员图像对应的审讯情绪信息，根据审讯情绪信息识别待审讯人员是否存在可以情绪并得到识别结果，进而获取审讯记录信息，并提取待审讯人员对应的审讯音频，比对审讯记录信息与审讯音频得到比对结果，根据比对结果以及识别结果输出审讯信息审核结果，则无需人工对审讯过程录制视频进行人工核查，并无需人工对审讯记录进行审查，从而可以节省人力，提高审核效率。

附图说明

图1为一个实施例中审讯信息审核方法的应用场景图；

图2为一个实施例中审讯信息审核方法的流程示意图；

图3为一个实施例中可疑情绪处理步骤的流程示意图；

图4为一个实施例中审讯信息审核装置的结构框图；

图5为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请提供的审讯信息审核方法，可以应用于如图1所示的应用环境中。其中，终端102与服务器104通过网络进行通信。服务器104从终端102获取到审讯视频，并从审讯视频中提取审讯图像，服务器104从审讯图像中提取待审讯人员图像，继而识别待审讯人员图像对应的审讯情绪信息，并根据肾虚情绪信息查询待审讯人员是否存在可疑情绪并得到查询结果，进而服务器104获取审讯记录信息，提取待审讯人员对应的审讯音频，比对审讯记录信息与审讯音频得到比对结果，根据比对结果以及识别结果输出审讯信息审核结果。其中，终端102可以但不限于是各种摄像设备、笔记本电脑、智能手机、平板电脑等，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图2所示，提供了一种审讯信息审核方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：

S202：获取审讯视频，从审讯视频中提取审讯图像。

具体地，审讯视频是指在审讯过程中终端采集到的审讯全过程的视频，也即审讯视频中包括有采集的待审讯人员的图像。具体地，在审讯过程中设置有终端，可以实时采集审讯过程中的审讯视频，服务器从终端获取到终端采集的审讯视频，从审讯视频中将审讯图像进行提取，可以是，服务器向采集终端发送对应的视频获取请求，且视频获取请求携带对应的审讯视频标识，当终端接收到视频获取请求时，则根据审讯视频标识查询审讯视频，进而将审讯视频发送至服务器，服务器获取到审讯视频时，则将审讯视频中的每一帧图像均进行提取，得到审讯图像。

S204：从审讯图像中提取待审讯人员图像，识别待审讯人员图像对应的审讯情绪信息。

具体地，待审核人员图像是指包含在审讯图像中的待审讯人员的图像。审讯情绪信息是指待审讯人员的图像对应的审讯过程中的不同时刻所对应的情绪。具体地，服务器从审讯视频中提取到审讯图像，进而服务器将审讯图像输入至训练完成的人脸识别模型中，人脸识别模型可以识别每帧审讯图像中包含的人脸特征，从而检测得到人脸图像，进而提取人脸识别模型识别得到的人脸图像作为待审讯人员图像，进而服务器提取得到待审讯人员图像时，则查询每帧待审讯人员图像所对应的微表情信息，进而查询微表情信息所对应的预设情绪信息，根据每帧待审讯人员图像所对应的预设情绪信息得到待审讯人员图像所对应的审讯情绪信息，且可以是，当服务器从审讯图像中提取待审讯人员图像时，则可以获取到识别时间段，该识别时间段即为获取到不同审讯情绪信息的时间段，进而分别查询每个识别时间段内所对应的待审讯人员图像的微表情信息，从而得到每个识别时间段内的微表情信息对应的预设情绪信息，从而得到每个识别时间段内的待审讯人员图像所对应的审讯情绪信息。

S206：根据审讯情绪信息查询待审讯人员是否存在可疑情绪并得到查询结具体地，可疑情绪信息是指在审核过程中包含的风险等级高的情绪，可疑情绪信息可以是说谎时对应的情绪信息，如慌张或者焦虑等。具体地，当服务器获取到审讯情绪信息时，则将审讯情绪信息与预设的可疑情绪信息进行匹配，当匹配成功时，则审讯情绪信息中包含有可疑情绪信息。可以是，服务器按照不同的识别时间段查询到对应的审讯情绪信息，如查询到不同的审讯情绪信息可以是低落、一般、无聊以及慌张，进而将得到的不同识别时间段所对应的可疑情绪信息与预设的审讯情绪信息进行比对，如预设的可疑情绪信息是慌张，则比对得到不同识别时间段内有对应的可疑情绪信息慌张，则该查询结果为包含可疑情绪信息。

S208：获取审讯记录信息，并提取待审讯人员对应的审讯音频，比对审讯记录信息与审讯音频得到比对结果。

具体地，审讯音频是指在审讯过程中的语音信息。审讯记录信息是指在审讯过程中审讯人员做出的审讯记录，可以是审讯过程中的笔录等。具体地，服务器可以审核审讯记录信息是否与待审讯人员在审讯过程中被录制得到的音频是否一致，也即审核审讯记录信息中是否漏记相应的审讯过程的信息，且还可以审核审讯记录中是否出现了待审讯人员未说出的信息，且还可以审核审讯记录中审讯人员是否出现审讯过程中违反审讯规则的信息。具体地，服务器获取到审讯记录信息，也即可以接收到审讯记录信息图片，并采用图像处理方式从审讯记录信息图片中将审讯记录信息进行提取，进而提取待审讯人员对应的审讯音频，也即可以是，服务器获取到审讯过程中的记录音频，且记录音频中包含有审讯人员与待审讯人员的音频信息，则服务器可以根据声纹识别，将待审讯人员对应的审讯音频从记录音频中进行提取，进而将审讯音频与审讯记录信息进行逐一比对，可以是，将审讯记录信息中的关键字与审讯音频中包含的关键字进行比对，从而服务器审核审讯记录信息中是否包含了审讯音频中未出现的关键字，以及审讯记录信息中是否遗漏了审讯音频中包含的关键字得到比对结果。

S210：根据比对结果以及识别结果输出审讯信息审核结果。

具体地，当服务器得到审讯记录信息与审讯音频对应的比对结果，以及识别审讯过程中的审讯情绪，从而输出审讯信息审核结果，可以是，当服务器得到比对结果与识别结果均无异常时，则可以得到审讯信息审核结果为无异常，当比对结果以及识别结果中任一项有异常，则输出审讯信息审核结果为审讯过程需要进一步核查，且输出有异常的结果。

本实施例中，服务器在对审讯信息进行审核时，无需人工对审讯记录进行审查并对审讯过程录制视频进行人工核查，只需获取审核视频，并从审核视频中提取审讯图像，进而从审讯图像中提取待审讯人员图像，识别待审讯人员图像对应的审讯情绪信息得到识别结果，进而获取审讯记录信息，并提取待审讯人员对应的审讯音频，比对审讯记录信息与审讯音频得到比对结果，根据比对结果以及谁别结果输出审讯信息审核结果，从而提高审核效率，且得到审讯信息审核结果时，可以审核待审讯人员的审讯情绪以及审讯信息记录两个维度，也即考虑得到的审讯信息记录中的待审讯人员是否说谎以及审讯信息记录是否存在遗漏等，保证审讯信息审核结果准确。

在一个实施例中，请参见图3，提供一可疑情绪处理步骤的流程示意图，可疑情绪处理步骤，也即根据所述审讯情绪信息识别所述待审讯人员是否存在可疑情绪并得到识别结果之后，包括：当待审讯人员存在可疑情绪时，则查询与可疑情绪对应的识别时间段；根据识别时间段提取审讯音频中的可疑关键字；查询与可疑关键字对应的审讯记录信息，并将审讯记录信息添加查询标识。

具体地，识别时间段即为获取到不同审讯情绪信息的时间段，识别时间段可以是审讯流程所对应的时间段，也可以是预设时间段，如识别时间段可以是问询该时间段预设为3分钟等。可疑关键字是指与可疑情绪信息对应的包含在审讯音频中关键信息，根据该关键信息可以从审讯记录信息查询到对应的记录。查询标识是指查询到审讯记录信息包含有可疑关键字处添加的标识，从而可以使得审讯人员进一步进行核查。具体地，当服务器按照不同的识别时间段查询待审讯人员存在可疑情绪时，则查询该出现了可疑情绪所对应的识别时间段，服务器根据该视频查询到对应的审讯视频所对应的视频时间段，进而服务器提取对应的审讯音频，查询该审讯音频中与视频时间段对应的音频时间段，从而提取该音频时间段对应的审讯音频中包含的审讯信息，进而提取审讯信息中包含的关键字作为可疑关键字，服务器将该可疑关键字与审讯信息记录中包含的审讯关键字进行比对，当比对成功时，则将比对成功处的审讯信息记录添加查询标识，便于后续审讯人员对待审讯人员进行进一步核查。例如，当服务器按照识别时间段查询待审讯人员存在可疑情绪时，则查询了出现可疑情绪所对应的识别时间段，该识别时间段如审讯过程中的第9分钟至第12分钟，从而根据该识别时间段查询审讯视频中包含的视频时间段，进而服务器提取到对应的审讯音频，将对应的音频时间段中包含的审讯信息进行提取，进而查询审讯信息中包含的审讯关键字作为可疑关键字，如可疑关键字包含“动机”以及“地点”，则根据可疑关键字查询审讯记录信息，将包含审讯记录信息包含有“动机”以及“地点”的审讯记录信息位置处添加查询标识，从而审讯人员可以进一步进行核查。

本实施例中，当服务器查询到待审讯人员存在有可疑情绪时，则可以查询可疑情绪对应的识别时间段，进而根据识别时间段提取审讯音频中的可疑关键字，进而查询与可疑关键字对应的审讯记录信息，并将审讯记录信息添加查询标识，从而无需人工对相应的审讯信息进行再次审核，查找对应的可疑信息，节省人力，提高效率。

在一个实施例中，比对审核记录信息与审讯音频得到比对结果，包括：提取识别时间段内审讯记录信息中包含的记录关键字；提取识别时间段内审讯音频中的音频关键字；将记录关键字与音频关键字进行比对得到比对结果。

具体地，服务器获取到审讯记录信息，进而查询审讯记录信息所对应的分词逻辑，进而根据分词逻辑将审讯记录信息进行拆分，可以是对审讯记录信息进行拆分得到不同的审讯信息分词序列，进而计算每个审讯信息分词序列所对应的拆分正确率，其中，拆分正确率是获取到不同的审讯信息分词序列时，获取预设的每个审讯信息分词序列中的不同的分词词组的正确率，进而服务器计算不同的分词词组的正确率乘积得到每个审讯信息分词序列对应的拆分正确率，服务器选取拆分正确率最高的审讯信息分词序列作为拆分后的审讯记录信息，进而将拆分后的审讯记录信息与第一待匹配关键字进行比对，当比对成功时，则将比对成功的拆分后的审讯记录信息作为记录关键字，进而服务器查询到审讯音频，将审讯音频中包含的音频信息可以先按照文字转化逻辑转换为音频文字，进而将音频文字按照上述分词逻辑进行分词得到音频文字分词序列，进而计算每个音频文字分词序列对应的拆分正确率，将拆分正确率最高的音频文字分词序列作为拆分后的音频文字，进而获取到预存储的第二匹配关键字，将拆分后的音频文字与第二匹配关键字进行匹配，当匹配成功是，则将匹配成功的拆分后的音频文字作为音频关键字，进而服务器将得到的记录关键字与音频关键字进行比对，从而输出比对结果，也即可以比对记录关键字是否包括音频关键字，也即审讯信息记录中是否遗漏相应的内容，可以比对记录关键字中是否增加了其他关键字，而其他关键字未包含在音频关键字中，也即审讯信息记录中包含了未出现在审讯音频中的关键字，从而得到比对结果。

本实施例中，服务器可以对审讯音频与审讯记录信息进行比对，从而无需人工进行核查，提高效率，且在比对过程中，可以提取对应的审讯音频中的音频关键字以及记录关键字进行比对，提高比对效率。

在一个实施例中，获取审讯记录信息，包括：获取审讯记录图片，将审讯记录图片二值化处理；对二值化处理后的审讯记录图片中包含的审讯记录数据进行边缘平滑处理；识别进行边缘平滑处理后的图片中的审讯记录数据，并将所识别出的数据作为审讯记录信息。

具体地，服务器对审讯记录信息进行扫描得到审讯记录图片，当得到审讯记录图片时，则服务器对该图片进行二值化处理，可以采用Otsu算法(大津算法)对该图片进行二值化处理，也可以采用Bernsen二值化算法，还可以采用Niblack二值化算法等对审讯记录图片进行二值化处理，服务器将审讯记录图片进行二值化处理后，服务器获取到包含在审讯记录图片中的审讯记录数据的边缘，可选地，可以采用虫随法获取审讯记录图片中的数据边缘，也可以采用canny边缘检测算子获取图片中数据的边缘，进而对获取到的数据边缘进行平滑处理，如可以采用指数平滑算法对数据的边缘进行平滑处理，也可以采用拉普拉斯算法对数据的边缘进行平滑处理等，进而服务器采用训练得到的模型对边缘平滑处理后的图片数据进行识别，将识别得到的数据作为审讯记录信息。

具体地，当服务器获取到审讯记录图片时，则设置有预设的像素值阈值，服务器将审讯记录图片中每一个像素点的像素值与阈值进行比较得到比较结果，根据比较结果对每一个像素点设置新的像素值从而得到二值化处理后的审讯记录图片，进而服务器预先设置二值化处理后的审讯记录图片中的检测起始点，进而设置检测数据边缘的路径，如从白色像素区域向黑色像素区域前进，黑色像素区域标识一个闭合的轮廓，当检测到黑色像素时，则向左继续检测，检测到相随为白色时，则向右继续检测，直到回到最初的检测起始点，则黑色像素即为检测出来的图片中的审讯记录数据的边缘，进而对边缘上某些锯齿进行平滑，对细小的缺失进行填补，服务器采用训练得到的识别模型，如神经网络算法识别图片中的进行处理完成的数据作为审讯记录信息。

本实施例中，服务器可以对审讯信息记录对应的审讯记录图片进行处理，从而提取得到审讯记录信息，保证提取的准确性，以及无需人工进行识别，节省人力，提高效率。在一个实施例中，识别所述待审讯人员图像对应的审讯情绪信息，包括：接收所述待审讯人员图像对应的当前情绪为标准情绪的情绪概率；对所述情绪概率进行排序，并根据排序后的情绪概率提取与预设数量对应的数量的标准情绪；判断所提取的标准情绪对应的情绪类型是否相同；当所提取的标注闹情绪对应的情绪类型不同时，则获取情绪概率最大的标准情绪对应的所述情绪类型作为当前情绪信息；统计所述当前情绪信息所对应的所述审讯图像的帧数；根据所述当前情绪信息以及所述帧数得到所述待审讯人员图像的审讯情绪信息。

具体地，标准情绪是指预设的微表情所对应的情绪，预设的微表情可以是不同种类的微表情，如54种微表情等。情绪概率是指按照训练完成的微表情识别模型得到的每种预设的微表情的概率，且情绪概率越大则为该种微表情的可能性越高。情绪类型是指将不同的微表情所对应的情绪进行分类得到的不同情绪分区，可以是，将相近的情绪作为同一个情绪类型，也即可以是，将54种预设的微表情所对应的情绪中相近的情绪作为同一个情绪类型，例如，可以有高兴，一般，紧张，低落，焦虑，真诚的情绪类型，且每种情绪类型中包含有相近的情绪。当前情绪信息是指每帧审讯图像中包含的待审讯人员图像的当前心情。

具体地，当服务器提取到待审讯人员图像时，则可以按照识别时间段，接收到识别时间段中每一帧审讯图像中包含的待审讯人员图像的当前情绪为每种标准情绪的情绪概率，进而服务器将接收到的情绪概率进行排序，排序可以从大到小排序，服务器获取到预设数量，从排序完成的情绪概率提取与预设数量对应数量的标准情绪，进而查询提取到的标准情绪所对应的情绪类型，并判断标准情绪所对应的情绪类型是否相同，当提取得到的标准情绪所对应的情绪类型不同时，则查询情绪概率最大的标准情绪所对应的情绪类型，将该情绪类型作为当前情绪信息，当服务器获取到当前情绪信息时，则统计该识别时间段中不同的当前情绪信息所对应的审讯图像的帧数，服务器根据得到的识别时间段中的当前情绪信息，以及该识别时间段当前情绪信息所对应的审讯图像的帧数得到审讯情绪信息，也即服务器可以查询该识别时间段中当前情绪信息所对应的审讯图像的帧数，选取当前情绪信息所对应的审讯图像的帧数最多的当前情绪信息作为审讯情绪信息，也可以是，服务器获取到该识别时间段内审讯图像总帧数，并查询该识别时间段内当前情绪信息所对应的图像的帧数，计算当前情绪信息所对应的帧数占总帧数的比例，将比例超过阈值的当前情绪信息作为审讯情绪信息。

例如，当服务器接收到审讯图像时，则按照识别时间段接收每一帧审讯图像所对应的当前情绪为标准情绪的概率，也即可以是先查询第一个识别时间段内第一帧审讯图像所对应的不同标准情绪的概率，也即该识别时间段内第一帧审讯图像对应的54种标准情绪的情绪概率，将获取到情绪概率进行排序，排序可以是从大到小进行排序，进而获取到预设数量，如预设数量为3，则将排序后的情绪概率排在前三位的标准情绪进行提取，进而查询排在前三位的标准情绪所对应的不同的情绪类型，如情绪类型分别为紧张、低落、真诚，也即此时情绪类型为不同的情绪类型，进而查询情绪概率最大的标准情绪所对应的情绪类型，如为低落，则此时低落即为待审讯人员图像中第一帧审讯图像的当前情绪信息，且用相同方法，可以识别待审讯人员图像中其他帧审讯图像的当前情绪信息，也可以识别其他识别时间段内中每一帧审讯图像的当前情绪信息。本实施例中，情绪概率是由对应的情绪识别服务器获取到相应的人脸图像，采集人脸图像上的预设表情特征，进而将表情特征输入到训练完成的微表情识别模型中进行识别，得到当前表情是每一种微表情的概率，也即为情绪概率，进而服务器统计该识别时间段内的审讯图像的帧数，如该识别时间段内共获取到1万帧审讯图像，且得到待审讯人员图像对应的当前情绪信息有紧张、低落、真诚，则分别统计1万帧待评估图像中出现紧张的图像的帧数，出现低落的图像的帧数以及出现真诚的图像的帧数，统计得到紧张情绪所对应的图像帧数为1千帧、低落所对应的图像帧数为6千帧，真诚所对应的图像帧数为3千帧，则可以是低落所占帧数最多，则该识别时间段内1万帧审讯图像的待审讯人员的整体情绪信息也即是审讯情绪信息即为低落，也可以是，在该识别时间段内，分别计算紧张对应的图像帧数与总帧数的比值为10％，低落对应的图像帧数与总帧数的比值为60％，真诚对应的图像帧数与总帧数的比值为30％，进而服务器获取到阈值为50％，超过阈值的为低落对应的图像帧数与总帧数的比值，因此，将低落作为该识别时间段内审讯图像的整体情绪信息，也即为审讯情绪信息。

本实施例中，获取审讯图像对应的当前情绪信息无需人工进行分析，提高查询当前情绪信息的效率，且避免主观性分析导致分析不准确，提高分析情绪的准确性，且可以根据审讯图像的帧数以及当前情绪信息得到审讯情绪信息，得到审讯情绪信息的效率高。

在一个实施例中，判断所提取的标准情绪对应的情绪类型是否相同之后，包括：当所提取的所述标准情绪对应有相同的情绪类型时，则查询情绪类型相同的标准情绪；根据所述情绪类型相同的标准情绪对应的情绪概率计算得到目标概率；获取所述目标概率以及情绪类型不相同的标准情绪的情绪概率中的最大值；将所述最大值对应的所述情绪类型作为当前情绪信息。

具体地，目标概率是指对应有相同的情绪类型的标准情绪所关联的概率，该目标概率可以由对应在相同的情绪类型中不同的标准情绪所对应的情绪概率进行计算得到，也即可以是对应在相同的情绪类型中的不同的标准情绪所对应的情绪概率相加得到。在一个识别时间段内，当服务器查询到标准情绪对应有相同的情绪类型时，则为了判断准确，则避免直接选取情绪概率最大的标准情绪所对应的情绪类别作为当前情绪信息，也即查询该识别时间段内对应相同的情绪类型的不同标准情绪的情绪概率，将对应相同的情绪类型的不同标准情绪的情绪概率进行求和得到目标概率，进而将在该识别时间段内该目标概率与对应在不相同的情绪类型的标准情绪的情绪概率进行比对，将比对结果大的所对应的情绪类型作为当前情绪信息。

例如，按照上述步骤，当服务器在一个识别时间段内查询查询排在前三位的标准情绪所对应的情绪类型中有相同的情绪类型，如排名第一位的标准情绪对应为紧张，而排名第二位的标准情绪和排名第三位的标准情绪对应有相同的情绪类型，也即对应在低落，则计算对应在低落情绪类型的标准情绪的情绪概率的总和作为目标概率，将该目标概率与对应在低落情绪类别的标准情绪所对应的情绪概率进行比较，选择比较结果大的概率的标准情绪所对应的情绪类型作为当前情绪信息。

本实施例中，当服务器提取到的标准情绪对应有相同的情绪类型时，则避免直接采用情绪概率最大的标准情绪所对应的情绪类别作为当前情绪信息导致不准确，则查询情绪类型相同的标准情绪，并根据情绪类型相同的标准情绪所对应的情绪概率计算得到目标概率，进而获取到目标概率以及情绪类型不相同的标准情绪的情绪概率中的最大值，将最大值对应的情绪类型作为当前情绪信息，保证获取到当前情绪信息的准确性。

应该理解的是，虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，如图4所示，提供了一种审讯信息审核装置400，包括：获取模块410、提取模块420、查询模块430、查询模块440和输出模块450，其中：

获取模块410，用于获取审讯视频，从所述审讯视频中提取审讯图像；

提取模块420，用于从所述审讯图像中提取所述待审讯人员图像，识别所述待审讯人员图像对应的审讯情绪信息；

查询模块430，用于根据所述审讯情绪信息，查询所述待审讯人员是否存在可疑情绪并得到查询结果；

比对模块440，用于获取审讯记录信息，并提取所述待审讯人员对应的审讯音频，比对所述审讯记录信息与所述审讯音频得到比对结果；

输出模块450，用于根据所述比对结果以及所述识别结果输出审讯信息审核结果。

在一个实施例中，所述审讯信息审核装置400，包括：

查询单元，用于当所述待审讯人员存在可疑情绪时，则查询与所述可疑情绪对应的识别时间段；

提取单元，用于根据所述识别时间段提取所述审讯音频中的可疑关键字；

添加单元，用于查询与所述可疑关键字对应的所述审讯记录信息，并将所述审讯记录信息添加查询标识。

在一个实施例中，比对模块440，包括：

记录关键字提取单元，用于提取所述识别时间段内所述审讯记录信息中包含的记录关键字；

音频关键字提取单元，用于提取相同的所述识别时间段内所述审讯音频中的音频关键字；

比对单元，用于将所述记录关键字与所述音频关键字进行比对得到比对结果。

在一个实施例中，所述比对模块440，还可以包括：

图片获取单元，用于获取审讯记录图片，将所述审讯记录图片二值化处理；

平滑处理单元，用于对二值化处理后的所述审讯记录图片中包含的审讯记录数据进行边缘平滑处理；

识别单元，用于识别进行边缘平滑处理后的图片中的所述审讯记录数据，并将所识别出的所述数据作为审讯记录信息。

在一个实施例中，提取模块420，包括：

接收单元，用于接收所述待审讯人员图像对应的当前情绪为标准情绪的情绪概率；

标准情绪提取单元，用于对所述情绪概率进行排序，并根据排序后的情绪概率提取与预设数量对应的数量的标准情绪；

判断单元，用于判断所提取的标准情绪对应的情绪类型是否相同；

当前情绪信息获取单元，用于当所提取的标注闹情绪对应的情绪类型不同时，则获取情绪概率最大的标准情绪对应的所述情绪类型作为当前情绪信息；

统计单元，用于统计所述当前情绪信息所对应的所述审讯图像的帧数；

审讯情绪信息获取单元，用于根据所述当前情绪信息以及所述帧数得到所述待审讯人员图像的审讯情绪信息。

在一个实施例中，提取模块420，还可以包括：

第一查询单元，用于当所提取的所述标准情绪对应有相同的情绪类型时，则查询情绪类型相同的标准情绪；

计算单元，用于根据所述情绪类型相同的标准情绪对应的情绪概率计算得到目标概率；

最大值获取单元，用于获取所述目标概率以及情绪类型不相同的标准情绪的情绪概率中的最大值，还用于将所述最大值对应的所述情绪类型作为当前情绪信息。

关于审讯信息审核装置的具体限定可以参见上文中对于审讯信息审核方法的限定，在此不再赘述。上述审讯信息审核装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图5所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***、计算机程序和数据库。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的数据库用于存储审讯信息审核数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种审讯信息审核方法。

本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：获取审讯视频，从审讯视频中提取审讯图像。从审讯图像中提取待审讯人员图像，识别待审讯人员图像对应的审讯情绪信息。根据审讯情绪信息，查询待审讯人员是否存在可疑情绪并得到查询结果。获取审讯记录信息，并提取待审讯人员对应的审讯音频，比对审讯记录信息与审讯音频得到比对结果。根据比对结果以及识别结果输出审讯信息审核结果。

在一个实施例中，处理器执行计算机程序时实现根据审讯情绪信息识别待审讯人员是否存在可疑情绪并得到识别结果之后，包括：当待审讯人员存在可疑情绪时，则查询与可疑情绪对应的识别时间段。根据识别时间段提取审讯音频中的可疑关键字。查询与可疑关键字对应的审讯记录信息，并将审讯记录信息添加查询标识。

在一个实施例中，处理器执行计算机程序时实现比对审核记录信息与审讯音频得到比对结果，包括：提取识别时间段内审讯记录信息中包含的记录关键字。提取相同的识别时间段内审讯音频中的音频关键字。将记录关键字与音频关键字进行比对得到比对结果。

在一个实施例中，处理器执行计算机程序时实现获取审讯记录信息，包括：获取审讯记录图片，将审讯记录图片二值化处理。对二值化处理后的审讯记录图片中包含的审讯记录数据进行边缘平滑处理。识别进行边缘平滑处理后的图片中的审讯记录数据，并将所识别出的数据作为审讯记录信息。

在一个实施例中，处理器执行计算机程序时实现识别待审讯人员图像对应的审讯情绪信息，包括：接收待审讯人员图像对应的当前情绪为标准情绪的情绪概率。对情绪概率进行排序，并根据排序后的情绪概率提取与预设数量对应的数量的标准情绪。判断所提取的标准情绪对应的情绪类型是否相同。当所提取的标注闹情绪对应的情绪类型不同时，则获取情绪概率最大的标准情绪对应的情绪类型作为当前情绪信息。统计当前情绪信息所对应的审讯图像的帧数。根据当前情绪信息以及帧数得到待审讯人员图像的审讯情绪信息。

在一个实施例中，处理器执行计算机程序时实现判断所提取的标准情绪对应的情绪类型是否相同之后，包括：当所提取的标准情绪对应有相同的情绪类型时，则查询情绪类型相同的标准情绪。根据情绪类型相同的标准情绪对应的情绪概率计算得到目标概率。获取目标概率以及情绪类型不相同的标准情绪的情绪概率中的最大值。将最大值对应的情绪类型作为当前情绪信息。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取审讯视频，从审讯视频中提取审讯图像。从审讯图像中提取待审讯人员图像，识别待审讯人员图像对应的审讯情绪信息。根据审讯情绪信息，查询待审讯人员是否存在可疑情绪并得到查询结果。获取审讯记录信息，并提取待审讯人员对应的审讯音频，比对审讯记录信息与审讯音频得到比对结果。根据比对结果以及识别结果输出审讯信息审核结果。

在一个实施例中，计算机程序被处理器执行时实现根据审讯情绪信息识别待审讯人员是否存在可疑情绪并得到识别结果之后，包括：当待审讯人员存在可疑情绪时，则查询与可疑情绪对应的识别时间段。根据识别时间段提取审讯音频中的可疑关键字。查询与可疑关键字对应的审讯记录信息，并将审讯记录信息添加查询标识。

在一个实施例中，计算机程序被处理器执行时实现比对审核记录信息与审讯音频得到比对结果，包括：提取识别时间段内审讯记录信息中包含的记录关键字。提取相同的识别时间段内审讯音频中的音频关键字。将记录关键字与音频关键字进行比对得到比对结果。

在一个实施例中，计算机程序被处理器执行时实现获取审讯记录信息，包括：获取审讯记录图片，将审讯记录图片二值化处理。对二值化处理后的审讯记录图片中包含的审讯记录数据进行边缘平滑处理。识别进行边缘平滑处理后的图片中的审讯记录数据，并将所识别出的数据作为审讯记录信息。

在一个实施例中，计算机程序被处理器执行时实现识别待审讯人员图像对应的审讯情绪信息，包括：接收待审讯人员图像对应的当前情绪为标准情绪的情绪概率。对情绪概率进行排序，并根据排序后的情绪概率提取与预设数量对应的数量的标准情绪。判断所提取的标准情绪对应的情绪类型是否相同。当所提取的标注闹情绪对应的情绪类型不同时，则获取情绪概率最大的标准情绪对应的情绪类型作为当前情绪信息。统计当前情绪信息所对应的审讯图像的帧数。根据当前情绪信息以及帧数得到待审讯人员图像的审讯情绪信息。

在一个实施例中，计算机程序被处理器执行时实现判断所提取的标准情绪对应的情绪类型是否相同之后，包括：当所提取的标准情绪对应有相同的情绪类型时，则查询情绪类型相同的标准情绪。根据情绪类型相同的标准情绪对应的情绪概率计算得到目标概率。获取目标概率以及情绪类型不相同的标准情绪的情绪概率中的最大值。将最大值对应的情绪类型作为当前情绪信息。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种审讯信息审核方法，所述方法包括：

获取审讯视频，从所述审讯视频中提取审讯图像；

从所述审讯图像中提取所述待审讯人员图像，识别所述待审讯人员图像对应的审讯情绪信息；

根据所述审讯情绪信息，查询所述待审讯人员是否存在可疑情绪并得到查询结果；

获取审讯记录信息，并提取所述待审讯人员对应的审讯音频，比对所述审讯记录信息与所述审讯音频得到比对结果；

根据所述比对结果以及所述识别结果输出审讯信息审核结果。

2.根据权利要求1所述的方法，其特征在于，所述根据所述审讯情绪信息，查询所述待审讯人员是否存在可疑情绪并得到查询结果之后，包括：

当所述待审讯人员存在可疑情绪时，则查询与所述可疑情绪对应的识别时间段；

根据所述识别时间段提取所述审讯音频中的可疑关键字；

查询与所述可疑关键字对应的所述审讯记录信息，并将所述审讯记录信息添加查询标识。

3.根据权利要求2所述的方法，其特征在于，所述比对所述审核记录信息与所述审讯音频得到比对结果，包括：

提取所述识别时间段内所述审讯记录信息中包含的记录关键字；

提取相同的所述识别时间段内所述审讯音频中的音频关键字；

将所述记录关键字与所述音频关键字进行比对得到比对结果。

4.根据权利要求1所述的方法，其特征在于，所述获取审讯记录信息，包括：

获取审讯记录图片，将所述审讯记录图片二值化处理；

对二值化处理后的所述审讯记录图片中包含的审讯记录数据进行边缘平滑处理；

识别进行边缘平滑处理后的图片中的所述审讯记录数据，并将所识别出的所述数据作为审讯记录信息。

5.根据权利要求1至4任意一项所述的方法，其特征在于，所述识别所述待审讯人员图像对应的审讯情绪信息，包括：

接收所述待审讯人员图像对应的当前情绪为标准情绪的情绪概率；

对所述情绪概率进行排序，并根据排序后的情绪概率提取与预设数量对应的数量的标准情绪；

判断所提取的标准情绪对应的情绪类型是否相同；

当所提取的标注闹情绪对应的情绪类型不同时，则获取情绪概率最大的标准情绪对应的所述情绪类型作为当前情绪信息；

统计所述当前情绪信息所对应的所述审讯图像的帧数；

根据所述当前情绪信息以及所述帧数得到所述待审讯人员图像的审讯情绪信息。

6.根据权利要求5所述的方法，其特征在于，所述判断所提取的标准情绪对应的情绪类型是否相同之后，包括：

当所提取的所述标准情绪对应有相同的情绪类型时，则查询情绪类型相同的标准情绪；

根据所述情绪类型相同的标准情绪对应的情绪概率计算得到目标概率；

获取所述目标概率以及情绪类型不相同的标准情绪的情绪概率中的最大值；

将所述最大值对应的所述情绪类型作为当前情绪信息。

7.一种审讯信息审核装置，其特征在于，所述装置包括：

获取模块，用于获取审讯视频，从所述审讯视频中提取审讯图像；

提取模块，用于从所述审讯图像中提取所述待审讯人员图像，识别所述待审讯人员图像对应的审讯情绪信息；

查询模块，用于根据所述审讯情绪信息，查询所述待审讯人员是否存在可疑情绪并得到查询结果；

比对模块，用于获取审讯记录信息，并提取所述待审讯人员对应的审讯音频，比对所述审讯记录信息与所述审讯音频得到比对结果；

输出模块，用于根据所述比对结果以及所述识别结果输出审讯信息审核结果。

8.根据权利要求7所述的装置，其特征在于，所述审讯信息审核装置，包括：

查询单元，用于当所述待审讯人员存在可疑情绪时，则查询与所述可疑情绪对应的识别时间段；

提取单元，用于根据所述识别时间段提取所述审讯音频中的可疑关键字；

添加单元，用于查询与所述可疑关键字对应的所述审讯记录信息，并将所述审讯记录信息添加查询标识。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。