CN103246869B - 基于人脸识别和行为语音识别的犯罪监控方法 - Google Patents

Abstract

本发明提供一种基于人脸识别技术和行为语音识别的犯罪监控方法，包括如下步骤：步骤1、通过摄像头录制视频，将所述视频降维成图片信息集合；步骤2、将图片信息集合按照智能行为模式进行行为识别比对，若比对通过，发出预警通知并保存视频；步骤3、值班民警核实警情，通过GPS定位跟踪确定所述摄像头的位置，以及附近的警力情况，向附近民警发送警情信息；若无值班民警，则自动通过GPS定位跟踪确定所述摄像头的位置，以及附近的警力情况，向附近民警和值班人员发送警情信息。本发明根据不同场合的监控需求设置不同的智能行为模式，引入有目的监控，实现事前预警防范，防止案事件进一步恶化，缩短破案时间、提高破案率。

Description

基于人脸识别和行为语音识别的犯罪监控方法

技术领域

本发明涉及一种基于人脸识别和行为语音识别的犯罪监控方法。

背景技术

目前人脸识别技术是基于人的脸部特征，对输入的人脸图象或者视频流首先判断其是否存在人脸，如果存在人脸，则进一步给出每个脸的位置、大小和各个主要面部器官的位置信息，然后依据这些信息，进一步提取每个人脸中所蕴涵的身份特征，并将其与已知的人脸进行对比，从而识别每个人脸的身份；目前人脸识别只是基于大三角的人脸识别，只完成人脸上半部分的识别，缺少人脸下半部分的识别、轮廓特征的识别，以及嘴型发生变化时，比例变化结合；这样在表情发生变化的时候，误差也偏大，识别率自然偏低。

同时，现有监控犯罪行为的方法一般是采用摄像头监控组合应用，摄像头只是完成视频录制和实时人工监控，案事件发生后调取视频查看线索，大视频量查找效率低，在打击犯罪中的应用将受到很大的限制，事后“检索慢、比对慢”已成为当前制约基层单位视频应用成效发挥的主要问题。

由于现有人脸识别技术的识别率不高，导致利用摄像头监控人群聚集和长期徘徊等基于人脸识别的技术并没有得到广泛应用，因此无法对人群聚集、长期徘徊、频繁出入、跨越周界、拐卖儿童等行为进行有效监控和预警，无法及时发现潜在犯罪行为也就无法做到事前预警防范，不利于社会秩序的维护和稳定。

发明内容

本发明要解决的技术问题，在于提供一种基于人脸识别和行为语音识别的犯罪监控方法，其根据不同场合的监控需求，设置不同的智能行为模式，从而引入有目的监控，智能进行行为语言分析比对，从而实现事前及时预警防范，然后再通过人工确警，做出明确的出警处理，防止案事件进一步恶化，同时及时锁定嫌疑目标，再通过人脸库的识别比对，缩短破案时间、提高破案率，改变现阶段的事后追踪，调取大量视频检索排查的低效率模式。

本发明是这样实现的：

基于人脸识别技术和行为语音识别的犯罪监控方法，包括如下步骤：

步骤1、通过摄像头录制视频，将所述视频降维成图片信息集合；

步骤2、将图片信息集合按照智能行为模式进行行为识别比对，若比对通过，发出预警通知并保存视频，若比对不通过，保存视频；

步骤3、值班民警确认所述预警通知，核实确实存在警情时，通过GPS定位跟踪确定所述摄像头的位置，以及该摄像头位置附近的警力情况，向附近民警发送警情信息；

若在预设的确警时间内无值班民警确认所述预警通知，则自动通过GPS定位跟踪确定所述摄像头的位置，以及该摄像头位置附近的警力情况，向附近民警发送警情信息，同时向值班人员发送警情信息。

进一步地，所述人脸识别技术具体为：所述人脸识别技术以大三角识别为基础，再结合小三角识别、六间距识别、交叉比例识别中的一种或一种以上的任意组合，以此获取人脸特征信息，确定人员的唯一性；所述大三角识别是指以左眼中间位置、右眼中间位置、鼻尖位置形成一大三角形，获取大三角的三条边长以及大三角内各夹角大小；所述小三角识别是指以下巴最左端、下巴最右端、下嘴唇下正中凹陷点形成一小三角形，获取小三角三条边的比值和小三角内各夹角大小；所述六间距识别是指获取两眉毛间水平方向的最小距离、额头的宽度、脸部轮廓最大颧骨间的距离即脸的宽度、鼻根间距、鼻翼间的间距以及下颌枝轮廓间距；所述交叉比例识别是指：左脸颧骨最左轮廓点、右边下颌枝轮廓点的间距与右脸颧骨最右轮廓点、左脸下颌枝轮廓点的间距的交叉比例值。

进一步地，所述步骤2中的智能行为模式为：人脸捕获监控模式，所述步骤2具体为：将图片信息集合中各图片通过所述人脸识别技术获取图片中各人员的人脸特征信息，然后将各人员的人脸特征信息与一人脸库中的人脸特征信息进行相似比对；若相似度超过人脸捕获模式所设定的阈值则比对通过，发出预警通知并保存视频，否则，比对不通过，保存视频。

进一步地，所述步骤2中的智能行为模式为：人群聚集监控模式所述步骤2具体为：将图片信息集合中各图片通过所述人脸识别技术获取图片中各人员的人脸特征信息，确定人员的唯一性，获得各图片中的人数，从而实时掌握该拍摄区域内人员数量的变动范围；预先设置该拍摄区域人数的上限值，若该拍摄区域内人员数量超过该上限值，则发生人群聚集超限，发出预警通知、保存视频，同时将该拍摄区域内各人员的人脸特征信息与一人脸库进行相似比对，判断该拍摄区域内是否存在布控人员或在逃犯或失踪儿童，若相似度超过人群聚集监控模式所设定的阈值则比对通过，再次发出预警通知；若该拍摄区域内人员数量没有超过该上限值，保存视频。

进一步地，所述步骤2中的智能行为模式为：人群聚集监控模式，所述步骤2具体为：首先在摄像头的拍摄区域内划定监测区域，设置该监测区域内人员数量的上限阈值以及监测时间段；然后，将该监测时间段内的图片信息集合中各图片通过所述人脸识别技术获取所述监测区域内的人脸特征信息，确定该监测区域内人员的唯一性，获得该监测区域内的人数，从而实时掌握该监测时间段内监测区域人员数量的变动范围；若该监测区域内人员数量超过该上限阈值，则发生人群聚集超限，发出预警通知、保存视频，同时将该监测区域内各人员的人脸特征信息与一人脸库进行相似比对，判断该监测区域内是否存在布控人员或在逃犯或失踪儿童，若相似度超过人群聚集监控模式所设定的阈值，则再次发出预警通知；若该监测区域内人员数量没有超过该上限值，保存视频。

进一步地，所述步骤2中的智能行为模式为：长期徘徊监控模式，所述步骤2具体为：设置逗留时间阈值、轨迹路线以及轨迹判定时间，首先将所述图片信息集合中各图片通过所述人脸识别技术获取图片中各人员的人脸特征信息，确定人员的唯一性，从而对各人员进行定位跟踪，通过摄像头记录各人员的逗留时间和移动轨迹，然后判断各人员在设定的轨迹判定时间内的移动轨迹是否符合所述轨迹路线，若存在符合的人员，再判断符合人员的逗留时间是否超过逗留时间阈值，若超过，则发出预警通知、保存视频，同时将产生预警通知的人员的人脸特征信息与一人脸库进行相似比对，判断该人员是否是布控人员或在逃犯或失踪儿童，若相似度超过长期徘徊监控模式所设定的阈值，则再次发出预警通知；若不存在符合轨迹路线的人员，或符合轨迹路线的人员其逗留时间没有超过逗留时间阈值，则保存视频。

进一步地，所述设置的轨迹路线为"Z"型轨迹路线或"M"型轨迹路线或“O”型轨迹路线。

进一步地，所述步骤2中的智能行为模式为：频繁出入监控模式，所述步骤2具体为：首先设定至少一个监控时段以及各监控时段对应的频度阈值，然后将所述图片信息集合中各图片通过所述人脸识别技术获取图片中各人员的人脸特征信息，确定人员的唯一性，并对各人员进行唯一标识，记录各人员出现在拍摄区域的次数和每次出入的时间，并计算各人员的出入频度，然后根据每次出入时间对应的监控时段，获取该监控时段对应的频度阈值，当出入频度超过对应的频度阈值时，发出预警通知、保存视频，同时将产生预警通知的人员的人脸特征信息与一人脸库进行相似比对，判断该人员是否是布控人员或在逃犯或失踪儿童，若相似度超过频繁出入监控模式所设定的阈值，则再次发出预警通知；若不存在超过各频度阈值的人员，则保存视频。

进一步地，所述步骤2中的智能行为模式为：周界入侵监控模式，所述步骤2具体为：首先在摄像头的拍摄区域内划定警戒区域，若所述图片信息集合中出现移动目标，且该移动目标进入所述警戒区域或在警戒区域内移动时，发出预警通知、记录该移动目标的移动轨迹并保存视频，同时将产生预警通知的移动目标通过人脸识别技术获取人脸特征信息，然后与一人脸库进行相似比对，判断该移动目标是否是布控人员或在逃犯或失踪儿童，若相似度超过周界入侵监控模式所设定的阈值，则再次发出预警通知，若不存在移动目标，则保存视频；对于无法通过人脸识别技术获取人脸特征信息的移动目标，则不再发出预警通知。

进一步地，所述步骤2中的智能行为模式为：拐卖儿童监控模式，所述步骤2具体为：所述预警通知包括一级预警通知、二级预警通知和三级预警通知，所述一级预警通知等级最高，二级预警通知等级其次，三级预警通知等级最低，首先设定需要监控的儿童年龄区、人脸相似度阈值以及面部表情的变化频度阈值，然后将图片信息集合中的各图片通过所述人脸识别技术获取图片中各人员的人脸特征信息，通过人脸特征信息判断各人员的年龄大小，将落入所述儿童年龄区的儿童人脸特征信息与一失踪儿童库进行相似度识别，判断是否是失踪儿童，若相似度超过所述人脸相似度阈值，则发出一级预警通知，同时保存视频，然后进一步通过所述人脸识别技术获取该儿童的相邻人员的人脸特征信息，将相邻人员的人脸特征信息与一人脸库进行相似比对，判断是否是布控人员或在逃犯，若相似度超过所述人脸相似度阈值，则再次发出一级预警通知，若没有超过所述人脸相似度阈值，则再将该相邻人员的人脸特征信息与常驻人口库和外来人口库中的人脸照片进行相似比对，从而获取该相邻人员的身份信息；

将落入所述儿童年龄区的儿童人脸特征信息与一失踪儿童库进行相似度识别，判断是否是失踪儿童，若相似度没有超过所述人脸相似度阈值，则进一步获取该儿童与其相邻人员间的距离，判断相邻人员与该儿童的肢体接触关系，若不为亲密接触关系，则保存视频；若为亲密接触关系，则再根据该儿童人脸特征信息变化的频繁程度判断该儿童的表情，若变化的频繁程度超过所述变化频度阈值，通过语音采集器采集声音，将该声音与语音库进行比对，分析是否有哭声或恐吓词汇，若有，则发出二级预警通知，保存视频；若变化的频繁程度没有超过所述变化频度阈值，通过语音采集器采集声音，将该声音与语音库进行比对，分析是否有哭声或恐吓词汇，若有，则发出三级预警通知，保存视频，若没有，则不处理；所述语音采集器与所述摄像头设置于同一场所，所述语音库包括预先收集的哭声以及配置有不同种语言的恐吓词汇。

进一步地，所述人脸库包括公安布控人员照片库、全国网上在逃犯信息库以及失踪儿童库。

进一步地，所述摄像头录制的视频通过视频清晰处理后降维成图片信息集合。

进一步地，语音采集器采集到的声音通过杂音过滤处理后与所述语音库进行比对。

进一步地，所述步骤3中的警情信息包含摄像头位置信息、与人脸库比对的人员信息以及相似度情况、所获取的产生预警的人员照片信息以及该人员的移动轨迹；所述步骤3中的预警通知的方式为：预警通知以页面弹出提示框结合报警提示音的方式进行提示。

本发明的优点在于：本发明通过摄像头录制视频，将视频降维成图片信息集合，再根据摄像头所在场所的需求，设置相对应的智能行为模式，从而引入有目的监控，进行智能行为语言分析比对，实现人脸捕获监控、人群聚集、长期徘徊、频繁出入、跨越周界、拐卖儿童等行为的有效及时监控，发出预警通知，从而实现事前及时预警防范，然后再通过人工确警，做出明确的出警处理，防止案事件进一步恶化，同时及时锁定嫌疑目标，再通过人脸库的识别比对，缩短破案时间、提高破案率，改变现阶段的事后追踪，调取大量视频检索排查的低效率模式。

附图说明

下面参照附图结合实施例对本发明作进一步的说明。

图1是本发明人脸特征图。

图2是本发明的流程示意图。

具体实施方式

请参阅图1和图2，图1中各圆圈表示人脸的特征点，各圆圈中的数字是对特征点进行编号，方便说明其位置，图1中标出了98个特征点的位置，并分别进行标号，分别为标号1～标号98。

基于人脸识别技术和行为语音识别的犯罪监控方法，所述人脸识别技术具体为：所述人脸识别技术以大三角识别为基础，再结合小三角识别、六间距识别、交叉比例识别中的一种或一种以上的任意组合，以此获取人脸特征信息，确定人员的唯一性；所述大三角识别是指以左眼中间位置(请参阅图1中标号96)、右眼中间位置(请参阅图1中标号97)、鼻尖位置(请参阅图1中标号98)形成一大三角形，获取大三角的三条边长以及大三角内各夹角大小；所述小三角识别是指以下巴最左端(请参阅图1中标号9)、下巴最右端(请参阅图1中标号11)、下嘴唇下正中凹陷点(请参阅图1中标号85)形成一小三角形，获取小三角三条边的比值和小三角内各夹角大小；所述六间距识别是指获取两眉毛间水平方向的最小距离(即图1中标号25与标号30的间距)、额头的宽度(即图1中标号1与标号19的间距)、脸部轮廓最大颧骨间的距离即脸的宽度(即图1中标号3与标号17的间距)、鼻根间距(即图1中标号64与标号75的间距)、鼻翼间的间距(即图1中标号67与标号72的间距)以及下颌枝轮廓间距(即图1中标号7与标号13的间距)；所述交叉比例识别是指左脸颧骨最左轮廓点(请参阅图1中的标号3)、右边下颌枝轮廓点(请参阅图1中的标号13)的间距与右脸颧骨最右轮廓点(请参阅图1中的标号17)、左脸下颌枝轮廓点(请参阅图1中的标号7)的间距的交叉比例值。所述人脸特征信息包括：大三角的三条边长以及大三角内各夹角大小、小三角三条边的比值和小三角内各夹角大小、两眉毛间水平方向的最小距离、额头的宽度、脸部轮廓最大颧骨间的距离、鼻根间距、鼻翼间的间距、下颌枝轮廓间距以及交叉比例值；

所述犯罪监控方法包括如下步骤：

步骤1、通过摄像头录制视频，将所述视频降维成图片信息集合；在本实施例中，所述摄像头录制的视频通过视频清晰处理后降维成图片信息集合

步骤2、将图片信息集合按照智能行为模式进行行为识别比对，若比对通过，发出预警通知并保存视频，若比对不通过，保存视频；

步骤3、值班民警确认所述预警通知，核实确实存在警情时，通过GPS定位跟踪确定所述摄像头的位置，以及该摄像头位置附近的警力情况，向附近民警发送警情信息；

若在预设的确警时间内无值班民警确认所述预警通知，则自动通过GPS定位跟踪确定所述摄像头的位置，以及该摄像头位置附近的警力情况，向附近民警发送警情信息，同时向值班人员发送警情信息。在本实施例中，所述警情信息包含摄像头位置信息、与人脸库比对的人员信息以及相似度情况、所获取的产生预警的人员照片信息以及该人员的移动轨迹；所述预警通知的方式为：预警通知以页面弹出提示框结合报警提示音的方式进行提示。

在本实施例中，具体陈述六种智能行为模式，根据摄像头设置的场所需求，相对应地设置该场所下采用的智能行为模式。

模式一：人脸捕获监控模式

所述步骤2具体为：将图片信息集合中各图片通过所述人脸识别技术获取图片中各人员的人脸特征信息，然后将各人员的人脸特征信息与一人脸库中的人脸特征信息进行相似比对；若相似度超过人脸捕获模式所设定的阈值则比对通过，发出预警通知并保存视频，否则，比对不通过，保存视频。所述相似度，以大三角识别技术为例，即一张人脸的大三角的三条边长以及大三角内各夹角大小分别相对应地与另一张人脸的大三角的三条边长以及大三角内各夹角大小的相似程度。所述人脸库包括公安布控人员照片库、全国网上在逃犯信息库以及失踪儿童库。

所述人脸捕获监控模式可应用于机场卡口或者火车站出入口或汽车站出入口或大型商场出入口，捕获人脸特征信息，然后实时比对，为抓捕布控人员和在逃人员以及解救失踪儿童提供有效、及时、可靠的线索信息。

模式二：人群聚集监控模式

所述步骤2具体为：

将图片信息集合中各图片通过所述人脸识别技术获取图片中各人员的人脸特征信息，确定人员的唯一性，获得各图片中的人数，从而实时掌握该拍摄区域内人员数量的变动范围；预先设置该拍摄区域人数的上限值，若该拍摄区域内人员数量超过该上限值，则发生人群聚集超限，发出预警通知、保存视频，同时将该拍摄区域内各人员的人脸特征信息与所述人脸库进行相似比对，判断该拍摄区域内是否存在布控人员或在逃犯或失踪儿童，若相似度超过人群聚集监控模式所设定的阈值则比对通过，再次发出预警通知；若该拍摄区域内人员数量没有超过该上限值，保存视频。通过与人脸库的识别比对，对可疑人员及时分析处理，可缩短破案时间、提高破案率，改变现阶段的事后追踪，调取大量视频检索排查的低效率模式。

所述人群聚集监控模式的另一较佳实施例是：首先在摄像头的拍摄区域内划定监测区域，设置该监测区域内人员数量的上限阈值以及监测时间段；然后，将该监测时间段内的图片信息集合中各图片通过所述人脸识别技术获取所述监测区域内的人脸特征信息，确定该监测区域内人员的唯一性，获得该监测区域内的人数，从而实时掌握该监测时间段内监测区域人员数量的变动范围；若该监测区域内人员数量超过该上限阈值，则发生人群聚集超限，发出预警通知、保存视频，同时将该监测区域内各人员的人脸特征信息与所述人脸库进行相似比对，判断该监测区域内是否存在布控人员或在逃犯或失踪儿童，若相似度超过人群聚集监控模式所设定的阈值，则再次发出预警通知；若该监测区域内人员数量没有超过该上限值，保存视频。通过划定监测区域，使得监控位置更精确，发出的预警通知准确率更高。

人群聚集监控模式可应用于广场或者政府机关大楼前或银行门口，提前预警可能存在的非法聚集或聚众暴力行为。

模式三、长期徘徊监控模式

所述步骤2具体为：设置逗留时间阈值、轨迹路线以及轨迹判定时间，首先将所述图片信息集合中各图片通过所述人脸识别技术获取图片中各人员的人脸特征信息，确定人员的唯一性，从而对各人员进行定位跟踪，通过摄像头记录各人员的逗留时间和移动轨迹，然后判断各人员在设定的轨迹判定时间内的移动轨迹是否符合所述轨迹路线，若存在符合的人员，再判断符合人员的逗留时间是否超过逗留时间阈值，若超过，则发出预警通知、保存视频，同时将产生预警通知的人员的人脸特征信息与一人脸库进行相似比对，判断该人员是否是布控人员或在逃犯或失踪儿童，若相似度超过长期徘徊监控模式所设定的阈值，则再次发出预警通知；若不存在符合轨迹路线的人员，或符合轨迹路线的人员其逗留时间没有超过逗留时间阈值，则保存视频。所述轨迹判定时间是指：设置一段时间内的轨迹进行分析，例如，设置为一分钟，则将人员一分钟内的移动轨迹与所述轨迹路线进行比对。所述设置的轨迹路线可以是："Z"型轨迹路线或"M"型轨迹路线，此处可根据分析作案人员的行为特征设定各种轨迹路线。

长期徘徊监控模式可应用于银行ATM取款区，提前预警可能存在作案行为。

模式四、频繁出入监控模式

所述步骤2具体为：首先设定至少一个监控时段以及各监控时段对应的频度阈值，然后将所述图片信息集合中各图片通过所述人脸识别技术获取图片中各人员的人脸特征信息，确定人员的唯一性，并对各人员进行唯一标识，记录各人员出现在拍摄区域的次数和每次出入的时间，并计算各人员的出入频度，然后根据每次出入时间对应的监控时段，获取该监控时段对应的频度阈值，当出入频度超过对应的频度阈值时，发出预警通知、保存视频，同时将产生预警通知的人员的人脸特征信息与一人脸库进行相似比对，判断该人员是否是布控人员或在逃犯或失踪儿童，若相似度超过频繁出入监控模式所设定的阈值，则再次发出预警通知；若不存在超过各频度阈值的人员，则保存视频。

所述频繁出入监控模式可应用于酒店大门口，银行出入口，政府机关大门等。

模式五、周界入侵监控模式

所述步骤2具体为：首先在摄像头的拍摄区域内划定警戒区域，若所述图片信息集合中出现移动目标，且该移动目标进入所述警戒区域或在警戒区域内移动时，发出预警通知、记录该移动目标的移动轨迹并保存视频，同时将产生预警通知的移动目标通过人脸识别技术获取人脸特征信息，然后与一人脸库进行相似比对，判断该移动目标是否是布控人员或在逃犯或失踪儿童，若相似度超过周界入侵监控模式所设定的阈值，则再次发出预警通知，若不存在移动目标，则保存视频；对于无法通过人脸识别技术获取人脸特征信息的移动目标，则不再发出预警通知。

所述周界入侵监控可应用于银行内部重要区域或者政府机关大楼内的重要区域。

模式六、拐卖儿童监控模式

所述步骤2具体为：所述预警通知包括一级预警通知、二级预警通知和三级预警通知，所述一级预警通知等级最高，二级预警通知等级其次，三级预警通知等级最低，首先设定需要监控的儿童年龄区、人脸相似度阈值以及面部表情的变化频度阈值，然后将图片信息集合中的各图片通过所述人脸识别技术获取图片中各人员的人脸特征信息，通过人脸特征信息判断各人员的年龄大小，将落入所述儿童年龄区的儿童人脸特征信息与一失踪儿童库进行相似度识别，判断是否是失踪儿童，若相似度超过所述人脸相似度阈值，则发出一级预警通知，同时保存视频，然后进一步通过所述人脸识别技术获取该儿童的相邻人员的人脸特征信息，将相邻人员的人脸特征信息与一人脸库进行相似比对，判断是否是布控人员或在逃犯，若相似度超过所述人脸相似度阈值，则再次发出一级预警通知，若没有超过所述人脸相似度阈值，则再将该相邻人员的人脸特征信息与常驻人口库和外来人口库中的人脸照片进行相似比对，从而获取该相邻人员的身份信息；

将落入所述儿童年龄区的儿童人脸特征信息与一失踪儿童库进行相似度识别，判断是否是失踪儿童，若相似度没有超过所述人脸相似度阈值，则进一步获取该儿童与其相邻人员间的距离，判断相邻人员与该儿童的肢体接触关系，若不为亲密接触关系，则保存视频；若为亲密接触关系，则再根据该儿童人脸特征信息变化的频繁程度判断该儿童的表情，若变化的频繁程度超过所述变化频度阈值，通过语音采集器采集声音，语音采集器采集到的声音通过杂音过滤处理后与语音库进行比对，分析是否有哭声或恐吓词汇，若有，则发出二级预警通知，保存视频；若变化的频繁程度没有超过所述变化频度阈值，通过语音采集器采集声音，语音采集器采集到的声音通过杂音过滤处理后与语音库进行比对，分析是否有哭声或恐吓词汇，若有，则发出三级预警通知，保存视频，若没有，则不处理；所述语音采集器与所述摄像头设置于同一场所，所述语音库包括预先收集的哭声以及配置有不同种语言的恐吓词汇。根据儿童与其相邻人员间的距离判断是否亲密接触，可通过预先设置一距离与亲密关系对照表，然后根据该表进行判定是否亲密接触。

本发明的优点在于：本发明通过摄像头录制视频，将视频降维成图片信息集合，再根据摄像头所在场所的需求，设置相对应的智能行为模式，从而引入有目的监控，进行智能行为语言分析比对，实现人脸捕获监控、人群聚集、长期徘徊、频繁出入、跨越周界、拐卖儿童等行为的有效及时监控，发出预警通知，从而实现事前及时预警防范，然后再通过人工确警，做出明确的出警处理，防止案事件进一步恶化，同时及时锁定嫌疑目标，再通过人脸库的识别比对，缩短破案时间、提高破案率，改变现阶段的事后追踪，调取大量视频检索排查的低效率模式。

虽然以上描述了本发明的具体实施方式，但是熟悉本技术领域的技术人员应当理解，我们所描述的具体的实施例只是说明性的，而不是用于对本发明的范围的限定，熟悉本领域的技术人员在依照本发明的精神所作的等效的修饰以及变化，都应当涵盖在本发明的权利要求所保护的范围内。

Claims (13)

1.基于人脸识别技术和行为语音识别的犯罪监控方法，其特征在于：包括如下步骤：

步骤1、通过摄像头录制视频，将所述视频降维成图片信息集合；

步骤2、将图片信息集合按照智能行为模式进行行为识别比对，若比对通过，发出预警通知并保存视频，若比对不通过，保存视频；所述智能行为模式包括人脸捕获监控模式、人群聚集监控模式、长期徘徊监控模式、频繁出入监控模式、周界入侵监控模式和拐卖儿童监控模式；

步骤3、值班民警确认所述预警通知，核实确实存在警情时，通过GPS定位跟踪确定所述摄像头的位置，以及该摄像头位置附近的警力情况，向附近民警发送警情信息；

若在预设的确警时间内无值班民警确认所述预警通知，则自动通过GPS定位跟踪确定所述摄像头的位置，以及该摄像头位置附近的警力情况，向附近民警发送警情信息，同时向值班人员发送警情信息；

所述人脸识别技术具体为：所述人脸识别技术以大三角识别为基础，再结合小三角识别、六间距识别、交叉比例识别中的一种或一种以上的任意组合，以此获取人脸特征信息，确定人员的唯一性；所述大三角识别是指以左眼中间位置、右眼中间位置、鼻尖位置形成一大三角形，获取大三角的三条边长以及大三角内各夹角大小；所述小三角识别是指以下巴最左端、下巴最右端、下嘴唇下正中凹陷点形成一小三角形，获取小三角三条边的比值和小三角内各夹角大小；所述六间距识别是指获取两眉毛间水平方向的最小距离、额头的宽度、脸部轮廓最大颧骨间的距离即脸的宽度、鼻根间距、鼻翼间的间距以及下颌枝轮廓间距；所述交叉比例识别是指：左脸颧骨最左轮廓点、右边下颌枝轮廓点的间距与右脸颧骨最右轮廓点、左脸下颌枝轮廓点的间距的交叉比例值。

2.根据权利要求1所述的基于人脸识别技术和行为语音识别的犯罪监控方法，其特征在于：所述步骤2中的智能行为模式为：人脸捕获监控模式，所述步骤2具体为：将图片信息集合中各图片通过所述人脸识别技术获取图片中各人员的人脸特征信息，然后将各人员的人脸特征信息与一人脸库中的人脸特征信息进行相似比对；若相似度超过人脸捕获模式所设定的阈值则比对通过，发出预警通知并保存视频，否则，比对不通过，保存视频。

3.根据权利要求1所述的基于人脸识别技术和行为语音识别的犯罪监控方法，其特征在于：所述步骤2中的智能行为模式为：人群聚集监控模式，所述步骤2具体为：将图片信息集合中各图片通过所述人脸识别技术获取图片中各人员的人脸特征信息，确定人员的唯一性，获得各图片中的人数，从而实时掌握拍摄区域内人员数量的变动范围；预先设置该拍摄区域人数的上限值，若该拍摄区域内人员数量超过该上限值，则发生人群聚集超限，发出预警通知、保存视频，同时将该拍摄区域内各人员的人脸特征信息与一人脸库进行相似比对，判断该拍摄区域内是否存在布控人员或在逃犯或失踪儿童，若相似度超过人群聚集监控模式所设定的阈值则比对通过，再次发出预警通知；若该拍摄区域内人员数量没有超过该上限值，保存视频。

4.根据权利要求1所述的基于人脸识别技术和行为语音识别的犯罪监控方法，其特征在于：所述步骤2中的智能行为模式为：人群聚集监控模式，所述步骤2具体为：首先在摄像头的拍摄区域内划定监测区域，设置该监测区域内人员数量的上限阈值以及监测时间段；然后，将该监测时间段内的图片信息集合中各图片通过所述人脸识别技术获取所述监测区域内的人脸特征信息，确定该监测区域内人员的唯一性，获得该监测区域内的人数，从而实时掌握该监测时间段内监测区域人员数量的变动范围；若该监测区域内人员数量超过该上限阈值，则发生人群聚集超限，发出预警通知、保存视频，同时将该监测区域内各人员的人脸特征信息与一人脸库进行相似比对，判断该监测区域内是否存在布控人员或在逃犯或失踪儿童，若相似度超过人群聚集监控模式所设定的阈值，则再次发出预警通知；若该监测区域内人员数量没有超过该上限值，保存视频。

5.根据权利要求1所述的基于人脸识别技术和行为语音识别的犯罪监控方法，其特征在于：所述步骤2中的智能行为模式为：长期徘徊监控模式，所述步骤2具体为：设置逗留时间阈值、轨迹路线以及轨迹判定时间，首先将所述图片信息集合中各图片通过所述人脸识别技术获取图片中各人员的人脸特征信息，确定人员的唯一性，从而对各人员进行定位跟踪，通过摄像头记录各人员的逗留时间和移动轨迹，然后判断各人员在设定的轨迹判定时间内的移动轨迹是否符合所述轨迹路线，若存在符合的人员，再判断符合人员的逗留时间是否超过逗留时间阈值，若超过，则发出预警通知、保存视频，同时将产生预警通知的人员的人脸特征信息与一人脸库进行相似比对，判断该人员是否是布控人员或在逃犯或失踪儿童，若相似度超过长期徘徊监控模式所设定的阈值，则再次发出预警通知；若不存在符合轨迹路线的人员，或符合轨迹路线的人员其逗留时间没有超过逗留时间阈值，则保存视频。

6.根据权利要求5所述的基于人脸识别技术和行为语音识别的犯罪监控方法，其特征在于：所述设置的轨迹路线为"Z"型轨迹路线或"M"型轨迹路线或“O”型轨迹路线。

7.根据权利要求1所述的基于人脸识别技术和行为语音识别的犯罪监控方法，其特征在于：所述步骤2中的智能行为模式为：频繁出入监控模式，所述步骤2具体为：首先设定至少一个监控时段以及各监控时段对应的频度阈值，然后将所述图片信息集合中各图片通过所述人脸识别技术获取图片中各人员的人脸特征信息，确定人员的唯一性，并对各人员进行唯一标识，记录各人员出现在拍摄区域的次数和每次出入的时间，并计算各人员的出入频度，然后根据每次出入时间对应的监控时段，获取该监控时段对应的频度阈值，当出入频度超过对应的频度阈值时，发出预警通知、保存视频，同时将产生预警通知的人员的人脸特征信息与一人脸库进行相似比对，判断该人员是否是布控人员或在逃犯或失踪儿童，若相似度超过频繁出入监控模式所设定的阈值，则再次发出预警通知；若不存在超过各频度阈值的人员，则保存视频。

8.根据权利要求1所述的基于人脸识别技术和行为语音识别的犯罪监控方法，其特征在于：所述步骤2中的智能行为模式为：周界入侵监控模式，所述步骤2具体为：首先在摄像头的拍摄区域内划定警戒区域，若所述图片信息集合中出现移动目标，且该移动目标进入所述警戒区域或在警戒区域内移动时，发出预警通知、记录该移动目标的移动轨迹并保存视频，同时将产生预警通知的移动目标通过人脸识别技术获取人脸特征信息，然后与一人脸库进行相似比对，判断该移动目标是否是布控人员或在逃犯或失踪儿童，若相似度超过周界入侵监控模式所设定的阈值，则再次发出预警通知，若不存在移动目标，则保存视频；对于无法通过人脸识别技术获取人脸特征信息的移动目标，则不再发出预警通知。

9.根据权利要求1所述的基于人脸识别技术和行为语音识别的犯罪监控方法，其特征在于：所述步骤2中的智能行为模式为：拐卖儿童监控模式，所述步骤2具体为：所述预警通知包括一级预警通知、二级预警通知和三级预警通知，所述一级预警通知等级最高，二级预警通知等级其次，三级预警通知等级最低，首先设定需要监控的儿童年龄区、人脸相似度阈值以及面部表情的变化频度阈值，然后将图片信息集合中的各图片通过所述人脸识别技术获取图片中各人员的人脸特征信息，通过人脸特征信息判断各人员的年龄大小，将落入所述儿童年龄区的儿童人脸特征信息与一失踪儿童库进行相似度识别，判断是否是失踪儿童，若相似度超过所述人脸相似度阈值，则发出一级预警通知，同时保存视频，然后进一步通过所述人脸识别技术获取该儿童的相邻人员的人脸特征信息，将相邻人员的人脸特征信息与一人脸库进行相似比对，判断是否是布控人员或在逃犯，若相似度超过所述人脸相似度阈值，则再次发出一级预警通知，若没有超过所述人脸相似度阈值，则再将该相邻人员的人脸特征信息与常驻人口库和外来人口库中的人脸照片进行相似比对，从而获取该相邻人员的身份信息；

将落入所述儿童年龄区的儿童人脸特征信息与一失踪儿童库进行相似度识别，判断是否是失踪儿童，若相似度没有超过所述人脸相似度阈值，则进一步获取该儿童与其相邻人员间的距离，判断相邻人员与该儿童的肢体接触关系，若不为亲密接触关系，则保存视频；若为亲密接触关系，则再根据该儿童人脸特征信息变化的频繁程度判断该儿童的表情，若变化的频繁程度超过所述变化频度阈值，通过语音采集器采集声音，将该声音与语音库进行比对，分析是否有哭声或恐吓词汇，若有，则发出二级预警通知，保存视频；若变化的频繁程度没有超过所述变化频度阈值，通过语音采集器采集声音，将该声音与语音库进行比对，分析是否有哭声或恐吓词汇，若有，则发出三级预警通知，保存视频，若没有，则不处理；所述语音采集器与所述摄像头设置于同一场所，所述语音库包括预先收集的哭声以及配置有不同种语言的恐吓词汇。

10.根据权利要求2至9任一项所述的基于人脸识别技术和行为语音识别的犯罪监控方法，其特征在于：所述人脸库包括公安布控人员照片库、全国网上在逃犯信息库以及失踪儿童库。

11.根据权利要求1所述的基于人脸识别技术和行为语音识别的犯罪监控方法，其特征在于：所述摄像头录制的视频通过视频清晰处理后降维成图片信息集合。

12.根据权利要求9所述的基于人脸识别技术和行为语音识别的犯罪监控方法，其特征在于：语音采集器采集到的声音通过杂音过滤处理后与所述语音库进行比对。

13.根据权利要求1所述的基于人脸识别技术和行为语音识别的犯罪监控方法，其特征在于：所述步骤3中的警情信息包含摄像头位置信息、与人脸库比对的人员信息以及相似度情况、所获取的产生预警的人员照片信息以及该人员的移动轨迹；所述步骤3中的预警通知的方式为：预警通知以页面弹出提示框结合报警提示音的方式进行提示。